加速实现数据分析与人工智能的未来

十万年前，人类语言的产生，使得人类最终成为有别于其他动物的高等生命，也极大的加速了知识传播的速度，促成了知识传播的“自动化”。一万年前，人类学会了如何种植农作物，从而将自己从终日为食物奔波的痛苦中解救出来，而农业的产生，也促成了食物生产的“自动化”。三千年前，在人类语言和农业生产的大发展中，人类得以有充足的时间思考和创造，这也造就了人类在数学、科学、物理、天文、化学等方面的深度探索和大发展，从而促成了探索的“自动化”。两百年前，人类迎来了工业革命，蒸汽机和其他一些机器的发明，将以前大量需要人工生产的工作由机器来承担，而这形成了生产的“自动化”。80年前，人类迎来了信息革命的大浪潮，一夜之间，大量的工作都由计算机来完成，人类也进入了流程“自动化”时代。而今天，我们迎来了决策“自动化“浪潮，在这次浪潮中，数据分析、人工智能的发展将会成为决定这个时代的关键之钥。

为数据分析、人工智能提供强劲动力

大数据分析，人工智能的发展离不开从海量数据中获取切实可行的洞察以指导企业决策、创造更多价值的能力。这种能力不仅需要强大计算力的硬件的支持，还需要软件优化及开源创新方面的强力支持。而作为全球计算力创新的引领者，英特尔一直以来在数据分析应用和人工智能方面都希望给客户带来最佳的用户体验。英特尔公司软件与服务事业部副总裁，系统技术和优化部门大数据技术总监马子雅表示，目前，英特尔的工作主要集中在三个方面：一是通过硬件的升级和软件优化来推进技术*化。这一点对客户而言非常重要；二是为新兴的需求，比如深度学习提供新兴的解决方案。三是与客户合作，推动创新，为客户解决最新、最复杂的问题，来帮助客户最大化其商业价值。

英特尔公司软件与服务事业部副总裁兼系统技术和优化部门大数据技术总监马子雅

马子雅表示，在硬件方面，英特尔刚刚宣布推出的至强可扩展处理器，可以更快速地运行更复杂的数据分析应用，人工智能程序，为混合云提供了更好的基础架构，从而提升了企业关键应用程序的可靠性。新的至强可扩展处理器，同上一代服务器处理器相比，大数据工作负载的基本性能可以提升2.7倍，而相比于3年前未经优化的服务器系统，英特尔至强可扩展处理器结合可加快交付人工智能服务的软件优化，可实现113倍性能的提升。

在软件方面，英特尔与Cloudera合作，对Hbase非堆存储的读操作进行优化，使Hbase的性能得到了5.6倍的提升，帮助阿里巴巴在“双11”期间的HBase吞吐量提升了30%，与此同时却没有增加任何硬件成本，只是通过软件优化来实现。同样通过和Cloudera合作，英特尔将MKL应用到客户的Spark机器学习的工作负载中，从而将MKL的性能提升了4.3倍。

为企业用户降低深度学习门槛

为了降低企业用户使用深度学习进行数据分析和构建人工智能应用的门槛，英特尔还开源了基于 Apache Spark 的分布式深度学习框架BigDL，为整个数据分析和机器学习过程提供了比现有框架更加统一和集成化的体验，进一步帮助用户减少端到端的学习延迟，实现总体拥有成本的降低。

马子雅介绍，BigDL是基于Apache Spark的基础上构建的分布式深度学习的框架，它将以往的深度学习框架同Spark结合，优势主要集中在：

第一，BigDL的深度学习功能是与已有的深度学习框架功能Caffe、Torch、TensorFlow等是完全一致的，因此，它的深度学习的功能是非常丰富的；

第二，BigDL能够与Apache Spark、Hadoop分布式数据库无缝结合，并直接在Spark、Hadoop平台之上应用。

第三，BigDL能够非常自然地利用Spark的可扩展性做到数据并行，所以它的可扩展性极佳，可以非常方便和有效的在一个Spark集群上进行扩展。

第四，BigDL可以节省很多成本，因为用户可以利用BigDL在已有的集群上直接生成深度学习应用，而无需再去构建一个新的集群。

第五，在性能方面，通过英特尔优化过的MKL以及多线程优化方法，BigDL的性能，尤其是在至强服务器之上的性能非常强劲。

关于BigDL的深度解析，****已经有过报道，请点击这里查看。

与合作伙伴共赢

然而，推动数据分析和人工智能的发展，绝不是任何一家公司单独就可以完成的，因此，英特尔非常愿意同合作伙伴一起，共同推动数据分析和人工智能发展，与Cloudera的紧密合作就是一个证明，联合创始人兼首席技术官Amr Awadallah表示：“作为数据管理软件与服务提供商，在数据分析解决方案的构建中，我们一直与英特尔有着紧密的合作。希望借助双方在硬件创新、软件优化、行业洞察等多个方面的整合优势，持续地为企业数据分析、人工智能等提供性能最好、最稳定安全的应用环境。”

Cloudera联合创始人兼首席技术官Amr Awadallah

除了像与Cloudera，以及银联等终端客户进行合作，英特尔也非常重视和一些其他合作伙伴进行合作，到目前为止，微软、亚马逊，阿里巴巴都已经成为了BigDL的用户。例如，亚马逊将整个BigDL引入到他们的EMR平台之上， Cloudera最近刚刚发布了Data Science Workbench这款产品也已经把BigDL集成其中，而DataBricks，Cray也已经把BigDL整合到了他们的最新产品之中，这些都是英特尔非常重量级的全球合作伙伴，而这也能够从一个侧面说明，BigDL是一个多么成功的项目，同时，也说明BigDL确实能够帮助用户实现价值。英特尔也希望继续扩大与同行和客户的合作，最终服务于社会，服务于英特尔的客户及合作伙伴。

马子雅最后表示：“未来，我们还将持续创新、着力构建广泛的生态环境，与Cloudera等生态合作伙伴建立更深入的合作关系，共同推动多元应用的开发，从而帮助企业实现业务上的变革和创新，驱动未来数据分析与人工智能的进一步发展。”