Day Vision

Reading Everyday,Extending Vision

人工智能的奥秘:从Pytorch加入Linux基金会谈深度学习框架龙虎斗

2022-09-16 07:11:07


引言2022年9月12日,开源深度学习框架Pytorch官宣加入Linux Foundation。


引言


2022年9月12日,开源深度学习框架Pytorch官宣加入Linux Foundation。作为业界领先的开源深度学习框架,其一举一动都会引发关注。本文分享的主题就是深度学习框架 — 人工智能领域核心的研发工具 — 的龙争虎斗。

Image

Pytorch宣布加入Linux Foundation

图片来自网络


Linux Foundation


Linux Foundation成立于2000年,主要目标为支持Linux创始人Linus Torvalds​确保Linux持续免费和技术领先。经过二十多年的发展,加入其中的知名项目除了操作系统Linux、3D引擎O3DF、容器K8S、区块链HyperLedger Fabric等。开源社区从最初的理想主义已经成长为和商业巨头并驾齐驱,成为IT技术发展的重要推动力量。


深度学习框架


深度学习(Deep Learning)是近十年来这一次人工智能浪潮的核心算法。深度学习的算法结构比传统机器学习更加复杂多变,每次都从头开始构建算法效率太低,如何快速复用已有算法。随着深度学习越来越复杂,有很多特定的问题需要处理,例如如何调度多个算力资源(GPU)进行训练。很快 深度学习框架 应运而生,大大提高了深度学习算法的研发效率,而且大部分都是开源免费的。来自加州大学伯克利分校的Caffe,蒙特利里理工学院的Theano、还有本文主角Pytorch的前身Torch,都是这时期被广为使用的经典。


Image

深度学习

图片来自网络


独占鳌头


2015年11月,谷歌大脑开源了深度学习框架 TensorFlow 。早期的深度学习框架主要来自于大学和个人开发者,主要以学术研究为主,Tensorflow是第一个企业级深度学习框架,包括从模型训练、部署、推断等完整流程,编程语言以 Python 为主,而不是C++和Lua等学习成本较高的编程语言,再加上谷歌强大的品牌号召力和大力支持,TensorFlow快速成为了最流行的深度学习框架,特别是在企业界得到广泛应用。


二虎相争


Tensorflow作为谷歌公司的产品,谷歌根据自己的理解增加了很多新的概念和流程,这和之前大家熟悉的方法有很大不同,因此造成了学习成本高、使用繁琐等问题,这也为新的深度学习框架的崛起埋下了伏笔。2017年1月,Facebook人工智能研究院( FAIR )基于Torch推出了PyTorch。Pytorch对Torch的问题进行了改进,例如语言从Lua改为Pytorch,简化了使用流程,推出了“动态图”功能,使得开发者调整模型更加方便,而Tensorflow的“静态图”虽然模型执行效率更高,但开发时很不方便。从这时开始,Facebook和Google两大互联网巨头在人工智能领域开始“神仙打架”,直到最近的大模型。这种竞争也推动了人工智能的快速发展。

Image

Pytorch

图片来自网络


Pytorch由于其易用等特点,从诞生就处于快速发展之中,特别在学术界得到广泛应用,和Tensorflow在企业界形成分庭抗礼之势。到2019年底,两者竞争进入胶着阶段,也给很多AI入门学习者带来“ 我到底要学习哪个框架 ”的灵魂拷问!记着当时我给的建议是两个都要学习。第一,GitHub上的优秀开源项目使用两者都有,都掌握才能更好的借鉴。第二,企业使用两者都有,都掌握才能在职场上更加从容。但仅仅半年之后,随着Pytorch继续风靡学术界,大部分AI顶会论文和开源代码都是Pytorch,这种“二选一”的困惑已经消失, Pytorch已经成为人工智能深度学习框架的首选 !Pytorch简洁的API风格也成为了后来者竞相参考的事实标准。


国产框架的崛起


随着中国人工智能研发实力不断增强和中国对自主知识产权的重视,特别是2018年开始的中美贸易战,都促使国产深度学习框架的兴起。2018年10月百度推出国产开源深度学习框架飞桨(PaddlePaddle),百度CEO李彦宏更是提出五年内为社会培养500万AI人才。

Image

国产框架 - 百度飞桨

图片来自网络


目前国产深度学习框架已经有旷视MegEngine、华为MindSpore、清华Jittor、Oneflow等各具特色的产品,为中国人工智能发展奠定了坚实基础。


幸福的烦恼


深度学习框架的龙争虎斗一方面推动了人工智能的快速发展,另一方面也导致了“幸福的烦恼”。如此多的产品除了给开发者带来“选择困难”,还有框架之间的标准问题。不同框架对模型格式的定义不同,使得模型应用时不得不面临转换的麻烦。 ONNX(Open Neural Network Exchange​)是一种模型表示的开放标准,通过ONNX可以将一种框架的模型导入到另一种框架中,实现工具之间的互通。ONNX已经得到包括Pytorch在内越来越多的框架的支持。


Image

ONNX

图片来自网络


开源精神


Torch中文含义为“火炬”,Pytorch的logo正中就是一个火炬图标。回到本文的开头,Pytorch加入Linux Foundation就是希望从Facebook走向更广泛的社区,使其更好为社区服务。


Image

Pytorch的火炬图标

图片来自网络


开源运动是人类进入高度发达的商业社会的一次深度反思,开源运动几十年的蓬勃发展说明,商业和版权非常重要,但不应该是全部。以微软为例,从视开源为”毒瘤“,再到高呼”爱 Linux“,成为 GitHub 上开源贡献人数最多的组织之一,其拥抱开源的态度、方式、决心也发生了巨大的变化。 开源精神也是人工智能领域最大的特点和推动力 ,论文带有开源代码实现,可以供他人复现和完善已经成为学术界的惯例。

Image

微软加入Linux Foundation

图片来自网络


我们也要看到,中美竞争不断加剧,美国继续展示“高科技霸权”,而人工智能就是焦点,例如最近美国宣布禁止对中国输出高端GPU。我们看到Linux Foundation的治理主体是由来自AMD, Amazon, Google, Meta, Microsoft and NVIDIA等美国公司主导的,中国的话语权很弱,因此 并不排除Linux Foundation对中国采取双重标准的可能性


结论


深度学习框架 是以深度学习为代表的人工智能的重要开发工具,特别是以Pytorch为代表的开源框架快速推动了人工智能的快速发展。在百年变局冲突和分歧加剧之下,在美国科技霸权愈演愈烈之下,在人们担心世界走向封闭之下,希望Pytorch加入Linux Foundation让人类开源开放的科学火炬越来越明亮,祝Pytorch越来越好,祝中国人工智能一帆风顺。





朱利明

2022/9/15