登录

快速注册

中科院计算所陈云霁:深度学习处理器的现状与未来 | 北大AI公开课实录

作者:北大新媒体 时间:2018/03/31 阅读:6016
3月28日,北京大学“人工智能前沿与产业趋势”第五讲。本期主讲嘉宾为中科院计算所研究员陈云霁,他的授课主题为《 […]

3月28日,北京大学“人工智能前沿与产业趋势”第五讲。本期主讲嘉宾为中科院计算所研究员陈云霁,他的授课主题为《深度学习处理器》。

主讲嘉宾

陈云霁,中科院计算所智能处理器研究中心主任。

他14岁就读于中国科大少年班,24岁博士毕业于中科院计算所,29岁起任中科院计算所研究员(正教授)、博导。目前他是中科院计算所智能处理器研究中心主任,中国科学院脑科学卓越中心特聘研究员,以及中国科学院大学岗位教授。他被MIT技术评论评为全球35位杰出青年创新者(2015年度)。

他在包括ISCA、HPCA、MICRO、ASPLOS、ICSE、IJCAI、ISSCC以及8种IEEE/ACM Trans在内的学术会议及期刊上发表论文近一百篇,申请发明专利近一百项。陈云霁获得了中国青年科技奖、首届国家自然科学基金“优秀青年基金”、首届国家万人计划“青年拔尖人才”、中科院青年科学家奖和中国计算机学会青年科学家奖。

以下为陈云霁分享实录整理:

智能应用

展开剩余89%

智能应用包括很多:(知觉、记忆、学习、语言、思维和问题解决等)是人类最主要的日常脑力活动。比如各种平台的智能任务、比如智能手环手表。

计算机应用已成为计算机最主要的负载之一,计算机的使命是将人从日常脑力活动中解放后出来。

智能方法

符号主义:用符号逻辑表达一些东西,目前并不是十分流行

行为主义:行为能力不断增强,并没有很好的实现

连接主义:最主要的智能技术,人工神经网络,人的大脑是由神经细胞组成

生物神经元和人工神经元

这两者有很大的区别:就像老鼠很米老鼠的区别,米老鼠更萌。相比之下人工神经元更简单。

最简单的人工神经网络只有一条神经元,就可以完成有意思的任务,比如分类,分类是在计算机最基础普遍的问题。

很多个神经元可以干什么呢?

深度学习就是多层大规模神经网络,随着深度学习的发展,不再拘泥于生物上的限制。

举个例子:

图像识别,快递上有邮政编码,机器进行扫码,就像mnist。

人脸识别,有特定的光照定语,虽然现在国内还不是很发达,但现在这个差距技术上是可以弥补的。

语音识别,已经发展成为工业化的技术,比如siri、微信里的语音转文字、自动翻译。

谷歌收购deepman,利用框架:深度学习+自动学习 ,让计算机学会打四十多种小游戏,最后在下棋上面,打败了很多顶尖选手、后来也用于其他领域。

为什么需要神经网络处理器

一个原因是神经网络是处理智能处理迄今最好的方法,它借鉴人脑的工作原理,深度学习技术,已经渗透到云服务器和智能手机的方方面面。

另一个原因是通用CPU/GPU处理神经网络效率低下。

谷歌大脑:1.6个CPU核跑7天完成猫脸识别训练

如何从1000亿突触增长到100万亿突触(人脑规模)?:对人的大脑研究照抄,就可以研究出来黄铁军老师的目标,这之后我们需要更好的设备。

专门的神经网络处理器

未来每台计算机都可能需要一个专门的深度学习处理器。

从云端服务到智能手机,这是一个和GPU同样规模的潜在市场:每年6.4亿芯片,数百亿美元销售额。

我们在此领域是领先者。

寒武纪的学术渊源

开创深度学习处理器方向:图片

基于寒武纪的智能手机

华为mate10:有其深度处理器,拍照识别,自动调节光圈,场景识别比如食物卡路里

微软:本地OCR+机器翻译,本地实时中文翻译,比如文献

学术贡献:三大科学问题

传统ASIC(将给定算法硬件化)的思路无法解决深度学习处理的需求

有限规模的硬件vs任意规模的算法

举例:硬件运算单元的时分复用

学术创新:通过时分复用,将有限规模的硬件虚拟成任意大规模的人工神经网络

关键技术

控制架构:支持硬件神经元的动态冲配置和运行时编程

访存架构:分离式的输入神经元、输出神经元和突触的片上存储

结构固定的硬件vs千变万化的算法

深度学习指令集

学术创新:自动化抽取各种深度学习(机器学习)算法共性基本算子,设计首个深度学习指令集来高效处理这些算法

关键技术

算子聚类:自动化抽取算法核心片段,基于数据特性聚为少数几类

运算架构:设计共性神经元架构,支持变精度流水级

设计策略

选择差异化的算法进行加速

分析算法的计算模式和数据局部性

设计合适的加速器结构

能耗受限的硬件vs精度优先的算法

稀疏神经网络处理器结构

学术创新:运用神经网络对于计算误差的容忍能力,进行稀疏化神经网络处理,在有限的能耗下实现高精度的智能处理

学术影响

未来的梦想

将代表性智能算法的处理速度和性能功耗比提高一万倍。帮助我们本地、实时完成各种图像、语音、文本的理解和识别。

更重要的是,具备实施训练的能力之后,可以不间断的通过观察人,社会和自然不断提高能力,成为生活离不开的智能助理。

Q

A

&

雷鸣对话陈云霁

雷鸣:非常感谢,令人震撼,过去没有拿得出手的东西,现在成为学术和国际上的制高点,咱们做这个寒武纪芯片,是通用的芯片嘛?

陈云霁:对,深度学习处理其实是过去做的,产业落地是很重要和关键的事情,芯片成本很高,所以必须要有广的应用面。

雷鸣:预支很高,那以现在寒武纪的进展,咱们的这个东西离通用的地步还有多远?

陈云霁:离大家的生活已经很近了,虽然我们应用面没有GPU那么广,但比如终端华为手机就可以用到,云端这一块,很快大家就可以见到,我们预计今年面向广大群众发售,希望大家期待哈哈。

雷鸣:我对您这个那您这个预计发售的提出两个问题。第一:性价比怎么样?第二:对通用平台的支持怎么样?

陈云霁:第一个我不太了解,因为我是搞研发的,研发只知道花钱,对于市场上怎么卖不晓得。

第二个我可以肯定回答,无缝对接是支持的,同时也提供了一套自己的语言,更低层次的语音。

雷鸣:您看您学术上又有很高的造诣,那整体来讲,中国的芯片产业和美国还有多长的路,还差什么,我们在逐渐追赶的路上,还需要注意哪些?

陈云霁:这是我们的梦想,实现还是有很大难度的。

雷鸣:应该可以实现。

陈云霁:对,比如华为的芯片领域在中国起到了脊梁的作用,电路设计企业,从整体来看,华为肯定是在前列的。即便是华为走在世界前列,也不能说中国的半导体走在前列,必须形成闭环产业,这里有很多方面,所以只能大家一起努力。

雷鸣:我个人保持乐观,从互联网来看,在全球市值排名榜上,前十名有两家中国,也是制造业大国。还有一个问题是你弟弟也是学霸,但现在走向企业家,能分享一下他在学者和创业成功这之间转变的经历嘛?

陈云霁:他的成功还在路上,我们分工明确。在做产业化的,他做公司,我在研究院做技术。从旁观者来说,做生意很累,天天出差。比如说一位老师在没有百分百热情的情况下不要尝试,是很辛苦的一件事,不像我写学术投期刊。最开始现金流是正常发展,但对于一个企业来说,如果有一个阶段不小心踩空,就会是很大的打击,压力很大。建议大家不要干。

雷鸣:确实挑战很大,我也和很多人交流过,很多人尝试了一下就回来了。创业很难,但下不了贼船,真的特别累不想干,但责任很大。

陈云霁:您从投资人和创业人来看,哪儿个更有意思?

雷鸣:这主要来看不一样的人。从个人的来看,刚毕业投资不太现实,年轻人这个路比较远。这两种工作差别很大,中国富豪榜vc几乎没有,虽然投资平均收入极高,但是单个想要高还是必须要搞创业,并且从梦想来说如果你想要干一番大事业,还是走创业。实业家投一段时间就很干着急。因为自己干不来。

雷鸣:最后问一个就是你一直在做学习研究,在座有很多学生,你对大家往后的发展有什么建议呢,或者建议他们去做个芯片公司吗,如果这样应该如何为以后发展做准备?

陈云霁:技术研究角度来说,大家还是要找一个自己非常喜欢很感兴趣的东西,做研究本身是一个蛮痛苦的东西,如果你不能从中得到乐趣的话,本身是很折磨。痛苦永远比快乐多。如果以发表文章为唯一目标的话,虽然太功利但是很痛苦。一定要找一个自己真的想干的事情。找一个自己的初心。如果有一天想创业,我是想要产生更大的影响,更大载体,或许做公司就能更好地承受。有了这个初心你就能更好的走在别人前面,和面对创业的种种烦恼和压力。做自己最喜欢的事情还是很重要的,在选择的时候是内在动力驱动比外在压力是更好的效果,不仅开心而且效果更好。

雷鸣:现在神经网络芯片发展怎么样,在往何处发展,比如仿脑技术。

陈云霁:其实仿脑是潜在智能,我们也在做也做了很长时间,人的大脑有很强的智能,模仿越像效果越好。后来我们慢慢不做,因为我们对人的大脑还不是很了解,所以仿脑就很困难,在精度上和机器学习有很大的差别,没有应用可以落地。比如有一个公司到现在还没有实业化,所以未来十年我们需要对人脑的更了解。

雷鸣:运算的未来,也提到量子计算,运算领域,如何看待量子计算,还有怎么样的发展道路?

陈云霁:我不是这方面的专家但我有很多师弟在做这方面。量子计算目前能够适用的领域还不是那么多,量子的计算很复杂。硬件角度来看,如果你要做一个厉害的大数据分析,需要上百万比特。科学发展未来是怎么样也说不定,二十年后量子怎么样也说不准。通用CPU未来是绝对丢不掉的。

雷鸣:寒武纪过去取得了很多成果,现在走向商业化,请问如何保持学术和商业之间的平衡?

陈云霁:这是个很好的问题。业界保持领先,技术上面领先,唯一方法砸更多的钱。过去领先是因为我们抢跑。现在上百个国外机构在引用我们的文献,一方面开心,一方面担心。沉睡的巨人已经在觉醒。持续领先很难,只要有足够多的人和钱。现在办公司不断融资,就是为了面对对手,有更多资本面对。现在是很好的时代,国家政策、市场、VC、有更多的资源,技术上来说有了一定保障。但学术和技术上面不一样,学术上面就是聪明程度。少数聪明人很专注在学术上就可可以,以后学术领先还是要有前瞻性团队,所以我们在机制上和公司明确切分。



发表回复


copyright © www.scitycase.com all rights reserve.
京ICP备16019547号-5