【自动驾驶】如何利用深度学习搭建一个最简单的无人驾驶系统
新智驾按:本文为新智驾独家专栏,作者系佐思产研研究总监周彦武,新智驾经授权发布。
国内最牛的无人驾驶厂家的运算平台是这样的:
一个英特尔至强 E5 的 CPU,拥有 12 内核,30MB 的二级缓存,运算能力为 400GOPS/s,功率消耗为 400 瓦(应该是第一代至强 E5,目前 E5 最高功率消耗都不超过 180 瓦),八个英伟达的 K80 GPU,每一个 K80 的运算能力为 8TOPS/s,通过 PCI-E 连接,每一个 K80 的功率消耗为 300 瓦,合计是 2800 瓦的功率,取得 64.4 TOPS/s 的运算能力。
和 Waymo 的车一样,需要一个备份系统,当然这个备份系统处于待机状态,功耗可能不到 500 瓦,但是为了有足够的冗余,同时还要考虑到传感器的功率消耗(传感器功率一般都很低,即便是 Velodyne 的 HDL-64E,典型功耗仅 60 瓦),整体系统的功率设计为 5000 瓦,原车的电源系统当然不行,需要一个发电机,或者双电瓶设计。这一套系统价格大约 3 万美元。
这样的设计只能用于 Demo,量产自然不能是这样。
FPGA、CPU 与 GPU
未来量产的无人驾驶运算平台可能会是什么样的?
可能是这样的:未来汽车运算平台架构是一片 CPU 或者说 SoC, 对应大部分控制和运算量不大但逻辑关联比较多的运算,一片 FPGA 或 GPU 做加速,对应运算量很大,但内部几乎没有逻辑关联的运算,例如车辆识别算法,行人识别算法,车道线识别算法。
再加一片安全控制 MCU,通常是英飞凌的 Aurix 系列 MCU,使整体系统达到 ASIL D 级安全等级。即便是这样的系统,其功耗最少也在 500 瓦以上。
以英特尔的 Go 最为典型(如上图),Waymo 用 FCA 改造的无人车很有可能使用了类似的运算平台。
上图为英伟达 Drive PX2
PX2 与英特尔 Go 基本上如出一辙,只不过用 GPU 取代了 FPGA。FPGA 作为一种高性能、低功耗的可编程芯片,可以根据客户定制来做针对性的算法设计。
所以在处理海量数据的时候,FPGA 相比于 CPU 和 GPU,优势在于:FPGA 计算效率更高,FPGA 更接近 I/O。FPGA 不采用指令和软件,是软硬件合一的器件。
对 FPGA 进行编程要使用硬件描述语言,硬件描述语言描述的逻辑可以直接被编译为晶体管电路的组合。所以 FPGA 实际上直接用晶体管电路实现用户的算法,没有通过指令系统的翻译。
FPGA 是由查找表(LUT)和触发器来构成,LUT 的物理结构就相当于一个 SRAM,运行状态就像 ROM,通过输入的值决定输出的值。假设在 FPGA 中要实现一个 2 输入的与门,那么该与门的输入输出对应关系为:
既然有了此对应逻辑关系,那么在 SRAM 对应的地址中只需存储相应的输出数值,而输入数值作为地址来查表即可得到正确的输出值即可。
当输入地址为 0,0 时,输出 0 地址里存储的值 0,当输入地址为 0,1 时,输出 1 地址里存储的值 0,当输入地址为 1,0 时,输出 2 地址里存储的值 0,当输入地址为 1,1 时,输出 3 地址里存储的值 1。
某种意义上讲,FPGA 是不计算的,它只是个存储器,对逻辑组合电路,先预先存储不同输入对应的输出组合,然后根据输入数据,选择对应的输出。这就决定了 FPGA 拥有无论伦比的速度和低功耗。但是 FPGA 没有 CPU 和 GPU 的取指令和指令译码能力,这就注定无法单独使用,通常会加一个 ARM 内核的 CPU 来处理比较简单的指令,这样的 FPGA 叫 SoC FPGA。
这样一来,FPGA 的适用面广了,但是性能肯定要下降。尽管如此,还是比 CPU 和 GPU 的效率要高不少。
GPU 是 GPU 把晶体管更多用于计算单元,而不像 CPU 用于数据 Cache 和流程控制器。这样的设计是因为并行计算时每个数据单元执行相同程序,不需要繁琐的流程控制而更需要高计算能力,因此也不需要大的 cache 容量。
GPU 中一个逻辑控制单元对应多个计算单元,同时要想计算单元充分并行起来,逻辑控制必然不会太复杂,太复杂的逻辑控制无法发挥计算单元的并行度,例如过多的 if…else if…else if… 分支计算就无法提高计算单元的并行度,所以在 GPU 中逻辑控制单元也就不需要能够快速处理复杂控制。
所以 GPU 适合空间域的数据处理,数据之间缺乏时间顺序上的逻辑关联,数据的独立性强,图像是最适合 GPU 处理的,FPGA 并不占优势,而视频之间的语义关联则不适合 GPU,比如行人过马路这个视频,要根据前后视频关联来分析行人是要停下来还是加速通过,这种深度学习应用,FPGA 比 GPU 更合适。
而行人识别,车道线识别,GPU 更适合。同理,语音识别也是如此,要知道上下文语义关联,FPGA 就比 GPU 更合适。
也就是说, FPGA 更适合 RNN 和 LSTM,GPU 更适合 CNN。LSTM 可以看成 RNN 的变种,比 RNN 多了 memory cell 和 forget gate,语音信号又是一种上下文相关的长时相关性时序信号,所以 LSTM 做语音识别精读最高。微软 IBM 阿里采用的都是 LSTM。
LTSM 与无人驾驶
LSTM 和无人车有什么联系?这就是目前最火的深度学习与无人车的结合。传统的无人车使用大量的传感器和栅格法来做环境感知和决策,这种方法成本太高了。
于是就有人想出了利用深度学习来学习人类驾驶习惯的方法,只用一个不到 10 美元的消费级摄像头做传感器,用深度学习代替栅格法,这就是百度所说的 Road Hackers。
Road Hackers 是百度的自动驾驶开放平台,是可在真实道路上实现端到端模式的高级自动驾驶模型。
Road Hackers 平台首期将开放 1 万公里自动驾驶训练数据,并已具备提供海量中国路情驾驶数据开放,基于深度学习的自动驾驶算法演示,以及自动驾驶算法 Benchmark 评比等能力。
CES Asia 上的路测车辆采用 Road Hackers 平台技术,集成有全国首例基于单摄像头的端到端深度学习自动驾驶解决方案。
红色的线代表方向盘转向的角度。绿色的线代表用算法预测出的司机对方向盘的转动。从红绿两条线的趋势可以看出,收敛的趋势越来越明显。以前只是用了 CNN 的算法,造成对横向控制(体现在方向盘转动角度)的预测越来越好,但对纵向控制(体现在加减速)的预测做得不好。LSTM 就派上用场。
与百度类似,George Hotz 创办的 Comma.ai 也使用了类似的方法,并且在 2016 年 8 月公布了源代码,人人都可以下载研究。
简单解释一下 LSTM 的工作原理。LSTM 区别于 RNN 的地方,主要就在于它在算法中加入了一个判断信息有用与否的」处理器「,这个处理器作用的结构被称为 cell。
LSTM,所谓长短期记忆网络,就是来区分哪些记忆要归位长期记忆,哪些记忆只需要短期储存。
(LSTM 的内部处理器和三重门)
一个 cell 当中被放置了三扇门,分别叫做输入门、遗忘门和输出门。一个信息进入 LSTM 的网络当中,可以根据规则来判断是否有用。只有符合算法认证的信息才会留下,不符的信息则通过遗忘门被遗忘。说起来无非就是一进二出的工作原理,却可以在反复运算下解决神经网络中长期存在的大问题。
目前已经证明,LSTM 是解决长序依赖问题的有效技术,并且这种技术的普适性非常高,导致带来的可能性变化非常多。各研究者根据 LSTM 纷纷提出了自己的变量版本,这就让 LSTM 可以处理千变万化的垂直问题。这就像人类的学习过程,不断地重复正确的选择,直到形成牢固的记忆。
而 FPGA 实质上就是一种特殊的记忆体,所以 LSTM 更适合用 FPGA 来实现。
当然,这种只靠一个摄像头的无人驾驶显然极不靠谱。
首先,光线对摄像头影响太大,光线的变化是不可控的,是随机的,永远不会完全一致,这对本来就是黑盒的深度学习来说是个灾难。
其次,目前大多是基于单目的深度学习,单目在目标距离判断上是靠像素大小来估测的,无法得到深度信息,距离估测的准确性很低,尤其在高低起伏的路面,例如重庆和贵阳的道路或立交桥,单目所估测的距离可能 50% 都是错误的。
再次,摄像头的 FOV 与探测距离之间是矛盾的,FOV 越窄,距离就越远,但是车辆周围就会出现盲区,这是很容易出事故的,FOV 越宽,距离就越近,同时超过 70 度的广角会出现失真。即使三目摄像头也无法完全解决问题。
最后,低照度情况下肯定不能用。不过这是一种低成本的尝试,仍然值得赞扬。这种方法可以做 L2 或 L3 级的无人驾驶。【完】
人工智能赛博物理操作系统
AI-CPS OS
“人工智能赛博物理操作系统”(新一代技术+商业操作系统“AI-CPS
OS”:云计算+大数据+物联网+区块链+人工智能)分支用来的今天,企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中,利用AI-CPS
OS形成数字化+智能化力量,实现行业的重新布局、企业的重新构建和自我的焕然新生。
AI-CPS OS的真正价值并不来自构成技术或功能,而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化,这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合,没有颠覆现状的意愿,这些将不可能实现。
领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量,领导者必须在行业、企业与个人这三个层面都保持领先地位:
-
重新行业布局:你的世界观要怎样改变才算足够?你必须对行业典范进行怎样的反思?
-
重新构建企业:你的企业需要做出什么样的变化?你准备如何重新定义你的公司?
-
重新打造自己:你需要成为怎样的人?要重塑自己并在数字化+智能化时代保有领先地位,你必须如何去做?
AI-CPS OS是数字化智能化创新平台,设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端,可以帮助企业将创新成果融入自身业务体系,实现各个前沿技术在云端的优势协同。AI-CPS OS形成的数字化+智能化力量与行业、企业及个人三个层面的交叉,形成了领导力模式,使数字化融入到领导者所在企业与领导方式的核心位置:
-
精细:这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切,进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。
-
智能:模型随着时间(数据)的变化而变化,整个系统就具备了智能(自学习)的能力。
-
高效:企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力,这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。
-
不确定性:数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验,其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域:技术、文化、制度。
-
边界模糊:数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化,还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。
AI-CPS
OS形成的数字化+智能化力量通过三个方式激发经济增长:
-
创造虚拟劳动力,承担需要适应性和敏捷性的复杂任务,即“智能自动化”,以区别于传统的自动化解决方案;
-
对现有劳动力和实物资产进行有利的补充和提升,提高资本效率;
-
人工智能的普及,将推动多行业的相关创新,开辟崭新的经济增长空间。
给决策制定者和商业领袖的建议:
-
超越自动化,开启新创新模式:利用具有自主学习和自我控制能力的动态机器智能,为企业创造新商机;
-
迎接新一代信息技术,迎接人工智能:无缝整合人类智慧与机器智能,重新
评估未来的知识和技能类型;
-
制定道德规范:切实为人工智能生态系统制定道德准则,并在智能机器的开
发过程中确定更加明晰的标准和最佳实践;
-
重视再分配效应:对人工智能可能带来的冲击做好准备,制定战略帮助面临
较高失业风险的人群;
-
开发数字化+智能化企业所需新能力:员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说,创造兼具包容性和多样性的文化也非常重要。
子曰:“君子和而不同,小人同而不和。” 《论语·子路》云计算、大数据、物联网、区块链和 人工智能,像君子一般融合,一起体现科技就是生产力。
如果说上一次哥伦布地理大发现,拓展的是人类的物理空间。那么这一次地理大发现,拓展的就是人们的数字空间。在数学空间,建立新的商业文明,从而发现新的创富模式,为人类社会带来新的财富空间。云计算,大数据、物联网和区块链,是进入这个数字空间的船,而人工智能就是那船上的帆,哥伦布之帆!
新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力,将进一步释放历次科技革命和产业变革积蓄的巨大能量,并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节,形成从宏观到微观各领域的智能化新需求,催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革,深刻改变人类生产生活方式和思维模式,实现社会生产力的整体跃升。
产业智能官 AI-CPS
用“人工智能赛博物理操作系统”(新一代技术+商业操作系统“AI-CPS OS”:云计算+大数据+物联网+区块链+人工智能),在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能;实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。
长按上方二维码关注微信公众号: AI-CPS,更多信息回复:
新技术:“云计算”、“大数据”、“物联网”、“区块链”、“人工智能”;新产业:“智能制造”、“智能农业”、“智能金融”、“智能零售”、“智能城市”、“智能驾驶”;新模式:“财富空间”、“特色小镇”、“赛博物理”、“供应链金融”。
点击“阅读原文”,访问AI-CPS OS官网
本文系“产业智能官”(公众号ID:AI-CPS)收集整理,转载请注明出处!
版权声明:由产业智能官(公众号ID:AI-CPS)推荐的文章,除非确实无法确认,我们都会注明作者和来源。部分文章推送时未能与原作者取得联系。若涉及版权问题,烦请原作者联系我们,与您共同协商解决。联系、投稿邮箱:[email protected]