*作者：安霸孙鲁毅
在【首届焉知智车年会】上，安霸上海软件研发高级总监孙鲁毅以「高性能低功耗人工智能芯片在汽车自动驾驶和智能座舱中的应用」为主题，介绍了视觉感知在 ADAS（高级辅助驾驶系统）、自动驾驶和智能座舱应用中的作用和市场情况，分享了安霸半导体的相应解决方案。
注：文末附 2021 年上海车展安霸展品的介绍视频，欢迎点击观看。
自动驾驶和智能座舱离不开视觉感知
孙鲁毅表示，现代汽车要实现故障识别、自动驾驶等感知的 AI 功能，主流和接地气的产品都在使用摄像头，甚至是多个摄像头，这是一个趋势。他说：「我们不排除各种雷达，包括激光、毫米波、超声波等都能起到很好的作用，现在很流行的是摄像头为主要传感器，其他是辅助传感器。」
他介绍说，从百度阿波罗架构的多层感知框架可以看到，其自动驾驶采用比较经典和权威的开源基础框架。都是对摄像头进来的图像（尤其是交通灯、车道线检测）进行处理和计算，而激光雷达毫和毫米波雷达都无能为力。在目标检测分类方面，目前大部分雷达做的并不好，其作用是深度检测和不需要特别辨识的物体检测，作用是发现障碍物。
视觉感知超越人眼
在多种传感器融合方面，视觉感知起到了非常重要的作用，这是摄像头的核心价值。安霸致力于研发自动驾驶中的视觉感知器最相关的芯片。
他以特斯拉为例解释说，Model 3 代表了具备一定程度辅助驾驶或自动驾驶汽车概念的典型设计。在两三年前，为了实现辅助驾驶和自动驾驶，需要有非常多的摄像头，有的负责近距离，有的负责远距离，而且要覆盖不同角度，不同摄像头之间的视角还要有叠加，目的是看到各个方位的目标物体，并以适当的冗余来提高可靠性。
传统摄像头可部分取代人眼，随着视觉感知和光电技术的进步，现在的摄像头不仅可以比人眼看得更清楚，能够看可见光，还能看可热成像光。现在，视觉感知器已经在某种程度上超越了人眼看到的范围。随着技术的发展，将来一定会有更多图像传感器加入视觉处理单元以取代人眼。
相同模组的感知质量大相径庭
我们知道，摄像头模组的大体构造非常相似，前面有镜头，后面有 ISP（图像信号处理），经过 ISP 后，相同模组产生的的图像质量是不是都一样呢？有时候会有较大差距。
不一样的原因有很多，例如从采用安霸方案的行车记录仪中抓出来的一张夜间图，它把暗部显示得比较清楚的同时，高亮的目标比如对面车大灯的强光又不容易出现光晕。这个看似简单，但你会发现，对于相同场景中，采用其他方案的很多行车记录仪的图像质量不能达到这个效果。
要达到这个效果有一个重要条件：需要 HDR（高动态范围）。在中午阳光照射的情况下，靠着一面墙的人背后会非常亮，面前非常暗，这非常像汽车从桥下开过或进出隧道时的场景。基于传统视觉感知摄像头的系统看到的是一片白，或者是一片黑。在碰见阳光时，视觉感知器就看不见人了。
如果要解决这个问题，就要采用高动态范围技术。传统摄像头内置 ISP 的效果与安霸 SoC 自带的 ISP 和图像处理算法得到的效果大相径庭。后者不仅暗处看得更加清楚，就连高亮部分细节一样能更好地保留，这是安霸图像处理的优势之一。
除了「眼睛」，还需要很强的「大脑」
孙鲁毅认为：「好的视觉感知除了要有很好的「眼睛」，还需要很强的「大脑」。自动驾驶和智能座舱应用很难想象要跑多少算法，所以要根据客户的要求增加新的功能，不能用一种算法取代未来的需求，要兼容各种算法。」
安霸 AI 加速引擎设计方向是通用策略，有助于各厂商基于神经网络的算法很好运行，并且算法能够移植，根据需求进行调整。安霸的工具不仅方便，容易使用，还可以实现网络优化。
「我们和其他厂商的做法不太一样，客户如果需要帮助，我们可以帮他进行网络优化。如果客户觉得自己能力特别强，不想告诉我们任何细节，他们完全可以自己做，」他说。
安霸公司拥有 7、8 年车规芯片研发和量产的丰富经验，上海研发中心主要针对中国自动驾驶市场，不仅是研发中心，也是客户支持中心，同时支持包括美国、欧洲在内的项目。
「在中国市场上，像智能座舱的一些项目，Tier1 和主机厂都在与我们紧密合作。新车型的功能定义一般来自主机厂，Tier1 一般是在需求出现时跟主芯片供应商沟通，确定方案是否合适，如何进行设计，」他补充说。
核心技术涵盖图像处理、视频编码、视觉AI算法
据孙鲁毅介绍，截止到 2018 年，采用安霸芯片的高清摄像机累计出货量已超过几亿台。
2017 年安霸率先推出前端 AI 加速芯片 CV1，2018 年推出 CV2x 系列芯片，均已量产，包括汽车前装项目量产。CV 系列芯片全部采用 10 纳米制程，符合车规标准。
今年年初，安霸发布了采用最先进 5 纳米制程和 A76 架构的 CV5 AI 视觉处理器，适用于视频安防，运动相机、无人机和多路行车记录仪等产品，支持 8 K 视频实时录制。
安霸的几项核心技术分别是图像处理、视频编码、视觉 AI 算法：
图像处理：安霸从 2005 年开始就有了自己的 ISP 芯片，有多年的开发和经验积累，通过根据客户需求的反复改进，到现在已经有非常多的迭代。新一代 ISP 具有非常强的性能，最近几年又针对汽车应用进行了特别优化。
2017 年，安霸推出了第一款 CVflow 计算机视觉 SoC 芯片 CV1。它采用独立AI硬件单元进行有效深度学习加速，功耗低。后面推出的 CV2x 系列芯片更为成熟，CV2x 系列芯片已经赋能几百万台量产产品的前端AI计算。
在中国市场，量产汽车前端项目目前已经有几十万台采用 CVflow 引擎。最新产品是 CV25 摄像系统 SoC，它将先进图像处理、高分辨率视频编码和 CVflow 计算机视觉处理相结合，采用极低功耗设计。
CVflow 架构为下一代经济实惠的智能家居监控、专业监控和售后市场汽车解决方案提供了所需的深度神经网络（DNN）处理，应用包括高级驾驶辅助系统（ADAS），驾驶员监控系统（DMS），乘员监控系统（OMS）和带盲区监测的电子后视镜（CMS），泊车辅助系统（APA）等。
视频编码：最近几年，在行车记录仪高清视频采集方面，安霸芯片的 H.264 和 H.265 编码能力变得非常重要。之前高清视频采集和录制的作用是记录一次性事故，在事故发生后再查找事故发生的原因，然后作为追究责任的依据。
最近几年，高清视频采集开始有了多种用途，其中有一种很重要的用途是人们之前都没有想到的，就是用来收集各种罕见案例，将它作为自动驾驶更加丰富的数据。
视觉 AI 算法：AI 时代的算法是怎么来的？是靠大量有效数据喂起来的，只有提供各种各样的数据，才能有足够好的场景覆盖率，训练算法才可以达到更高的准确度，而数据要靠客户自己用相同的设备采集。
所以，安霸的 AI 视觉芯片的深度学习引擎 CVflow 为客户提供了算法的运行环境，安霸芯片的视频录制引擎还帮客户建立视频和图片数据采集系统。由此客户能够把这些数据收集起来，用于训练，随后通过 OTA 升级改进算法，进一步提升 ADAS 的能力。
安霸芯片能力如何？
孙鲁毅还详细介绍了安霸 ISP 芯片、计算机视觉芯片、AI 加速器的性能优势。
ISP 芯片：安霸 ISP 支持市面上所有 CMOS 传感器，其市场定位决定了其支持汽车行业标准和各主流厂家的 CMOS 传感器，并且支持 RGB-IR 等新的传感器类型。它具有高宽带和 4Kp60 的总处理能力，能够支持时分处理、多传感器输入同步。该芯片采用专业降噪算法和宽动态处理算法，可以实现清晰、准确的色彩以及细节丰富的图像。
ISP 内建了非常先进的可编程硬件，利用一套系统软件和算法库及图像调试参数，图像专家可以根据客户项目的反馈，帮助客户改善图像质量。
现在，好几家主流 CMOS 厂商都有 RGB-IR 传感器，但在实践中把包含 RGB-IR 的系统做到量产并不容易，目前汽车行业智能座舱领域采用 RGB-IR 的系统中，被量产证明良好图像质量的只有安霸的方案。
究其原因，除了色彩准确等基本要求外，安霸 RGB-IR 模式还有两个高级功能，一是可以让 RGB-IR 和 HDR 同时工作，二是专利技术是可以同时使用 OMS（乘员监控系统）的 RGB-IR 摄像头和智能座舱 DMS（驾驶员监控系统）的摄像头，两个功能互不干扰，看上去很简单，实际实现并不容易。
因为这两个功能的照明条件不同，OMS 的灯是常亮的，而 DMS 一般是用周期性闪烁的灯。目前业內只有安霸解决了两者之间的干扰问题，并申请了专利。
视觉芯片：CV25、CV22、CV2 计算机视觉芯片是专门为前端视觉打造的三颗芯片，现在都已实现量产。最先量产的是安防监控市场，目前在汽车市场也已量产。三个芯片硬件架构高度一致，只是规格有所差别，代号数字越小性能越强。
客户不管采用哪个芯片开发系统，将来要提升性能或降低成本，都可以选用同一个系列的其他芯片实现。几个芯片都支持多路图像传感器输入，包含高性能神经网络处理器和多路编码，还可以实现系统功能安全。
AI 加速器：虽然采用堆叠多核处理的 AI 加速器可能在测试中有很高的最大性能，但在实际应用中，可能碰到一部分核非常忙，而一部分核非常闲，这种情况下系统并没有发挥多核的高性能，也就是并行化程度不够。
还有一个问题，在计算数据时，由于成本要求，简单多核系统的大部分 GPU 和 ASP 架构计算的结果都需要回传，下一次计算时还要重新取出来，所以反复存储提升了功耗，增加了延迟，很多时候内部核其实不是很忙，而是在等待。
安霸通过 CVflow 解决了这些问题，能够低功耗运行，主要方法在于使用了专门针对于深度学习加速的硬件设计，减少了不必要的内存吞吐，并开发出支持智能量化数据类型等优化方法。
CVflow 工具可以深度学习训练框架，当客户导入神经网络时，在量化、转化、验证过程中，就可以得到结果。虽然各家都有类似的方法，但安霸这套工具从最初量产到现在已有三年时间，经过反复迭代支持市面上绝大部分主流神经网络。用这套方案研发的系统不仅具有高性能，功耗还非常低，运行采用 800 万像素的图像输入的深入学习算法时 CV22 的功耗小于 2W。
通过与友商号称 30 TOPS 的主流 X 平台的对比可以发现，CV2 是目前市场上量产的几个芯片中性能最强的芯片。在同样输入的情况下，跑完相同的神经网络，12 TOPS 的 CV2 是 17 毫秒，友商是 19 毫秒。12 TOPS 是客户从 CV2 实际能得到的性能。
CV5 是今年推出的一个全新平台，采用5纳米制程，而原先 CV2x 系列是 10 纳米制程。CV5 平台可用一颗芯片支持 14 路图像传感器输入，ISP 性能高达 50Mpixel 每秒，一个芯片可以做超过 16 个 1080 P 同时编码，且这个芯片有高速接口 USB3.2 的传输速度，其 AI 引擎性能也非常强。
如何走向量产？
孙鲁毅还谈到了量产问题，他说：「我们的经验是，在设计系统时，首先要采用合理的硬件架构，考虑要用分立的控制器还是整合的控制器，并没有特别的答案，要针对系统需求考虑。
在做智能座舱时，有人考虑将 DMS 加到车机里，算了一下算力好像可以，加了以后发现其他功能有卡顿，实际性能不足，而 DRAM 有时候又不够。因此，在实际设计时，要考虑将来的一些功能是不是有扩展性，不仅是看眼前。」
他指出，在软件开发过程中，要针对软件开发需求进行分析、设计与审查，现在很多公司审查环节都是缺失，不是做的不够，而是根本没有。单元测试和集成测试也必不可少，很多团队单元测试基本不做。这些问题导致实际做出来的东西可能又复杂又慢，最后发布时没办法量产，只能抓一帮人天天加班解决问题。
他认为，正确的方法是从一开始就想好怎么做，怎么落地，要有很多细节。最后是配置管理，绝大部分公司的配置管理没有达到专业软件公司应该达到的级别。
例如有助于系统安全提升的单元模块设计的互相独立、互不影响原则。他建议要采用必要的抽象层，在软件设计时尽可能采用通用的设计化原则，比如 Unix Style。
「另外，开发和测试要同步进行，从最小单元验证开始功能，快速迭代，开发人员要互相审查，企业内部要有一个公开、开放、敢于挑战权威的氛围，只有这样，才能早点发现问题，早点解决问题，最终做到量产，」他强调说。
最后是进行充分测试，包括实车测试。综合测试是在多个功能共同工作时发现系统负荷高、复杂度高带来的问题，还有进行长期运行、额外加强测试、主动注入错误情况下的可靠性问题。
孙鲁毅说：「安霸从最开始设计产品规格时就考虑设计的裕量和多种功能叠加的效果，比如内存总带宽占用。如果单项功能独立运行时能达到指标，系统加起来不能达到，就没办法给客户交货。」
对于视觉感知系统，要尝试各种可能的测试场景，包括不同光照度、道路、环境和天气。目前国内部分企业还没有可重复实验自动测试系统，不能临时找两个人测一测，需要逐渐创建自己的测试系统和算法，对一些案例反复进行测试。
最后一项是实车测试，这也是很多企业没有做到的常规事情，比如一个系统跑挂了，有个人说找到一个解决方案，可现在没问题了，测一测确实没问题。这个并不算解决。为什么？你有没有把问题的本质原因解释清楚。测不出来不等于解决，很有可能只是这个问题变得更难测出来，这是极度危险的。
产品品质的高标准
孙鲁毅最后表示：汽车行业有其特殊要求，有些测试要求系统跑 7 × 24 小时，持续不停，要达到这样的标准，只有进行高于产品发布的测试，高于客户的要求，把问题提前想到。这就是从本质上找到每个问题的原因，从设计上避免失效的发生。
也正是因为遵循产品品质的高标准，2019 年安霸获得了博世全球优秀供应商荣誉，从其 4.3 万个供应商中脱颖而出，这也是安霸与博世合作十多年后才得到的殊荣。
2021 上海车展安霸产品
