作者：陈康成
引言
随着汽车智能化程度的提升，汽车的智能化功能、娱乐属性等成为主机厂打造差异化的重点方向。车载摄像头作为汽车的 「眼睛」，是打造智能驾驶和智能座舱必备的视觉感知传感器。
车载摄像头的应用趋势
从辅助驾驶到无人驾驶，车载摄像头的应用需求从成像镜头向感知镜头转变，使用场景由单一场景向多方位场景拓展，应用数量由单摄向多摄迈进。总之，未来车载摄像头的使用数量会持续增长，摄像头的分辨率越来越高。
单车搭载摄像头数量逐渐增加
在低速泊车应用上，从最早只有一个倒车后视摄像头，后来发展到 4~5 个环视摄像头；行车辅助应用上，从最开始 1 个前视单目摄像头，发展到后来的前视三目、四目以及侧视和后视共计 7~8 行车辅助摄像头，甚至有些车内还配置有驾驶员监控摄像头和乘客监控摄像头等。
受功能需求和法规政策驱动，以及摄像头硬件成本的降低的影响，一个 L2 + 级别的智能化汽车配备 11 个以上的摄像头将会是很普遍的现象。
1）功能需求驱动
汽车智能化对车辆自身安全、行人安全以及驾驶员监控等主动安全提出了更高的要求；摄像头作为最为最重要的车载传感器，可以发挥如下作用：
车外环境监控：a. 辅助或代替驾驶员感知外部环境，比如车道偏离预警、交通标志识别、行人 / 骑自行车人 - AEB 等。b. 代替内 / 外后视镜提供图像给驾驶员，随着法规的推进，摄像头将会取代传统的内 / 外后视镜去 「监控」 后方和侧后方的环境状况。
车内环境监控：驾驶员监控系统 DMS 延伸到乘员监控系统 OMS，其监测范围从驾驶员扩大到整个座舱内的物体检测，比如车内儿童遗忘监测、座舱异常情况监测等。
2）法规政策驱动
汽车智能化的升级推动汽车安全技术标准也相应地提升，欧盟的 E-NCAP、美国的 IIHS 以及中国的 C-NCAP 评价测试中不断扩充主动安全技术的性能测试，包括以前视摄像头为主传感器所实现的 AEB、FCW 和 LDW 等驾驶辅助功能和基于舱内摄像头实现的驾驶员监测和乘员监测等功能。
AEB 强制标配法规
主要国家和地区政府已经拟定时间表全面标配 AEB，并且政策的覆盖范围从商用车领域逐步扩展到乘用车领域。
电子外后视镜法规
欧盟和日本先后于 2016、2017 年放开对电子外后视镜的法规限制，汽车电子外后视镜率先在这两个地区获得发展。
我国尚不允许电子外后视镜代替传统后视镜，但 2020 年 6 月，工信部发布《机动车辆间接视野装置性能和安装要求》征询意见搞，为国内电子外后视镜市场的应用吃下了一颗 「定心丸」。
DMS 驾驶员监控相关法规
欧盟 E-NCAP 发布的最新 2025 路线图，要求从 2022 年 7 月开始，所有新车都必须配备 DMS。在中国，全国性的商用车 DMS 系统强制安装法规已经在调研立项之中，最快有望在今年底出台。
3）摄像头硬件简化，成本降低
系统控制集中化架构驱动硬件简化，摄像头也逐渐被重新定义为 「只采集、不计算」 的轻量化传感器设备。传统摄像头方案需实现图像采集 & 视觉处理两大功能，但在整车 E/E 架构进化趋势下，ECU 由分布式演变为集中式，算力向中央集中的同时，包括摄像头在内的传感器硬件得以简化，视觉计算处理模块也会向 「中央大脑」 转移，摄像头将只用于 「图像采集」。
摄像头的硬件构成变得更加简单，CIS、镜头成为最核心部件，摄像头的硬件成本大幅降低。有业内人士提出：「120 万像素的摄像头平均在 150 元，500 万像素摄像头价格大概在 300 元左右，800 万像素摄像头价格大概在 500 元左右。」
摄像头分辨率越来越高
随着自动驾驶级别的提升，对摄像头的要求也越来越高；车载摄像头最开始的应用是倒车辅助和行车记录，主要是把摄像头拍摄的图像和视频供人察看，几十万像素的分辨率也基本可以满足要求。随着功能和应用场景的扩展，摄像头应用重点转移到了在驾驶过程中辅助系统进行周围环境感知。
系统对摄像头的分辨率要求越来越高，从最开始 30 万像素升级到 100 多万像素，又发展到现在的 200 万像素，并且随着技术的进一步提升以及市场需求的推动，未来的高级别自动驾驶车辆中都在规划应用 800 万级别的高清像素摄像头，用于对更远距离的目标进行识别和监测。
车企是否应用 800 万像素摄像头，成本肯定是一方面，另一方面还要看车企是否具备相配套的技术能力。某车企自动驾驶负责人曾说过：「堆砌硬件会给人一种错误的认知，认为传感器越多自动驾驶的能力就越高，但如果测试和算法跟不上，硬件堆砌再多也没用。」
如果每个摄像头都达到 800 万像素，计算平台处理数据的难度也在增大，整体系统成本必然也会增加。因此不能单看摄像头的成本，还需要从整个系统的角度去看。同时，车载摄像头并不是像手机那样拼像素的能力，还需具备与高分辨率摄像头配套的算法能力。
如果没有与高分辨率摄像头的相匹配的算法和测试能力，那无疑于 「小马拉大车」。虽然采用了一个较高的配置，但是性能提升却有限。这种情况下，高分辨率摄像头的性能依然是无法充分发挥出来的。那样的话，800 万像素摄像头便成了一个 「花瓶」，只是吸引用户的噱头而已。
虽然整体上来讲，算法和测试能力也许还未能跟得上摄像头技术发展的步伐。但是高分辨率摄像头这个未来的应用趋势是毋庸置疑的，它是技术和市场 「双轮驱动」 的必然结果。
800 万像素摄像头应用
在今年的上海车展上一些 OEM 宣布了 800 万像素摄像头的搭载计划，同时一些供应商也在其自动驾驶感知解决方案中采用了 800 万像素摄像头作为前视应用场景中的主要传感器。
车企应用
1）2021 款理想 ONE
全球首个量产应用 800 万像素摄像头的车型，前置摄像头由原来的单目 130 万像素升级到 800 万像素，水平视场角由原来的 52° 扩展到 120°，对车辆和行人的最远有效探测距离由 150 m 左右提升到 200 m 以上。
在控制决策芯片上，2021 款理想 ONE 辅助驾驶芯片已经从 EyeQ4 换成了地平线征程 3，算力由原来的 2.5 TOPS 提升至 10 TOPS。
2）蔚来 ET7
蔚来 ET7 计划于 2022 年第 1 季度上市，该车搭载了 11 个 8MP 摄像头，其中包括 7 个行车辅助摄像头（4 个前向 + 3 个后向）和 4 个环视摄像头。其中行车辅助摄像头的供应商为联创电子，环视摄像的供应商为德赛西威。
在控制芯片上，蔚来 ET7 采用自研的超算平台 - NIO Adam，它包括 2 颗主控芯片、1 颗冗余备份芯片、1 颗群体智能与个性训练专用芯片共计 4 颗英伟达 Orin 芯片构成，算力共计 1016 TOPS。
3）极氪 001
极氪 001 搭载的鹰眼视觉融合感知系统（Falcon Eye Vidar）配置有 15 颗高清摄像头，其中 7 颗 8MP 长距离高清摄像头、4 个短距环视高清摄像头、2 个车内监测摄像头、1 个车外监测摄像头和 1 个后置流媒体摄像头。在控制芯片上采用 2 颗 Mobileye EyeQ5 芯片，芯片算力接近 50 TOPS。
自动驾驶系统方案提供商应用
1）大疆
2021 年上海车展，大疆车载的 D130 和 D130 + 自动驾驶解决方案均采用了 800 万像素的前视双目摄像前视头。
a. 感知解决方案：激光雷达（前置）*1 + 前置毫米波雷达 * 1 + 角雷达 * 4 + 前视（8 MP 双目 - 两个摄像头参数规格完全相同）+ 环视 * 4 + 后视 * 1（2 MP）+ DMS 监控摄像头 * 1
b. 智能驾驶中央域控制器（算力可达 100 TOPS）
D130/D130+ 自动驾驶系统解决方案（图片来源：大疆宣传资料）
2）地平线
2021 年上海车展，地平线发布了自动驾驶解决方案 Matrix Mono 和 Matrix Pilot。
—— Matrix Mono 采用 800 万像素单目摄像头，控制器采用地平线征程 3，实现 L2 级自动驾驶功能。
—— Matrix Pilot 采用 6 颗摄像头：1 颗前置 800 万像素单目摄像头，120° 水平视场角；另外 5 颗摄像头为 200 万像素，100° 水平视场角，分别位于车身左右两侧及后侧，用于探测车辆斜前方，斜后方及后方的交通状况。控制器采用地平线征程 3，实现 L2 + 级自动驾驶功能。
800 万像素摄像头与算力、算法以及数据的关系
随着 800 万像素摄像头在 2021 款理想 One 上首次量产应用，800 万像素摄像头的议论热潮再次兴起。有一个话题大家普遍很关注，那就是 800 万像素摄像头与算力、算法以及数据之间的关系，例如：如果用 800 万像素摄像头代替之前低分辨率摄像头，需要多大算力的芯片的支持？原来的算法是否需要重写？采用低像素摄像头积累的数据，现在是否能还能复用？
800 万像素摄像头与算力
摄像头算力需求跟哪些因素有关？对于车辆配置 1 个或多个 800 万像素摄像头，大致需要多大的算力支持，这个是否有计算公式可以评估？摄像头对计算平台算力的需求，不仅跟摄像头自身的性能参数有关，比如摄像头的位数、分辨率、帧率等，同时也与摄像头的应用场景以及采用的算法模型有很大关系。如果算法固定，识别同样的东西，肯定是摄像头的分辨率越高，需要的算力越大；但是，从总体来讲，摄像头的应用场景和所采用的算法模型和算法策略对算力的影响是更大的。
针对此问题，笔者专门请教过德赛西威副总裁李乐乐，他的看法是：
「摄像头分辨率越高，需要的数据存储量肯定越大，计算能力需求也会更大。但是多大的分辨率对应多大的算力，是没有直接对应关系的，也是不太好直接用公式去衡量。」
「比如现在新势力规划的车型，摄像头的配置基本差不多，但是计算平台的算力差别却很大，这是为什么呢？首先，因为他们的算法模型可能本身就不太一样；其次，系统对算力的需求是持续提升的，硬件的算力资源需要提前预留好，他们对算力资源的预留程度层面的考虑也是不同的。」
「同时，跟具体的应用场景也有很大关系，以前视为例，基于同样分辨率的摄像头，如果其应用场景仅限于识别车辆、行人、车道线这三类目标，其对算力的需求相对来说是一个轻量级的。」
「若其应用场景需要系统识别的目标更多、探测的距离更远、识别的精度更高，不但要识别上述三类目标，还要识别红绿灯、限速牌、路标、路杆、多车道车道线等。障碍物的区分不仅包括车辆、行人，还包含了骑自行车人和骑三轮车人，甚至还增加非标准目标进行检测，这样的应用场景对算力的需求肯定是更大量级的。」
800 万像素摄像头与算法
如果用 800 万像素摄像头代替之前低分辨率摄像头，原来的算法是否需要重写？大部分专业人士给出的答案是：不需要完全重写，部分可用，部分需要重写。至于需要重写的部分占多大比例，是没有一个明确答案的，因为不同 OEM 有着不同的开发现状和开发计划。
其中一位专业人士告诉笔者：「使用高分辨率摄像头后，其实在算法方面并不需要完全重写，但深度学习的模型需要重新训练，原有的数据积累可以作为预训练使用，不过仍需采集新的高像素数据一起使用。」
针对此问题，德赛西威的李乐乐这样表示的：「算法模型是不是一定要调整，一方面跟摄像头有关，另外也跟控制器的 SoC 也有很大的关系。」
「对于支持 100 万像素摄像头的控制器，其大概率是比较低等级的，计算能力是偏弱的，应用场景也比较简单，比如车道线检测，或者是用于简单的目标识别加雷达融合做 ACC 和 AEB。这些应用场景的大部分算法可能还是基于计算机视觉的一些模式识别算法，也许都还没有用到神经网络。」
「对于简单的应用场景和传统的算法，通过 ARM 处理器就可以完成，甚至都不需要通过加速器来做，即使是 AEB，随着 NCAP 标准的升级，摄像头分辨率和角度需要更大才能进一步支持，处理器也就需要更强的性能，算法对应也是需要进一步升级，算法的策略和工程化的积累虽然可以继承，但也不能完全照搬，也需要同步升级。」
「而现在 800 万像素摄像头所采用域控制器的 SoC 算力肯定会更强，多采用基于 AI 的算法，并且算法模型的复杂度也会更高。对于这种情况，原来的算法大多是不能复用的，能复用的主要是策略方面的算法。」
也就是说，若是前后两代系统采用的控制器芯片 SoC 类型相同，并且原来采用的就是当前流行的神经网络模型和深度学习算法，那么摄像头升级到 800 万后，原来的算法模型大多可以复用，但往往算法的进步也非常快，一代产品的算法有一代产品算法的局限性，通常也要跟着芯片的升级而升级。
比如小鹏的 Xpilot3.5 系统，前视采用三个 200 万像素摄像头，主控芯片采用英伟达的 Xavier 来驱动的。下一代控制器 SoC 要升级到英伟达的 Orin X 芯片，其提供的算力更高，摄像头也要升级到 800 万像素，因为两代 SoC 的类型相同，上一代的算法模型这一代基本是可以复用，但也一定会升级和更加复杂以提高其综合性能。
800 万像素摄像头与数据
自动驾驶的算法模块，尤其是感知和预测模块，基本都是数据驱动，可见数据对算法迭代的重要性。那么之前通过低分辨率采集的数据，摄像头升级为 800 万像素，在算法模型训练的时候是否可用呢？
答案是可以的。800 万像素摄像头可以通过之前的数据去训练算法模型来继承原来的一些能力，比如检测的准确率和误检率。但是 800 万像素摄像头探测的距离更远了，需重新采集之前所没有的数据，去应对新的场景，去拓宽自己的性能边界。
以特斯拉为例，即便这些年通过影子模式已经积累了大量的场景数据，若是换成 800 万像素摄像头，通过之前的数据能够继承 200 万像素摄像头的一些基础性能，但仍会有大量场景数据依然还是需要再重新采集的，用于不断地去迭代算法模型，进而无限地逼近 800 万像素摄像头的最佳性能效果。
关于 800 万像素摄像头的其它几点思考
800 万像素摄像头未来的主要应用场景有哪些？
800 万像素车载摄像头未来应用场景包括：周视（前视、侧视、后视）、环视、电子后视镜摄像头以及舱内摄像头等；其中前视以及舱内摄像头是在不久的将来最有可能规模化推广应用的主要场景。
对于前视场景，它是对高分辨率摄像头最迫切的一个应用场景，因为前视需要解决的场景最多，目标识别任务最复杂。其应用场景既需要有较高的图像分辨率能够识别更远距离的小目标物体，也需要有一定范围的视场角以便于及时对切入到本车道的目标做出反应。
对于侧视和后视场景，它们的探测距离没有前视探测要求的那么远，摄像头的目标识别任务相对简单。主要探测目标就是侧方车道和本车道的移动目标，不需要识别红绿灯、路标等任务。目前 200~500 万像素摄像头完全可满足侧 / 后视的应用需求；综合考虑成本和性能，短期内来看，侧 / 后视对 800 万像素摄像头的需求反而并没有那么迫切。
对于舱内视觉应用场景，一些传统 OEM 为了提升其豪华和科技感，其豪华品牌会在舱内配置高分辨率彩色的摄像头（800 万像素摄像头），用于满足舱内的娱乐和办公需求，比如自拍，开视频电话会议等。
对于电子后视镜应用场景，目前主流还是 200 万像素的，但是未来是需要 800 万像素摄像头的。电子后视镜对摄像头的帧率是有需求的，至少需要达到 90 帧。从长期来看，电子后视镜和侧后视的摄像头是有共用趋势的。
对于环视应用场景，摄像头主要是提供图像给人察看，还可用于感知辅助，比如当前车道线的检测，辅助系统完成对车道线的识别和感知。当前应用的鱼眼摄像头分辨率主要分布在 100 万像素 - 200 万像素之间，其中 100 万像素左右的鱼眼摄像头已经规模化应用，200 万像素的环视才刚刚逐渐开始量产应用。
800 万像素摄像头相比 100~200 万像素摄像头，它具备哪些性能优势？摄像头分辨率上的提升是否会对其他性能参数带来影响？
能够具备在更远探测距离的同时，还可以具备较大的视场角。以前视摄像头为例，100~200 万像素摄像头有效探测距离在 100~150 m 的时候，视场角却只有 50° 左右，但是 800 万像素摄像头，却可以在实现 200~250 m 探测距离的同时，还可拥有 120° 左右的视场角。
同时，高分辨率摄像头还具备更高的动态范围（HDR）和 更优的 LED 频闪消除功能（LFM）。
同等条件下，摄像头分辨率越高，其单像素尺寸就会越小，这样的话，在低照度下的光电转换效率就会低一些，从而影响在光照不足时摄像头的表现。高分辨率摄像头好处在于能够看得更远，更清晰，但是其夜间感知效果相对会差一些。因此系统在选择摄像头的时候不能一味地去追求高像素，需要做一个平衡。
在 800 万像素摄像头的应用上，国外传统 OEM 相比造车新势力处于一个相对比较保守的状态，为什么会出现这样一种现象？
首先，开发流程和方法理念是不太一样的；国内造车新势力，对于新产品和新技术的应用相对来说是比较激进一些的，采用快速迭代的方法，在技术和产品还没有完全成熟之前就已经开始应用。然而对于国外的传统主机厂，他们对开发流程的要求相对来说是比较高的，导致开发周期就比较长。
其次，国外的传统 OEM 目前主要还是以与 Mobileye 合作为主。在算法上，大部分 OEM 还是依赖 Mobileye 的算法。如果换成一家和算法解耦的芯片公司，比如像英伟达的大算力平台，或者其他更高算力的计算平台，还需要相应算法能力的支持， 但是目前欧洲缺少这样的算法公司去做这些事情。如果 OEM 要采用高分辨率的做多摄像头方案，若没有高算力的计算平台和与之相匹配的算法能力，单纯的去使用高分辨率摄像头也是没有意义的。。
