热点：保隆李威：打造自动驾驶汽车的眼睛和耳朵

2月20-21日，2019年世界第二届自动驾驶论坛在武汉举行，这次论坛以智能驾驶改变未来为主题。 上海保隆汽车科技股份有限公司汽车电子总监李威发表主题演讲，演讲复印件如下。

上海保隆汽车科技股份有限公司汽车电子总监李威

我今天的主题是用机器的视角感知世界，为什么有这样的主题？ 其实现在很多车的传感器，视觉和雷达，都是基于仿生制造的，虽然仿生机器人最重要的主体是人类自己，但车是非常特殊的主体。 所以首先，我们必须从车本身的角度来看待这个世界，而不是把人代入这个世界，所以我们将来设计的各种传感器和其他零部件都应该符合车本身的优点。

那么车的优点是什么呢？

车上有很多和我们人类不一样的东西。 其中最重要的是体积。 我能想象现在的车的体积是人的数倍。 第二个是速度。 我们的步行速度很慢，你骑自行车也是每小时十几二三十公里，但我知道车如果是德国最快的话，没有限速就可以几百公里。 另一个是距离。 正因为速度快，所以说距离大。 大家可以想象你的速度加快了。 那么你对距离的认识必须更远。 我们的目视距离即使是晴天，在高速公路上看远处的东西也很模糊，但车经常需要更远的距离。 对人来说，我们的眼睛越来越适应太阳，我们生活在地球上，所以我们的眼睛是为了适应太阳而存在的。 我们在晚上的时候，除非有点特殊，比如有些色盲知道对晚上的灵敏度很高。 除此之外，我们晚上的可视距离很短，我们毕竟不是狼等生物，晚上有非常好的视觉。

车不是。 汽车要求24小时在公路上行驶。 白天和晚上都是。 所以，今天建立自动驾驶系统，建立感知系统，要求他只在白天行驶，在晚上或极端情况下我们不要求是不现实的。

在此基础上，我们从仿生学的角度来看，车其实有两个优点。 第一，有猎豹的速度。 而且那不是冲刺的速度，而是有长期跑的猎豹的速度。 二是有大象的体积，所以需要看得更远。 你可以想象像车一样的东西，自然界没有正确的目标，自然界找不到像车一样的动物。 想想大象以猎豹的速度奔走是什么可怕的情况。

所以在此基础上，当我们为车适应整个感知系统时，他一定会发现和以前传来的不一样。 举个简单的例子，我知道我们现在的很多视觉系统是以每秒30帧定义整个频率的。 为什么是30帧呢？ 有适合人类速度的基本优点。 我们最初定义30帧的是人眼，我们的眼睛没有看到这个画面闪烁。

我发现今天很多车的传感器都是30帧每秒决定的，但发现了很多不习惯的地方。 所以现在有很多60帧/秒和更高的传感器。 我非常赞同一点车的传感器不能以人为起点。 一定有很多冗馀。 三层、感知层、决策层、执行层和感知层上，目前最重要的几个传感器是毫米波雷达、激光雷达和照相机，热图像晚上可以看到很远，与照相机原理不同。 刚才上面有几个红点，红色的部分都做好了。 还有全线产品。

第二，车的优势不同。 除了速度和体积，环境要求特别高，有很高的温度要求。 我有从陆地到水面的要求。 我们不能要求只在晴朗的日子行驶。 下雨天，下雪天行驶。 我们的传感器都露出来了。 所有暴露在外部的传感器必须具有很高的防污性，所以这也是另一点。 我们把车和手机不像。 很多人会问我。 我们手机的照相机已经是1000万像素了。 那么，你车的像素是多少？ 我可以坦率地说。 现在在汽车规则水平上还是一百万水平。 我们现在最好的相机已经达到了2300万像素。 没有再贵了。 为什么不能再贵一点？ 不是因为技术达不到，而是因为可靠性，车一定对可靠性有很高的要求。

这是汽车的另一个优点，要求各方面的监测。 我们能看到人的眼睛向前看。 我们的耳朵面向两边。 我们不是没有死角的监测。 超出视野范围时，扭头向后看。 车是巨大的。 我刚才是大象。 大象不容易转身。 所以，车的要求需要360度死角的监测。

这是我们做的雷达。 这是我们做的77ghz雷达。 另一个优点是分辨率的要求。 汽车雷达更像蝙蝠的耳朵而不是人耳。 蝙蝠的耳朵需要很高的分辨率。 现在77ghz雷达的分辨率不高，但实际上在未来图像雷达的区别很高。

这是我们汽车电子快速发展方向的评价。 第一，我们认为感知层和执行级的未来一定要合作，越来越融合，我们有一种感觉，即随着对计算能力的要求越来越高，计算能力一定会分层。 我们不能把所有的计算能力都集中在决策水平上。 一定是计算能力的一部分被分配到感知水平。 第二，每一点的感知水平都必须很好地识别包括各种环境在内的许多杂七杂八的消息。 整车的性能提高对传感器的要求更高，我说的整车的性能是推进自动驾驶，所以我们对整车的性能要求更高。

这个传感器被称为dvs，是非常特殊的传感器，是我们保隆最近和国内的高科技芯片公司一起开发的产品。 你今天为什么要谈论这样的传感器？ 这个传感器符合我刚才提到的定义，所以我想和雷达和照相机不同，可能是另一个照相机。 其最大的优点不是车架这样以前传达的概念，而是流动这个概念，符合车的优点。 汽车最大的好处是速度，这样的传感器可以响应非常快，高速动态。 某学术上的名称叫事驱动，这件事变化就输出图像，不变化就不输出图像。 这样的优点是，这种传感器的输出响应速度最高时可以达到纳秒量级。 大家不要把它和高速相机混合在一起。 这样的新技术在越来越多的时候由事情驱动。 那个各像素我们可以理解为开关。 世界光线变化时，开关打开并外出，具有非常好的实时性和对这件事的反应能力。 所以，那是连续高速解决的。

正因为能够解决动态物体，所以对于以前传递的视觉来说，即使只做一点计算，也必须计算整个图像，消耗大量的计算能力。 计算能力是一个非常棘手的问题，但由于这样的传感器会对事物产生动态变化，所以前端基于动态视觉提取roi，减少了你的图像解决区域，大大提高了解决时间。 其次，因为那是事物的驱动，所以不需要积累那个像素点的光强度，我们以前传送的照相机都需要积累一定的光强度并输出，不需要积累光强度。 还有一个有趣的优点。 因为它是基于事物的，它自然输出物体的运动矢量新闻，所以它可以自然地评价这个物体的运动方向。 路上有很多家人走的时候，以前传来的照相机重叠，你可以想象你分不清，但如果基于现在的新技术，预测各个运动方向，对于各个物体的运动有一个输出，所以它很自然。

最后，该时间可以达到纳秒水平，也可以设定为微秒水平。 以前被报道过，也可以输出一点灰度值。 我们能看到打电话的身体。 这个身体的动作幅度非常小，可以看到他的轮廓不断输出。 从上图几乎看不到这个身体在动。 这个身体几乎没有动。 有非常微小的动作。 我们的事情是驱动照相机捕捉并输出这个非常微小的动作。 所以，他的轮廓在不断变化。

最后很有趣。 是光流。 就像我刚才说的，你可以测试物体的运动方向。 吸烟的烟是由无数的小粒子组成的。 我们可以这样理解。。 这个身体吸烟时烟里有不同的颜色。 这个不同的颜色是其速度、矢量、矢量不同引起的速度。 即使是烟这样的小物体，我们也可以用动态驱动的照相机抓住其整体特征。

我们看到这两个个体横向从里面出来。 这是我们现在自动驾驶的软肋。 现在相机、雷达和激光雷达都有致命的问题。 我们对横向物体的灵敏度不够。 我们自动驾驶在中国最大的bug是电动自行车。 今天如果电动自行车以很高的速度横向行驶，我可以坦率地告诉你所有的自动驾驶车都可以挂了。 这时，没有一辆自动驾驶车能很好地反应旁边出现的电动自行车。 这是由其物理特征决定的。

我们的这台照相机对运动物体有很好的输出，如果有什么东西横着放的话，很快就能拉出来，很快就能输出。 上和下，上是制造某种国际有名的单用途相机的公司的输出，下是我们的输出。 我能看到他没拉。 我们拉得很好。 我们也用雷达测试了。 雷达也没有反应。 在这种情况下我们现在知道的反应只有这个动态视觉照相机。

这是一个非常有趣的例子。 这是晚上。 这是以前传来的照相机。 我们点灰度解决后，那里会输出高动态相机。 即使在晚上，周边物体的轮廓也能非常清晰地输出。 它具有非常强的光适应能力，其动态范围非常宽。 我们应该测试了大约120个以上的db。 应该是130db左右。 这个值还在测定中，但还没有结论。

为什么今天要告诉大家这样的dvs相机？ 第一，确实是因为博龙现在正在开发这样比较先进的照相机。 我们有以前传达的东西，我们也在开发这样先进的照相机。 其次，现在的自动驾驶再往后走一点，我们除了以前传来的东西，其实还在陆续出现新的技术。 这些新技术都是更好地埋下一辆像车一样飞的大象的感知层，它会越来越安全。 所以，如果你是公司的话，我想你会做感知层。 你不能说我只说一两个。 你一定可以把这些感知层的东西都分类为优势，打造不同的产品线，在未来的市场上具有竞争力。

所以整个男爵的目标是做车的眼睛和耳朵。 所以我们致力于成为汽车的眼睛和耳朵。 这是我们现在的产品线。 刚才的dvs是我们还在开发的，我们现在和国内的几家车厂进行了一点协商，预计今年下半年在国内很多自动驾驶车上都能看到。

这是我们的算法，这是我们的双眼。 刚才也说两只眼睛好还是单眼好，其实现在还没有结论。 很多人说单眼很好。 很多人说不好。 我们单凭眼睛有我们的系统。 我们双眼都有我们的系统，但这边感知层上的所有算法都是保隆自己开发的

顺便说一下，关于双眼的问题，很多时候我们都有双眼好还是单眼好的问题，其实其中以距离为8厘米或10厘米的基准来测量双眼是大前提，我们来考虑一下为什么要设定8厘米或10厘米。 这里面有两个要素。 第一要素还是把人类比，用我们人眼的瞳孔距离。 第二点，想象一下车是飞的大象，它双目的距离到底有多合适。 一定不是八。 我强调，如果你在车里做双目，一定要用大的双目距离，一定不要做小的双目距离。 大的双目距离其实更大的考验不是算法上的，而是结构、材料的变形，在这些材料学上，如何弥补这些材料学误差给双眼带来的天然差异，是很大的优点。

这是我们的雷达，基本上我们的雷达都是自己开发的，从天线到前端算法都是自己开发的，我们现在的雷达是2t4r，3t4r，我们也做了4t12r，我们的目标是到2021年 如果我们有实际意义上的图像雷达协助的话。 在感知层已经达到了速度和分辨率的统一，这时我们进行了图像和雷达的融合，整个世界都不一样。 也许我们真的能真实地反映实际的三维世界。 这是我们的目标。 当我们实际反映实际的三维世界时，当我们能够向车厂提供更详细的感知层新闻时，在感知层，我们已经做好了准备。

这是我们雷达的技术特征。 顺便说一下，如果我们要这样做，我们就要建立整个系统。 我们也建立了判断整个系统是否有效的判断系统。

为了判断我们宣传的产品线和产品线，我们建立了软件工具链。 基于软件工具链实际确定我们的相机、雷达在实际场景中的应用是否符合标准

最后总的来说，鲍龙的构想是以让更多人从汽车科学技术的迅速发展中获益为目的的，因此我们从头到尾都沿着这条路前进。 而且，在自动驾驶和adas上，我们总是focus在感知层行业。 我想让感知层变得更好，为越来越多的oem提供更好的感知层产品。 我们的目标是成为汽车的眼睛和耳朵。 谢谢你。