500万彩票网

EEPW500万彩票网 > 汽车电子 > 新品快递 > Waymo利用AI生成摄像头图像,用于自动驾驶仿真

Waymo利用AI生成摄像头图像,用于自动驾驶仿真

作者:时间:2020-06-15来源:电子产品世界收藏

据外媒报道,日前,表示开发了新方法SurfelGAN,利用汽车收集的传感器数据,通过生成用于仿真的摄像头图像。SurfelGAN使用纹理映射表面元素(surface elements,简称surfel)重建场景和摄像头视角,以获取位置和方向。

本文引用地址:http://www.dzszp.com/article/202006/414229.htm

诸如这样的汽车公司利用仿真环境来训练、测试和验证系统,然后再将系统部署到现实世界的车辆中。设计模拟器有多种方法,但一些基础的模拟器忽略了对于场景理解至关重要的线索,比如行人的手势和闪烁的灯光。而像 CarCraft这样更复杂的模拟器,由于试图对材料进行高度精确的建模,因此需要耗费大量的计算资源,以确保像激光雷达和雷达等传感器在真实世界中可靠地工作。

随着SurfelGAN的推出,Waymo提出了一种更简单的、数据驱动的方法来模拟传感器数据。SurfelGAN从真实世界的激光雷达传感器和摄像头获取数据,创建并保存场景中所有物体的3D几何、语义和外观的丰富信息。然后,再从不同的距离和视角渲染仿真场景,以进行重建。

1592205607614442.png

Waymo发言人称,“在仿真中,当汽车和其他道路使用者的移动轨迹发生变化时,系统会生成真实的视觉传感器数据,帮助我们在新的环境中建模场景。部分系统正在生产中。”

SurfelGAN利用纹理增强表面元素地图的场景表示方法,这是一种紧凑、易于构造的场景表示方法,能够在保留传感器信息的同时保持合理的计算效率。SurfelGAN将激光雷达扫描到的体元(3D空间中定义点的图形信息的单位)转换成表面元素盘(surfel discs),可根据摄像头数据估算颜色,然后对这些元素进行后处理,以处理光线和姿态的变化。

500万彩票网为了处理车辆这类动态物体,SurfelGAN还使用了Waymo Open Dataset中的注释。兴趣物体的激光雷达扫描数据不断积累,以便在仿真中Waymo可以生成汽车和行人的重建。

SurfelGAN中的生成对抗网络(GAN)模块负责将表面元素图像渲染转换成逼真的图像。其生成器模型从使用分布采样的随机噪声中生成合成示例,这些示例连同来自训练数据集的真实示例一起反馈给鉴别器,而鉴别器视图区分这两者。生成器和鉴别器的能力不断提升,直到鉴别器无法区分合成示例和真实示例。

SurfelGAN模块以一种无人监管的方式进行训练,意味着其在没有参考已知、标记或注释结果的情况下推断语料库中的模式。有趣的是,每当鉴别器正确地识别合成示例时,就会告诉生成器如何调整输出,从而更加真实。

Waymo进行了一系列测试来评估SurfelGAN的表现,给它输入了798个训练序列,包括20秒的摄像头数据和激光雷达数据,以及来自Waymo Open Dataset数据集中关于车辆、行人和骑行者的注释。SurfelGAN团队还创建和使用新的数据集Waymo Open Dataset-Novel View,为原始数据中的每一帧创建全新的表面元素图像渲染。

500万彩票网最后,Waymo收集了未注释摄像头图像的额外序列(共9800个,每个100帧),并构建了一个称为双摄像头后数据集(Dual-Camera-Post Dataset,DCP)的语料库,以测量SurfelGAN生成图像的真实度。DCP可处理两辆车同时观察同一场景的情况;Waymo使用来自第一辆车的数据重建场景,并在第二辆车的精确姿态下渲染表面元素图像。

研究人员称,当SurfelGAN生成的图像提供给现成的车辆探测器时,最高质量的合成图像达到了与真实图像相同的标准。SurfelGAN还改进了DCP(双摄像头后数据集)中的表面元素渲染,在一定距离内生成更逼真的图像。此外,研究人员还证明,SurfelGAN生成的图像还将车辆探测器的平均精度从11。9%提高到13%。

Waymo指出SurfelGAN并不完美。例如,它有时无法从损坏的几何图形中恢复,导致车辆看起来不真实。在没有表面元素信息的情况下,表现出了很大的差异。尽管如此,研究人员仍然认为SurfelGAN是未来动态物体建模和视频生成仿真系统的坚实基础。



关键词: AI Waymo 自动驾驶

评论


相关推荐

技术专区

关闭
五分时时彩 500彩票网 江苏快3走势图 小米彩票是真的吗 幸运时时彩平台 澳门最有名彩票网站 河北11选5走势图 亿信彩票官方网站 山东11选5开奖 广西快3走势