普渡大学的研究人员正在利用其正在申请专利的方法来推进机器人技术和自主领域的发展，该方法可改进传统的机器视觉和感知。

埃尔莫尔家族电气与计算机工程学院电气与计算机工程副教授 Zubin Jacob和研究科学家 Fanglin Bao 开发了 HADAR(热辅助检测和测距)。 他们的研究成果登上了 7 月 26 日同行评审期刊《自然》的封面。 YouTube 上提供了 有关 HADAR 的视频。《自然》杂志还发布了一个播客节目 ，其中包括对雅各布的采访。

(资料图)

Jacob 表示，预计到 2030 年，十分之一的车辆将实现自动化，并且将有 2000 万个机器人助手为人们提供服务。

雅各布说：“这些智能体中的每一个都将通过先进的传感器收集有关其周围场景的信息，以便在无需人工干预的情况下做出决策。” “然而，众多特工同时感知场景基本上是令人望而却步的。”

传统的主动传感器(例如 LiDAR、光探测和测距、雷达和声纳)发射信号，然后接收信号以收集有关场景的 3D 信息。这些方法的缺点随着规模的扩大而增加，包括信号干扰和对人眼安全的风险。相比之下，基于阳光或其他照明源工作的摄像机具有优势，但夜间、雾或雨等弱光条件却存在严重障碍。

传统的热成像是一种完全被动的传感方法，收集来自场景中所有物体的不可见热辐射。它可以感知黑暗、恶劣天气和太阳眩光。但雅各布表示，根本性的挑战阻碍了它今天的使用。

“物体及其环境不断发射和散射热辐射，导致无纹理的图像，即众所周知的‘重影效应’，”鲍说。“人脸的热图像仅显示轮廓和一些温度对比;没有任何特征，让人感觉就像见了鬼一样。这种信息、纹理和特征的丢失是利用热辐射进行机器感知的障碍。”

HADAR 结合了热物理、红外成像和机器学习，为完全被动和物理感知的机器感知铺平了道路。

“我们的工作建立了热感知的信息理论基础，以表明漆黑的环境所携带的信息量与光天化日之下的信息量相同。进化使人类对白天产生了偏见。机器对未来的感知将克服这种长期存在的白天和黑夜的二分法，”雅各布说。

Bao 表示：“HADAR 生动地从杂乱的热信号中恢复纹理，并准确地解开场景中所有物体的温度、发射率和纹理(TeX)。它能透过黑暗看到纹理和深度，就像在白天一样，还能感知 RGB、红、绿、蓝、可见成像或传统热传感之外的物理属性。令人惊奇的是，我们能够像光天化日一样透过漆黑的黑暗看东西。”

该团队使用越野夜间场景测试了 HADAR TeX 视觉。

“HADAR TeX 视觉恢复了纹理并克服了重影效应，”Bao 说。“除了草地的细节之外，它还恢复了水波纹、树皮皱纹和涵洞等精细纹理。”

HADAR 的其他改进包括提高硬件尺寸和数据收集速度。

“当前的传感器又大又重，因为 HADAR 算法需要多种颜色的不可见红外辐射，”Bao 说。“为了将其应用于自动驾驶汽车或机器人，我们需要减小尺寸和价格，同时提高摄像头的速度。当前的传感器大约需要一秒钟才能创建一张图像，但对于自动驾驶汽车，我们需要大约 30 到 60 赫兹的帧速率，或每秒帧数。”

HADAR TeX Vision 的最初应用是在复杂环境中与人类交互的自动车辆和机器人。该技术可以进一步开发用于农业、国防、地球科学、医疗保健和野生动物监测应用。