自主飞行，无人机需要了解它们在环境中的感知并根据该信息做出决策。卡内基梅隆大学（Carnegie Mellon）研究人员开发的一种新颖方法使无人机可以分别学习知觉和动作。两阶段方法克服了“模拟与现实之间的差距”，并创建了一种将完全在模拟数据上训练的无人机安全地部署到实际课程导航中的方法。

“即使在最好的真实感模拟数据上训练的无人机通常也会在现实世界中失败，因为灯光、颜色和纹理仍然太不同而无法转换，”计算机科学学院机器人研究所的博士生Rogerio Bonatti说。

有助于训练无人机感知力的第一种方式是图像。研究人员使用照片般逼真的模拟器创建了一个环境，其中包括无人机，足球场和从地面举起并随机放置以创建轨道的红色正方形门。然后，他们从成千上万个随机生成的无人机和登机口构造中建立了一个庞大的模拟图像数据集。感知所需的第二种方式是知道门在空间中的位置和方向，研究人员使用模拟图像数据集完成了这些操作。

使用多种模式教授模型可以强化对无人机体验的可靠表述，这意味着它可以通过从模拟到现实的转换方式来理解领域和大门的本质。将图像压缩为较少的像素有助于此过程。从低维表示中学习可以使模型查看现实世界中的视觉噪声并识别门。

了解到感知后，研究人员可以在模拟中部署无人机，以便它可以了解其控制策略-或如何进行物理移动。在这种情况下，它将学习在导航路线并遇到每个闸门时要应用的速度。因为它是一个模拟环境，所以程序可以在部署之前计算出无人机的最佳轨迹。这种方法提供了优于使用专家操作员进行手动监督学习的优势，因为现实世界中的学习可能是危险、耗时且昂贵的。

无人机通过研究人员指示的培训步骤来学习导航课程。博纳蒂说，他挑战无人机在现实世界中需要的具体敏捷性和方向。“我使无人机以不同的轨迹形状向左和向右旋转，这会随着我增加更多的噪音而变得越来越困难。机器人并没有学会通过任何特定的轨迹来重新创建。相反，通过策略性地指导模拟无人机，学习自主运动的所有元素和类型，”Bonatti说。

Bonatti希望推动当前的技术来接近人类解释环境线索的能力。“到目前为止，无人驾驶赛车的大部分工作都集中在设计一个系统，该系统以速度为唯一目标，并配备了额外的传感器和软件。取而代之的是，我们旨在创造一种受人脑功能启发的计算结构，通过潜在的表示将视觉信息映射到正确的控制动作。”

但是，无人驾驶赛车只是这种学习的一种可能性。分离感知和控制的方法可以应用于人工智能的许多不同任务，例如驾驶或烹饪。尽管此模型依靠图像和位置来教授感知，但是其他方式（例如声音和形状）也可以用于识别汽车，野生动物或物体等工作。