模拟城市图像帮助人工智能了解真实街景
人工智能和深度学习的最新进展已经彻底改变了许多行业，并且可能很快也将有助于重建您的社区。给定景观图像，深度学习模型的分析可以帮助城市景观设计师可视化重建计划，从而改善景观或防止代价高昂的错误。
然而，为了实现这一目标，模型必须能够正确识别和分类给定图像中的每个元素。由于缺乏合适的训练数据，这一步骤(称为实例分割)对于机器来说仍然具有挑战性。尽管收集城市图像相对容易，但生成“基本事实”(即告诉模型其分割是否正确的标签)需要对每个图像进行艰苦的分割(通常是手动进行)。
现在，为了解决这个问题，大阪大学的研究人员开发了一种使用计算机模拟来训练这些需要大量数据的模型的方法。首先，使用真实的 3D 城市模型来生成分割地面实况。然后，图像到图像模型从地面真实图像生成照片级真实感图像。结果是一个类似于实际城市的真实图像数据集，配有精确生成的地面实况标签，不需要手动分割。
“合成数据以前曾被用于深度学习，”主要作者 Takuya Kikuchi 说。“但大多数景观系统都依赖于现有城市的 3D 模型，而这些模型仍然很难构建。我们还模拟城市结构，但我们的方式仍然可以为现实世界中的模型生成有效的训练数据。”
在程序生成现实城市的 3D 模型后，使用游戏引擎创建城市的分割图像。最后，生成对抗网络(一种使用博弈论学习如何生成逼真图像的神经网络)经过训练，可将形状图像转换为具有真实城市纹理的图像。该图像到图像模型创建相应的街道-查看图像。
“这消除了对真实建筑物数据集的需求，这些数据集不公开。此外，即使多个单独的物体在图像中重叠，也可以分开。”通讯作者 Tomohiro Fukuda 解释道。“但最重要的是，这种方法节省了人力以及与之相关的成本，同时仍然生成良好的训练数据。”
为了证明这一点，一种称为“基于掩模区域的卷积神经网络”的分割模型在模拟数据上进行了训练，另一个模型则在真实数据上进行了训练。尽管生成数据集的时间减少了 98%，但这些模型在大型、不同建筑物的实例上表现相似。
研究人员计划看看图像到图像模型的改进是否可以提高更多条件下的性能。目前，这种方法只需极少的工作量即可生成大量数据。研究人员的成就将解决当前和即将到来的训练数据短缺问题，降低与数据集准备相关的成本，并有助于开创深度学习辅助城市景观的新时代
版权声明：本文由用户上传，如有侵权请联系删除！