研究人员旨在通过增强现实提高可访问性
大型科技公司在增强现实 (AR) 领域的竞争日益激烈。本月,Meta发布了最新款耳机 Quest 3。明年初,苹果计划推出首款耳机 Vision Pro。每个平台的公告都强调融合虚拟和物理世界的游戏和娱乐:咖啡桌上的数字棋盘游戏、飞机座椅上方投影的电影屏幕。
不过,一些研究人员对 AR 的其他用途更好奇。华盛顿大学的制造实验室正在应用这些新兴技术来帮助残疾人。本月,该实验室的研究人员将推出多个部署 AR 的项目——通过耳机和手机应用程序——让世界变得更加触手可及。
该实验室的研究人员将于10 月 23 日在纽约举行的ASSETS '23 会议上首次展示RASSAR,这是一款可以扫描房屋以突出可访问性和安全问题的应用程序。
不久之后,即 10 月 30 日,实验室的其他团队将在旧金山举行的UIST '23会议上展示早期研究成果。一款应用程序可以让耳机更好地理解自然语言,另一款应用程序旨在让低视力用户也能接触到网球和其他球类运动。
威斯康星大学新闻采访了这三项研究的主要作者Xia Su和Jae ( Jaewook) Lee,他们都是威斯康星大学 Paul G. Allen 计算机科学与工程学院的博士生,谈论了他们的工作以及 AR 无障碍技术的未来。
什么是 AR?它目前通常如何使用?
Jae Lee:我认为一个普遍接受的答案是,你使用可穿戴耳机或手机在物理环境中叠加虚拟对象。很多人可能从“Pokémon Go”中了解 AR,将这些 Pokémon 叠加到物理世界中。现在,苹果和 Meta 正在推出“混合现实”或直通 AR,通过摄像头进一步融合物理世界和虚拟世界。
夏苏:我最近也观察到,人们试图将定义扩展到护目镜和手机屏幕之外。可能有 AR 音频,它正在操纵你的听力,或者设备试图操纵你的气味或触觉。
很多人将 AR 与虚拟现实联系在一起,并且它陷入了对元宇宙和游戏的讨论中。它如何应用于可访问性?
JL:AR 作为一个概念已经存在了几十年。但在Jon Froehlich的实验室中,我们将 AR 与无障碍研究相结合。例如,耳机或电话能够知道我们面前有多少人。对于盲人或视力低下的人来说,这些信息可能对他们如何感知世界至关重要。
XS:AR 无障碍研究实际上有两种不同的路线。更普遍的一种尝试是让 AR 设备更容易被人们使用。另一种不太常见的方法是问:我们如何使用 AR 或 VR 作为工具来提高现实世界的可访问性?这就是我们关注的重点。
JL:随着 AR 透视 体积变得越来越小、越来越便宜,并且随着人工智能和计算机视觉的进步,这项研究将变得越来越重要。但广泛普及的增强现实技术,即使是在可访问性方面,也带来了很多问题。您如何处理旁观者的隐私?作为一个社会,我们知道视觉技术可以造福于盲人和低视力人群。但出于隐私原因,我们也可能不想在应用程序中包含面部识别技术,即使这有助于某人识别他们的朋友。
我们来谈谈你发表的论文吧。首先,您能解释一下您的应用程序 RASSAR吗?
XS:这是一款人们可以用来扫描室内空间并帮助他们检测家中可能存在的无障碍安全问题的应用程序。这是可能的,因为现在一些 iPhone 配备了激光雷达(光探测和测距)扫描仪,可以判断空间的深度,因此我们可以以 3D 方式重建空间。我们将其与计算机视觉模型相结合,以突出提高安全性和可访问性的方法。 要使用它,某人(可能是负责家庭儿童安全的父母或看护者)用智能手机扫描房间,RASSAR 会发现无障碍问题。例如,如果桌子太高,桌子上就会弹出一个按钮。如果用户单击该按钮,将会有更多信息说明为什么该桌子的高度是一个可访问性问题以及可能的修复方法。
JL:十年前,您需要浏览 60 页的 PDF 才能全面检查房屋的无障碍情况。我们将这些信息浓缩到一个应用程序中。
这是任何人都可以下载到手机上并使用的东西吗?
XS:这就是最终的目标。我们已经有一个演示了。该版本依赖于激光雷达,目前仅适用于某些 iPhone 型号。但如果您有这样的设备,那就非常简单了。
JL:这是硬件和软件进步的一个例子,使我们能够快速创建应用程序。Apple 在添加激光雷达传感器时发布了RoomPlan,它可以创建房间的 3D 平面图。我们在 RASSAR 中使用它来了解总体布局。能够在此基础上进行构建让我们能够非常快速地设计出原型。
版权声明:本文由用户上传,如有侵权请联系删除!