增强现实技术的采用正在缓慢但稳步地进行,而且很容易看到该技术的一个可能的未来:让你实时编辑你所看到的东西的硬件,用虚拟覆盖物取代你周围的物体。更准确地说,这叫混合现实。保时捷的人工智能团队最近的研究显示了这可能的运作方式。该团队建立了一个被称为TransforMR的人工智能系统,该系统可以检测汽车和人等物体,将其移除,然后实时用CGI替代物取代它们。
最终的结果很难说是完美的 (CGI模型看起来像是从3D Movie Maker中借来的),但这个概念是引人注目的。不难想象,在未来的几十年里,这样的应用会变得很普遍。
这项工作背后的团队表示,尽管他们工作中的个别元素之前已经完成,但复合系统还是非常新颖的。TansforMR可以在普通的智能 手机和平板电脑上运行,但需要一个4G连接来将数据发送到云端。图像经过处理后,物体不只是被掩盖,就像Snapchat的AR镜头或 苹果 的Memoji一样,而是完全被编辑掉。物体被检测、分割,然后被"涂抹"(用人工智能生成的背景取代),并以CGI模型代替原始模型。显然这一系统有很多地方需要改进。在低质量的绘画中,帧率只有15fps;滞后时间为50至100毫秒;CGI替换的质量也不是最好的。但是,该系统背后的团队说,这些方面相对容易改进。
保时捷的机器学习研究员穆罕默德-卡里(Mohamed Kari)表示,主要的限制来自于大型图像的计算量非常大,所以对于绘画,目前只能用非常小的图像来做,在512 x 512的图像上操作。但带宽[使用]是可以忽略不计的。这意味着如果能做FaceTime,你就能做TransforMR。
Kari说,该系统的关键要素之一是它对姿势检测的使用。这意味着,例如,当系统检测到一个人时,它会识别出身体的18个独立关节。这意味着CGI替换可以实时固定在目标的运动上。看看TransforMR的操作片段,不难想象这种软件被整合到AR眼镜中。用户可以为他们的一天选择一个"主题",用科幻的替代品或来自大自然的物品来取代汽车、建筑和人。但是,这将涉及一个巨大的硬件挑战。目前的增强现实眼镜只能在镜片上投射出低分辨率、半透明的覆盖物。现在,我们还没有技术来"编辑"用户在这种硬件上看到的东西。(尽管这可以通过"穿透式"VR系统来实现,在该系统中,第一人称摄像机将实时视频传输到完全遮挡住佩戴者视线的屏幕上。)
"我们在屏幕上重现完整的图像,所以我们可以删除任何我们想删除的东西,但对于增强现实眼镜来说,删除物体是困难的,因为它增加了光强度,以 Hololens 为例,你是透过玻璃看的,所以去除东西更困难。这个问题有待于研究。"
但为什么保时捷首先要调查这种技术呢?据该公司的人工智能架构师之一Tobias Grosse-Puppendahl说,这一切都是为了改善乘客和司机的体验。未来版本的TransforMR软件可以用来在人们被困在交通中时为他们提供娱乐。"我们的主要问题是,我们如何能够以一种有趣和娱乐的方式来修改现实,以便作出反应?这就是我们想法的起源"。
保时捷的其他研究项目也遵循类似的主题。例如,该公司还建立了一个名为SoundRide的原型系统,它使用汽车的机器视觉来检测风景的变化并提示适当的音乐。"也许,例如,你正开车穿过阿尔卑斯山,行驶在一条美丽的路线上,突然你有一个美妙的景色,也许音乐就会改变,我们正在思考如何通过技术使车内的体验更加有趣和美丽"。而这意味着对人们本来会看到和听到的东西进行修补。"
【来源:cnBeta.COM】