ARKit 3.5简介

ARKit 3.5通过在iPad Pro上使用新的LiDAR扫描器和深度感知系统,使得AR体验到达了前所未有的真实度。新的场景几何API(Scene Geometry API),让你拥有实时捕捉3D世界的能力,并为虚拟物体赋能了物体遮挡和真实世界的物理规则。所有基于ARKit的应用体验都会自动受益新的AR放置功能(AR placement)和进阶的动作捕捉(Motion Capture)与人体遮挡(People Occlusion)。

场景几何

场景几何允许你创建你所处空间的拓扑地图,并为地板、墙壁、天花板、窗户、门和座椅打上标签。这项对于真实世界的深度认知技术,解锁了虚拟物体的物体遮挡和应用真实世界物理规则的能力,并能为你提供更多的信息来增强你的AR工作流。

评: 这个功能蛮牛逼的,之前在iPhone XS上只是简单的能识别物体并打标签,新的这个场景几何概念是可以构建整个空间的拓扑,并对空间内的物体打标签。而且标签的类型也多了很多。相关新的文档可见下图,后续文章中会逐渐完成新文档的翻译

即时AR

iPad Pro上的LiDAR扫描器使得平面检测的速度快到难以置信,让你无需扫描便可在真实世界中放置虚拟物体。即时AR放置在所有基于ARKit的应用中,硬件需要iPad Pro,会自动被开启,无需任何代码修改。

评: 真的想搞一个iPad Pro来感受一下LiDAR的平面检测有多快,如果是这样的话Coach Overlay是不是要下岗了?

进阶的移动识别和人体遮挡

通过在iPad Pro上使用ARKit 3.5,人体遮挡中的深度预估和动作捕捉中的高度预估将会变得更加准确。iPad Pro上的所有基于ARKit的应用的这两个特性都会被提升,无需任何代码修改。

评: 这部分提升应该属于内部优化,并没有在文档中见到更新的内容,不过还是非常期待实际体验的

发现更多的ARKit特性

人体遮挡

AR内容将会逼真的存在于真实世界人们的身前和身后,使得AR体验仿佛身临其境。同时可以将绿幕效果应用于几乎任何环境。

动作捕捉

通过一个摄像头实时捕捉人体的动作。通过将对人体位置和移动的理解转化成一系列关节和骨骼变量,你便可以将动作和姿势作为AR体验的输入参数 -- 将人变成AR的核心。

同步的前置和后置摄像头

你可以同时基于前置和后置摄像头来完成面部追踪和世界追踪,开启全新的可能。例如,用户可以在后置摄像头场景中与他们的脸进行交互。

多脸追踪

ARKit的人脸追踪一次性可以最多追踪3个人脸,通过使用iPhone X, iPhone XS, iPhone XS Max, iPhone XR, 和 iPad Pro上的深度摄像头来强化前置摄像头的体验,例如Memoji 和 Snapchat。

协作会话

基于多人的实时协作会话,你可以建立一个协作的世界地图,使得你开发AR体验的速度和用户进入共享AR体验,例如多人游戏,的速度大大加快。

更多的提升

同一时间最多支持100张图片的检测,并对图片中的物理物体的体积进行自动评估。3D物体的检测将会更加健壮,因为在复杂环境中物体将会被更好的识别。从现在开始,机器学习在被更加快速的应用于环境中识别平面。

评: 性能提升还是蛮客观的,还是期待真机的表现


那么问题来了,要不要买新的iPad Pro?