vr 钢琴开发结合机器学习技术

导读1月28日青亭网报道，此前，软件开发者和3D艺术创作者FayezSalka在社交媒体分享了一段AR软件的体验视频获得大量网友关注。据了解，这是一个基于《AR....

1月28日青亭网报道，此前，软件开发者和3D艺术创作者Fayez Salka在社交媒体分享了一段AR软件的体验视频获得大量网友关注。

据了解，这是一个基于《AR Pianist》软件的视频，该软件是一个基于钢琴的AR软件，当你将手机摄像头对准一架钢琴时，就会弹奏乐曲，并且钢琴按键会对应颜色标识。

不仅如此，软件还会模拟一个AR弹奏着，通过虚拟化身的形式进行演奏。甚至，最终只识别钢琴，然后进行整个AR环境的模拟。

据悉，《AR Pianist》结合了机器学习技术，其通过Core ML模型，重点在于可以在任何光照环境下，识别任何品牌的钢琴，无需使用特殊带有marker的图像或标记等，也无需扫描任何钢琴的3D模型。

目前，该应用仅在iOS端提供。Fayez Salka表示：这款AR应用潜力巨大，是一个基于手机上体验钢琴演奏的新方式，并且是一个有效的音乐教育资源。例如，你可以将歌曲速度放慢100倍，来查看手部动作，未来这些体验将无缝迁移到AR头显上。

实际上，Fayez Salka以及团队此前开发的另一款与钢琴有关的应用《Piano 3D》就是一个非常优秀的应用，其也内置了AR模式，并且多次被App Store推荐，下载量超700万次。而这款《AR Pianist》也是基于此前《Piano 3D》的一些成就。

参考：VRscout