卡内基梅隆大学的研究人员开发了一种摄像系统,该系统可以“以精确和详细的方式看到声音振动,从而重建乐队或管弦乐队中单一乐器的音乐”。
这个由计算机科学学院机器人研究所(RI)开发的系统使用一对相机和激光来“感应高速、低振幅的表面振动”。然后使用振动来重建声音并在没有干扰或麦克风的情况下捕获孤立的音频。
卡内基梅隆大学的摄像系统并不是同类产品中的首创。麻省理工学院的研究人员于 2014 年开发了一些首批视觉麦克风。卡内基梅隆大学的新系统在许多方面改进了早期的工作,包括实用性和成本。RI 教授兼 ILIM 负责人Srinivasa Narasimhan表示:“我们使光学麦克风更加实用。” “我们在降低成本的同时提高了质量。” 该方法使用的是普通相机,比之前研究中使用的高速相机便宜许多。
该系统分析使用卷帘快门和全局快门拍摄图像中“散斑图案”的差异。使用一种算法用于计算来自两个不同视频流的散斑图案的差异。将这些差异转换为振动以重建原始声音。散斑图案是指相干光在被粗糙表面反射后在空间中的行为方式。研究团队通过将激光对准产生振动的物体表面(如吉他的琴身)来创建散斑图案。该散斑图案随着表面振动而变化。滚动快门通过快速扫描图像来捕获图像,通常是从上到下,通过将一行像素堆叠在另一行上来生成图像。
原文链接:https://imaging.cs.cmu.edu/vibration/