最新资讯

微软是如何制造迄今为止，其最敏感的全息镜头（HoloLens）深度传感器的！

我们不知道下一代HoloLens会是什么样子，但我们已经看到了其内置的深度传感器。

下一代HoloLens Sensor在其研究和设计上，都堪称壮举。它将先进的信号处理和硅工程集成到一个微型、可靠的模块中，而微软已有意将其作为 Project Kinect for Azure项目出售给客户和其他制造商。该公司还将在自己的产品中使用新的传感器，包括下一代HoloLens。

在今年的Build大会上，萨蒂亚·纳德拉(SatyaNadella)曾承诺称：它将是“噪音最小、最强大的传感器，视野超宽。”它足够小的体积以及超低的功耗，足以用于移动设备。但是传感器究竟是做什么的，一个全息眼镜(HoloLens或者其他任何使用到传感器的东西)是如何“看到”混合了3D全息图的世界呢？

深度的测量，有很多不同的方法。一些研究人员曾尝试使用超声波，而传统的几何方法使用精确的光结构模式。在立体声中-当两束光束击中同一物体时，你可以计算出光束之间的距离。微软过去曾使用过立体传感器，但这一次采取了另一种叫做“分阶段飞行时间”的方法。

硬件架构师CyrusBamji，曾带领团队将微软第一代ToF摄像头安装到xbox One附带的Kinect传感器中，向ZDNet解释了新一代传感器的工作原理。

它首先使用一些激光器来照亮场景，每个激光器的功率约为100毫瓦，它们的作用就像一盏泛光灯。它在任何地方都是统一的，可以一次覆盖整个场景，然后可以很快地打开和关闭。

当来自激光的光线从像墙壁和人这样的3D物体上反射出来时，它会在传感器上反射回来。距离不是直接由光反射回来的速度(如雷达炮)来测量的，而是由光包络的相位与激光发射的原始信号相移的程度来衡量的。比较相位差(去掉电压或温度微小变化带来的任何谐波，以清除沿途的信号)，你就能得到一个非常精确的测量，测量光反射的距离。

当你在混合现实中环顾四周时，深度信息不仅对缩放全息图的大小是有用的，而且对于提高计算机视野的准确性也是至关重要的。想象一下人们推过比萨斜塔的诡计照片：如果有了一台深度相机，你就能立刻看到这是只是戏法镜头而已。下一代全息眼镜（HoloLens）传感器将在微软2018年学院研究峰会上投入使用。

体积轻巧，价格便宜，速度惊人

新一代传感器取得了很多技术上的突破：低功耗、高频率、高分辨率(1024×1024像素)，可以从更远的地方更准确地确定深度。通常，一个领域的提高意味着其他领域的权衡-例如频率和距离。Bamji解释说：“事实证明，如果你增加频率，你就能获得更好的分辨率；频率越高，抖动就越小，但你的工作范围也越来越小。”

低频可以覆盖距离传感器较长的距离，但精度较低。问题是，虽然更高的频率可以得到更精确的结果，但对于多个距离，这些结果是一样的-因为返回的读数，是一次又一次重复的一条曲线。在频率为50兆赫的情况下，光从3米以外的物体反射出来的光与6米或9米以外的物体反射的光具有相同的相位。

微软团队使用了一个巧妙的数学技巧(称为相位展开)来避免这种混乱，这样他们就可以增加频率，也可以在更远的距离上工作。传感器同时使用多个不同的频率，固件结合结果。它可能是低频告诉你东西在哪里，然后高频可以精确的定位它。也可能是不同的高频，它们有不同的相位，所以它们只在一个特定的距离上排列。Bamji说，“我们能够不断提高频率，获得越来越高的精度，并仍然保持操作范围。我们找到了吃蛋糕的方法，也成功的吃了它！“

相位展开使得研究小组能够将传感器的频率从最早的研究中的20兆赫提升到320兆赫。更高的频率使传感器具有更小的像素，从而在3D图像中提供更好的深度分辨率。新型传感器的分辨率足够高，可以显示某人衣服上的褶皱，当他们经过摄像机或飞行中的乒乓球曲线时-从中心到边缘只有2厘米-从一米远的地方-所有这些都不会降低传感器的性能和精度，就像更小的像素在更低频率下所做的那样。

小像素还有另一个好处：那就是使传感器本身可以更小。Bamji指出：“如果你有较小的像素，就可以降低光学堆栈的高度。”“我们的阵列很小，这就意味着它可以轻松进入很薄的设备。”

新的传感器还能提供小而准确的像素，只需使用上一版本的八分之一的功耗(系统总功率在225到950毫瓦之间)。这是一种交换，Bamji表明，这就相当于摩尔定律。“如果你投入了足够的能量，你就能得到好的质量，但是对于一个消费品来说，这还不够好。”你增加了频率，燃烧了更多的功率，但它增加了准确性，也减少了像素大小。当你经历这个循环的时候，你会发现你还是回到了原来的样子，但像素却更小了。“

另一方面，Microsoft传感器中的像素具有全球快门。全球快门不是阻止更多光线进入的物理罩，而是用来阻止它干扰已经被传感器捕捉到的反射光，它是硅中内置的一个额外特性，它告诉传感器关闭并停止对光线的敏感，直到下一次测量。2017年年底，全球快门的最小像素约为3微米平方，但它们无法达到这个飞行时间传感器所做到的。（参见）：传感器企业：IoT、ML和大数据(ZDNet特别报告)

新一代传感器是首次使用这种技术的飞行时间系统，这增加了所需硅工程的复杂性。“但是我们不得不这样做，因为随着像素变得越来越小，这个问题变得越来越尖锐，”Bamji解释说。

现实世界中

经过所有的努力，使得像素更小，但较小的像素，却并不是对于每一个场景来说，都是理想的。因此，为了使传感器更加灵活，它可以通过将4个像素分组并同时读取它们的值(技术术语为“binning”)来假装拥有更大的像素。哪一个像素大小最有效取决于物体有多远，以及多少激光使它回到传感器的阵列。

这个速度超快、功能强大的传感器会有多贵呢？这取决于生产量，但如果它足够受欢迎，可以大量生产，那么Bamji希望它是“大家都负担得起的”。

微软似乎不寻常地向其他硬件厂商出售传感器，但工业合作伙伴很可能是第一个买家。想象一下，一个工业图像识别摄像头，它可以看到冰箱后面的所有东西进行库存检查，而内置的机器学习识别冰箱里的东西。像这样的设备是微软非常喜欢谈论的“智能边缘”的一个理想例子，如果这种传感器可以像智能手机相机那样低成本的话，我们就会看到很多利用精确的3D成像的设备。