波导还是光纤扫描？深度解读MagicLeap显⽰技术
⽂章相关引⽤及参考：kguttag
本⽂术语繁多，如发现错误，希望您能向映维⽹反馈以修正。
（映维⽹ 2018年02⽉26⽇）现任Navdy CTO Karl Guttag希望通过Magic Leap的专利解开迷雾，探讨Magic Leap正在做的事情。Karl Guttag在图形和图像处理器，数字信号处理（DSP），存储器架构，显⽰设备（LCOS和DLP）以及显⽰系统（包括抬头显⽰器和近眼显⽰器（增强现实和虚拟现实））⽅⾯拥有40年的经验。
Karl Guttag将主要讨论Magic Leap于2017年3⽉24⽇提交的，并于2017年9⽉28⽇公开的专利申请
2017/0276948（’948）。在2017年12⽉20⽇正式发布产品后，《滚⽯》为Magic Leap撰写了独家专稿，详述Magic Leap One⼯作原理、外观、感受以及发展。 Karl Guttag认为没有什么可以⽐这个专利更能概括说明Magic Leap在显⽰技术上的⽅向了。
1. 潜在显⽰技术
Magic Leap在2017年申请的11项专利中都有⼀个图表明确说明了⼀个搭载典型分束器配置和LED照明的
硅基液晶（LCOS）显⽰引擎。早期Magic Leap专利申请突出显⽰的光纤扫描显⽰器（FSD）已经被降级为“⼀些实施例”。在图6，LCOS显⽰系统（250）正通过⼀条没有编号的数据线连接⾄“图像注⼊设备(360-400)”。
有趣的是，这与Magic Leap在2015年申请的‘939专利不同。 “多个显⽰器（200,202,204,206,208），或者在另⼀个实施例中的单个多路复⽤显⽰器…”变成了2017年专利的“图像注⼊设备”。
虽然2015年的专利申请提及了40多次光纤扫描显⽰器，但专利同时提及了约40次DLP/DMD。但是，‘939专利申请中仅提及了⼀次LCOS，并且不是作为显⽰设备，⽽是作为光学遮挡/遮蔽。
我们先翻翻历史，剥茧抽丝。似乎2015年的图表（根据2014年的申请和2013年下半年提交的临时申请）是假定FSD为主要显⽰器。但在⽂件提交的时候，他们开始转向DLP来实现聚焦平⾯，“光学多路传输”就是DLP实现的连续图像。
“注⼊光学（2060）”可能是图8A中的“图像注⼊设备（360-400）”
到在2016年的专利申请中，我们更多地看到了LCOS的⾝影，⽽‘789专利中最为突出显⽰了LCOS。但在其他专利申请中，LCOS仍然只是出现在以FSD作为开头的列表中。
来到2017年，我们看到专利显⽰了LCOS引擎，并且顺位⾼于FSD。⽽⼤部分相同的专利甚⾄没有提
及DLP。
Magic Leap仍然在托辞说（⾄少在他们的专利中），光纤扫描显⽰器（FSD）可能会在未来某⼀天实现。我曾在2016年11⽉解释了“不可能是光纤显⽰器”的部分原因，⽽⼀些⾮常简单的数学可以证明，随着分辨率的提⾼，光纤的速度将会变得令⼈难以置信地⾼。Magic Leap肯定有很多⼈知道，或者应该知道他们⽆法提⾼FSD的分辨率，然⽽他们却⼀直在专利申请中写上这⼀点，这感觉就像是某种宗教崇拜⼀样。
Magic Leap⾄今所做的⼀切，包括公开的和我（Karl Guttag）的消息源所说的，都指出Magic Leap正尝试仅通过两
个“焦平⾯”来解决“视觉辐辏调节冲突”问题。我在2016年11⽉26⽇曾讨论过VAC和Magic Leap的⼀般⽅法。⽽最近的专利申请进⼀步证实了这⼀点。上⾯的图表和下⾯的流程图（结合图19到21A）似乎总结了Magic Leap⽬前的⽅法以及他们试图解决的问题。
虽然上⾯图8A的叠层表明有5层波导，但每种颜⾊需要3个波导（如果允许更多的蓝⾊模糊，则只需2个波导）。有关每个深度平⾯使⽤3个波导或2个深度平⾯使⽤6个波导的⽰例，请参见上⾯于2016年申请的‘789专利的图6。
‘948专利叙述了VAC问题（图10A和10B），并且提供了2个聚焦平⾯是如何减少屈光度（1/焦距）测量的视觉误差量的图⽰（图15）。图19-21A则说明了他们的⽅法，⽽这种⽅法相当简单，⽽且可以粗略总结成：
图⽰（图15）。图19-21A则说明了他们的⽅法，⽽这种⽅法相当简单，⽽且可以粗略总结成：
根据眼睛聚焦点的位置，选择⼀个焦平⾯进⾏显⽰
如果眼睛聚焦点移动，等待扫视或眨眼，然后改变平⾯或者如果时间太长，⽆论如何都要改变平⾯
如果所选平⾯上的内容超过“阈值”，则“修改图像”（⽐如说模糊）
尽管这似乎证实了Magic Leap的发展⽅向，但对我来说，这不够巧妙。实质上，这种⽅法主要是追踪眼睛及其⾏为，然后在单个焦平⾯上⽣成图像，接下来就将图像中应该失焦的部分渲染为模糊。
这与Magic Leap从DLP转向LCOS的⽅针保持⼀致（DLP可以⽀持多个同步的聚焦/深度平⾯，⽽LCOS的速度通常不够快，⽆法在不产⽣令⼈讨厌的颜⾊场序崩溃的情况下同时⽀持场序制颜⾊和聚焦平⾯）。通过每帧只显⽰⼀个深度平⾯，它将⽀持使⽤LCOS。
下⾯引⽤专利⽂件内容：
利⽤这⾥描述的技术，我们可以改善虚拟内容的感知呈现质量。例如，可以减少可察觉的视觉伪影，⽐⽅说可以降低在不同深度平⾯之间切换内容时所引起的闪烁，特别是当显⽰系统以变焦模式操作时。
这种VAC⽅法似乎与Avegant使⽤DLP的VAC⽅法相反，Avegant告诉我他们没有使⽤眼动追踪，⽽是让眼睛实时选择焦点/深度平⾯。尽管我在⼀年前短暂体验了Avegant的头显原型，但我⽆法进⾏进⾏⼴泛的评估，包括图像质量。然⽽，我注意到⼀个可能会被描述为闪烁的图像问题（映维⽹：那只是早期原型）。对于Magic Leap的专利，⼀个值得关注的地⽅是深度/焦点平⾯⽅法容易造成时间伪像，⽽我们⾄少可以从这份专利看出，他们正试图缓解这个问题，但不是完全解决它们。
上⾯是Magic Leap在专利中所描述的内容，“现在参考图9B，⼀个关于多个叠加波导的例⼦的透视图”。这就是Magic Leap所宣称的“光⼦光场芯⽚”。它们看起来与微软Hololens所使⽤的波导⾮常相似。Hololens也在为各种颜⾊的光线使⽤堆叠式/分层式波导。另有传闻称，波导制造导致Hololens和Magic Leap成本⾼昂的主要问题。
如前所述，上⾯的图9B说明Magic Leap使⽤了3个波导，每个颜⾊⼀个。为⽀持两个深度平⾯，必须使⽤6个波导（如Magic Leap专利2017/0329075所⽰）。
我们可以将所有的信息串联起来，其表明Magic Leap正使⽤LCOS作为主要的显⽰设备，⽽波导则类
似于微软HoloLens。最⼤的区别在于Magic Leap提供两个焦平⾯，⽽⼀次只显⽰⼀个，然后使⽤软件模糊应该失焦的虚拟对象。他们正在使⽤4到6个波导的堆叠，分成两个焦平⾯。
对于波导通过⼀个场序制LCOS设备，这存在许多已知的限制。也就是说，你可以预期设备将会是类似于Hololens的东西。
2. 光纤扫描/波导/焦平⾯
尽管你⽆法在Magic Leap的专利申请中发现“光⼦光场芯⽚”的踪影，但他们的确探讨了衍射（主要）波导。我此前曾谈论过光导的主要问题。⽂章从波导的技术⽅⾯谈起，但在专利部分我发现了Magic Leap在光学/硬件上的专利⾏为。
Magic Leap最初从三个关键技术⽅⾯切⼊：
光纤扫描显⽰（FSD）
细薄衍射波导（为实现“太阳眼镜般的外观”）。Magic Leap将其称之为“光场芯⽚”，其中出射衍射光栅（exit diffraction grating）显⽰表⾯焦点
通过聚焦/深度平⾯解决视觉辐辏调节冲突（VAC）。Magic Leap将其称为之“光⼦光场”。Magic Leap的发明是希望寻⼀种⽅法，各种波导层将通过出射光栅显⽰不同的表⾯焦距。
这⼀切都可以追溯到2013年的幻灯⽚（上图幻灯⽚）和他们的早期专利，⽐如‘253专利中的图8A（出现在多项2015年和2016年的专利中）。你会看到光纤扫描显⽰器200,202,204,206和208⽀持5个焦平⾯。如果FSD有效，那么⾄少在理论上，你可以轻松在光学上将光纤路由⾄5个光纤扫描显⽰器光纤，将5个图像传输⾄5个平⾯。
Magic Leap希望通过多个聚焦/深度平⾯来解决VAC问题，⽽他们的解决⽅案⾼度依赖于光纤扫描显⽰器，但这永远都不会是⼀种实际可⾏的显⽰技术。由于坚持“光⼦光场”这个概念，他们令这个错误变得更加复杂，⽽他们不得不将聚焦/深度平⾯缩减⾄两个。
早前的专利表明他们希望/需要5-6个深度平⾯来解决VAC问题，如‘496专利中的图7所⽰。在‘495专利中，他们甚⾄在图9中说明了⼀个可以⽀持多于2个聚焦/深度平⾯的⾮波导光学系统。
但为了实现“光⼦芯⽚”和利⽤他们的发明，深度平⾯的数量需要从5-6个⼤幅缩减⾄2个。⼀个在⽆穷远处，⼀个在近处。将图像传输⾄单个堆叠波导，在光学上⾮常复杂和困难，同时⼗分昂贵，即便只是两个平⾯也如此。与此同时，由于仍然存在⼤量的空隙/错误，⽬前不清楚两个聚焦平⾯在解决VAC问题上的效果。
由于他们不得不通过传统的显⽰器来探索解决⽅案（⾸先是DLP，然后是LCOS，最终他们越来越像HoloLens，只
显示器闪烁是“旁边多了⼀个包包”），第⼆个聚焦/深度平⾯会增加成本和光学复杂度，并且损害图像质量。
跟图8A的简图不同，全彩波导通常由三个物理波导层组成，⼀个红⾊，⼀个绿⾊，⼀个蓝⾊（两层也可以，但会牺牲图像质量）。图11B来⾃于Magic Leap的‘739专利。
即便我们假设FSD可⾏，对于他们认为可以通过每个平⾯增加3个波导来⽀持2个以上聚焦平⾯的想法，这不能不算是天真单纯。由于现实图像和虚拟图像要通过的衍射光栅会增加，每个波导都会增加成本和降低图像质量。即便只是2个聚焦平⾯，根据Magic Leap‘075专利中额度图15B，摆在⽤户⾯前的⾜⾜有6层波导。
在早期，Magic Leap希望FSD能够解决将各种图像传输⾄各⾃聚焦平⾯⼊射光栅的问题，但如果FSD不可⾏，他们将不得不寻其他解决⽅案。
他们的专利涉及了许多不同的⽅法，这表明这他们仍然在探索可⾏的解决⽅案。下⾯我将介绍他们专利申请中的部分⽅法。
对于‘075专利（图15B），尽管专利仍然认为FSD存在可能性，他们使⽤了两组颜⾊，两种不同波长的绿⾊，两种红⾊，两种蓝⾊来照亮⼀台(LCOS)设备。尽管波长选择在理论上似乎很合理（杜⽐3-D已经将其应⽤于电影院之中），但在实践中，聚焦平⾯之间有可能出现⼤量的串扰，因为来⾃⼀个平⾯
的“绿⾊”的衍射光栅会影响另⼀个平⾯的绿⾊。此外，专利指出通过增加过滤器来获取更多的波长分离（但这显然会浪费光线）。
在2016年，我写到专利20160327789似乎是最适合的⽅案。在‘789专利中，他们从位于稍微不同位置的两组LED光源开始⼊⼿。注⼊光学组件进⼀步分离了两个平⾯的图像，这样它们将进⼊两个彼此分离的注⼊光栅。
Magic Leap专利20170248790塞满了各种不同的技术，采⽤分束器和其他⽅法将图像传输⾄不同的⼊射衍射光栅（entrance diffraction gratings）。图3和图19是其中⼀系列⽅法中的两种。
Magic Leap专利中显⽰的另⼀种技术是双⾯波导，两端设有⼀个⼊射端⼝（如上图）。
所有这些⽅法都说明了⼀个问题：为了⽀持第⼆个深度平⾯，它们为对象增加了⼤量的光学复杂度，⽽光学复杂度⼏乎总是会对成本和图像质量产⽣不利的影响。
3. 为什么光纤扫描显⽰不可⾏
对于Magic Leap所做的⼀切，我认为光纤扫描显⽰（FSD）是⼀个“惊天⼤”。原因是Magic Leap在⼀开始就煞费苦⼼地将其当作是他们的“核⼼技术”，所以今天许多⼈相信这是⼀个可⾏的⽅案。然⽽，⼩学四年级的数学都能证明这是不可能的解决⽅案。但在2017年，“光纤扫描显⽰”仍然出现在33
项Magic Leap专利之中。
就FSD⽽⾔，华盛顿⼤学HID实验室曾表明，他们能够通过⼀个光纤投影仪来制作出低分辨率，⾼失真的FSD投影仪，他们同时发布了论⽂和专利说明。
也许会说，“只需进⼀步优化即可”，“摩尔定律”，“合理提⾼分辨率”……因为随着你提⾼分辨率，光纤就需要极⾼的速度移动（分辨率越⾼，帧速越快）。但即使是在较低的分辨率/速度下，图像都会出现⾼度失真，⽽且强度上也⾮常不均匀。
⼤家可以在⽹上搜索“roll length calculator”，⼜或者直接访问⼀个名为Handymath的⽹站（点击前往）。然后参考Ivan Yeoh在2015年的博⼠论⽂题⽬（关于FSD最佳和最新公布的⽂章），他有180个螺旋，图像中间⼀圈的名义像素为360，帧率是50Hz。需要注意的是，这不考虑奈奎斯特从⽹格到螺旋的重新采样。
⾸先是1mm下的360像素（或者1mm/36）=每圈约为0.00278mm。然后我们增加⾄1080P（1920×1080像素），这需要1080圈来实现1920×1080像素的图像。
然后我们借助Handymath提供的计算器进⾏计算（输⼊和结果如下所⽰），0.00278mm意味着约6mm的外直径
（0.00278×1080×2），输⼊所有相应的数据我们可以得出10.17⽶。Yeoh论⽂中只是180圈，⼀圈的名义像素为360，⽽长度仅为0.26⽶，但仅仅只是要做到这⼀点，刷新率仍需要达到50Hz。
要通过⼀块零视觉暂留显⽰器防⽌闪烁，你需要将刷新率提⾼⾄120Hz（不是50Hz，也不是60Hz）。因为每⼀次触及外边缘的完整“扫描”涉及⼀次来回，120Hz就意味着你需要每秒⾛过240螺旋的长度。
因此对于1080p来说，光纤的移动速度需要达到10.17⽶×240/秒=2400⽶/秒。作为参考，声⾳传播速度是约343⽶/秒（随温度和空⽓密度产⽣变化），所以光纤的平均速度要达到声速的7倍，⽽且由于两端来回扫描涉及⼀个“加速—减速回零—再加速—再减速回零”的循环，光纤必须实现⼀个⾼于声速14倍的峰值速度。
如果这对你来说不够疯狂，Magic Leap同时需要这么⼀个光学（清晰的）光纤：能够以所需共振频率移动，同时将其全部控制在⼀个近乎完美的真空中，所以⽆论它是什么，它都不会因为空⽓摩擦⽽⾃动燃烧，⽽且声震不会破坏⽤户的听觉。更不要说你要防⽌⽤户的⼤脑被震成果冻。如果你能够发现这种神奇的材料，它在来回循环扫描时必须要遵循⼀条确切统⼀的路径（特别是在中⼼位置），否则像素将不会出现在正确的位置，并且/或者会出现像素扭动的情况。
你可以尝试上⽂的假设，代⼊不同的数据，但你⽆法以⼀种合乎逻辑的⽅式来得出⼀个合理的数字。显然，Magic Leap 或华盛顿⼤学的论⽂或专利中没有任何关于如何实现720p或1080p有效分辨率的解
释说明。
关于FSD是⼀种可⾏解决⽅案的说法仍然不绝于⽿，⽽且Magic Leap仍然在专利申请中提及FSD。当然，Magic Leap 没有⼀份论⽂或专利谈论这个“神奇”光纤的速度。
正如我上次所说，Magic Leap的整个深度平⾯概念都完全站不住脚。对于Magic Leap专利中所幻想的⽀持6个聚焦平⾯，他们需要6×3=18个波导的堆叠，⽽且需要更加疯狂的光学布线。
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论