智东西（公众号：zhidxcom）
编译 | 徐珊
编辑 | 云鹏
智东(dong)西7月14日消(xiao)息，近日，苹果的两项VR/AR相关新专利(li)得到了美国专利(li)商标局（U.S. Patent and Trademark Office）授权。
第一项(xiang)专利是(shi)“生成身(shen)体(ti)姿势(shi)信息（Generating body pose information）系(xi)统”。该系(xi)统通(tong)过收集(ji)身(shen)体(ti)各个地方的(de)信息，然后利用这(zhei)些信息打造用户(hu)的(de)虚(xu)拟化身(shen)（avatar）。第二项(xiang)专利是(shi)“自适应(ying)无线传输（Adaptive wireless transmission schemes）系(xi)统”。该系(xi)统处理VR头显设备(bei)和主(zhu)机之间的(de)通(tong)信。
据悉，苹果正(zheng)在(zai)(zai)开发AR/VR头(tou)显(xian)，以及称为“Apple Glass”的AR智(zhi)能眼(yan)镜。苹果正(zheng)在(zai)(zai)针对(dui)人机(ji)交互领(ling)域的难题(ti)设计(ji)不同(tong)的解决方(fang)案，希望苹果头(tou)显(xian)产品(pin)(pin)可以在(zai)(zai)其他头(tou)显(xian)产品(pin)(pin)中脱颖而出。
一、新系统通过搜集姿态信息，在虚拟世界打造一个“你”
根(gen)据(ju)专(zhuan)利(li)报告显示，苹果(guo)新专(zhuan)利(li)“生成身体姿(zi)势(shi)信息”系统可以通过摄像头(tou)、神(shen)经网(wang)络(luo)系统等方式搜集用户的(de)姿(zi)态(tai)信息，形(xing)成一个用户的(de)虚拟化身 。
1、用神经网络系统搜集用户姿态信息
单个(ge)神(shen)经(jing)网(wang)络系(xi)统可以(yi)搜集(ji)用(yong)(yong)(yong)户姿势信(xin)息(xi)；多个(ge)神(shen)经(jing)网(wang)络系(xi)统协同工作，可以(yi)模拟用(yong)(yong)(yong)户的(de)某个(ge)关节；最终，所有系(xi)统的(de)信(xin)息(xi)全部汇(hui)总(zong)在一起(qi)便可以(yi)在虚拟世界打(da)造一个(ge)用(yong)(yong)(yong)户的(de)“分身(shen)”。
在这个过(guo)程中，不(bu)同的(de)硬(ying)件设备都需要机器(qi)学(xue)(xue)习。因为“生成身体(ti)姿势信息”系统不(bu)仅要处理摄像机所搜集的(de)数(shu)据，还需要让(rang)不(bu)同的(de)神(shen)经(jing)网络(luo)系统之间“学(xue)(xue)会”信息交(jiao)互。
2、神经网络系统覆盖身体全关节
神经网络系统会搜(sou)集用户身体(ti)上哪些部位的信息，苹(ping)果(guo)在专利(li)报告中给(ji)出了答案。
▲多(duo)个神经网络系统可以监控用户的各个关节，共同创建一个全身模型。（来源于(yu)：Appleinsider）
“生成身体(ti)姿(zi)势信息(xi)”系统(tong)的信息(xi)搜集(ji)范围包括(kuo)了“脖颈、肩关(guan)(guan)节(jie)(jie)(jie)、肘关(guan)(guan)节(jie)(jie)(jie)、腕关(guan)(guan)节(jie)(jie)(jie)、骨盆关(guan)(guan)节(jie)(jie)(jie)、膝关(guan)(guan)节(jie)(jie)(jie)、踝关(guan)(guan)节(jie)(jie)(jie)和指关(guan)(guan)节(jie)(jie)(jie)”。该系统(tong)不但(dan)会对每(mei)个(ge)部(bu)位(wei)的信息(xi)搜集(ji)范围做出界定(ding)，而且(qie)还(hai)会确定(ding)各部(bu)位(wei)之(zhi)间(jian)的连接(jie)处在(zai)哪里。
尽(jin)管该项专利的列(lie)表里(li)给出了所有(you)创建(jian)用户身体模型需要(yao)(yao)的基本要(yao)(yao)素，但似(si)(si)乎并(bing)不(bu)是很详尽(jin)。比(bi)如说，指(zhi)(zhi)关(guan)节似(si)(si)乎只是重点指(zhi)(zhi)代(dai)手指(zhi)(zhi)，脚趾以(yi)及脚部运动似(si)(si)乎并(bing)没有(you)被该系统(tong)所关(guan)注。
3、用数据打造用户虚拟化身
苹果认(ren)为(wei)(wei)(wei)，打造良(liang)好的(de)沉浸式体验需(xu)要(yao)尽可(ke)能地搜集更多有关用(yong)户姿(zi)态(tai)(tai)的(de)信息。因为(wei)(wei)(wei)VR或(huo)AR应(ying)用(yong)程序可(ke)能会需(xu)要(yao)依据用(yong)户的(de)静(jing)态(tai)(tai)姿(zi)势(shi)或(huo)动(dong)态(tai)(tai)行为(wei)(wei)(wei)，为(wei)(wei)(wei)用(yong)户呈现不(bu)(bu)同(tong)(tong)的(de)内容。比(bi)如(ru)说，VR游戏中(zhong)的(de)守卫需(xu)要(yao)对(dui)用(yong)户不(bu)(bu)同(tong)(tong)的(de)攻击(ji)动(dong)作做(zuo)出不(bu)(bu)同(tong)(tong)的(de)反应(ying)。
事实(shi)上，苹(ping)果希望用(yong)(yong)(yong)“生成身体姿势(shi)信(xin)息(xi)”系(xi)统控制用(yong)(yong)(yong)户(hu)在(zai)虚拟(ni)世(shi)界的(de)化身。比如(ru)说，虚拟(ni)在(zai)线社交VR Chat就可能会运用(yong)(yong)(yong)到这个(ge)系(xi)统来(lai)改变用(yong)(yong)(yong)户(hu)的(de)头像呈现方式。
二、打通通讯壁垒，新专利使用凝视功能分配数据资源
苹果的第二(er)项专利“自适(shi)应无线传输”系(xi)统希望(wang)能打通(tong)头显和(he)主(zhu)机(ji)之间通(tong)讯壁垒。
1、VR头显遇通讯难题
目前市(shi)面上的VR头(tou)(tou)显如(ru)Oculus Quest，尽管设(she)计者可(ke)以通过增加头(tou)(tou)显的重(zhong)量，让头(tou)(tou)显和主机之间的连(lian)(lian)接部位(wei)减少相(xiang)应重(zhong)量，但是，连(lian)(lian)接部位(wei)的电线本身(shen)就是一个问题(ti)。
对此(ci)，有人(ren)提出用无线通信(xin)系统减轻头(tou)显的重量，并且取消电(dian)线。但事(shi)实上，无线通信(xin)系统也会存在很多问题。
比(bi)(bi)如说，无线(xian)(xian)(xian)通(tong)信系统传输(shu)数(shu)据(ju)需要消耗设(she)备电量，并且(qie)无线(xian)(xian)(xian)通(tong)讯(xun)系统的带宽比(bi)(bi)有线(xian)(xian)(xian)通(tong)讯(xun)更(geng)少(shao)。再比(bi)(bi)如，无线(xian)(xian)(xian)通(tong)讯(xun)系统里(li)最常(chang)见的断连、其他(ta)设(she)备干扰的问题。
2、新专利采用交错帧传输
面(mian)对这些难(nan)题，苹果新(xin)专利“自适应无线传(chuan)输”系(xi)统提供了(le)一种新(xin)的解决方案(an)。
它虽然采用(yong)了(le)无线通信系(xi)统，但是减少(shao)了(le)一(yi)次(ci)传(chuan)(chuan)输的数据(ju)量。该(gai)方案要求系(xi)统传(chuan)(chuan)输尽可(ke)能少(shao)的视(shi)频数据(ju)。并且，这项专利(li)选(xuan)择将网络(luo)的带宽量减半，通过左右眼数据(ju)交(jiao)错使(shi)用(yong)，实现交(jiao)错帧数据(ju)传(chuan)(chuan)输（interleaved frame transmissions）。
苹果的(de)新(xin)(xin)专利认(ren)为(wei)，数据不必传输画(hua)面(mian)的(de)每一(yi)帧。它(ta)将画(hua)面(mian)的(de)传输帧分成(cheng)不同(tong)类，一(yi)类是需要紧(jin)急更新(xin)(xin)的(de)画(hua)面(mian)帧，另一(yi)类是可以再(zai)次使用(yong)、没(mei)有更新(xin)(xin)、较早(zao)时(shi)间的(de)画(hua)面(mian)帧。
▲每只眼睛的交替视频帧可以将一次传输的数据量减半(ban)。（来源(yuan)于(yu)：Appleinsider）
3、凝视跟踪功能加持数据节流
此(ci)(ci)外，该(gai)项(xiang)专利还用(yong)(yong)到了凝视跟踪(zong)功(gong)(gong)能(neng)（mention of gaze tracking）。该(gai)功(gong)(gong)能(neng)可以通过(guo)用(yong)(yong)户的凝视，优先更新用(yong)(yong)户正在查看画面的数(shu)据。不仅如此(ci)(ci)，它还通过(guo)注视点显示(shi)技术（foveated display techniques）减少用(yong)(yong)户未关注的画面细节量，再次节省数(shu)据传输。
但实(shi)现这一方案(an)可能需(xu)要极高的帧速(su)率（frame rates）。据苹果专利报告显示，由于(yu)头显在眼睛部位(wei)，所以“每秒至(zhi)少(shao)达到100帧”。
三、技术会不断迭代，但并不会全应用于苹果产品
此前，苹(ping)果在VR和AR领域具(ju)有(you)很(hen)多专利申请(qing)，并且与(yu)这次两(liang)项新专利有(you)一些技(ji)术(shu)交叉。
比如说在中(zhong)央凹区(qu)域(yu)的(de)显示(shi)技术（ foveated displays）方面，中(zhong)心凹是(shi)眼睛的(de)一(yi)个关键(jian)区(qu)域(yu)，它使人们能够以非常清(qing)晰和精(jing)确的(de)方式看(kan)到东(dong)西。2020年，苹果又设计了(le)与此次(ci)类似的(de)一(yi)个系(xi)统，该(gai)系(xi)统可以通过眼动追踪（ eye tracking）来(lai)决定将数据资源投放在屏幕哪些地(di)方，并且可以通过凝视(shi)检测(ce)功(gong)能（using gaze detection）来(lai)确保画(hua)面是(shi)否完成更新(xin)。
再(zai)比如说，手(shou)势(shi)识别功能。2018年(nian)，苹(ping)果(guo)的(de)(de)一(yi)项专(zhuan)利(li)曾涉及如何利(li)用(yong)头(tou)显下方的(de)(de)摄像头(tou)来(lai)监控用(yong)户的(de)(de)手(shou)势(shi)变(bian)化(hua)，以(yi)便(bian)系统通(tong)过手(shou)势(shi)变(bian)化(hua)管理3D文(wen)档。2015年(nian)，苹(ping)果(guo)的(de)(de)一(yi)项专(zhuan)利(li)可(ke)以(yi)通(tong)过机(ji)器(qi)视觉，远距(ju)离识别人们的(de)(de)手(shou)势(shi)。
苹果(guo)每周(zhou)都(dou)会(hui)提交(jiao)大量的(de)专(zhuan)(zhuan)利(li)申请(qing)，但新(xin)专(zhuan)(zhuan)利(li)的(de)存在仅代表苹果(guo)的(de)研发(fa)团队对该领域感兴趣，并(bing)不能保证这些专(zhuan)(zhuan)利(li)会(hui)出现在苹果(guo)的(de)产品(pin)中(zhong)。
结语：苹果下场会带火VR/AR设备吗？
苹果两(liang)项在VR/AR领(ling)域的新专(zhuan)利向我们(men)揭示了一个事实(shi)，苹果已(yi)经(jing)拥有较为成熟的、针对人(ren)机交互领(ling)域的难题的解决(jue)方(fang)案。
根据天风(feng)证(zheng)券(quan)分析(xi)师郭明錤报告(gao)，苹果可能将在2022年中期推(tui)出(chu)VR/AR头(tou)显设备。他认(ren)为，苹果头(tou)显能否成功要看VR/AR应用能否提供(gong)非(fei)常顺畅的显示与操作(zuo)流程。
据IDC称，到(dao)2022年，VR/AR的市(shi)场价值约为560亿美元。当(dang)苹果入场头显(xian)设备时，是否能通过新的技术加速VR/AR设备落地，我们静观其(qi)变。
来源：AppleInsider
