VR? AR? 今天，一切都是关于XR

VR 已死，VR万岁! 这大概概括了游戏行业对下一代沉浸式视频的现实审视. 阿迪, 谁代表全球移动网络运营商的利益, 承认虚拟现实(VR)继续遭受“后炒作现实”的困扰,这是GSMA一年一度的世界移动通信大会(MWC)在其中扮演的角色. 同时, GSMA指出，当前的移动生态系统是人工智能和沉浸式现实的“实验室”:“而智能手机的战争集中在应用经济上, 新的战场是人工智能的开发和对沉浸式现实的推动."

分析人士预测，全球增强现实(AR)和虚拟现实(VR)市场将会增长. 有先见之明的 & 战略情报局每年统计42人.增长9%，超过1美元.到2030年，这一数字将达到2740亿美元，主要基于平板电脑和智能手机销量的上升.

Futuresource Consulting预计，2020年市场将保持相对平稳, 据估计，VR和AR头盔的出货量不到1800万部. 该公司表示，这主要是由智能手机的VR观众推动的, 占所有VR出货量的一半以上. 市场结构有望迅速发展, 然而, Futuresource Consulting预测，主机VR头显, 电脑耳机, 而一体机(如Oculus的Quest 2)将在2024年前保持稳定增长.

简而言之，VR没有起飞，但它的时代会再次到来. 本文回顾了沉浸式视频的过去、现在和未来.

VR 1.0摊位

2014年，脸谱网以30亿美元收购Oculus，点燃了VR的导火索. VR技术和制作公司成倍增长，2017年达到顶峰. Jaunt从迪士尼筹集了1亿美元, 谷歌, 和天空, 等, 直到2019年被威瑞森收购. 然而，从那以后，事情就失败了. 诺基亚放弃了OZO部门. 谷歌关闭了其虚拟现实平台Daydream. NextVR在2020年被苹果收购之前市值曾达到8亿美元.

“VR市场被过度炒作，除了基于cg的VR游戏之外，并没有产生有意义的结果,蒂埃里·福捷说, 超高清论坛主席兼Harmonic视频战略副总裁. “VR之所以未能起飞，是因为这项技术不够令人信服, 因为严重的问题，比如晕动病和“纱门效应”,，而且画质也不够好(4K vs. 可能需要的16K). 我们现在看到了第二波由5G和具有8K功能的新型头戴式显示器(hmd)支持的VR."

与5G部署相关的VR和AR的炒作周期始于2017年. 那年4月, 韩国电信和威瑞森在韩国电信总部的显示器上展示了威瑞森员工的全息影像，展示了世界上第一个端到端5G网络.

“如果5G网络商业化, 3D全息视频通话将成为5g代表性服务之一,韩国电信发言人表示的 韩国先驱报》的采访. “通过一个完整的全息视频通话, 用户将能够在一个遥远的地方，以真实的尺寸实时见到一个人."

在MWC 2018上，韩国SK电信首次推出了8K“社交虚拟现实”和“全息人工智能”.那年9月, 沃达丰通过5G展示了这位英格兰女足队长的实时全息形象. 2019年2月.K. 移动运营商EE在英国电影和电视艺术学院奖的红地毯上展示了“数字超模”舒度的全息图，展示了其5G网络. 在MWC 2019上, 中兴通讯和中国电信合作，在一辆旅行巴士上展示5G 8K VR全景直播.

多年来, 业界一直在围绕5G大肆宣传, 特别是, 它“改变游戏规则”的能力，可以实时播放视频游戏和AR/VR体验. 毕竟, 5G是第一个能够提供VR和AR移动应用所需的速度(100Mbps)和延迟(10ms)的网络基础设施. 尽管苹果公司投入巨资, 微软, 谷歌, 和脸谱网, VR/AR还远未成为主流.

“缺乏合适的支持网络是导致VR主流采用速度低于预期的因素之一,索尔·罗杰斯说。, 沉浸式内容制作公司REWIND的CEO兼创始人, 在一篇他为 《百家乐软件app最新版下载》. “5G将迎来沉浸式和云连接体验的下一个时代. 更快，更统一的数据速率，更低的延迟和更低的每比特成本将确保这一点."

在澳大利亚、美国和中国，VR头盔的拥有量已从2017年的峰值下降.K.美国和美国.S. 而13%的U.2017年，美国家庭拥有一台，到2019年，这一数字降至8%. 根据GSMA的说法, “昂贵, 笨重的硬件和持续的头晕挑战并没有帮助, 但除了游戏之外，有限的内容库和边缘基础设施的缺乏也是罪魁祸首."

体育联盟和广播公司继续将VR视为提高观众兴趣的一种手段. 面临的挑战是，在付费电视用户已经被更便宜、更灵活的流媒体套餐拉向相反方向的情况下，如何说服他们在VR广播上花更多的钱.

即使是1美元.预计到2030年，VR/AR的市场规模将达到20亿美元，与目前10亿美元以上的电子竞技市场规模相比相形见绌.GSMA预计到2025年全球移动总收入将达到52万亿美元.

“XR(扩展现实), VR的总称, AR, 混合现实, (MR)一直令人失望，因为它没有达到人们对它的大肆宣传, 但是这些期望, 在事后看来, 很大程度上是站不住脚的,斯蒂芬·米尔斯说, 他是未来百家乐软件咨询公司的研究分析师. “要让XR真正起飞，需要进行太多的技术开发，并相互配合, 还有几步要走. 值得注意的是, 改进的视觉效果必须与空间音频技术相结合, 同样，soc(片上系统)也必须针对特定的XR用例进一步开发."

AR略有不同，因为它本质上更适合于移动计算. 谷歌, 微软, 神奇的飞跃很快意识到，增强现实早期最大的潜力在于B2B. 就连联想也推出了面向制造业的增强现实平台ThinkReality.

“(消费者增强现实)很难, 由于技术无法以消费者满意的价格满足消费者的期望,福捷说. “谷歌眼镜失败了，因为它的体验有缺陷，而且价格太高. 神奇的飞跃的体验并不好, 生态系统不完整, 因为它需要一个特殊的硬件, 而且代价很高."

今年早些时候, Gartner将AR从其新兴技术列表中删除, 考虑到该技术已经成熟，并准备进入企业领域.

神奇的飞跃

神奇的飞跃是增强现实(AR)领域的早期领跑者之一, 但该公司很快发现，未来不在于消费者体验，而在于B2B.

VR 2.0 = XR

XR这个词现在很流行. 未来学家和战略顾问伯纳德·马尔(Bernard Marr)对其组成部分的描述再清楚不过了:

VR:一种完全沉浸式的体验，用户通过VR头显离开现实世界的环境，进入一个完全数字化的环境.
AR:一种通过智能手机将虚拟物体叠加到现实环境中的体验, 平板电脑, 足智多谋的显示, 或AR眼镜.
MR:这是增强现实的一个进步，在现实世界中放置的虚拟物体可以像真实物体一样与之互动和反应.

高通是未来XR的主要推动者. 这家芯片制造商明确将XR与5G联系在一起，并与多家移动运营商合作，将一款可以连接到5G智能手机并由高通芯片供电的头戴式“XR查看器”商业化. “移动XR有可能成为未来十年世界上最普遍、最具颠覆性的计算平台之一, 就像这十年的智能手机一样,高通的一篇博客文章写道. “在未来的某个时候, 我们看到了智能手机的融合, 移动VR头显, 和AR眼镜整合到一个XR可穿戴设备中. XR眼镜可以取代你生活中的许多其他屏幕，甚至像客厅里的电视这样的大屏幕."

中国移动是全球最大的无线运营商网络运营商——德国电信、EE、KDDI、 Orange、软银、威瑞森、沃达丰、Tele-fón-ica和 NTT DOCOMO 也开着董事会. “我们相信，未来十年将会看到一个过渡到一个向上的社会，最终眼镜将成为智能手机的替代品,肖恩·西顿说, 德国电信集团合作和设备高级副总裁, 在新闻发布会上.

高通第一反应眼镜

高通公司正在开发扩展现实(XR)眼镜，该眼镜将连接到5G智能手机. 如图所示, 这种眼镜不仅可以帮助急救人员更有效地看到他们的环境, 还可以监测这些反应者的活动和健康状况.

高通支持Nreal, 通过USB-C连接到安卓设备的XR查看器, 所有的加工过程, 存储, XR所需的无线网络连接发生在手机上而不是头戴式耳机上. 爱奇艺等品牌, 3个眼镜, 松下预计将在明年推出带有“高通XR优化”标志的产品. 高通公司提到了企业应用程序，比如“工作场所会议如何能够” 通过全息远程呈现与虚拟协作平台进行革命."

探索XR

与此同时，德国电信(Deutsche Telekom)正在合作与Orange合作开发消费者XR内容. 第一个合作伙伴是蒙特利尔的Felix & Paul工作室提供“国际空间站体验”.——摩根·布切特, Orange数字内容创新总监兼XR主管, 说, “(我们)一直在推进开发提供XR/5G平台的项目, 他们都面临着一个共同的挑战:寻找高质量的互动和沉浸式内容. 在这个市场上，供应仍然有限，设计很少，远 Between, and expensive. 在一起, 我们更有能力与更大的公司竞争, 尤其是[谷歌, 苹果, 脸谱网, 和Ama-zon), 为了购买优质内容."

两家公司还在研究XR在体育和电视领域的应用. 丹尼尔Aslam, 德国电信全球合作伙伴和XR业务发展经理, 州, “我们正在探索XR(沉浸式)媒体用例，例如电视与混合现实眼镜交互. 我们将在2021年继续与Orange合作开发项目."

“短期内XR的增长将受到游戏和B2B的推动, 特别是在教育和培训方面,Futuresource咨询公司的莫里斯·加拉德说. “工作场所生产力的提高将有助于将XR带入消费者的家中."

也许最大的(非高通)XR产品将是苹果的眼镜, 传闻将于2021年年中推出, 可能是8K规格的.

“最终, 独立XR耳机和可穿戴设备将会有令人信服的使用案例, 最可能出现在企业AR中,米尔斯说。. “然而, 该行业必须确保无缝的消费者体验和, 最重要的是, 软件和内容开发者需要参与进来，以确保这些设备在开发时确实有一些值得做的事情."

VR和AR需要20mbps到30Mbps之间的带宽，因此可以在没有HMD的体育场内使用, Harmonic认为哪种用例会很流行. 多视角，多镜头，和多游戏高清视频也需要20Mbps 已经在RG实验室与法国tsamlsamvisions进行了演示.

Fautier预测:“在2025年之前，我们将在移动设备上看到体育场内的应用程序。. “对于VR或2D，应用程序是多摄像机，用于现场和追赶动作的广角相机. 对于AR，我们设想分数和统计叠加以及用于体积捕获的点云. 我们相信，现在可以通过5G大规模部署体育场内的多视角和动作回放."

BT体育XR拳击

英国电信体育公司(BT Sport)的一项创新将使在咖啡桌上观看3D版拳击比赛成为现实.

XR应用程序

XR也不需要被视为纯粹的视觉机会. 例如, 有听觉增强现实的能力, 通过语音助手向佩戴者描述世界. 西蒙福勒斯特, 未来百家乐软件咨询公司首席分析师, 假设这可能会以一种先进的可听产品的形式出现，这种产品能够使用基于位置的传感器和空间感知来提供精确的时间, 与用户正在做的事情相关的上下文感知信息. “这对人工智能在语音助手中的发展以及互联网搜索的运作方式产生了影响，因为所有结果都必须被说出来作为最佳答案, 每一次,他说.

超越标题速度, 5G的超低延迟有效地使边缘设备和云服务在拓扑结构上更加接近, 模糊了可以放置计算百家乐软件的边界. 此外, 网络切片的机会——有效地为特定应用保留保证带宽——将为移动网络提供先进的功能.

“这开辟了需要云服务实时响应的新应用, 与XR一个垂直，可以充分利用,福雷斯特说。. “然而, 我们距离在大多数发达地区全面覆盖5G服务还有5到7年的时间, 当然, 设备不会以千兆速度无处不在地连接, 因为这将需要5G网络基础设施的大规模密集化."

Forrest总结道，XR产品不能简单地依赖于高带宽毫米波. 以26 GHz为中心, 毫米波增加了“超级数据层”,“在很短的距离内提供高达10Gbps的超高带宽服务. “因此，5G应该被视为XR整体解决方案的一部分，”他说. “与此同时，soc正在与车载神经网络加速器一起开发. 这种创新为边缘人工智能提供了机会, 大大提高了XR设备本身的计算能力. 将其与低延迟5G连接相结合，然后允许基于云的计算同时运行. 最终, 5G实现了边缘和云之间的计算平衡, 具有近乎实时的执行能力."

用于家庭XR体验, 5G将“基本上毫无意义”,福雷斯特说。, Wi-Fi 6在确保低流量方面更为重要
延迟, 如果被消费或使用的内容是直接流媒体的，那么高质量的XR体验, 比如运动. 此外，Wi-Fi 7 (802.11)标准, 目前正在规范中，计划在2024年进行商业发射, 预计将提供30Gbps的峰值连接速度和更低的延迟, 直接与5G毫米波竞争. 福雷斯特指出，这将需要光纤到户，以便将巨大的本地带宽连接到互联网主干.

New codecs such as Versatile Video Coding (VVC) and Essential Video Coding (EVC; MPEG-5) will help reduce video bandwidth for broadcast/push VR applications, 这些编解码器将与5G和Wi-Fi 6连接一起使用. 但视频帧不一定是XR的最佳技术, 还有一些替代方案正在开发中. 其中一个创新是体积捕捉技术:视频可以使用多个摄像头捕捉, 然后生成一个“点云”, 描述3D [x ?, y, 场景中每个像素的坐标和颜色.

“从成千上万的点, 一组3D对象被创建, and these can be rendered in the headset; coupled with the increase in local compute performance, 这为基于图形渲染技术的新XR产品提供了潜力, 而不仅仅是视频帧,福雷斯特说。.

BT体育正在探索如何通过5G捕捉海量视频并提供交互式沉浸式体验, 既可以在体育场馆内进行，也可以在家里进行直播. 创意包括将拳击比赛的实时虚拟体全息图流到观众的咖啡桌上, 与直播同时进行. 这一切都处于概念验证阶段，但这是美国近4000万美元项目的一部分.K. 政府资助的项目，开发将推动5G普及的应用.

6自由度自由视点

MPEG内部的公司正在积极定义点云压缩的算法, 这样捕获和传输是标准化的. 这些分别是视频和图形的MPEG V-PCC和MPEG G-PCC, 两者都寻求捕获3D体积数据并显着减少带宽.

“超越2030年, 我们预计将会有6自由度的光场应用，这将需要在客户端进行高计算, 还有新的显示技术,福捷说. 这些实例将(适用于)基于位置的环境. 第二个应用程序是渲染游戏的免费视口应用程序. 虽然这个应用程序现在还不是实时的，但我们希望它是."

In 2019, 佳能使用其免费视点视频系统在橄榄球世界杯上提供高光视频. 该公司表示，该系统“利用位于体育场周围的多个摄像头……将高分辨率的馈送组合并转换为3D空间数据。, 生成一个全面的三维地图的行动，每一刻."

另一个应用程序, 这需要5G网络中的特定软件, 是FeMBMS(进一步发展的多媒体广播组播业务). 在3GPP Release 17中，这种新的移动广播模式可以在半径60公里的范围内分发流行内容. Harmonic预计将在2024年巴黎奥运会上首次部署该系统. 如果这是决定性的，它可能在2025年后被广泛部署.

“移动广播是一个不确定因素，因为它在4G中失败了，”福捷说. “然而, 如果在流拥塞的情况下QoE更好, 那么FeMBMS就会成功. 移动网络运营商将能够将他们的网络向内容提供商货币化, 广播公司, 或活动组织者(如国际奥委会或国际足联)."

高通公司(Qualcomm)表示，如果XR要飞起来，它需要在显示技术上进行颠覆. 这些“眼镜”的属性包括为沉浸式VR和有用的AR提供视野(VR完全不透明), 但至少有85%的AR透明度), 驱动至少Rec的高动态范围(HDR). 2020色域，并以至少120Hz的频率刷新(每只眼睛). 它的成本也必须低于100美元.

高通还表示，5g增强的移动宽带是XR大规模采用的必要条件. 报告称:“XR视频将成为5G的杀手级用例。. 目标属性包括低至1毫秒的延迟和统一的体验——即使在单元边缘也是如此. 高通公司预测，在未来十年, 5G XR应该可以达到200英里/秒到5英里/秒的速度,000 mbps, 与互动, 实时, 3 d 免费的-Viewpoint, 6个自由度, 8K/90 fps - 120 fps HDR视频.

空间计算前沿

XR设备是通往神奇的飞跃等科技巨头所瞄准的真正目标的门户, 微软, 苹果, 谷歌, 英伟达:下一代互联网, 也就是理论上的3D和触觉, 需要围绕声音和手势设计新的人机交互.

空间计算, 由神奇的飞跃定义, 允许数字内容与其物理环境互动，人们也可以无缝地与内容互动, 没有屏幕的限制.“该公司正在通过在日本NTT DOCOMO等合作伙伴的5G基础设施上运行空间计算来推进这一目标.

英伟达(Nvidia)对这个网络未来的控制份额的出价被称为Omniverse. 最初以企业为目标，Omniverse“融合” 物理和虚拟世界以逼真的细节实时模拟现实。” 该公司总裁兼首席执行官黄仁勋表示在最近的主题演讲中. “云原生和照片真实, 具有路径跟踪和材料模拟, Omniverse允许设计师、艺术家甚至人工智能在一个共同的世界中联系. 这是《百家乐app下载》全息甲板的开始，终于实现了."