开发人员认为,6G 将带来照片般逼真的全息通信,并辅以多感官扩展——如今,实验已经开始。
想象一下,在共享数字环境中观看相隔 280 英里的艺术家们的表演并进行实时互动。或者在你的客厅里感受球场上脆响,或者沉浸在全息直播中。随着 6G 的到来,所有这些场景都可能在不到 5 年的时间内实现。
Digital Catapult Centre最近,每个概念都已使用现有技术进行了演示,以号召媒体公司提前做好规划。
“潜力巨大,现在就进行测试并创建概念验证,”政府资助的创新组织 Digital Catapult 的沉浸式技术总监 Jessica Driscoll 说道。“我们如何开始思考人工智能驱动的交互式故事讲述,或者更具协作性的艺术和音乐制作是什么样的?多感官体验将如何增强故事讲述?”
从理论上讲,6G 的速度将比 5G 快 10 到 100 倍,数据速率高达每秒 1TB,延迟以微秒为单位,并且能够整合数字世界和物理世界。
“不难想象,足球观赛体验可能会受益于扩展现实 (XR) 和触觉等创新技术的进步,这些技术可能首次让比赛日成为一种真正身临其境的体验,”技术许可开发商 InterDigital 的视频解决方案集团高级总监 Valerie Allie 说道。“6G 的出现将加速 XR 的重大进步,因此现在是体育联盟在未来十年创造性地思考如何为球迷提供身临其境体验的时候了。”
据移动行业标准机构 ETSI 称, 6G 规范的初步工作将从明年的 5G 标准第 20 版开始,第 21 版预计将于 2028 年获得批准,以便于 2030 年推出商用 6G 网络。
这意味着 2032 年布里斯班奥运会可能成为第一个享受下一代网络优势的重大活动。
InterDigital 欧洲无线实验室负责人 Alain Mourad 表示:“从工业议程的角度来看,6G 取得了长足进步。全球以及 3GPP 和 ITU 等标准机构已经做出了承诺。”
明年三月,3GPP(制定移动宽带标准的机构)将举行首次正式研讨会,邀请成员分享对议程和范围的看法。
Mourad 证实:“第一批标准将于 2028 年左右发布,之后还需要几年时间我们才能开始看到这些规范和产品的实施。”
国际电信联盟评估并标准化了 3GPP 提出的 6G 规范,将其定为IMT-2030。这扩展了 5G(IMT-2020)中的现有服务,例如“沉浸式通信”,以包括一组新属性,这些属性归类为:无处不在的连接;人工智能与通信;以及集成传感与通信。
总之,6G 网络将大规模实现沉浸式、无处不在和感官的数字体验。咨询公司 Capgemini的一份报告称,这将使 6G 应用能够“感知”周围环境,从而将网络变成“我们的第六感”。
展望2030年,电信巨头爱立信预计用户将能够体验全天候XR,其中XR设备将成为我们所有通信的主要设备,类似于今天的智能手机。
双位置性能先进媒体制作(AMP)网络由 Digital Catapult 和动作捕捉设施 Target3D 共同开发,是英国首个支持 5G 的互联设施。这项由政府资助的计划将伦敦和盖茨黑德的工作室与贝尔法斯特的实验室、盖茨黑德的实验室以及纽卡斯尔市中心的沉浸式 5G 实验室连接起来。该实验室提供计算能力、动作捕捉摄像机、体积捕捉系统和 5G 连接,供媒体和企业进行实验。
这些实验包括 “双现场表演”,即一个地方的表演者通过全息视频在另一个地方复制他们的动作,或者两个不同地点的表演者在 Roblox 等虚拟平台上进行表演。
“我们有兴趣推动实时全息广播的潜力,” Driscoll 说。“有趣的是观众的互动会反馈到这些虚拟世界中。例如,如果有两位流行歌星,一位在英格兰北部,一位在英格兰南部,一起在 Fortnite 中表演,那么实时观众体验和反馈给表演者的反馈循环是什么?这是一个尚未解决的问题。
“作为表演者,你可以看到人们在虚拟世界中移动,但你无法真正辨别出个人的手势。环境中存在延迟。它不是无缝的。但完全低延迟的 6G 环境将实现实时交互。你可以拥有实时 360 度音频。”
她继续说道:“当没有明显的延迟时,每个人都可以同时体验一些东西。你可以进行有意义的互动,并享受非常高质量的个性化立体视频和声音。这些都是我们才刚刚开始探索的东西。”
2023 年 7 月,阿伯泰大学的研究人员展示了演员们如何利用 5G 网络连接在一致的虚拟环境中从两个不同地点(邓迪和曼彻斯特)实时一起拍摄场景。这样做的明显实际动机是减少旅行时间并降低碳排放成本。
“人们渴望能够跨地区共享人才,但人们的思维模式仍然非常传统,”德里斯科尔说。“除非可持续性成为人们议程中的重要部分,并且我们不会坚持通过差旅来减少碳足迹,否则真正的双站点或多站点性能将不会像我们想象的那样腾飞。”
电子艺术组合Gibson/Martelli使用动作捕捉、虚拟环境和现场音乐,与位于 AMP 南北工作室的艺术家一起开发了一场双现场表演,这两座工作室相距 250 英里,通过 10GB 光纤连接边缘计算能力和本地 5G 网络连接。
目标是开发一套包含思想和技术的“剧本”,以指导其他人探索相关表演。
Gibson /Martelli 计划添加更多元素,包括将动作捕捉数据传输给远程 VR 观众,并通过动作捕捉手套和可以识别特定手势的机器学习工具包让舞者控制表演。
Digital Catapult 为所有行业提供设施,并发现所谓的“创意溢出”,即将创意产业的工具、工作流程、流程和内容(如沉浸式音频、视觉特效或游戏引擎)应用于更多的工业环境。
触觉循环虽然沉浸式广播可能处于起步阶段(并且受到现有连接限制的阻碍),但体育制作人最早可在 2030 年从 6G 的推出中受益。
“下一代电信基础设施有可能彻底改变球迷参与顶级体育赛事的方式,”Allie 说道。“它甚至可能开启沉浸式内容的新时代,将观众对现场比赛的兴奋感提升到一个新的水平。”
可以想象 VR 头戴设备将带来身临其境的体验,让球迷无论身处世界的哪个角落,都能感觉自己身处体育场。同时,AR 通过将数字信息叠加到物理世界来增强现实世界的体验。
Digital Catapult 5G实验室启动“我们所说的‘沉浸式视频’是指可以根据深度和视差的感觉调整用户视角的视频,”Allie 解释道。“要做到这一点,需要捕获大量信息以实时生成 3D 视频,然后进行大规模的可行传输,并部署在无线网络上。”
这种混合带来了数字感官体验。
“假设您正在观看普通的 2D 体育赛事,您会在智能手机、耳机或控制器上收到一些与球场上的表现同步的触觉反馈。当球员触球时,用户会收到触觉反馈,让您更接近现场体验,”她说。
InterDigital 已利用 5G 连接证明了这一点。
这个想法类似于游戏玩家已经通过控制台控制器获得的振动。设备可以产生压力、纹理甚至热量的感觉,以增加虚拟场景的沉浸感。触觉手套可能会向各个手指、手掌和手背传递不同的感官反应,以模仿更自然的触觉体验,例如握住物体或攀爬某些地形。
“以电子竞技为例,”Allie 继续说道。“玩家玩他们最喜欢的赛车游戏,并在 Twitch 上与粉丝分享他们的游戏体验。如今的观众只能看到游戏体验的 2D 图像。借助我们的沉浸式视频和触觉反馈层,远程观众将沉浸在 3D 视频中,他们将感受到玩家在游戏过程中感受到的确切触觉反馈。为此,我们将触觉媒体信号作为比特流中的附加轨道。”
InterDigital 已经构建了一个平台来测试和评估端到端的沉浸式视频体验,其工作成果被融入到MPEG-I的开发中。
“沉浸式视频标准的首个版本已经发布,因此您今天就可以开发和部署一些场景,”Allie 说道。
人工智能与通信6G 有望成为 AI 原生网络;AI 嵌入在网络设备中。这将使网络能够自我学习和管理,更加自主,并降低运行成本。
但这在实践中意味着什么?“如果我从 AMP 演播室向格拉斯顿伯里或其他城市地点广播,那么网络基础设施应该能够自我优化和自我组织,” Driscoll 解释道。“它可以应对建筑物的信号反射、天气模式(雨水会对移动覆盖产生负面影响)或本地网络突然拥塞的情况。它支持实时多站点协作以及多用户协作。”
Nvidia 等公司依靠 AI 能够自动优化生产过程中的每个点以实现最佳性能。
“人工智能优化将有助于解决这个问题,因为在某些时候,你不需要在某个地方拥有一定的能力、容量或吞吐量,但在另一个地方却需要它。目前这很难做到。”
安全性和弹性预计通过 6G 网络处理数字媒体资产的复杂性将引发监管和隐私问题。
例如,Digital Catapult 和 Target3D 开发的人工智能超人类利用一个人的身体、第二个人的运动数据和第三个人的声音。确保个人 IP 合规是 6G 可以改善或恶化的一个问题。
Driscoll 表示:“安全性和弹性问题在 IMT-2030 中变得更加突出。当我们讨论 5G 沉浸式应用时,并没有如此激烈地讨论安全性问题,因为这些应用往往比较谨慎,属于概念验证,通常用于营销或研究。随着我们转向 6G 和大众移动通信的前景,问题是如何确保一切安全?”
6G 标准正在为芯片组、硬件协议和软件堆栈内置安全功能,以期提高安全性。
运营商承诺,5G 投资将带来突破性的体验,如 VR,他们将能够从中获利。然而,许多运营商尚未看到这项投资的任何回报,VR/AR 或 XR 应用也未能起飞。
人们指责当前的蜂窝技术速度太慢,无法管理实时拼接增强现实和虚拟现实所需的高数据速率和延迟水平。
“6G 的延迟和速度增强将解决这些问题,”InterDigital 研究视频处理机器学习的科学家 Philippe Guillotel 表示。“将有机会提供新的体验,为观众创造更多价值,但了解人们如何使用和与数字环境互动将是 6G 成功的关键。”
他的同事则更加谨慎。“运营商正在采取更务实的投资方式,因为 5G 中已有多种技术推动因素尚未部署,或者尚未确定商业案例,”Guillotel 说。“但这并不意味着在未来几年随着 5G 的成熟,这些技术将被搁置。我们已经看到高级用例的兴起,XR 就是其中之一。”
作者:Adrian Pennington原文:https://www.ibc.org/features/6g-media-should-plan-for-the-internet-of-senses/12291.article