作为创新光学和无线网络（IOWN）计划的一部分，NTT Corporation（NTT）和红帽公司与英伟达（NVIDIA）和富士通（Fujitsu）合作，共同开发了一个解决方案，以增强和扩展边缘实时人工智能（AI）数据分析的潜力。该解决方案采用了 IOWN 全球论坛开发的技术，建立在红帽 OpenShift 的基础上，后者是由 Kubernetes 支持的业界领先的混合云应用平台，因其现实世界中的可行性和使用案例而获得了 IOWN 全球论坛的概念验证 (PoC) 认可。
随着人工智能、传感技术和网络创新的不断加速，使用人工智能分析来评估和分流网络边缘的输入将变得至关重要，尤其是在数据源几乎每天都在扩展的情况下。然而，大规模使用人工智能分析可能会很慢、很复杂，而且可能会带来更高的维护成本和软件维护成本，以搭载新的人工智能模型和额外的硬件。随着边缘计算能力在更多偏远地区出现，人工智能分析可以放在更靠近传感器的地方，从而减少延迟并增加带宽。
该解决方案由IOWN全光子网络（APN）和IOWN以数据为中心的基础设施（DCI）中的数据管道加速技术组成。NTT 的人工智能加速数据管道采用 APN 远程直接内存访问（RDMA）技术，可在边缘高效地收集和处理大量传感器数据。Red Hat OpenShift 的容器编排技术提供了更大的灵活性，使加速数据管道中的工作负载能够跨地理分布的远程数据中心运行。NTT 和 Red Hat 已成功证明，该解决方案可有效降低功耗，同时保持较低的延迟，以便在边缘进行实时人工智能分析。
概念验证评估了一个实时人工智能分析平台，横须贺市作为传感器安装基地，武藏野市作为远程数据中心，两者通过 APN 进行连接。结果发现，与传统的人工智能推理工作负载相比，即使在容纳大量摄像头的情况下，汇总传感器数据进行人工智能分析所需的延迟也减少了 60%。此外，IOWN PoC 测试表明，边缘每个摄像头进行人工智能分析所需的功耗可比传统技术降低 40%。这种实时人工智能分析平台允许扩大 GPU 的规模，以容纳更多的摄像头，而不会让 CPU 成为瓶颈。根据试验计算，假设可容纳 1,000 个摄像头，预计功耗可进一步降低 60%。该解决方案的概念验证重点如下：
由 NTT 提供的用于人工智能推理的加速数据管道，利用 RDMA over APN 直接从本地站点获取大规模传感器数据到远程数据中心加速器的内存中，减少了传统网络中的协议处理开销。然后，它在加速器内完成人工智能推理的数据处理，减少了 CPU 控制开销，提高了人工智能推理的能效。由红帽 OpenShift 支持的大规模实时人工智能数据分析可以支持 Kubernetes 操作员5，最大限度地降低实施基于硬件的加速器（GPU、DPU 等）的复杂性，从而提高灵活性，更容易在包括远程数据中心在内的分散站点进行部署。本 PoC 使用英伟达 A100 Tensor Core GPU 和英伟达 ConnectX-6 NIC 进行人工智能推理。该解决方案有助于为智能人工智能技术奠定基础，帮助企业实现可持续发展。有了这个解决方案，企业可以从以下方面受益:
减少与收集大量数据相关的开销；加强数据收集，可在大都市地区和远程数据中心之间共享，以便更快地进行人工智能分析；能够利用本地可用的潜在可再生能源，如太阳能或风能；利用视频摄像头作为传感设备，提高区域管理安全性。
