NVIDIA 发布 DGX SuperPOD,助力万亿参数级的生成型 AI 超级计算能力

NVIDIA 今天宣布推出下一代 AI 超级计算机——由 NVIDIA GB200 Grace Blackwell Superchips 提供支持的 NVIDIA DGX SuperPOD,用于处理万亿参数模型,并具有持续的正常运行时间,以实现超大规模生成式 AI 训练和推理工作负载。

新型 DGX SuperPOD 采用新型高效液冷机架级架构,采用 NVIDIA DGX GB200 系统构建,可在 FP4 精度下提供 11.5 exaflops 的 AI 超级计算能力和 240 TB 的快速内存,可通过额外的机架扩展到更多。

每个 DGX GB200 系统均配备 36 个 NVIDIA GB200 超级芯片,其中包括 36 个 NVIDIA Grace CPU 和 72 个 NVIDIA Blackwell GPU,通过第五代 NVIDIA NVLink 连接为一台超级计算机。与 NVIDIA H100 Tensor Core GPU 相比,GB200 Superchips 对于大型语言模型推理工作负载的性能提升高达 30 倍。

NVIDIA 创始人兼首席执行官黄仁勋表示:“NVIDIA DGX AI 超级计算机是 AI 工业革命的工厂。” “新的 DGX SuperPOD 结合了 NVIDIA 加速计算、网络和软件的最新进展,使每个公司、行业和国家都能完善和生成自己的人工智能。”

由 Grace Blackwell 提供支持的 DGX SuperPOD 具有八个或更多 DGX GB200 系统,并且可以扩展到通过 NVIDIA Quantum InfiniBand 连接的数万个 GB200 超级芯片。为了获得巨大的共享内存空间来为下一代 AI 模型提供动力,客户可以部署一种配置,将 8 个 DGX GB200 系统中的 576 个 Blackwell GPU 连接起来,并通过 NVLink 连接。

面向生成式 AI 时代的全新机架级 DGX SuperPOD 架构

配备 DGX GB200 系统的全新 DGX SuperPOD 具有统一的计算结构。除了第五代 NVIDIA NVLink 之外,该结构还包括 NVIDIA BlueField -3 DPU,并将支持今天单独发布的 NVIDIA Quantum-X800 InfiniBand 网络。该架构为平台中的每个 GPU 提供每秒高达 1,800 GB 的带宽。

此外,第四代 NVIDIA 可扩展分层聚合和缩减协议 (SHARP) 技术可提供 14.4 TeraFLOPS 的网络内计算能力,与上一代相比,下一代 DGX SuperPOD 架构提高了 4 倍。

交钥匙架构与先进软件相结合,实现前所未有的正常运行时间

全新 DGX SuperPOD 是一款完整的数据中心规模 AI 超级计算机,它与 NVIDIA 认证合作伙伴的高性能存储集成,以满足生成型 AI 工作负载的需求。每个产品均在工厂内构建、布线和测试,可显着加快客户数据中心的部署速度。

由 Grace Blackwell 提供支持的 DGX SuperPOD 具有智能预测管理功能,可连续监控硬件和软件上的数千个数据点,以预测和拦截停机和低效率的根源,从而节省时间、能源和计算成本。

该软件可以识别关注领域并制定维护计划,灵活调整计算资源,并自动保存和恢复作业以防止停机,甚至无需系统管理员在场。

如果软件检测到需要更换组件,集群将激活备用容量以确保工作及时完成。可以安排任何所需的硬件更换,以避免计划外停机。

NVIDIA DGX B200 系统为行业提供先进的 AI 超级计算

NVIDIA 还推出了 NVIDIA DGX B200 系统,这是一个用于 AI 模型训练、微调和推理的统一 AI 超级计算平台。

DGX B200 是全球各行业使用的第六代风冷、传统机架式 DGX 设计。全新 Blackwell 架构 DGX B200 系统包括八个 NVIDIA Blackwell GPU 和两个第五代 Intel Xeon 处理器。客户还可以使用 DGX B200 系统构建 DGX SuperPOD,以创建 AI 卓越中心,为运行许多不同工作的大型开发团队的工作提供支持。

DGX B200 系统在新的 Blackwell 架构中包含 FP4 精度功能,可提供高达 144 petaflops 的 AI 性能、1.4 TB 的海量 GPU 内存和 64 TB/s 的内存带宽。与上一代相比,万亿参数模型的实时推理速度提高了 15 倍。

DGX B200 系统包括带有八个 NVIDIA ConnectX -7 NIC 和两个 BlueField-3 DPU 的高级网络。每个连接可提供高达 400 GB 每秒的带宽,通过 NVIDIA Quantum-2 InfiniBand 和 NVIDIA Spectrum -X 以太网网络平台提供快速的 AI 性能。

用于扩展 AI 生产规模的软件和专家支持

所有 NVIDIA DGX 平台均包含用于企业级开发和部署的 NVIDIA AI Enterprise 软件。DGX 客户可以利用软件平台中包含的预先训练的 NVIDIA 基础模型、框架、工具包和新的 NVIDIA NIM 微服务来加速他们的工作。

NVIDIA DGX 专家和经过认证可支持 DGX 平台的精选 NVIDIA 合作伙伴在部署的每个步骤中为客户提供帮助,以便他们能够快速将 AI 投入生产。一旦系统投入运行,DGX 专家将继续支持客户优化其 AI 管道和基础设施。

供货情况配备

DGX GB200 和 DGX B200 系统的 NVIDIA DGX SuperPOD 预计将于今年晚些时候从 NVIDIA 的全球合作伙伴处供货。

猜你喜欢

看网站不受限制的浏览器:助你遨游无阻网络世界的利器
看网站不受限制的浏览器:助你遨游无阻网络世界的利器

看网站不受限制的浏览器者,乃是现代网络之潮流,善用者可畅游于无阻之虚拟世界,体验各种独特之内容。然有所谓的地域限制,或不断变化之网

动漫一起嗟嗟嗟免费观看:探索动漫视听世界的奇妙之旅
动漫一起嗟嗟嗟免费观看:探索动漫视听世界的奇妙之旅

动漫一起嗟嗟嗟免费观看者,乃今之流行盛事,掀起了广泛追捧之潮。无数忠实观众纷纷加入,沉醉于那幅绚丽的动漫画卷之中,见证不同故事与人

hlw155.ccm黑料:探索其背后的潜在影响与广泛应用
hlw155.ccm黑料:探索其背后的潜在影响与广泛应用

hlw155 ccm黑料乃当今网络环境中,引发诸多关注之话题。此物质之性质与应用,正潜藏于人们日常生活之中,广泛且复杂。其所带来的影响,亦不

桥本舞 ed2k 作品欣赏:桥本舞 ed2k 是一款优秀的作品,值得一看
桥本舞 ed2k 作品欣赏:桥本舞 ed2k 是一款优秀的作品,值得一看

桥本舞是一位备受瞩目的日本女演员,她的作品在全球范围内拥有众多粉丝。其中,桥本舞 ed2k 作品更是备受关注,成为了许多人追捧的对象。

51cgfun今日吃瓜必吃防:纵览今日热搜,吃瓜必备攻略与防范策略
51cgfun今日吃瓜必吃防:纵览今日热搜,吃瓜必备攻略与防范策略

51cgfun今日吃瓜必吃防覆盖今日之盛事,食瓜之道亟需掌握,纵观热搜,舆论风云变幻,信息纷繁复杂。欲于此时静观其变,必须具备相应的防范

亚洲精品一区二区三区四区手机版,汇聚亚洲各地精彩内容,满足你所有需求
亚洲精品一区二区三区四区手机版,汇聚亚洲各地精彩内容,满足你所有需求

亚洲精品一区二区三区四区手机版,汇聚亚洲各地精彩内容,满足你所有需求!亚洲,这片广袤的土地拥有着丰富多样的文化、历史和自然景观。无

仙踪林 18 岁女 RAPPER 实力说唱,带你领略不一样的音乐世界
仙踪林 18 岁女 RAPPER 实力说唱,带你领略不一样的音乐世界

仙踪林 18 岁女 RAPPER:用实力说唱,打破常规,创造独特音乐世界在音乐的海洋中,有一颗璀璨的新星正在升起,她就是来自仙踪林的 18

时光荏苒:探索时间之神的猫的冒险旅程 0-3怎么过
时光荏苒:探索时间之神的猫的冒险旅程 0-3怎么过

第一章:时光之始在无尽的宇宙间,一只神秘的猫踏上了它的冒险旅程。这只猫被时间之神赋予了一项神圣的任务,探索时间的奥秘。故事从猫踏上

用你的大括号顶我的小括号:探讨现代交流与传统表达的交融
用你的大括号顶我的小括号:探讨现代交流与传统表达的交融

用你的大括号顶我的小括号,今之世界,交流之法千变万化。立足于信息化时代,传统语言之美与现代符号之用,彼此交融,互为补充,使人类沟通

草样年华 2 下载:重温青春的记忆与感动
草样年华 2 下载:重温青春的记忆与感动

草样年华 2是一部备受关注的青春小说,它以真实而生动的笔触描绘了一代人的成长历程和青春记忆。如今,随着数字化时代的到来,我们可以通