2024 年 6 月 6 日 – 全球边缘人工智能、云、网络和安全解决方案提供商 Gcore 宣布推出 Gcore Inference at the Edge，这是一个突破性的解决方案，可为人工智能应用提供超低延迟体验。这一创新解决方案能够将预先训练好的机器学习（ML）模型分布式部署到边缘推理节点，确保无缝、实时推理。
Gcore Inference at the Edge 为汽车、制造、零售和技术等不同行业的企业提供了经济高效、可扩展和安全的人工智能模型部署。生成式人工智能、物体识别、实时行为分析、虚拟助手和生产监控等用例现在可以在全球范围内迅速实现。
Gcore Inference at the Edge 在由 180 多个边缘节点组成的 Gcore 广泛全球网络上运行，所有节点均通过 Gcore 先进的低延迟智能路由技术相互连接。每个高性能节点都位于 Gcore 网络的边缘，战略性地将服务器放置在终端用户附近。边缘推理在英伟达™（NVIDIA®）L40S GPU上运行，这是一款专为人工智能推理设计的市场领先芯片。当用户发送请求时，边缘节点会以最低的延迟确定到最近的可用推理区域的路由，实现低于30毫秒的典型响应时间。
新解决方案支持各种基础 ML 模型和自定义模型。Gcore ML Model Hub 中可用的开源基础模型包括 LLaMA Pro 8B、Mistral 7B 和 Stable-Diffusion XL。在将模型全局分发到边缘节点的 Gcore Inference 之前，可以根据任何使用情况选择和训练模型。这解决了开发团队面临的一个重大挑战，即人工智能模型通常在与训练时相同的服务器上运行，导致性能低下。
Gcore 边缘推理的优势包括：
经济高效的部署： 灵活的定价结构确保客户仅需为其使用的资源付费。内置 DDoS 保护： ML 端点通过 Gcore 的基础设施自动受到保护，免受 DDoS 攻击。出色的数据隐私和安全性： 该解决方案内置符合 GDPR、PCI DSS 和 ISO/IEC 27001 标准。模型自动扩展： 自动扩展可用于处理负载峰值，因此模型始终准备好支持峰值需求和意外激增。无限对象存储： 可扩展的 S3 兼容云存储，可随着不断变化的模型需求而增长。Gcore 首席执行官 Andre Reitenbach 说：“Gcore Inference at the Edge 使客户能够专注于训练他们的机器学习模型，而不必担心在全球部署 AI 应用程序所需的成本、技能和基础设施。在 Gcore，我们相信边缘是实现最佳性能和最终用户体验的地方，这就是为什么我们不断创新以确保每个客户都能获得无与伦比的规模和性能。Gcore Inference at the Edge 可提供所有功能，而不会带来任何麻烦，提供现代、有效和高效的 AI 推理体验。”
