AMD 今天宣布,Oracle 云基础设施 (OCI) 已选择搭载 ROCm™ 开放软件的 AMD Instinct™ MI300X 加速器来支持其最新的 OCI 计算超级集群实例 BM。GPU 的 GPU 中。对于包含数千亿个参数的 AI 模型,采用 AMD MI300X 的 OCI 超级集群利用 OCI 上其他加速器使用的相同超快网络结构技术,在单个集群中支持多达 8 个 GPU。这些 OCI 裸金属实例旨在运行要求苛刻的 AI 工作负载,包括需要高吞吐量和领先内存容量和带宽的大型语言模型 (LLM) 推理和训练,现已被包括 Fireworks AI 在内的公司采用。
AMD 公司副总裁兼数据中心 GPU 业务总经理 Andrew Dieckmann 表示:“AMD Instinct MI300X 和 ROCm 开放软件作为支持关键 OCI AI 工作负载的可靠解决方案,继续保持增长势头。随着这些解决方案进一步扩展到不断增长的 AI 密集型市场,此次合并将为 OCI 客户提供高性能、高效率和更高的系统设计灵活性。
Oracle 云基础设施软件开发高级副总裁 Donald Lu 表示:“AMD Instinct MI300X 加速器的推理功能进一步丰富了 OCI 广泛的高性能裸金属实例选择,消除了 AI 基础设施常用的虚拟化计算开销。我们很高兴能以具有竞争力的价格为寻求加速 AI 工作负载的客户提供更多选择。
为 AI 训练和推理带来值得信赖的性能和开放的选择
AMD Instinct MI300X 经过了广泛的测试,并经过 OCI 验证,凸显了其 AI 推理和训练能力,即使批处理规模较大,也能为延迟优化用例提供服务,并且能够在单个节点中容纳最大的 LLM 模型。这些 Instinct MI300X 性能结果引起了 AI 模型开发人员的关注。
Fireworks AI 提供了一个快速平台,旨在构建和部署生成式 AI。Fireworks AI 拥有超过 100+ 个模型,正在利用 AMD Instinct MI300X 的 OCI 中的性能优势。
“Fireworks AI 帮助企业在广泛的行业和用例中构建和部署复合 AI 系统,”Fireworks AI 首席执行官林乔说。AMD Instinct MI300X 和 ROCm 开放软件的可用内存容量使我们能够随着型号的不断增长而扩展对客户的服务。