軟銀推出了Infrinia AI Cloud OS，這是一個(gè)用于運(yùn)營(yíng)AI數(shù)據(jù)中心的軟件棧，能夠自動(dòng)化基礎(chǔ)設(shè)施管理并為大語(yǔ)言模型提供推理服務(wù)。

該軟件處理從BIOS配置到GPU平臺(tái)上Kubernetes管理的各項(xiàng)任務(wù)，包括英偉達(dá)的GB200 NVL72。

軟銀在聲明中表示："通過(guò)部署Infrinia AI Cloud OS，AI數(shù)據(jù)中心運(yùn)營(yíng)商可以在多租戶環(huán)境中構(gòu)建Kubernetes即服務(wù)（KaaS），以及作為自己GPU云服務(wù)一部分的推理即服務(wù)（Inf-aaS），后者通過(guò)API提供大語(yǔ)言模型推理功能。"

該公司表示，開(kāi)發(fā)這款軟件是為了解決運(yùn)行GPU云服務(wù)所涉及的操作復(fù)雜性。

此外，該公司在聲明中補(bǔ)充說(shuō)，與定制解決方案或內(nèi)部開(kāi)發(fā)相比，該軟件棧預(yù)計(jì)將降低總擁有成本（TCO）以及運(yùn)營(yíng)負(fù)擔(dān)。

Forrester副總裁兼首席分析師Charlie Dai表示，這次發(fā)布標(biāo)志著軟銀從硬件擴(kuò)展到GPU云軟件層。Dai說(shuō)："這將軟銀從純基礎(chǔ)設(shè)施運(yùn)營(yíng)商提升為AI原生平臺(tái)級(jí)競(jìng)爭(zhēng)者。"

核心功能特性

據(jù)軟銀介紹，該軟件提供兩個(gè)主要服務(wù)。Kubernetes即服務(wù)組件自動(dòng)化從BIOS和RAID設(shè)置到操作系統(tǒng)、GPU驅(qū)動(dòng)程序、網(wǎng)絡(luò)、Kubernetes控制器和存儲(chǔ)的整個(gè)堆棧。

根據(jù)公告，當(dāng)用戶創(chuàng)建、更新或刪除集群時(shí)，它使用英偉達(dá)NVLink和內(nèi)存分配重新配置物理連接。軟銀表示，系統(tǒng)根據(jù)GPU鄰近性和NVLink域配置分配節(jié)點(diǎn)以減少延遲。

Dai指出，企業(yè)目前面臨復(fù)雜的GPU集群配置、Kubernetes生命周期管理、推理擴(kuò)展和基礎(chǔ)設(shè)施調(diào)優(yōu)挑戰(zhàn)，這些都需要深厚的專業(yè)知識(shí)。

他說(shuō)，軟銀的自動(dòng)化方法通過(guò)處理BIOS到Kubernetes配置、優(yōu)化GPU互連以及將推理抽象為基于API的服務(wù)來(lái)解決這些痛點(diǎn)。Dai表示，這使團(tuán)隊(duì)能夠?qū)Ｗ⒂谀Ｐ烷_(kāi)發(fā)而不是基礎(chǔ)設(shè)施維護(hù)。

推理即服務(wù)組件讓用戶通過(guò)選擇大語(yǔ)言模型來(lái)部署推理服務(wù)，無(wú)需配置Kubernetes或底層基礎(chǔ)設(shè)施。軟銀表示，它提供OpenAI兼容的API，并在包括GB200 NVL72在內(nèi)的平臺(tái)上跨多個(gè)節(jié)點(diǎn)擴(kuò)展。

根據(jù)公告，該軟件包括通過(guò)加密通信實(shí)現(xiàn)的租戶隔離、自動(dòng)化系統(tǒng)監(jiān)控和故障轉(zhuǎn)移，以及用于連接門(mén)戶、客戶管理和計(jì)費(fèi)系統(tǒng)的API。

市場(chǎng)競(jìng)爭(zhēng)格局

此次發(fā)布使軟銀能夠在預(yù)計(jì)從2025年的82.1億美元增長(zhǎng)到2030年的266.2億美元的市場(chǎng)中競(jìng)爭(zhēng)。

軟銀面臨來(lái)自超大規(guī)模云提供商和專業(yè)GPU供應(yīng)商的競(jìng)爭(zhēng)。AWS、微軟Azure和谷歌云分別通過(guò)EKS、AKS和GKE提供支持GPU的托管Kubernetes服務(wù)。包括CoreWeave、Lambda Labs和RunPod在內(nèi)的專業(yè)提供商已經(jīng)構(gòu)建了針對(duì)類(lèi)似運(yùn)營(yíng)挑戰(zhàn)的Kubernetes原生平臺(tái)。

CoreWeave運(yùn)營(yíng)著45000個(gè)GPU，是英偉達(dá)首個(gè)Elite級(jí)云服務(wù)提供商。據(jù)Contrary Research稱，Lambda Labs在2024年創(chuàng)造了4.25億美元的收入，并以每小時(shí)2.49美元的價(jià)格提供H100實(shí)例。

Dai表示，軟銀以軟件為中心的方法標(biāo)志著競(jìng)爭(zhēng)優(yōu)勢(shì)從GPU可用性向平臺(tái)自動(dòng)化的轉(zhuǎn)變。他說(shuō)："隨著GPU即服務(wù)需求加速，差異化越來(lái)越依賴于智能編排、推理抽象和集成的AI生命周期工具。"Dai表示，市場(chǎng)正在向全棧AI原生云平臺(tái)而非原始計(jì)算配置方向發(fā)展。

未來(lái)部署計(jì)劃

軟銀計(jì)劃首先在自己的GPU云服務(wù)中部署該軟件，然后擴(kuò)展到外部客戶。該公司表示，Infrinia團(tuán)隊(duì)旨在將軟件部署到海外數(shù)據(jù)中心和云環(huán)境。

軟銀總裁兼首席執(zhí)行官宮川潤(rùn)一在聲明中說(shuō)："AI基礎(chǔ)設(shè)施的進(jìn)步不僅需要GPU服務(wù)器和存儲(chǔ)等物理組件，還需要整合這些資源并使其能夠靈活大規(guī)模交付的軟件。"軟銀表示，與定制解決方案或內(nèi)部開(kāi)發(fā)相比，該軟件旨在降低總擁有成本和運(yùn)營(yíng)負(fù)擔(dān)。該公司沒(méi)有透露定價(jià)或可用性細(xì)節(jié)。

Q&A

Q1：Infrinia AI Cloud OS是什么軟件？

A：Infrinia AI Cloud OS是軟銀推出的AI數(shù)據(jù)中心運(yùn)營(yíng)軟件棧，能夠自動(dòng)化基礎(chǔ)設(shè)施管理并為大語(yǔ)言模型提供推理服務(wù)。該軟件處理從BIOS配置到GPU平臺(tái)上Kubernetes管理的各項(xiàng)任務(wù)，包括英偉達(dá)的GB200 NVL72。

Q2：這個(gè)軟件能解決什么問(wèn)題？

A：該軟件主要解決運(yùn)行GPU云服務(wù)的操作復(fù)雜性問(wèn)題。它通過(guò)自動(dòng)化BIOS到Kubernetes配置、優(yōu)化GPU互連以及將推理抽象為基于API的服務(wù)，讓團(tuán)隊(duì)能夠?qū)Ｗ⒂谀Ｐ烷_(kāi)發(fā)而不是基礎(chǔ)設(shè)施維護(hù)，同時(shí)降低總擁有成本。

Q3：軟銀在GPU云服務(wù)市場(chǎng)面臨哪些競(jìng)爭(zhēng)？

A：軟銀面臨來(lái)自AWS、微軟Azure、谷歌云等超大規(guī)模云提供商的競(jìng)爭(zhēng)，以及CoreWeave、Lambda Labs、RunPod等專業(yè)GPU供應(yīng)商的挑戰(zhàn)。市場(chǎng)正從單純的GPU可用性競(jìng)爭(zhēng)轉(zhuǎn)向平臺(tái)自動(dòng)化和智能編排的全棧AI原生云平臺(tái)競(jìng)爭(zhēng)。