奇異摩爾產(chǎn)品及解決方案副總裁?？|在2023國(guó)際集成電路展覽會(huì)暨研討會(huì)（IIC Shanghai）上。

“大模型所需要的參數(shù)和訓(xùn)練數(shù)據(jù)量和Deep Learning（深度學(xué)習(xí)）時(shí)期相比，有了數(shù)量級(jí)的提升。以GPT-3為例，1750億的模型參數(shù)，45TB的訓(xùn)練數(shù)據(jù)集，是之前的10倍以上。大模型的訓(xùn)練，需要更大規(guī)?；ヂ?lián)的計(jì)算平臺(tái)，和更大規(guī)模的片上存儲(chǔ)?！?月30日，奇異摩爾產(chǎn)品及解決方案副總裁?？|在接受澎湃科技（www.school126.cn）專訪時(shí)表示。

在2023國(guó)際集成電路展覽會(huì)暨研討會(huì)（IIC Shanghai）上，?？|談到，對(duì)于大模型而言，一個(gè)很大的挑戰(zhàn)在工程方面——怎么樣用更少的人工干預(yù)、更少的算力去實(shí)現(xiàn)，尤其是怎樣獲得足夠高質(zhì)量、足夠大規(guī)模的算力?！癎PT-3.5需要一萬個(gè)CPU做級(jí)聯(lián)，更不要說GPT-4、GPT-5，雖然我們?cè)诖罅Πl(fā)展算力網(wǎng)絡(luò)，但仍然很難達(dá)到?！?/p>

高性能計(jì)算三大挑戰(zhàn)

祝俊東表示：“從AI發(fā)展整個(gè)歷史曲線來看，過去的算力需求是以倍數(shù)增加，現(xiàn)在是以指數(shù)的倍數(shù)增加，大模型本身就有10倍的躍遷，接下來還會(huì)繼續(xù)保持這個(gè)速度增長(zhǎng)，這超過了半導(dǎo)體能夠提供的增長(zhǎng)曲線。”

同時(shí)，目前在高性能計(jì)算領(lǐng)域（與大模型密切相關(guān)），更大的挑戰(zhàn)來自于其他三個(gè)方面。第一，在保持算力增加的同時(shí)，怎么樣能提高算力功耗比？過去算力功耗比的提升落后于算力的提升，“那么五年之后，當(dāng)算力中心變成zeta級(jí)（十萬億億字節(jié)）的時(shí)候，需要的能量則會(huì)是0.5個(gè)原子彈的單量?！??？|說。

其次，同樣的問題發(fā)生在存儲(chǔ)，存儲(chǔ)訪問所占的功耗比越來越高，整個(gè)互聯(lián)效率也成為更大的瓶頸。特別是計(jì)算規(guī)模越來越大，不再可能用單一的芯片滿足這個(gè)需求，所以大量的能量會(huì)浪費(fèi)在互聯(lián)的部分。

“ 因此，基于同構(gòu)和板級(jí)互聯(lián)的數(shù)據(jù)中心架構(gòu)難以滿足大模型的需求?！??？|對(duì)澎湃科技表示，從頂層到軟件到芯片都需要適應(yīng)這樣的變化，以一種新的方式滿足未來的需求。

國(guó)際巨頭的思路

在結(jié)束不久的2023 GTC大會(huì)上，英偉達(dá)創(chuàng)始人黃仁勛著重講了兩件事，第一是超大規(guī)模計(jì)算的超大規(guī)模集群。首先是用H100、A100芯片，通過NVLINK3.0把8個(gè)H100連在一起后就成為超大規(guī)模的引擎，可以以單顆滿足訓(xùn)練需求。

“它的提升并不局限于提高了3倍單芯片的算力，以整個(gè)系統(tǒng)來看，因?yàn)楦咚俚臉O聯(lián)，所以整個(gè)效率達(dá)到了過去的九倍?！??？|向澎湃科技解釋，通過這種方式，進(jìn)一步用InfiniBand（高速、低延遲的計(jì)算機(jī)網(wǎng)絡(luò)通信總線）組成超大規(guī)模的集群，可以把上萬個(gè)DGX（超級(jí)計(jì)算機(jī)）連接在一起，通過這種方式滿足未來越來越快的需求，按照目前的計(jì)算要滿足800G（數(shù)據(jù)速率）的門檻。

另外一件事情就是異構(gòu)計(jì)算，把CPU和GPU更有效組合在一起。用這樣的異構(gòu)架構(gòu)處理數(shù)據(jù)集、推薦系統(tǒng)和大型語言模型的AI。

英特爾也在做同樣的事情。英特爾于去年年底發(fā)布了第一款3D GPGPU，在一顆芯片里集成了47顆芯粒，有5種制程，以此獲得比上一代高出三倍性能的提升。英特爾也做了8顆可以超高速互聯(lián)的網(wǎng)絡(luò)，通過這種方式能使其變成更大規(guī)模的計(jì)算集群。

同時(shí)，英特爾計(jì)劃在2025年發(fā)布更快更小的3D芯片新技術(shù)，以三維空間（3D）方式堆疊“瓦片”或“小芯片”，而不是用二維空間將芯片全部打包來計(jì)算?？梢允荂PU+GPU，也可以是一個(gè)超大規(guī)模的GPU集群，通過這種方式提供更好的極聯(lián)和互聯(lián)性能，在不同的領(lǐng)域可以用最合適的方法去解決相關(guān)問題。

AMD在這個(gè)方向走在了更前面，已經(jīng)發(fā)布了第一個(gè)數(shù)據(jù)中心APU（Accelerated Processing Unit，加速處理器）產(chǎn)品MI300，“其在下面集中了10顆或11顆芯片，其中6顆是CPU，2到3顆是GPU，它是業(yè)界第一顆3D的APU產(chǎn)品，同時(shí)也有自己的互聯(lián)架構(gòu)，甚至顯卡GPU也有類似的產(chǎn)品。” ?？|介紹說，由此可以發(fā)現(xiàn)，超大規(guī)模集群已經(jīng)成為未來的發(fā)展方向，而且異構(gòu)也是一個(gè)非常重要的方向，Chiplet（芯粒）會(huì)是它的核心關(guān)鍵。

Chiplet怎么滿足大模型的算力需求？

Chiplet通常被翻譯為“芯?！被颉靶⌒酒?，通過將原來集成于同一系統(tǒng)單晶片中的各個(gè)元件分拆，獨(dú)立為多個(gè)具特定功能的Chiplet，分開制造后再通過先進(jìn)封裝技術(shù)將彼此互聯(lián)，最終集成封裝為一系統(tǒng)晶片組。也就是說，其能在不改變制程的前提下提升算力，降低成本，并保證芯片制造良品率。

Chiplet正是滿足當(dāng)下對(duì)算力需求的關(guān)鍵技術(shù)，祝俊東對(duì)澎湃科技解釋道，一方面，通過Die2Die連接（Die是從晶圓上切割出來的一塊具有完整功能的芯片）和Fabric互聯(lián)網(wǎng)絡(luò)，能夠?qū)⒏嗨懔卧呙芏?、高效率、低功耗地連接在一起，從而實(shí)現(xiàn)超大規(guī)模計(jì)算。

另一方面，通過將CPU和GPU、NPU高速連接在同一個(gè)chiplet中，實(shí)現(xiàn)芯片級(jí)異構(gòu)系統(tǒng)，極大提高異構(gòu)核之間的傳輸速率，降低數(shù)據(jù)訪問功耗，從而實(shí)現(xiàn)高速預(yù)處理和數(shù)據(jù)調(diào)度。同時(shí)，其采用非先進(jìn)制程構(gòu)建Cache（位于CPU與內(nèi)存之間的臨時(shí)存儲(chǔ)器），提高片上Cache的容量和性價(jià)比，并通過3D近存技術(shù)，降低存儲(chǔ)訪問功耗，從而滿足大模型參數(shù)需求。

然而，轉(zhuǎn)向支持基于Chiplet的集成系統(tǒng)是一個(gè)系統(tǒng)工程，不同公司必須開始相互共享芯片IP，這是一個(gè)很大的障礙。

在被問及打造開放Chiplet生態(tài)圈有哪些思路時(shí)，?？|說，Chiplet正從1.0階段，即Fabless全自研，走向2.0階段，產(chǎn)業(yè)鏈分工合作，因此互聯(lián)互通和芯粒生態(tài)正變得越來越重要。具體的思路有三個(gè)方面：

第一是推動(dòng)互聯(lián)標(biāo)準(zhǔn)的建立和普及，無論是國(guó)際的UCIe（Intel、AMD等公司提出新的Chiplet標(biāo)準(zhǔn)），還是國(guó)內(nèi)的小芯片標(biāo)準(zhǔn)。

第二， 提供豐富的產(chǎn)品和方案，不同封裝形態(tài)下的Die2Die接口，應(yīng)用于不同行業(yè)的高速互聯(lián)芯粒，加速chiplet產(chǎn)品落地。

第三，加強(qiáng)上下游的深度合作。