過去，大多數(shù)芯片都包含一到兩項前沿技術(shù)，主要是為了跟上每隔幾年每個新工藝節(jié)點的光刻技術(shù)的預(yù)期改進。這些改進是基于行業(yè)路線圖，該路線圖要求隨著時間的推移取得可預(yù)測但不顯著的收益。現(xiàn)在，隨著大型語言模型和更多傳感器推動的數(shù)據(jù)爆炸式增長，以及設(shè)計自己芯片的系統(tǒng)公司之間的競爭加劇，以及涉及人工智能的國際競爭日益激烈，芯片設(shè)計前沿的規(guī)則正在發(fā)生相當(dāng)大的變化。

現(xiàn)在，漸進式改進與處理性能的巨大飛躍相結(jié)合，雖然這些改進使計算能力和分析達到了一個全新的水平，但它們也需要一套全新的權(quán)衡。

這些轉(zhuǎn)變的核心是高度定制的芯片架構(gòu)，其中一些涉及在最先進的工藝節(jié)點開發(fā)的小芯片。并行處理幾乎是必然的，針對特定數(shù)據(jù)類型和操作的加速器也是如此。在某些情況下，這些微型系統(tǒng)不會進行商業(yè)銷售，因為它們?yōu)閿?shù)據(jù)中心提供了競爭優(yōu)勢。但它們也可能包括其他商用技術(shù)，例如處理核心或加速器或用于減少延遲的內(nèi)存內(nèi)或近內(nèi)存計算技術(shù)，以及不同的緩存方案、共同封裝的光學(xué)器件和更快的互連。其中許多進展多年來一直處于研究或擱置狀態(tài)，現(xiàn)在正在全面部署。

谷歌研究院工程研究員兼機器學(xué)習(xí)系統(tǒng)副總裁 Amin Vahdat 在最近的 Hot Chips 2023 會議上的演講中指出，今天的芯片可以解決十年前無法想象的問題，而機器學(xué)習(xí)將承擔(dān)計算周期“越來越多的任務(wù)”。

“我們需要改變對系統(tǒng)設(shè)計的看法，”Vahdat說。“過去五、六、七年中計算需求的增長令人震驚......雖然在[算法]稀疏性方面出現(xiàn)了許多創(chuàng)新，但當(dāng)您查看[下面的圖 1]時，它顯示了 10 倍每個模型的參數(shù)數(shù)量持續(xù)一年。我們還知道，計算成本隨著參數(shù)數(shù)量的增加而超線性增長。因此，我們?yōu)閼?yīng)對這一挑戰(zhàn)而必須構(gòu)建的計算基礎(chǔ)設(shè)施類型必須改變。值得注意的是，如果我們試圖在通用計算上做到這一點，我們就不會達到今天的水平。“

”我們在過去 50 或 60 年間開發(fā)的傳統(tǒng)計算智慧已被拋棄。”

芯片制造商正在利用演進和革命性技術(shù)，以相同或更低的功耗實現(xiàn)性能的數(shù)量級提高，這標志著從制造驅(qū)動設(shè)計到半導(dǎo)體架構(gòu)師驅(qū)動設(shè)計的根本轉(zhuǎn)變。

內(nèi)存處理已經(jīng)在繪圖板上醞釀了很多年，直到最近才出現(xiàn)太大進展。大型語言模型已經(jīng)極大地改變了經(jīng)濟學(xué)，現(xiàn)在它變得更加有趣，大型內(nèi)存供應(yīng)商也沒有忽視這一點。

這一概念的新改進是內(nèi)存加速，這對于 AI/ML 的乘法累加 (MAC) 函數(shù)特別有用，因為需要快速處理的數(shù)據(jù)量呈爆炸式增長。使用生成式預(yù)訓(xùn)練 Transformer 3 (GPT-3) 和 GPT4，僅加載數(shù)據(jù)就需要大量帶寬。與此相關(guān)的挑戰(zhàn)有很多，包括如何有效地做到這一點，同時最大限度地提高性能和吞吐量，如何擴展它以處理大型語言模型中參數(shù)數(shù)量的快速增加，以及如何建立靈活性以適應(yīng)未來的變化。

SK hynix America 高級技術(shù)傳感經(jīng)理 Yonkwee Kwon 在 Hot Chips 2023 上的演講中表示：“我們一開始的想法是將內(nèi)存作為加速器。”“第一個目標是實現(xiàn)高效擴展。但擁有高性能也很重要。最后，我們設(shè)計的系統(tǒng)架構(gòu)易于編程，同時最大限度地減少系統(tǒng)結(jié)構(gòu)開銷，但仍然允許軟件堆棧實現(xiàn)靈活性。