發表
我的網誌
在競爭日趨激烈的AI晶片市場中，又有一家新創公司準備投入量產，並宣稱其產品優勢超越全球市值榜首輝達(NVDA)。這家名為D-Matrix的新創公司，距離輝達的矽谷總部僅三英里，他們表示，只要是在處理小型工作負載的情況下，其最新推出的Corsair推論晶片運算速度比市場龍頭的獨立繪圖處理器(GPU)快上10倍，同時耗能卻少了五倍。
巨頭爭奪運算資源，AI晶片新創迎爆發期
這款全新的推論晶片採用了與Cerebras和Groq類似的創新記憶體架構。隨著科技巨頭不計代價地搶奪運算資源，規模較小的晶片設計公司正迎來龐大商機，並在特定利基市場中站穩腳步。例如，成立於2015年的Cerebras上個月剛完成轟動市場的首次公開募股(IPO)，籌集超過55億美元，目前估值突破500億美元；而原始資料指出Groq的資產在去年12月被輝達(NVDA)以200億美元收購，成為該人工智慧巨頭迄今最大規模的併購案，隨後輝達於今年3月的GTC大會上發表了一款名為語言處理單元(LPU)的全新Groq晶片。
微軟(MSFT)參投估值攀升，新晶片本月啟動出貨
D-Matrix共同創辦人兼執行長Sid Sheth在受訪時指出，這是一個正在成形的高達1兆美元市場，並強調目前沒有出售公司的計畫，市場絕對有空間容納另一家上市晶片企業。D-Matrix成立於2019年，至今已籌集約5億美元，公司估值來到20億美元左右。值得注意的是，微軟(MSFT)透過其創投部門M12參與了投資，這反映了微軟在晶片領域的強烈企圖心，包含其針對AI推論的Maia 200晶片、與輝達(NVDA)合作的新款PC處理器，以及近期公布的內部量子運算晶片。
雖然Sheth尚未公開Corsair晶片的具體客戶名單，但他透露已獲得知名大型雲端服務商、新興雲端企業以及前沿AI實驗室的訂單，這些客戶都迫切希望能取得更多的運算能力。D-Matrix將於本月開始向這些客戶出貨，其中約90%位於美國，其餘海外客戶則分布在中東與東南亞地區。伯恩斯坦(Bernstein)半導體分析師Stacy Rasgon觀察指出，這些新創晶片通常被客戶用來與輝達(NVDA)的產品搭配使用，因為不同架構的晶片各自擅長處理不同的任務，這顯示D-Matrix確實掌握了相當數量的實質客戶訂單。
擺脫記憶體供應瓶頸，SRAM架構展現超低延遲
D-Matrix的Corsair晶片透過將記憶體與運算單元緊密整合在單一晶片上，成功實現了低耗能與低延遲的AI推論效能。如同Groq和Cerebras，D-Matrix採用的是靜態隨機存取記憶體(SRAM)，這種記憶體可以直接在台積電(TSM)等邏輯晶圓代工廠製造並整合至同一晶片中。相對地，傳統GPU則高度依賴動態隨機存取記憶體(DRAM)，通常封裝成高頻寬記憶體(HBM)並配置在邏輯晶片周圍，而這類DRAM目前正處於美光(MU)、三星及SK海力士等大廠供應緊缺的狀態。Sheth表示，公司產品的成功並不依賴DRAM，因此成功避開了這波供應鏈的瓶頸。
捨棄龐大參數模型，專注對話式AI高速運算需求
然而，史丹佛大學電機工程兼任教授Rick Bahr指出，D-Matrix技術路線最大的缺點在於SRAM無法處理龐大的推理模型。儘管晶片內建SRAM因為資料傳輸距離極短，能帶來驚人的推論速度，但受限於容量，它無法乘載由OpenAI和Anthropic等領先企業所開發、包含數兆個參數的大型語言模型。對此，Sheth解釋，Corsair晶片的設計初衷是為了AI推論量身打造，在設計上更看重互動性與運算速度，而非語言模型的龐大體積，主要應用場景涵蓋聊天機器人、語音助理以及各種代理工具。
根據Gimlet Labs的研究數據顯示，若將Corsair晶片與輝達(NVDA)最新的Blackwell架構GPU搭配使用，推論速度可提升10倍、成本降低至三分之一，且能源效率比單獨使用GPU高出五倍。不過，輝達執行長黃仁勳近期也公開表示，憑藉著即將推出的Vera Rubin系統，輝達依然穩居低成本推論市場的領導地位。他在台灣的台北國際電腦展(Computex)上強調，輝達的優勢在於將所有軟硬體緊密結合，從底層架構開始設計、模擬整個系統，並透過極致的協同設計來確保最佳效能，顯示出不只追求單一指標的速度。
聯手美超微(SMCI)等大廠，採台積電(TSM)先進製程
在產品部署方面，D-Matrix將四顆Corsair晶片封裝在同一張介面卡上，可直接插入資料中心的伺服器機架，單價約為數萬美元。Sheth指出，這種隨插即用的設計讓D-Matrix與Cerebras和Groq有所區隔，並稱Corsair是目前市場上密度最高的SRAM解決方案，單一伺服器最高可配備128 GB的SRAM記憶體。為了加速產品導入AI資料中心，D-Matrix更與Arista(ANET)、博通(AVGO)以及美超微(SMCI)等業界大廠結盟，共同打造名為SquadRack的完整機架級系統。
這款Corsair晶片是由台積電(TSM)以6奈米製程在台灣製造。D-Matrix也透露，下一代晶片「Raptor」預計於明年推出，並將升級採用台積電的4奈米製程，Sheth表示，該晶片未來甚至有可能交由台積電位於美國亞利桑那州的晶圓廠負責生產。他充滿信心地總結，為AI推論打造專屬的運算解決方案，將是未來晶片產業中最具價值的終極大獎。
