符元比石油還缺?AI算力荒削弱大模型戰力 科技大廠限流、漲價
人工智慧(AI)淘金潮正加速耗盡開發者不可或缺的資源:運算能力。這對AI熱潮是一大警訊,就在大家習慣靠AI來提升工作效率時,算力不足會讓這些超強工具變得很難用,發揮不了原有的實力。
洛杉磯工程師兼科技投資人普拉迪安(Ben Pouladian)說:「大家都在談論石油,但我認為世界現在最缺的是符元(tokens)」,「AI不再只是聊天機器人,現在AI能策畫任務,愈來愈聰明」。符元是AI領域的計算單位,來衡量執行任務耗費多少運算資源。
熱門聊天機器人Claude和編寫程式軟體Claude Code的開發商Anthropic,近日頻繁為當機所苦。該公司已開始在尖峰時段,管制使用者的運算用量,但這項措施引發客戶抱怨,認為太快就達到使用上限。
另外,OpenAI撤回Sora影片生成應用程式,部分原因就是為了騰出運算資源,以支援代號為「Spud」的新型AI模型所驅動的程式設計和企業級產品。OpenAI API平台主要為軟體企業用戶使用,符元使用量從去年10月的每分鐘60億個,今年3月下旬激增至每分鐘150億個。
去年年底,AI雲端公司CoreWeave將價格調漲了20%以上,並開始要求小型客戶簽下至少三年的長約,先前要求僅為一年。圖形處理器(GPU)每小時租賃價格,自去年秋季以來大幅上漲。根據Ornn運算價格指數顯示,租賃輝達最先進Blackwell系列晶片的一小時費用為4.08美元,較兩個月前的2.75美元上漲了48%。
OpenAI上周向投資人表示,快速持續增加算力,以支援旗下軟體廣為採用,讓該公司得以超越Anthropic。2月中旬以來,Anthropic旗下各系統當機已成家常便飯,部分企業客戶不得不轉向其他AI模型廠商。
Anthropic近來發布了更強大的AI模型Mythos,Stratechery部落格作者、分析師湯普森(Ben Thompson)在報告指出,Anthropic僅向特定合作夥伴開放Mythos,可能是因算力受限。
OpenAI說,2025年可用算力為1.9百萬瓩(GW),為2024的三倍,並預計2027年算力增至兩位數出頭,並在2030年達到約30GW。相較之下,OpenAI估計Anthropic去年底算力為1.4GW,明年則將介於7至8GW之間。
