AI要這樣用…別再大量消耗詞元 善於切換模型才是王道

今年上半年，「tokenmaxxing」（詞元用好用滿）主導整個使用人工智慧（AI）的群體，企業鼓勵員工竭盡所能，大量去使用AI。現在，「tokenmaxxing」已經退流行了，改由「modelmaxxing」（各模型最佳搭配運用）當道。

之所以會有這種轉變，是在企業檢視員工累積出來的AI帳單後，發現詞元用好用滿的花費實在驚人。所以，從Uber到微軟（Microsoft）等公司，以及AI愛用者，現在使用AI都開始改採節省成本的模型切換（model switching）方式。

他們會把最困難、最需要思考能力的工作交給價格較高的最尖端模型，而將較簡單、重複性的工作交給較舊、價格較低的模型。

Coinbase執行長阿姆斯壯（Brian Armstrong）是最早公開點出這種模型切換方式的知名人士之一。他6月7日就在社群平台X發文寫道：「未來12至18個月內，（Coinbase）80%的工作負載將在成本便宜99%的模型上執行。」他說，其餘的20%工作仍將交由最新模型處理，因為那類工作「需要把 IQ 發揮到極限（IQ maxxing）」。

為了「各模型最佳搭配運用」（modelmaxxing），頻繁在各模型間切換，可能聽起來有點累人。放心！現在已有新創公司專門提供「模型路由」（model routing）服務，不必自己做切換決策。這類新創公司提供軟體，自動將任務分派給最合適的模型，有時甚至讓開源模型來做。

OpenRouter就是提供AI「模型路由」服務的新創公司，這領域已受創投基金高度青睞，OpenRouter和同業多可獲得大筆資金支持。

Ramp首席經濟學家Ara Kharazian發現，使用「模型路由」的企業正在增加。去年他調查時，約只有1%的企業採用「模型路由」工具；今年這個比率已上升至 5%。