「反資料中心是中國的認知作戰」：一個造晶片的人，把 AI 基礎設施的帳重算了一遍

TL;DR

訓練吃算力，推論吃記憶體。過去十年 GPU 的浮點運算能力進步一百二十倍，記憶體頻寬只進步十七倍，這個落差就是今天推論成本的源頭
在真實的 agentic coding（AI 自己跑一整串開發任務）場景裡，約九成六的 token 是快取命中的，而快取的成本大概只有重算的千分之一。這就是 Anthropic 的 API 毛利能做到八成的原因
他反對「pacing the frontier」（放慢前沿模型開發），最怕的不是天網，是能力被鎖進極少數公司和政府手裡
他說左右派同時反資料中心這件事「幾乎完全是中國的認知作戰」，並直接拿用水數據反駁
真正的瓶頸不在發電能力，在經濟：世界願意為這波基建扛多少債
百萬 token 的價格從六十美金掉到一美金，但同一顆 token 的價值可能漲了一百到一千倍
手機端跑小模型不會吃掉雲端的量，反而會讓雲端 token 消耗暴增

這集是誰在講話

二〇二六年九月十九日播出的 20VC，主持人是 Harry Stebbings，一個從十八歲開始做 podcast、後來自己開創投基金的英國人。這節目基本上是創投圈的情報站，什麼估值、什麼內幕都敢問。

來賓 Thomas Sohmers 是 Positron AI 的共同創辦人兼董事長。Positron 二〇二三年成立、總部在內華達州 Reno，是一家 fabless 半導體公司（自己設計晶片、交給台積電這類代工廠生產），專門做生成式 AI 的推論硬體，從晶片、底層軟體一路做到整櫃的機架系統。另外兩位核心人物是共同創辦人 Edward Kmett 跟執行長 Mitesh Agrawal。他們剛募到八億七千五百萬美金的 C 輪，投後估值五十億，由 NEA、Atreides（就是 Gavin Baker 那家）、Valor、Andra、Dylan Patel 的 SemiAnalysis Capital 和 Netscape 創辦人 Jim Clark 共同領投。下一代晶片叫 Asimov，計畫用台積電 N3P 製程在今年底 tape out（定稿送廠），二〇二七下半年量產，單顆記憶體容量從 288GB 一路拉到 2,304GB。Sohmers 本人十三歲就在 MIT 的實驗室混，創業前那家公司叫 REX Computing，做晶片這行已經超過十年。

一個在硬體最底層的人，講的事情通常跟台面上那些估值敘事差很多。

為什麼訓練跟推論根本是兩種生意

先講一個很多人搞混的東西。

訓練的時候，你手上已經有全部的資料了。既然資料都在，就可以把幾百萬個句子同時丟進去平行處理，卡在哪裡？卡在算力。所以出口管制盯的都是 FLOPS（每秒浮點運算次數）。

推論不一樣。模型生成文字的時候，它不知道第五個字是什麼，得一個一個往下生。而每生一顆 token（模型處理文字的最小單位，大約是半個到四分之三個英文單字），就必須把整份模型權重讀過一遍。這是記憶體的活，沒辦法靠加算力硬解。

然後 Sohmers 丟出那組讓我看了有點愣住的數字：二〇一四到二〇二四，單顆 NVIDIA GPU 的 FLOPS 進步了一百二十倍，記憶體頻寬只進步十七倍。

為什麼差這麼多？一部分是物理問題，晶片上的 SRAM（靜態記憶體）單元三、四十年來結構沒怎麼變過，縮不下去。另一部分是動機問題：二〇一〇年代主流的卷積神經網路本來就是吃算力的，沒人急著修記憶體。Transformer 二〇一七年就發表了，但真正被當回事是二〇二〇年 GPT-3 出來之後，而大部分人是二〇二二年底 ChatGPT 上線才反應過來。

換句話說，整個硬體產業有十年的時間，在為一個後來不是主戰場的問題做優化。

八成毛利的真相：九成六的 token 你根本沒算

這是整集最實用的一段。

KV cache 這個東西的邏輯其實很土：模型生第二個字的時候，第一個字的計算結果沒必要重算，存起來下次直接讀就好。存的是兩個矩陣，一個叫 K（keys）一個叫 V（values）。

重點在成本結構。注意力機制的計算量隨著上下文長度呈平方成長，存成 KV cache 則是線性成長。用算力換記憶體，愈長愈划算。而讀取一顆快取 token 的成本，大概是重新計算的千分之一。

接著是那個數字。SemiAnalysis 拿幾十到上百輪的真實 Claude Code 工作階段去測，發現整段流程裡約九成六的 token 都是快取命中的。

這代表什麼？所有模型商的定價表上，快取讀取的單價比較便宜，你看了會覺得撿到便宜，但那個「便宜」價格背後的實際成本是千分之一。Sohmers 說 Anthropic API 業務傳出八成毛利，他一點都不意外。

他也順手打了一個很流行的迷因：那些說 OpenAI、Anthropic 在燒錢等死的論點，他覺得很荒謬。「如果他們明天停止訓練，隔天就會變成暴利生意。」訓練才是成本的大宗，推論本身賺得很兇。之前在你按下 Enter 之後，那 20 萬個字背後有一整條產線在跑有聊過這條產線的細節，快取路由就是其中最賺錢的那一段。

所以當 Dario Amodei 出來講「pacing the frontier」的時候，Sohmers 半開玩笑說：這也是 IPO 前壓低成本的好方法。

他反對放慢，理由跟你想的不一樣

Sohmers 說自己對安全議題有複雜的感覺。他是人，也想活到老，也希望人類上太空。但他對「放慢」有兩個很具體的擔心。

第一個，一旦開了「暫停」這個頭，等於把彈藥交給那些本來就想整個停掉的人。

第二個才是他真正的恐懼：能力集中。他的原話是，把矩陣乘法變成需要許可才能做的事，這是對古典自由主義最大的一次攻擊。他覺得這條路通往的不是工業革命之前，是啟蒙運動之前。大部分 token 未來確實會由少數幾家產出，這他接受；但如果技術本身被限制在那幾家手上，那些人就是新的領主和國王，其他人就是農奴。

他對 Dario 的批評也很直接：一邊喊政府來監管我，一邊心裡覺得那不會真的發生。「我很想看到真的發生的那一刻他的表情。」他說這些很聰明、也很有錢有權的人共同的盲點，是以為自己還能握著方向盤，沒想過制度一旦建起來，坐上去的是官僚不是他們。

至於中國會不會跟著放慢？Harry 問得很直接：你沒辦法 pace the frontier，除非全世界一起 pace，而我看不出 Putin 會簽字。Sohmers 同意，並補了一句我覺得很到位的比喻：美國軍力紙面上世界第一，但如果明天墨西哥邊境冒出烏克蘭戰場那種等級的無人機襲擾，那些軍力完全接不上，因為我們是照上一場戰爭的樣子建軍的。

「反資料中心是中國的認知作戰」

這句話是整集標題來源。

Harry 追問為什麼。Sohmers 的論據分三層。

用水。他說現在流傳的很多數字根本是錯的，一家 In-N-Out 漢堡店的用水量就超過美國最大的資料中心，高爾夫球場更是差好幾個數量級。現代的大型機房多半是閉迴路液冷，很多情況下你根本不想用水。

電費。他覺得這是最基本的供需。沒有人在提議把家戶已經分配好的電挪給資料中心，法規上那也不可能。現在蓋的機房多半自帶發電，而且發的比自己用的還多。問題是這些新增產能被擋著不准併網，本來可以把電價壓下來的，結果卡在那裡。更荒謬的是電力公司自己在遊說反對新增發電，因為供給一多，價格就掉。

外觀。他這段我蠻喜歡：與其抱怨資料中心醜，不如發動美化運動，把那些真正巨大的機房蓋成這個時代的金字塔，幾千年後的人來看會覺得這是世界奇觀。

然後是對照組。中國沒有在放慢，他們一年往電網加幾十 GW 的新發電容量（其中很多是髒的），蓋機房該拆的房子直接拆，該輪流停電就停。他說西方的言論自由讓大家可以基於錯誤資訊罵政府罵企業，這個自由他很珍惜，但在這場競賽裡確實是結構性的劣勢。

我自己的看法比他悲觀一點。地方政治的阻力是真的存在，之前寫過八百三十三個組織正在擋你的資料中心，那些反對團體上半年的成功率是三分之二。不過 Sohmers 的回答也算務實：擋掉的專案不會消失，只會搬去沒人擋的地方，美國西部大片聯邦土地空在那裡，九成以上根本不是國家公園。

瓶頸不在電，在有沒有人願意借這筆錢

Harry 問能源是不是最大的瓶頸。

Sohmers 的答案分兩層。長期來看，人類的進步軌跡基本上就是一條能源使用曲線，從用火到核電廠，所有進展最終都受限於能源。但短期他認為技術跟產能都不是問題，卡住的是經濟性：就算電有，如果不划算，那就不會蓋。

真正讓他擔心的是主權債。他的說法很直白：大家在擔心 Oracle 的債務跟信評，但他對 Oracle 的商業模式和執行力的信心，遠大於他對美國政府的信心。政府唯一的優勢是可以印自己的鈔票，還有槍和核彈可以收稅。他最怕的情境是國債複利累積導致的貨幣貶值，引發一場具體的危機，然後沿著金融體系一路往下傳。至於這些 AI 公司會不會達不到營收目標，他一點都不擔心。

能源這條線之前整理過一份完整地圖，見AI 的真正瓶頸不是晶片，是電，這集可以當成硬體側的補充。

六十美金變一美金，然後呢

有個數字很好看：百萬 token 的價格指數這個月跌破一美金，五年前是六十美金。

Sohmers 對這個數字的反應很有意思。他說五年前那顆六十美金的 token，今天你一分錢都不會願意付，那是垃圾等級的輸出。二〇二〇年八月發表的 GPT-3 一路坐了兩年多的世界第一，中間 OpenAI 沒有新模型；你還記得 GPT-3.5 有多爛嗎？

所以他認為真正的算式應該是兩層：價格降了六十倍，同時每顆 token 的實際價值保守估計漲了一百倍。合起來，每單位智慧的性價比可能改善了一千倍。

價格會怎麼繼續走？他提到 Greg Brockman 說過不想再用 token 計價，想改成「按有用的結果收費」。Sohmers 覺得那太難定價，token 計價會留下來，因為成本好算、毛利好抓。但他猜未來可能出現另一種模式：當模型強到可以全職當一個員工，OpenAI 可能乾脆開價一年一百萬美金無限用量，那個帳會比較好算。

最反直覺的一段：手機跑小模型，雲端反而更忙

這段我聽完停下來想了一下。

目前大約八成到八成五的 token 由前四家模型公司產出，再往後三四家吃掉五到一成。所以 Sohmers 對「每家企業都會有自己的小模型」這個敘事，估的量大概是全部的百分之五。

但他不覺得端側小模型是競爭關係。他的邏輯是這樣：一般人用 ChatGPT，發問頻率被自己的念頭綁死，你想到才會問。可是如果手機或筆電上跑著一個一直在看你信箱、行事曆、訊息的本地模型，它會不停判斷哪些事需要更聰明的模型來處理，然後自己往雲端發請求。

於是本來「省下來」的 token，反而生出更多倍的 token。

他說現在很多 AI 應用真正的瓶頸是人做決定的那一步。下一個數量級的成長，會發生在我們願意信任一個握有全部個人資料的本地模型，讓它自己決定什麼時候去問那個更聰明的模型。

這個判斷如果成立，那整個「端側 AI 會不會侵蝕雲端」的爭論方向就錯了。

幾個零散但值得記的點

上下文長度不等於可用長度。兩年前有些模型號稱百萬 token 上下文，但超過六萬四千 token 之後召回能力就爛掉。業界用 ruler 這類「大海撈針」測試，在一堆垃圾文字裡塞一個奇怪的值，再問模型那個值是多少。同一系列裡差六七週的兩個版本，正確率從七成跳到九成五以上。號稱的長度跟實際能用的長度，中間差很遠。

中國實驗室在被限制之後反而長出不同的技術路線。因為拿不到高記憶體、高算力的晶片，他們往「不需要那些」的方向創新。DeepSeek V3 的 multi-head latent attention 就是花更多算力去換更小的 KV cache。Sohmers 說據他所知，美國的主要實驗室目前都沒有採用這套，因為壓縮總是有代價，模型能力會少掉一點。他自己現在最喜歡的是 gated delta net 那一系的做法，可以把注意力那段的時間砍掉約七成五。

所有人都在自己做晶片。OpenAI、Anthropic、甚至傳出 DeepSeek 也在做。他說如果脫掉 Positron 的 T 恤，純粹當一個消費者，這是好事，成本會降、能力會升。他十三年前入行的時候，silicon 這個字在矽谷是髒話，現在全世界最大的公司都在往矽晶片這層垂直整合。

我的幾個想法

聽完這集，我最有感的是那個九成六的快取比例。這個數字把「AI 很燒錢」這件事整個翻過來看：如果你的工作流程重複性高，你的實際成本可能遠低於帳面單價；反過來說，模型商的毛利也遠高於大家以為的。這對任何在做 AI 產品定價的人來說，都是該重新算一次的帳。

第二個是他對「能力集中」的恐懼。這個論點我覺得比各種末日論更值得認真看待，因為它不需要任何科幻前提就會發生。監管這件事的弔詭在於，喊監管的人以為自己會變成監管者，結果通常是變成被監管者，然後真正的規則由完全不懂技術的人來寫。

至於「反資料中心是中國的認知作戰」這句，我覺得是修辭大於論證。地方居民反對機房有很多真實的理由，不需要有人在背後操作。但他附帶的那些數字值得記起來，下次看到用水的恐慌新聞，多花三十秒去查一下對照組是什麼。這點要留意。

自行斟酌，共勉之。

後續這類基礎設施與 AI 經濟學的拆解，我都會發在 wilsonhuang.xyz，訂閱就不會漏掉。

Sources: