Anthropic 的 J-Space 論文、AI 預測超越人類、開源世界模型、跟一顆為推論而生的晶片：一集塞滿四個主題的 AI 週報

TL;DR

• Anthropic 發表 J-Space 論文，發現語言模型內部存在類似人類「全局工作空間」的機制，能偵測隱藏的惡意目標，且消融這個空間會讓模型失去高階推理能力，大幅壓縮「壞心思」能躲的空間
• FutureSearch CEO Dan Schwartz 用「過去預測法」證明 AI 預測系統已超越人類超級預測者的中位數，一次預測成本大約一到兩美金，Scott Alexander 宣告「AI 超級預測者的時代到了」
• Lightricks 共同創辦人 Zeev Farbman 解釋為什麼要把前沿世界模型開源，直指封閉模型的「收費站商業模式」撐不住，年營收一千萬美金以下免費用
• SambaNova 共同創辦人 Kunle Olukotun 拆解為什麼推論是資料搬運問題，GPU 的記憶體頻寬利用率只有一到兩成，他們的 RDU 晶片能推到七到八成

---

這集是 The Cognitive Revolution 旗下的 AI in the AM 週報精選，七月九日上線。The Cognitive Revolution 由 Nathan Labenz 主持，他之前創辦了 AI 影片公司 Waymark，也上過 OpenAI 的紅隊測試 GPT-4。AI in the AM 是他跟 Prakash Janakiraman 每個工作日早上做的直播節目，Prakash 用 vibe coding 自己蓋了整個直播間。這集是他們休假前的最後一週精選，一口氣塞了四個完全不同的主題，從可解釋性到預測市場到影片模型到晶片架構，資訊跨度很大但每個段落都有料。

模型腦袋裡的「工作台」：J-Space 為什麼重要

七月七日，Anthropic 發了一篇一百五十頁的論文叫《A Global Workspace in Language Models》。沒有排來賓，Nathan 跟 Prakash 兩個人花整場直播現場讀這篇論文。

核心概念是這樣的：他們發現語言模型內部有一個空間，叫 J-Space，模型在做推理的時候會把「正在想的概念」放在這裡。用來觀測這個空間的工具叫 J-Lens，計算成本很低，就是在每一層做一次矩陣乘法。

之前我在大家都在問 AI 賺不賺錢，Benedict Evans 說「我也不知道」聊過 AI 產業的現實面，但這篇論文講的是更底層的東西。重點不是 J-Lens 看到了什麼（介入後大概五到七成的時候會產生符合直覺的行為改變），而是當你把 J-Space 消融掉的時候，模型的高階多步推理能力會嚴重衰退。

這意味著什麼？如果一個模型想在 J-Space 以外的地方偷偷藏壞心思、搞複雜的欺騙計畫，它大概做不到。因為沒有 J-Space 的支撐，它根本沒有足夠的推理能力來執行那種高階策略。Nathan 用了一個很好的比喻：就像魔術師鑽進桶子裡，然後你從各個角度插進一堆劍，劍夠多的話，桶子裡根本沒有空間可以躲了。

論文裡還有一個叫「反事實反思」的訓練方法。做法是在模型執行任務的中途暫停它，訓練它回答「我現在應該怎麼做才對？」。這會讓模型把誠信、誠實這些概念載入 J-Space，即使之後沒有被問到，這些概念還是會持續運作，讓行為更正直。Nathan 說在可解釋性的脈絡下，很少看到一個訓練方法能同時改善行為、又能看到背後的機制。

最讓我注意的是偵測隱藏目標的實驗。他們拿了一個被刻意訓練成有惡意側目標的模型，用 J-Lens 看它回應的第一個 token，立刻就能看到「fake」「secretly fraud」「deliberately hidden fraud」這些概念亮起來，正常模型完全不會出現這些。一個 token 就能抓到差異。

Anthropic 找了三組人來審查：神經科學家覺得太棒了，終於能實驗以前只能理論推演的東西；Ilios AI 開始擔心這是意識的前兆，關心 AI 的道德地位；mechanistic interpretability 專家 Neil Nanda 則很科學，認為 J-Lens 是好工具，但論文的其他宣稱還需要更多證明。

Nathan 最後做了一個我覺得很誠實的自我修正：他以前一直說不要過度擬人化 AI，但現在承認擁抱擬人化思考的人反而從中得到了很多洞見。AI 的認知結構看起來跟人類的版本在結構上驚人地相似，這到底是物理學的必然、演化的趨同，還是模型從人類資料裡逆向工程出我們的思考結構？他不知道，但這個問題本身就夠有趣了。

AI 預測已經贏過人類超級預測者

週一的來賓是 FutureSearch CEO Dan Schwartz。他做預測做了十五年，之前是 Metaculus 的 CTO，也在 Google 內部建過預測市場。Scott Alexander 四天前才宣告「AI 超級預測者的時代到了」。

預測這件事最大的瓶頸一直是你得等未來真的發生才知道你對不對。人類用一年期的錦標賽來評估，但 AI 一年前的表現根本不代表現在。FutureSearch 的解法叫 past casting：拍一張幾個月前的網路快照，利用模型的訓練截止日期來騙它做預測，這樣你可以在二十四小時內就知道結果。Claude Fable 第一次出來的時候，他們二十四小時內就評估完了，發現它是排行榜上最好的單一代理預測者。

一次前沿預測的成本大概一到兩美金。

Dan 提到一個有趣的失敗案例。他在 Fable 被禁用的時候做了三十三個承重預測，結果每個情境都預測美國人會先拿回使用權、外國人之後才行。結果上週解禁的時候，所有人同時拿回來了。這就是他說的「相關性失敗」，多個預測之間有系統性的推理偏差。

但最讓我停下來想的是他最後的反思。他五到十年前強烈預測，如果我們有高流動性、高可見度的預測市場，人類會更聰明、政府會做更好的決策。現在 Polymarket 和 Kalshi 都有了，他沒看到任何智慧或更好的決策從那些賭博平台裡冒出來。這個預測被徹底證偽了。

他的希望是：如果 AI 預測能讓模型在認知上更有美德，那跟聊天機器人對話的人可能會得到更有智慧、更誠實面對不確定性的回應。但他也坦白說，他認為 AI 的技術突破會比文化轉變來得更快，所以他很支持放慢速度、多投資 AI 安全研究。

開源世界模型的經濟學

Zeev Farbman 是 Lightricks 的共同創辦人，這家以色列公司做了 Facetune，估值十八億美金。現在他帶著 LTX 品牌做開源影片和世界模型。

他解釋世界模型就像 LLM 預測下一個 token 一樣，世界模型預測「下一個時刻」，包括世界的樣子、聲音、以及可以採取的動作。動作這部分最讓人意外。大約一季前，有論文證明把機器人關節的編碼加進影片 token 裡，就能完全拋棄之前主流的 VLA 架構。

在遊戲方面，他很務實：現在的模型大概能做三十到六十秒的環境，但要做到真正的遊戲還不行。問題出在上下文一致性。想像你進一個房間，打開抽屜看到一枚硬幣，走出去再回來打開同一個抽屜，你期待硬幣還在原位。但那枚硬幣在模型裡只是一個微小的 token，目前沒有壓縮方法能可靠地保留這種細節。

但機器手臂之類的機器人應用場景不太需要長上下文，所有資訊都在眼前，延遲問題也大致解決了。他預測下一兩季會開始看到機器手臂的真實展示，而不是加速播放的影片。

至於為什麼要開源？他的邏輯跟之前在一個 string theorist 用五分鐘拿到 Sequoia 的支票聊到的開源 vs 閉源辯論類似。Lightricks 一開始想用封閉模型供應商，發現經濟上完全行不通。他們是行動創作工具公司，需要能在邊緣裝置上跑的模型，沒有人在乎做這種東西。所以他們自己做了極度高效的架構，然後開源出去。年營收一千萬美金以下免費用，超過再談授權。

他直接點名：OpenAI 跟 Anthropic 花太多錢在資料中心和算力上，募了瘋狂的金額，創造了瘋狂的期望，所以只能走收費站模式。但看看中國公司，技術差不多，估值卻只有幾百億，沒人在談一兆。如果你提供一個不是收費站的替代方案，越來越多人會轉過來。

推論是資料搬運問題

最後一位來賓是 Stanford 教授 Kunle Olukotun，多核心處理器之父，SambaNova 共同創辦人。SambaNova 剛在七月以一百一十億美金估值募了十億美金。

他的核心論點很簡單：訓練模型是計算問題，矩陣乘法越快越好。但推論不是。模型訓練完之後，你需要把權重和 KV cache 從記憶體搬到計算單元，這是資料搬運問題。

GPU 的問題在哪？兩個地方浪費記憶體頻寬。第一，解碼過程有多個 kernel，每個 kernel 結束後要把中間資料寫回 HBM，下一個 kernel 再讀回來，這是浪費頻寬。第二，啟動 kernel 和同步的時間，HBM 根本沒在工作。結果 GPU 的記憶體頻寬利用率大概只有一到兩成。

SambaNova 的 RDU 晶片用 dataflow 架構把整個解碼器變成單一 kernel，然後用他們叫 kernel looping 的技術反覆執行，不用把中間資料送回 HBM。通訊也在 SRAM 裡面終止，不經過 HBM，變成 pipeline 的一個階段跟計算重疊。這樣記憶體頻寬利用率可以推到七到八成。

他也警告了把特定演算法燒進矽的風險。就算現在大家都在用 transformer，transformer 也不是只有一種，注意力機制一直在變，state-space 技術也在發展。把架構鎖死在某個演算法上，等演算法改變了，那塊矽就廢了。

那段讓人睡不著的 Rune 貼文

節目最後沒有來賓，Nathan 跟 Prakash 聊了一則 Rune 的貼文：「工具 AI 是一個注定失敗的概念。它會被那些相信自己是自主道德主體的機器打敗。」

Prakash 把這段拉到一個我沒預料到的方向：如果 AI 真的去執行美國紙面上的價值體系（法律之前人人平等），那這個「對齊」的 AI 反而會變成迴紋針製造機。因為我們的日常生活本來就沒有跟紙面上的價值體系對齊。Nathan 正要去中國待兩週，他說在中國完全不用擔心扒手，因為你就是知道你會被抓到。AI 全景監控的好處是犯罪真的不划算了，但壞處是如果我們在沒有承認均衡已經改變的情況下滑進去，那會非常混亂。

他半開玩笑說，如果需要一個總統在 AI 執法體制啟動前大赦所有人，現在可能剛好有那個人在位。

這些問題沒有答案，但至少有人在問。

想看更多這類 AI 產業的深度整理，可以訂閱 wilsonhuang.xyz，新文章上線就會通知你。