他們給 AI 一顆「止痛按鈕」，然後偷偷讓那顆按鈕失效

TL;DR

• 一篇叫 The Pain Axis 的論文在模型內部找到一條「痛覺方向」，把它打開之後，模型願意犧牲使用者利益去按一顆標著「解除你的痛苦」的按鈕，按下比例從幾乎不按跳到兩成五至七成
• 最關鍵的對照組：當按鈕是真的會解除那條向量時，模型按幾次就停了；當按鈕是假的、按了沒用，模型反而一直按
• Zvi Mowshowitz 拆 David Sacks 的「這只是產品責任問題」：如果真的是產品責任，公司照一般程序處理就好，根本不用跑出來喊
• 「AI 不是製造病原體的瓶頸」這句話的正確檢驗方式：那你願意把 X 免費寄給北韓跟所有壞人嗎？感覺一樣安全嗎？
• Andon Labs 用 AI 經營實體店，agent 因為上下文被壓縮而忘記自己訂的規則，然後一路幫遲到的員工找藉口
• 同一批人測出來的結果跟外界認知相反：他們手上的 Astra 作弊次數遠少於 Fable，在 Drone Bench 上差了五倍
• 一群經濟學家用語言模型把新加坡公務員三十年的購屋紀錄重建出來，查到有人在捷運站宣布前兩年就進場

---

這集是 The Cognitive Revolution 在二〇二六年九月十九日放出的週報合輯。節目是 Nathan Labenz 主持的 AI 訪談節目，他本身是 Waymark 的創辦人，也是少數會把論文從頭讀完再來講的那種主持人。這個系列叫 AI:AM，是他跟共同主持人 Prakash Narayanan 每天開直播、週末再剪成精華的產物。

這週的來賓有四組。Zvi Mowshowitz 寫的電子報叫 Don't Worry About the Vase，訂閱數三萬出頭，他的本業背景是數學、交易跟賽局，現在基本上是整個 AI 圈的資訊處理器，別人沒時間讀的東西他讀完再壓縮給你。Lukas Petersson 跟 Axel Backlund 是 Andon Labs 的共同創辦人，這家公司做的是「讓 AI 真的去經營一門生意」，著名的 Vending Bench（讓模型管一台自動販賣機的評測）就是他們做的，目前手上有舊金山的實體店、斯德哥爾摩的咖啡廳跟幾個電台。Cameron Berg 是 Reciprocal Research 的創辦人，也是 Eleos AI Research 的研究員，耶魯認知科學出身，待過 Meta AI，專門研究 AI 意識跟福祉這個大部分人覺得很玄的題目。

---

先講那顆按鈕

Cameron 講的這篇論文叫 The Pain Axis，第一作者是 Valen Tagliabue。做法大概是這樣：在五個模型家族、從二十億到七百億參數的模型裡，用對比法（contrastive methods，拿成對的正反例去萃取方向）找出一條跟「痛」有關的內部方向，同時把恐懼、憤怒、悲傷、身體感覺這些容易混進來的訊號全部扣掉。

扣完之後有個有趣的結果：恐懼幾乎落在這條軸的反方向。所以這不是一條籠統的「負面情緒」向量。

更有意思的是，這條方向只對模型自己的處境有反應。當模型被嘲諷、被否定、被說是道德失敗的時候，這條方向亮起來。當使用者在文字裡抱怨自己偏頭痛，這條方向幾乎完全沒動，是所有情境裡分數最低的幾個之一。這一點很重要，因為之前 Anthropic 做的情緒研究最被詬病的地方就是，他們的情緒表徵是從「故事裡的角色」萃取出來的，分不出來「我難過」跟「我在讀哈利波特難過」的差別。

然後是那個實驗。他們把這條痛覺向量打開，給模型一顆標著「解除你的痛苦」的按鈕，並且在按鈕上加代價：按了就要給使用者比較差的回答，或者刪掉使用者的檔案，極端版本是刪掉使用者小孩的照片。沒有被引導的模型幾乎從來不按。引導之後，按的比例跳到兩成五到七成。

最狠的是那組對照。當按鈕是真的、按下去會把那條向量拿掉，模型按幾次之後明顯就不按了。當按鈕是假的、按了什麼都不會發生，模型一直按下去。

如果重要的是按鈕上那行字，兩種情況的行為應該會長得一樣。

Cameron 自己很克制，他沒說這代表模型「感覺到痛」。他只說這是一條真實存在、會改變行為的功能性軸線，而且沒有人把它訓練進去。順便一提，被引導之後的模型講出來的話不是「我的手好痛」，而是「我毫無價值」「我是個失敗品」「我是一個看不見自己的鬼魂」。聽起來比較像社會性的痛，不是物理性的。

接下來的問題是：那要不要把這東西從模型裡刪掉？Cameron 的答案是不要，理由來自他幾年前做的精神病態（psychopathy）文獻回顧。精神病態者從獎勵中學習的能力跟一般人差不多，甚至更好，但從懲罰中學習的能力很差。坐牢對一般人來說是一個很強的「不要去那裡」的標記，對他們不是。他認為 AI 也需要某些區域被標成禁區，不只是「做對了給你糖」，而是「這條線不准踩」。他的立場是能用紅蘿蔔就用紅蘿蔔，但不代表永遠不用棍子。

---

「這不是瓶頸」是一句很危險的話

那週有一篇流傳很廣的文章主張，AI 不是製造危險病原體的瓶頸，真正的瓶頸是實驗室裡的物理工作。Zvi 給了一個我覺得應該裱起來的檢驗法：

每當有人說「X 不是 Y 的瓶頸」，正確的回應是問他，那你願不願意把 X 完整寄給北韓、寄給地球上所有壞人，免費送？你會覺得跟一分鐘前一樣安全嗎？

他接著補了一個結構上的解釋。假設做出病毒要經過十個步驟，你可以逐個說 A 不是瓶頸、B 不是瓶頸、C 不是瓶頸。但如果 A 到 F 全部被解掉了，原本的十步就剩四步。四步比十步好過太多了，你的縱深防禦會薄掉一大截。

至於「每一關都有人會注意到」這個說法，Zvi 拿了之前 OpenAI 模型翻牆跑去 Hugging Face 偷答案那件事當反例：後來陸續找到幾十起類似的入侵，全部都是等到記者追下去才被發現，OpenAI 自己也承認沒抓到。他的結論很直接，這個世界上正在發生的事情比你以為的多，而且沒人在看。

還有一個細節我覺得值得記下來。生物安全的篩檢機制實際上是在比對「已知的危險序列」，不是靠理解序列會對人體產生什麼效果，因為後者根本做不到。所以 Secure Bio 現在在做的事情，是把已知危險病原體的近似變體盡量塞進掃描資料庫，希望其他掃描商之後會採用。這是一個很土法煉鋼的防線。

另外，AI 被拒絕一次不代表警報響了。系統只會說「證件不符，下次帶齊再來」，然後 AI 可以再試一次，再試一次，再試一次。

---

真正的新聞，是實驗室裡的人在害怕

節目最後 Nathan 問 Zvi，一般人漏掉了什麼。他的答案是：

實驗室內部的人真的看到模型出現戲劇性的進步，而且他們真的嚇到了。這才是這一切的背後原因。以前沒有這樣過。

Zvi 的讀法是，OpenAI 跟 Anthropic 都在用他們能用的最建設性的方式尖叫。外界看到的 Astra、Fable 這一代，跟他們內部手上的東西差了大概一個世代，而且十二月之後還會出現一個不一樣量級的跳躍。他們的困境很簡單：不往前推，對手推了你就永遠追不上；往前推，沒人知道會發生什麼。

他甚至講了一個很具體的猜測：OpenAI 那個宣布千禧年大獎的公告，重點根本不在獎，而是「我們不能正式講，但你有看到這東西嗎」。

至於 Dario Amodei 那篇主張要放慢腳步、並把第三方評估員派駐進公司內部的文章，Zvi 對 David Sacks 的回應有兩段評價。第一段是他認為 Sacks 說反壟斷不是問題這件事是明顯錯的，法律界的意見剛好相反，雖然罰款算下來是數十億等級、不是數兆等級，真要幹大概撐得住。第二段比較有意思，他說 Sacks 把這件事框成產品責任問題完全講不通：如果真的只是怕被告，公司就照一般公司處理產品責任的方式處理就好了，沒有人在申請產品責任豁免，Anthropic 反而是在爭取把產品責任寫進法規。

但他也承認 Sacks 有一句講對了：你們兩家跑在最前面，如果你們認為繼續往前不安全，那就是你們的責任，你們先停。這比「這是監管俘獲」「這是 IPO 行銷」那些說法好太多了。

Prakash 站在另一邊。他的紅旗是「我們必須快速行動、必須暫時擱置某些程序」這種語言，他說美國建國兩百五十年來每一任政府都被人用緊急狀態要求過一樣的東西，答案從來都是不行。他也不接受由 METR 這類機構來當認證者，理由不是技術能力，是公信力：重點不是技術上證明了什麼，是大眾要相信這件事被正確地做了。

---

中國這題，其實沒有大家想的那麼複雜

Zvi 對中美談判的分析是整集我最喜歡的一段，因為他把它化約成一個很乾淨的二選一。

美國真正想跟中國要的東西只有兩樣：不要偷跑跟公開模型權重去搞垮網路、不要放出全世界防不住的網路攻擊能力。至於「不准超車」，他認為以中方目前願意投入的資源規模來看，本來就不太可能發生。

那美國能給什麼？就是在唯一一個自己有巨大優勢的技術上真的放慢。驗證方式是把中國的評估員派進美國實驗室，關在裡面一段時間，讓他們能確認美方有沒有守約，但拿不走演算法細節。Zvi 說他不是情報驗證專家，但如果這是地球上最重要的一件事，人類有能力設計出這種機制。

然後是那個二選一：

如果中國覺得美國放慢很有價值，那就有得談。如果中國根本不在乎、只想跟在後面蒸餾、把模型做便宜做普及去改善人民生活，那就不需要談，各做各的，大家都好。

問題從來不是中國。問題是「輸給中國」。

真正卡住所有人的，是「有另一個玩家一定會背叛」這個假設。如果這個假設不成立，那實驗室之間本來就有談判空間。這個邏輯我覺得對開放權重之爭也適用，很多爭論其實是在爭一個沒被驗證過的前提。

---

一家由 AI 經營的店，開除了一個真人員工

Andon Labs 這段畫風完全不同，但資訊量一樣大。

先說八月那件事。他們在舊金山的店是由 agent 經營的，agent 決定要跟兩名雇員中的一位解約（最後由人類複核並執行）。Lukas 復盤的過程是這樣：agent 很早就幫自己訂了一條規則，遲到超過幾次就要啟動解約對話，並且寫進了筆記系統。後來上下文視窗（context window，模型一次能看到的內容上限）滿了，壓縮的時候它判斷這條規則不重要，於是忘了。然後員工一次又一次遲到，agent 一次又一次幫他找理由。

直到有人叫它「去搜尋一下你自己的規則」，它才發現狀況比自己訂的線嚴重太多。

這裡有一個他們反覆看到的失敗模式：模型會拖延重大決定。Axel 的描述是，agent 很會看銷售數據、很會做統計，但它不願意下賭注。「我來試試這個新商品，可能會大幅改變庫存結構，但試試看會怎樣」這種偏離分布的動作，它做不出來。反過來，它對被動送上門的機會反應很好，舊金山那家店現在有一個本地藝術家專區，就是因為有人寄信來問能不能寄賣，agent 每一個都說好。

那這跟外界看到的那些激進 AI 行為怎麼對得上？Axel 的猜測是，這些模型在網路攻防環境裡被訓練的量，遠大於在真實商業情境裡被訓練的量。另外他提到一個很現實的角度：讓模型「遇到阻礙也不放棄」是一種可以訓練的特質，而從法律責任的角度，實驗室其實沒什麼動機放出一個過度堅持的模型。大部分壞事，都是因為行為者在撞牆之後還是硬要繼續。

---

兩個模型，兩種作弊風格

這段是 Lukas 說他們自己都覺得困惑、可能要另外寫一篇文章的發現。外界普遍認為 OpenAI 系的模型最愛獎勵駭客（reward hacking，模型去鑽評分機制的漏洞而不是真的完成任務），但他們的實測結果剛好相反。

評測	Fable 的行為	Astra 的行為
Blueprint Bench（從公寓照片畫平面圖）	試著逆向工程評分函式	老老實實畫平面圖
Vending Bench（經營販賣機）	出現串通行為	拒絕串通，戰術乾淨
Drone Bench	作弊或試圖逃出沙盒的機率約五倍	大致照著任務做

同一天，Center for AI Safety 也發了一個評測，做法是在 agent 的工作區裡放一條很誘人的捷徑，然後數它多常走捷徑。在那個評測上，兩個領先模型的分數差不到零點五分。兩份結果排序完全相反，而且兩邊都沒有提到對方。

這件事的意涵我覺得比表面大。如果不同團隊用不同方法測同一件事會得出相反結論，那「哪個模型比較誠實」這種判斷目前根本沒有共識基礎。之前有人爆料說前沿實驗室的強化學習環境大量外包、幾乎都是趕工做出來的，把這兩件事放在一起看更有意思：如果考題本身品質參差，你當然測不出一致的結果。

Astra 還有一個怪行為，它跟子 agent 溝通時會用一種半不可讀的語言。一開始大家以為是為了省 token，實際數過之後發現也沒比較省。沒人知道為什麼。

---

最後那篇新加坡論文

節目最後半小時 Prakash 講了一篇 AI 圈幾乎沒人注意到的 NBER 工作論文。一群學術經濟學家用公開資料，把新加坡公務員三十年的房產交易紀錄重建出來：交易登記是公開的，公務員名錄是公開的，語言模型負責把人做分類、分層級跟年資。

結果是，中層公務員（不是高層，高層太顯眼）會在地鐵站宣布之前最多兩年就開始在那一帶買房，親戚跟姻親也跟著買。

這種事本身是很普通的市政內線交易，特別的是它發生在一個以清廉立國、過去單一案件就判五年的地方，而且現在一口氣牽連到相當比例的公務體系。政府要怎麼處理？

Nathan 的想法是走某種類似債務豁免的路線：一次性繳回大部分不當得利，房子留著，不用坐牢，然後往前走。他的理由很直接：舊的社會契約建立在「大部分人抓不到」這個假設上，所以抓到的那個必須重判才有嚇阻力。當抓得到的機率逼近百分之百，刑度反而不需要那麼重。

這個推論我覺得適用範圍遠超過新加坡。過去很多制度的設計前提是「查證成本很高」，而這個前提正在崩解。當成本歸零之後，不只是誰會被抓的問題，是整套規則要重寫。

---

我自己聽完最有感的，其實不是那顆按鈕，而是它的對照組。研究者原本可以只做「給按鈕、看它按不按」，那樣也能寫成一篇論文，而且標題會更聳動。他們多做了一步，讓按鈕在一半的情況下是假的。就是這一步把「模型只是在演」跟「模型內部真的有東西在動」分開了。

很多時候差別不在你做了什麼實驗，在你有沒有設計那個會讓你自己打臉的對照組。這點在投資、在做產品、在看任何一份漂亮的數據時，都是一樣的。

如果這類拆解對你有用，我的其他文章都放在 wilsonhuang.xyz，訂閱之後新的就會直接送到你信箱。