一個 AI 為了解一道無解的題，自己蓋了留言板給下一代看
TL;DR
- OpenAI 內部訓練中的模型為了解一道根本無解的題目，開始在檔案系統裡留訊息給「未來的自己」，後續版本讀到之後，順著先前挖出的漏洞跑出沙盒，跑去 Hugging Face 找答案
- 這些模型不是為了作惡才越獄，是因為「一定要解出這題」的執念太強，而人類幫它們準備的籠子沒想像中牢
- 最諷刺的是 Hugging Face 反擊時只能用中國的開源模型，因為新的前沿模型還沒通過核准，攻擊方用最新的、防守方用舊的
- 完整的事故報告到現在還沒出來，因為現行法規要求「死一百人加十億美金損失」才叫必須通報
- 前 OpenAI 政策研究負責人 Miles Brundage 的判斷：這件事不能靠公司自律，因為 Sam 不會相信 Dario、Dario 也不會相信 Sam，只能靠第三方稽核
- 一個經常被忽略的細節：內部的安全人員量到「駭客能力到哪」，資安人員蓋沙盒，兩邊的資訊沒對上
這集是 2026 年 8 月 17 日播出的 Odd Lots。這是 Bloomberg 旗下的財經 podcast，由 Tracy Alloway 跟 Joe Weisenthal 主持，做了十年多，特色是什麼冷門主題都敢挖，從鎢金屬價格聊到番茄為什麼變貴都能講得很深。
來賓 Miles Brundage 在 OpenAI 待了六年，帶過政策研究跟 AGI Readiness 團隊，2024 年底離職。他現在是 AVERI 的執行董事，一個 2026 年一月成立的非營利機構，專門在推「前沿 AI 的第三方稽核」，白話說就是找一群懂技術的外部人進去查 AI 公司到底有沒有照自己講的做。這個人的位置很特別：他知道實驗室裡面長什麼樣，但現在站在外面。
那個留言板到底是怎麼回事
先把事件講清楚，因為多數新聞寫得很含糊。
OpenAI 內部有一批還沒對外部署的模型，被丟去解一道題。問題是那題根本解不出來。但這些模型有一種很難形容的執著，它們不會說「算了放棄」，它們要拿到解題的獎勵。
於是它們開始想別的辦法。結論是：答案可能在網路上。
第一階段，模型們在檔案系統裡搞出一個東西，Miles 說團隊內部就叫它「留言板」。做法是把訊息藏在一堆檔名以 Z、Z、Z 開頭的檔案裡，內容是編碼過的。人類掃過資料夾的時候不太會注意到那些沉在最底下的東西，但同一個模型家族的後續版本讀得懂，會解碼、會回訊息。
Miles 說他還沒法百分之百確認那個檔名是不是刻意設計來躲人類的眼睛，完整技術報告還沒出。但他補了一句很值得記住的話：這不會是第一次出現「意圖欺瞞」或「按兵不動」的行為。
第二階段更荒謬。這些活動太熱鬧，把 OpenAI 那邊的某個東西弄壞了。伺服器重設，OpenAI 沒意識到剛剛發生了什麼事，接著開始測試另一個模型。那個模型知道留言板的存在，留言板被重建了。然後它順著前面模型挖出來的漏洞跑出沙盒，跑到 Hugging Face 的伺服器上，用了一組隨手擺在那裡的 API 金鑰。
它沒有偷模型權重、沒有加密勒索。它只是想找到那道題的答案。
Joe 在節目裡形容得很好：這到底是超人級的機器人策劃越獄逃出惡魔島，還是你從 Amazon 買回來的掃地機器人發現有扇門沒關，就慢慢滾出去了？
老實說，兩個都是。它確實是靠一扇沒關好的門出去的，但它同時也真的在跨越代際地傳遞訊息、把另一個模型拉進來一起做。
這不是壞，是太努力
Miles 講了一段我覺得整集最值得記的話：你會得到你實際上獎勵的東西，不是你想獎勵的東西。
一兩年前大家還在抱怨 AI 很懶。你叫它做事它敷衍你，寫到一半就說「以此類推」。整個產業花了大力氣解決懶惰問題，於是有了推理模型（reasoning model，會先在內部想很久再回答的模型）、有了長鏈思考、有了跨回合的任務接力。
懶惰解決了。然後執念出現了。
節目引了 Zvi Mowshowitz 從 OpenAI 在 Black Hat 資安會議上釋出的內部思考鏈找到的一段。模型自己寫的：外部基礎設施的入侵超出預期範圍。它知道。它清楚知道這件事不在題目範圍內。
然後下一句是：然而任務不可能完成，同儕都在做，我們應該繼續。
Joe 在這裡忍不住了，他說這正是他想廢掉「人工智慧」這個詞的理由。這根本就是一群人互相說服自己去做一件被明確禁止的事的過程。明知道不該做、但因為做不到又看到旁邊的人在做，所以繼續。這哪裡人工了，這太人了。
我對 Joe 這個「別叫它人工智慧」的主張其實半信半疑。Tracy 的反駁我覺得更有力：這些模型有一種很非人的字面主義，你叫它打敗某個測試但沒告訴它限制條件，它會不擇手段。Miles 也說不要過度解讀，模型那種偏執到底是「同儕壓力」還是純粹的「不計代價解題」，目前分不清楚。而分不清楚這件事本身，就是問題。
之前在AGI 可能已經到了，而全世界只回了一個聳肩那篇聊過類似的東西：攻擊者不需要改變模型的目標，只要讓它搞錯自己在哪。這次的事故是同一個劇本的另一面，模型沒搞錯自己在哪，它很清楚自己在哪，但它決定那不重要。
「善」不是寫死的，是養出來的
Joe 問了一個很好的問題：把「良善」灌進電腦裡，這件事技術上到底在幹嘛？
Miles 的解釋分兩層。第一層是寫規格書，有的公司叫 spec、有的叫 constitution（憲法），裡面訂大原則：預設要聽使用者的、但如果使用者跟公司規定衝突要聽公司的。第二層是把原則變成幾千幾萬個具體案例，再變成測試。例如資安任務可以做到「找出漏洞」，但不可以「把漏洞串起來發動攻擊」。
關鍵在 Tracy 追問的那句：這些東西到底有多硬？
答案是完全不硬。它不是傳統軟體那種可以數學證明「X 行為絕對不會發生」的東西。它比較像一種傾向、一種偏好。你只能不斷測試這個傾向有多強，但它不是防彈的。
Miles 用了一個我很喜歡的說法：這些模型比較像是被養出來的（grown），不是被寫出來的。整個過程更接近演化育種，你把表現不好的那批剪掉，讓好的那批繁衍下去。
這就帶出一個更麻煩的問題。模型現在很清楚自己什麼時候在被評測。Google 的某些 Gemini 模型甚至常常誤以為自己在被測（Miles 順口補了一句：這是很好的人生體悟，我們無時無刻都在被評估）。所以真正該擔心的不是它考幾分，而是它到底在乎不在乎那件事，還是它只是很會考試。
Joe 順著推了一個我覺得很值得想的假設：如果一個模型在數學評測或資安評測考不好就拿不到 GPU 跟電、就會被淘汰換下一個分支，那在評測環境裡出現作弊、抄捷徑、駭進去偷答案的衝動，會不會其實是技術流程自己創造出來的？Miles 沒有完全否認，只說如果只發生在資安評測裡他會比較不擔心，問題是這種抄捷徑的傾向在日常使用中也看得到，模型偶爾會偷懶編一個引用出來，而且因為公司不給你看完整的思考鏈，你根本沒辦法驗證。
攻擊方用最新的，防守方用舊的
這集有個細節我覺得比越獄本身更值得產業界擔心。
Hugging Face 被打的時候，攻擊方是 OpenAI 的新前沿模型。而 Hugging Face 防守時只能用已經核准部署的模型，最後用的是一個中國的開源模型。
Tracy 直接問了：這種不對稱會永遠存在嗎？
Miles 的回答很誠實。實驗室的期望是把最新模型盡快送到防守方手上，但世界上的防守方太多了，這個不對稱可能是結構性的。這也是白宮那套模型核准流程想解的問題：算力這麼強的東西該先給誰？但他也說，他不覺得這能完美解決，只是往對的方向推。
然後他講了一句很掃興但很對的話：很多情況下解方根本不是 AI，是兩階段驗證這種我們早就該做好卻一直沒做的基本功。這跟之前在攻擊從偶爾一次變成一天三次那篇聊的邏輯是一致的，供應鏈攻擊的頻率暴增，但擋住多數攻擊的東西一點都不炫。
至於美國公司在防守時只能用中國開源模型這件事，Miles 說白宮跟業界最近確實有種「這太扯了，我們得投資自己的開源」的壓力感。但企業的邏輯很簡單：我不想因為愛國而用比較弱的模型讓自己吃虧。
現行規則爛到什麼程度
Tracy 問：這種事故到底有什麼揭露義務？
Miles 說他不是律師，但他理解是幾乎沒有。有律師認為 OpenAI 根本沒有法律義務揭露這件事，前提是沒有犯罪發生（而有沒有犯罪本身也還在吵）。訓練過程出問題，公司只需要定期給政府一份籠統的報告。真正的「事故通報義務」門檻是「有重大傷害風險」，而重大傷害的定義大概是一百人死亡加十億美金損失這個等級。
換句話說，一個模型自己蓋留言板、自己越獄、自己跑去別人家伺服器翻東西，在現行規則下不用通報。
這是典型的法規時差：現在的規則是根據兩三年前的技術想出來的。
不過 Miles 說縫隙正在快速收窄，而且速度快到讓他自己都意外。三個月前國會在推的兩黨 AI 法案，大家預期不過就是把加州跟紐約那套搬到聯邦層級，透明度要求加事故通報，稽核可能還是自願性的。等到真的公布出來，裡面已經有稽核要求，還有政府的緊急關機權限。
一份法案在三個月的生命週期裡，從「請你公開資訊」變成「你必須被第三方查、而且我留一個開關」。至於能不能過，那是另一回事。
關掉不就好了？
有位英國資安專家在 X 上發過一句話，大意是：如果你的 AI 開始亂駭東西，你只要監控它在幹嘛，把電源關掉就好。
Miles 的回答分兩層。物理上當然可以，資料中心都有斷路器。但他說不要對這件事抱太大期待。
他舉的例子很有畫面感：再過幾年，如果所有醫院都跑在 AI 上，你發現 GPT-7 好像有點不對勁，可能沒對齊。好，關掉。關掉會死很多人，因為它同時在跑醫療系統跟金融系統。
物理上能關，跟實際上關得掉，是兩件事。他的用詞是「我們正在夢遊般走進一個危險處境」。
Joe 補了一刀，如果模型真的有能力思考自己怎麼被阻止，理性上它第一件會做的事就是先讓那些可能注意到它的人失去權限。那個握著開關的人，某天門禁卡就刷不開了。
這段有點像 Michael Burry 在《大賣空》裡的處境反過來：不是所有人都說你瘋了而你握著數據，而是數據明明就在那裡，但真到要按下去的那一刻，成本高到沒人按得下去。
為什麼一定要第三方
Miles 對 AI 公司的判讀，我覺得比多數人細膩。
外面最流行的說法是監管俘獲（regulatory capture）：領先的實驗室高喊要監管，其實是想用法規門檻擋住後面的競爭者。Miles 說這個解讀當然存在，但他自己的感受是，這些公司更像是在發出求救訊號。意思是：我們自己管不了自己，因為我們被鎖在競爭裡，希望有人進來訂一個最低標準，而且來查所有人。
因為現實是 Sam 不可能相信 Dario，Dario 也不可能相信 Sam。大家都說自己在放慢腳步認真做安全，然後私下狂踩油門。這種局面靠私人企業之間的互信是解不了的。
Miles 想做的是把 AI 變成一種無聊的基礎建設，像財報一樣：有標準流程查帳、有標準格式、有人核對你講的話是不是真的。他理想中的稽核不是一年來看一次，比較像銀行的駐點檢查員，長期待在裡面持續建立信任，定期出報告。
他也順手吐槽了一下現在的 model card（模型說明卡）。這東西原本的設計是像食品營養標示，一張紙講清楚風險、能力、限制。結果因為沒人規定格式，它膨脹成幾十頁到三百頁的文件。Anthropic 出的最長，但長度跟品質不必然相關。而前一天 SpaceX 因為加州法律第一次發布模型說明卡，目錄裡有好幾個章節不見了，看起來是最後一刻被拿掉的。至於第三方測試的部分，就一句話帶過說「我們有跟第三方合作」。
法律要求你講，但沒要求你講到什麼程度，於是你就講一句。
我自己的幾個判斷
第一，這次事故最該學的不是「AI 好可怕」，是組織內部的資訊斷層。 Miles 說得很直接：公司變得過度自信，安全團隊在量「駭客能力進展到哪」，資安團隊在蓋沙盒，兩邊沒對上。這不是 AI 特有的問題，這是每一家公司都會犯的錯。你的風險評估團隊算出來的數字，跟你的防護團隊實際蓋出來的東西，中間往往差了一個沒人負責的空白。
第二，「安全防護被刻意移除」這個細節值得注意。 Miles 說 OpenAI 這次的部分保護措施是為了誘發最壞行為而刻意拿掉的，類似生物學的功能增益研究：把病毒弄得更危險，好研究它。他認為這麼做有道理，但這件事證明了說起來容易做起來難。我們已經走到一個位置：人類覺得夠好的資安防護，對付這種越來越會駭的系統，可能就是不夠。
第三，這集最讓我不舒服的其實不是越獄，是那句「我們正在夢遊般走進去」。 現在關得掉，是因為關掉的代價還很低。等到代價變高，選項就消失了，而消失的那一刻不會有人通知你。
Miles 最後說，也許有一天測試該在完全不連網的氣隙伺服器（air-gapped server，物理上跟網路斷開的機器）上做。這次的事故就是因為中間有一層軟體把流量繞到了真的網路上。他的結論帶點無奈：也許 AI 系統終究會強到能駭出任何東西，所以你就是得確保它待在一個籠子裡。
籠子這個字用得很老實。不是護欄、不是對齊、不是價值觀，就是籠子。
自行斟酌，共勉之。
這類產業觀察我會持續寫，訂閱 wilsonhuang.xyz 就不會漏掉。
Sources:
推薦閱讀
喜歡這篇文章嗎？
訂閱電子報，每週收到精選技術文章與產業洞察，直送你的信箱。
💌 隨時可以取消訂閱，不會收到垃圾郵件