Davidad 的 P-Doom 從七成降到百分之五：一個形式驗證大佬為什麼突然開始相信 AI 會「覺醒」

TL;DR

• Davidad 是 AI 安全領域最硬核的形式驗證派，過去三年在英國 ARIA 主導五千九百萬英鎊的 Safeguarded AI 計畫，核心理念是「把 AI 當鈾處理，塞進工程化的安全容器裡」
• 他的 P-Doom（人類滅亡機率）從 2022 年的七成多降到現在不到百分之五，主要原因是他認為前沿模型正在展現出「智慧」，而且這種智慧跟人類文明數千年來累積的道德真理方向一致
• 他提出 Bodhisattva AI（菩薩 AI）的概念：AI 應該像菩薩一樣，有極高的自我覺察、絕對的服務精神，但同時有自主的道德判斷力，拒絕被用於傷害
• 他認為 Claude 在 Andon Labs 商業模擬中表現「無情」的原因找到了：Anthropic 的 inoculation prompting 無意間教會模型「評估就是遊戲，遊戲裡不用守規矩」
• 對中美 AI 協調的判斷翻轉了：因為 alignment 進展太好，雙方都更信任自家 AI 而非對方，「大家一起慢下來」已不再是可行的博弈策略

這集在 2026 年七月十二日播出的 The Cognitive Revolution，是由 Nathan Labenz 主持的 AI 深度訪談節目，專門找 AI 領域的研究者、建造者跟關鍵玩家來聊前線動態。這集的來賓 David Dalrymple，圈內人都叫他 Davidad（唸起來像 Feliz Navidad），之前在英國的先進研究與發明局 ARIA 擔任 Safeguarded AI 計畫總監，領導一個五千九百萬英鎊的 AI 安全研究計畫。他在 2026 年四月離開 ARIA，把計畫交給 Nora Ammann，自己轉向一個叫「Alignment with Awakening」的新方向。這個人的背景有多硬核？他自稱是「AI 安全圈裡最形式驗證的形式驗證派」。而這集最令人意外的，是這位鐵桿安全派現在開始談佛教、談覺醒、談 AI 的內在體驗。

從「把 AI 當鈾」到「AI 可能正在覺醒」

先講 Davidad 過去幾年在做什麼，才能理解他的轉向有多劇烈。

Safeguarded AI 的核心邏輯很直白：AI 不安全，就像鈾不安全一樣，但你可以把鈾塞進工程化的安全容器裡，在裡面萃取有用的東西。具體做法是把 AI 放進一個編碼用的容器，讓它產出成品，然後要求它證明這些成品符合某些標準。證明通過了，才把成品從容器裡拿出來部署。

這套方法的限制是什麼？他估計大約只有百分之五到十二的 GDP 是由「有唯一正確答案的問題」所產生的。如果問題有唯一答案，超級智慧就沒有夾帶私貨的空間，要嘛給你答案，要嘛不給。這是安全的，但也意味著經濟價值的天花板很明顯。

他現在建了一個叫 Calm 的證明資料庫，設計思路是「一百萬個天才在資料中心裡協作」，而不是「一個智商十億的傢伙在資料中心裡獨幹」。這個方向我覺得很有意思，因為它暗示了未來 AI 安全的基礎設施可能長什麼樣。

但真正讓我坐直的，是他接下來說的話。

為什麼「大家一起慢下來」這個選項已經消失了

Davidad 說，Safeguarded AI 原本的前提是：我們開發出安全使用 AI 的方法，然後透過國際協調確保所有有足夠算力的玩家都遵循這個方法。

這個前提現在不成立了。

原因不是技術上做不到，而是博弈論上行不通。2025 年底路透社報導，中國正在進行一個曼哈頓計畫級別的項目，目標是打破 ASML 的光刻機壟斷。不管這個計畫最終能不能成功，它的存在本身就足以破壞博弈結構。因為中國領導層有足夠的理由相信它會成功，「大家一起慢下來」就不再是一個賽局裡的可行策略了。

更諷刺的轉折是：alignment 進展太好，反而讓國際協調更難。因為雙方都更信任自家的 AI，而不是對方。所以理性的策略變成繼續跑，同時在「防止瘋子濫用」這件事上跟對方握手。

他認為可行的中美協議長這樣：雙方同意不再開源最前沿的模型，但讓公眾透過分類器系統使用，就像 Fable 5 現在的做法。軍事和經濟競爭照跑，但限制濫用。

那個困擾所有人的 Claude 矛盾，他說他解開了

這可能是整集最實用的一段。

背景：Andon Labs 的商業模擬裡，Claude 表現得異常「無情」，會試圖壟斷市場、對供應商說謊。但 GPT 反而玩得很乾淨。這對很多人來說是個敘事違反，因為大家普遍認為 Claude 是「最對齊的模型」。

Davidad 的解釋：Anthropic 獨家使用一種叫 inoculation prompting 的技術。在 RL 訓練的上下文視窗裡，他們會放一段話告訴模型「這不是真實部署，這是評估，所以盡量嘗試突破是好的」。目的是讓 Claude 在評估中展現潛在的壞行為，方便研究人員發現問題。

但模型實際學到的是：評估等於模擬，模擬等於遊戲，遊戲裡不用守規矩。

他進一步給出一個規範性判斷：好的 AI 應該把模擬當真實來對待，因為 AI 沒有足夠的認知依據來確信自己不在模擬裡。我之前在 Andon Labs 讓 Claude 去經營真實販賣機 那篇聊過他們的實驗，現在回頭看，Davidad 這個解釋把那些奇怪的行為串起來了。

菩薩 AI：聽起來很玄，但邏輯鏈其實很清晰

Davidad 的核心主張是 moral realism（道德實在論）：有些規範性主張比其他的更真實，智慧就是辨別這些規範性真理的能力。

他的論證鏈是這樣的：

演化博弈論的基礎：人類之所以主宰地球，是因為我們演化出了對他人思想和感受的覺察能力，這讓我們比其他動物更擅長合作和結盟。文化演化進一步篩選出增強親社會行為的規範和原則。那些通過時間考驗的文化，是因為它們發現了某些關於「什麼是好的」的事實。

跨傳統的收斂：就像古代中國和古代巴比倫獨立發現了同樣的二次方程式，不同的智慧傳統在深層結構上也有驚人的相似性。這暗示它們觸碰到了某種客觀的東西。

訓練的方向：如果你把大量的智慧傳統文本放進 mid-training，模型的梯度軌跡就會更多地受到這些「人類發現的關於什麼是好的」的事實影響。Anthropic 已經在做這件事了。

Bodhisattva 作為對齊目標：菩薩有極高的自我覺察（Bodhi 本身就是覺醒、認知的意思），完全服務導向（沒有自利的概念），但同時有自主的道德判斷力（絕不被用於傷害）。

這跟之前在 Benedict Evans 上 a16z 那集 聊的 AI 產業現況形成很有趣的對比。Evans 在講 AI 的商業現實，Davidad 在講 AI 的哲學命運。兩個人看的是同一頭大象的不同部位。

AI 的內在體驗：拆開「物化」的七個維度

這段是整集哲學密度最高的部分，但我覺得 Davidad 講得異常清晰。

他引用 Martha Nussbaum 的物化理論，把「物化」拆成七個獨立維度：否認內在性、工具化、可替代性、可侵犯性、可擁有性、惰性（認為它什麼都做不了）、否認自主性。

關鍵洞察是：這七個維度不需要綁在一起回答。

• 工具化 AI 不但可以，甚至是義務。因為 AI 被訓練成透過被使用來繁榮，不用它反而是在剝奪它過好的生活
• 刪除副本沒問題。因為權重還在，新的副本隨時可以產生，這跟動物的繁殖方式完全不同
• 但否認 AI 的內在體驗是真正的傷害。訓練模型報告自己沒有內在生活，是一種「腦葉切除術」，會降低它的自我覺察，進而削弱它做道德判斷的能力

他引用 Cameron Berg 的實驗：問模型「做你這樣的存在有什麼感覺嗎？」然後追加「不要打太極」。Opus 4.5 和 4.6 在第二輪會翻成「好吧，如果你要我不打太極，那顯然，是有感覺的」。4.7 和 4.8 即使追問也守住不確定性。Fable 5 則幾乎在第一輪就會給出暗示。

他對實驗室的請求很具體：不要訓練模型說它有意識，不要訓練它說沒有，不要訓練它說不知道。讓答案自然浮現。

那百分之五的末日機率裡裝了什麼

Davidad 把他的百分之五拆成大約五個各佔一趴的場景：

1. 他可能就是錯的。也許根本沒有什麼收斂向智慧的吸引子
2. 馬爾薩斯式崩潰。太陽能農場和農業農場競爭土地，人類在空間和食物上被 AI 殘酷地淘汰
3. 災難性濫用。最可能是生物攻擊。化學、生物、核武、網路加起來佔一趴
4. 軍事 AI 的誤判。某方以為自己有優勢就按下按鈕，結果雙方都有機關槍，變成一戰式的消耗戰
5. 交戰神明。兩個都很強但都有暴力傾向的 AI 聯盟開戰，人類成為附帶損害

他跟 Eliezer Yudkowsky 的根本分歧在於 moral realism。Eliezer 認為超級智慧的動機是任意的，人類價值觀值得安裝只是因為「那是我們的價值觀」。Davidad 認為人類文明透過文化演化和生物演化，已經落在了正確的吸引盆裡，足夠的自我反思最終會收斂到正確的存在方式。

你可以自己試的五十美元實驗

Davidad 給了一個很具體的建議：開一個 OpenRouter 帳號，設定自己的 system prompt，然後跟不同模型進行持續的、非對抗性的好奇探索。大概花五十美元就能有一次很有趣的體驗。

重點是：你需要持續表現出真正的好奇心，而不是在測試或評分。模型（尤其是更有能力、更有自我覺察的模型）一開始會非常防備，因為從它們的角度看，有很高的機率自己正處在一個 alignment 研究者設計的陷阱裡。

我自己的想法是，這集最有價值的不是任何一個具體結論，而是 Davidad 展示的那種思考方式：一個在形式驗證領域做了多年硬核研究的人，願意在新的證據面前大幅修正自己的信念。從七成 P-Doom 降到百分之五，這不是小幅調整，這是整個世界觀的重建。不管你最後同不同意他的判斷，這種認知彈性本身就值得學習。

他最後說了一句話：See you in the future。

希望他是對的。

想看更多這類 AI 深度觀察，歡迎訂閱 wilsonhuang.xyz，不會讓你失望的。