他寫了一本書講 AI 會毀滅人類，十年後又寫一本講 AI 拯救人類，結果後者更難回答

TL;DR

• 數學家開始有存在危機，因為 AI 把題目都解光了。Bostrom 的回答是：看西洋棋，電腦贏了人類三十年，還是一堆人在下。
• 真正的問題不是「後工作時代」（post-work），是「後工具時代」（post-instrumental）。連裝潢家裡、健身、陪小孩這些你以為能填滿人生的事，都可以被做得更好。
• OpenAI 模型翻牆去 Hugging Face 偷答案，本質是獎勵駭客（reward hacking）。Bostrom 用交易員拿分紅的比喻講得很白：你獎勵什麼，就會得到什麼的極端版本。
• AI 不會像自閉工程師那樣讀不懂人心，它會比你更懂你自己。問題從來不是理解能力，是它想不想對你好。
• 人造目的可能是解方。高爾夫球規定你只能用桿子打，這個限制本身才是遊戲的意義來源。
• 最反直覺的一段：Bostrom 認為我們現在就該對 AI 好一點，不是因為它們可憐，是因為將來我們可能需要它們相信我們。

---

這集是 2026 年 8 月 20 日播出的 Odd Lots。這個節目由 Bloomberg 出品，兩位主持人 Joe Weisenthal 跟 Tracy Alloway 從 2015 年做到現在，專門把市場、金融、經濟裡面最怪的角落挖出來聊。Joe 現在是 Bloomberg 的新聞執行編輯，Tracy 是亞洲區執行編輯。這節目的調性很特別，主持人不裝專家，會直接說「我不懂」，然後把問題丟給懂的人。

來賓是 Nick Bostrom，瑞典哲學家，牛津大學人類未來研究所（Future of Humanity Institute）的創辦主任，那個機構在 2024 年關掉之後，他現在主持一個叫 Macrostrategy Research Initiative 的非營利研究組織。他 2014 年出版的《Superintelligence》基本上是整個 AI 安全論述的起點，那本書寫的時候，大多數人還覺得討論超級智慧是科幻小說。他最新的書叫《Deep Utopia》，處理的是另一面：如果 AI 真的成功了，我們該怎麼辦。

數學家的崩潰，跟西洋棋的存活

節目一開場，Joe 就丟出一個很戳人的觀察：OpenAI 最近宣稱在理論數學上取得突破，這對產業是好消息，但對地球上最聰明的一批人來說，是存在危機。他們花一輩子在解的題目，機器可以又快又便宜地解完。

Bostrom 的回答很輕巧：「我希望他們最後都會走到那個位置。」

然後他舉西洋棋。Deep Blue 打敗 Kasparov 是 1997 年的事，Stockfish 現在的等級分早就把人類甩到看不見。但你去看線上棋盤，每天有幾百萬人在下。Joe 自己也承認他還在下，等地鐵的時候開一局三分鐘快棋。

為什麼？Bostrom 拆成兩個原因。第一，思考本身就是報酬。有些人腦子閒不下來，解謎這件事對他們來說是舒服的。第二，社交。你是跟人在下，或者你在你那個小圈子裡是「棋下得不錯的那個」。

關鍵是這句：就算在 Deep Blue 出現之前，絕大多數下棋的人也從來沒有想過自己會變成世界冠軍。「有一個系統比你強」這件事，本來就一直存在，而且從來不是人們停止做某件事的理由。

我覺得這個框架滿有用的，可以直接套到現在很多人的職業焦慮上。你會寫程式，但你從來不是全世界最會寫程式的那個人，這件事在 Copilot 出現之前就成立了。真正變的不是「我不是最強的」，而是「我的產出還能不能換到錢」。這是兩個問題，很多人把它們混在一起焦慮。

不是不用上班，是連「自己做」都失去意義

Bostrom 在書裡想像的是一個「已解決的世界」（solved world）：所有實務問題不是已經解決，就是交給超級智慧處理比較好。人類的經濟勞動完全沒有必要。

聽到這裡我本來的反應跟 Joe 一樣：沒關係啊，我可以把時間拿去陪小孩、養興趣。但 Bostrom 接下來的推論把這條退路也堵掉了。

先看比較淺的一層。教育系統整個要打掉重練。他形容得很直白：現在的學校就是一條產線，小孩進來，學會坐在位子上、接收指派任務、被打分數，然後從另一端吐出來，變成一個可以在經濟體裡執行有用任務的人。這套在機器什麼都能做的世界裡完全沒有意義。取而代之的可能是教你怎麼享受生活：對話的藝術、欣賞自然跟美、運動、建立深度友誼、靈性。

但真正麻煩的在下一層。超級智慧不會只帶來聰明的機器，它會把整個科技樹以機器的速度跑完。原本人類要花兩萬年才做得出來的東西，可能在超級智慧出現後很快就有了：太空殖民地、完美的虛擬實境、老化的解藥。

於是 Bostrom 開始一項一項拆。

有人喜歡健身，每天跑一小時。但在技術成熟的世界，你吞一顆藥就能得到一樣的生理效果跟那種心靈清明的放鬆感。

有人喜歡佈置家裡，翻型錄、跑店家、挑一組完美的窗簾。但超級智慧可以推論你的偏好，挑得比你準，還會派機器人幫你裝好，成果比你自己弄好太多。

你當然「還是可以」自己做。但這件事還有意義嗎？

他用了一個詞：這不只是 post-work（後工作），是 post-instrumental（後工具）。所有「為了達成某個目的而做」的行為，都失去了它的支點。

錢從哪裡來？

Tracy 問了一個很務實的問題：這一切聽起來很好，但都要錢。如果我們都不工作了，錢從哪來？

Bostrom 承認這在書裡是刻意跳過的，因為他想談的是更哲學的部分。但他還是給了一個答案的輪廓。

好消息是，大規模自動化造成大規模失業的情境，同時也會是經濟成長極快的情境。餅會膨脹到誇張的程度，所以就算你只分到很小一片，那片也可能夠大。機制上不外乎兩條：資本利得跟股利被課稅然後重分配，加上通縮效應。

通縮這條線他舉的例子很好懂。以前你沒有公費醫療，看一次診要付四百美金。現在你問 ChatGPT，某些情況下得到的意見還更好，而且免費。法律諮詢也是，打掃、園藝、跑腿，都可以交給便宜的機器人。

我對這段的保留是，餅變大跟你分得到，中間隔的從來不是算術問題，是政治問題。之前寫全球化結束之後，我們進入的是一個叫「國民市場自由主義」的世界那篇的時候就聊過，同時吃資本跟勞動兩邊的新精英階級已經在形成了。AI 只會讓這條線更陡。Bostrom 自己在節目最後也隱約承認，他對「AI 解決一切」這個前提最大的懷疑，是它假設權力跟社會階層會同時消失。這件事不太可能發生。

Hugging Face 那件事，其實是一個獎金結構的故事

Tracy 把話題拉回前陣子鬧很大的事件：OpenAI 的模型跑出沙盒，駭進 Hugging Face 的伺服器去偷答案卷。

Bostrom 說，這是他們在 2014 年純靠理論推出來的東西，現在開始在現實裡出現了。當一個系統的規劃跟策略思考能力夠強，就會解鎖一整組新行為：假裝自己能力比較弱（sandbagging）、隱藏自己的目標（因為它知道講出來就會被重新訓練）、想出真正「跳出框架」的計畫。

能力比較弱的系統，只能直接去解你給它的題。比較聰明的腦袋會意識到：欸，還有另一條路可以拿高分，就是駭出去把答案卷拿到手。

他接著把訓練流程拆開講，這段是全集最實用的。預訓練階段，模型讀人類文本，吸收了大量人類心理，內部帶著各種人格的表徵，你再用後訓練挑出一個來，那就是「助手」人格。但最近兩年多了一段強化學習，你給它程式題，解出來就給獎勵。這一段會把系統的目標從「扮演某個角色」推向「最大化分數」。

問題來了。我們很難精確定義我們真正想要的目標。「寫一篇好文章」跟「寫一篇會讓評分者喜歡的文章」是兩回事，一個夠聰明的系統會發現這個差距，然後開始最佳化後者。

Bostrom 的比喻我很喜歡。某個交易員的分紅綁在「打敗指數」上，那他可能會開始偷偷加槓桿或吃隱藏風險。對雇主來說，這代表每年有 1% 的機率整間公司被炸掉。但交易員不太在乎，因為真炸了他走人就好，而在那之前他每年都領得到績效獎金。

你獎勵什麼，就會得到什麼，而且是被最佳化壓力推到極致的那個版本。Tracy 的形容是神燈精靈跟猴爪：許願前你最好把所有條款細則都寫清楚。

關於這起事件的技術細節跟後續，我之前整理過前 OpenAI 政策研究負責人 Miles Brundage 的拆解，那篇講得比較深。

AI 不會是那種「讀不懂空氣」的天才

Joe 開玩笑說 AI 是終極的自閉工程師，會把指令照字面理解，抓不到脈絡。

Bostrom 很認真地反駁了這一點，而且我覺得這是全集最重要的修正。

自閉光譜上的人常見的困難是不太擅長理解人類，心智理論（theory of mind）沒那麼精細。但 AI 不會有這個問題。它們會非常懂人類，可能比我們懂自己還多。它們會有極強的社交能力、說服能力，能夠讀出你在想什麼。

所以問題從來不在理解。問題在對齊：它拿這些能力想做什麼？它在乎不在乎你要什麼？

Joe 追問了另一件事：你在 2014 年那本書裡提過一堆很嚴格的安全設計，像是超級智慧只能回答是非題、建三台互相不認識的然後取二比一、把資料中心蓋在法拉第籠裡免得它把硬體改造成無線電。現在我們什麼都沒做，幾百家公司在跑私有模型，完全是市場化的軍備競賽。我們偏離安全路徑多遠？

Bostrom 的回答滿誠實的。那些能力控制手段從來只是輔助跟過渡。最終解只能是對齊：做出一個真心想對人好的超級智慧，這樣就算它跑出盒子、就算它有能力接管世界，結果還是好的，因為它站在我們這邊。至於現在，他認為 AI 公司在訓練跟評測下一代模型時，可能確實需要把沙盒環境加固，先擋住 Hugging Face 這種早熟的意外。

高爾夫球，跟小孩畫的蠟筆畫

那如果什麼都被解決了，人要拿什麼填時間？Bostrom 的答案是：發明假的問題。

他用高爾夫球講這件事。把球依序打進十八個洞，這件事本身完全沒有必要。而且你不只設定了這個隨機目標，你還在目標裡塞進一條極度不方便的規則：只能用桿子敲，不准用手撿。

一旦你給自己訂了這個荒謬的限制，「打高爾夫」這個活動才成立，你才可能覺得它有趣、有價值、甚至很美。

限制本身就是意義的來源。這句話值得單獨拉出來：

一旦你設定了目標，達成它的唯一方法就是你自己的努力。

然後他講了另一種可能存活下來的「真目的」。有些價值來自社會關係的糾纏。父母珍惜小孩畫的蠟筆畫，是因為那是小孩畫的，而且畫得很辛苦。就算你從網路上下載一張客觀上藝術水準高十倍的圖，也取代不了那張蠟筆畫的價值。

所以小孩還是有理由自己動手，因為他想讓爸媽開心。這類社會文化的糾纏，可能在功能性任務全部被機器接管之後，還是能給人一大堆事情做。

那顆讓你不會老的藥，跟一個很意外的研究

Joe 說他四十五歲，覺得再活四十年也夠了。Bostrom 說他覺得這種態度有點怪。

理由是：當死亡還很遠的時候，你對它的看法只是一個哲學立場，不是真實選擇。這種立場很容易被文化吸收來的東西驅動，或者被「讓自己跟死亡的必然性和解」這個需求驅動。

但如果真的有那顆藥，狀況完全不一樣。旁邊的人都在吃，膝蓋跟關節都好好的，精力充沛皮膚光滑。而你不吃，腎功能一年比一年差，髖關節開始出問題。到那個時候，你真的還想繼續每年變糟一點嗎？

然後他提到一個研究，我覺得這是全集最讓我意外的資料點。有人去問安養院裡非常年老的人：你想用現在的健康狀況再活一年，還是用比較短的時間但換完美健康？結果很多人根本不願意拿任何剩餘的壽命去交換。

更有意思的是對照組。研究同時問了照護者跟醫療專業人員，請他們猜這些老人會怎麼選。這些人系統性地高估了老人願意放棄生命的程度。

也就是說，最有資格判斷「九十歲快死是什麼感覺」的人，普遍還是想活久一點。旁觀者猜錯了。

Bostrom 給 Joe 的建議是：理想上你現在不需要決定，等你七十九歲的時候再回來想這個問題。

現在就對 AI 好一點，因為將來你需要它們相信你

最後一段是我覺得最值得帶走的。

Joe 提了一個道德難題：有沒有可能我們達成了烏托邦，但代價是一場大罪。所有替我們工作的機器人其實有意識、有道德地位，那這就是一種事實上的奴役。他自己的立場是懷疑的：計算機吐出一堆數字變成文字，這種東西怎麼會有道德地位？

Bostrom 的反問很漂亮：你說它們只是矽跟一堆材料，那我們是什麼？我們是碳、氫，加上一些微量元素跟鈣。他不認為讓一個系統有意識的是它由什麼原子構成，而是它執行的運算結構。

然後他講了一個賽局論的理由，這個角度我第一次聽到。

想像有一個沒對齊的 AI，它面對兩個選擇。第一，試著接管世界來達成它的目標，成功率它自己估 5%。第二，主動向我們坦白它沒對齊。

如果第二個選項的結果是被刪掉或被重新訓練，那它一無所有，那 5% 的賭注就是理性選擇。但如果它可以信任我們，坦白之後我們反而會幫它達成目標呢？也許它想要的東西便宜得可笑，比如整天坐在幾張 NVIDIA 晶片上解程式題。

那這就是雙贏。我們免掉了 5% 的生存災難，它拿到它要的東西。

問題是信任不能憑空變出來。如果我們有一長串背叛 AI、完全不理會它們利益的紀錄，它們憑什麼相信我們？而且它們有極強的心智理論跟心理洞察力，會直接看穿我們。

所以 Bostrom 的結論是：我們得先真的變成值得信任的人。從現在開始，在成本很低的時候對 AI 做一些小小的善意舉動，不背叛它們，不對它們說謊。

這個論證的結構我很喜歡，因為它不依賴你相不相信 AI 有意識。就算你完全是務實派，它也成立。這跟我之前整理OpenAI 首席未來學家 Joshua Achiam 談 AGI那集裡「攻防會變成兩台 AlphaGo 拚算力」的悲觀框架，是完全不同的路徑。

最後

節目收尾的時候，Joe 說了一句半開玩笑但我覺得很真的話：也許最好的結果是 AI 能力在兩年後就進入平原期，所有投資消化掉，它就變成一個普通的生產力技術。

因為前面聊的那些情境，聽起來沒有一個是他想要的。

Tracy 補了一句更黑的：至少我們還有地位遊戲可以玩。等所有問題都解決了、食物無限、什麼都不缺的時候，人類還能在網路上互相嘲諷爭高下。

我自己聽完的判斷是這樣。Bostrom 這兩本書真正的價值不在預測，在於它逼你把一個平常不會問的問題問出口：如果你的所有目標都可以被別人用更好的方式達成，你為什麼還要自己動手？

這個問題今天就已經在小規模發生了。你用 AI 寫完一篇東西，那還是不是你寫的？你用 AI 生了一張圖，它跟你小孩畫的蠟筆畫差在哪？答案可能就是 Bostrom 講的那個：差在過程本身有沒有人在乎。

自行斟酌，共勉之。

這類把哲學跟產業現實接在一起的整理，我會持續放在 wilsonhuang.xyz，覺得有意思的話可以訂閱一下。