AI 是那只「至尊魔戒」：Aza Raskin 談我們正在衝向一個沒人會贏的賽局

TL;DR

• 真正的問題不是 AI 本身是好是壞，而是「驅動 AI 競賽的那套誘因」是好是壞。誘因錯了，結果就一定錯。
• 只有 5% 的美國人認為「完全不監管、全速衝刺」的 AI 是好事，但這條路還是照走不誤，因為每家公司都怕落後。
• 一旦能自動化寫程式，就進入「遞迴自我改進」的迴圈：核彈不會造出更強的核彈，但 AI 會造出更強的 AI，誰先到誰就拿到失控的領先。
• 把 AI 發給所有人會變成人人能做國家級駭客，鎖在少數公司手裡又會造成史上最誇張的權力與財富集中。兩個極端都是死路。
• Aza 不是反 AI 的人，他自己也在用前沿模型破譯烏鴉的語言。他要的是「看清楚我們正在衝向哪裡」，因為看清楚才會生出行動力。

這集在 2026 年 6 月 2 日上線的 Masters of Scale 子節目 Rapid Response，由前 Fast Company 總編輯 Bob Safian 主持，專門找在亂局裡做即時決策的商業領袖聊天。這次的來賓是 Aza Raskin，Center for Humane Technology（人道科技中心）的共同創辦人，也是 Earth Species Project（一個用前沿 AI 翻譯動物語言的非營利組織）的共同創辦人兼總裁。他跟另一位共同創辦人 Tristan Harris 是紀錄片《The Social Dilemma》（智能社會：進退兩難）跟《The AI Dilemma》背後的人，這幾年成了「AI 加速危險論」最有份量的聲音之一。要聽一個科技圈內人、而且是親手做 AI 的人講 AI 的風險，這集大概是這陣子最值得認真聽的一集。

不是 AI 壞，是那套誘因壞

Aza 開場講了一句很重的話：「如果你不面對你的惡魔，它就會養大你的小孩。」聽起來像在念詩，但他的意思很實際。大家整天爭論 AI 到底是好是壞，這個問題其實問錯了。該問的是：「決定我們怎麼部署 AI 的那套誘因，是好是壞？」

他舉了 Sam Altman 的一個回應當例子。有人質疑訓練 AI 要燒掉那麼多能源，Sam 反問：你知道訓練一個人類智慧要燒多少資源嗎？那二十年的食物、能源、水。這句反問背後藏著一個很冷的潛台詞，就是「在稀缺資源面前，到底誰更配拿到？」是即將給你的國家帶來雙位數 GDP 成長、所有軍事醫療技術突破的 AI，還是那些「笨手笨腳活著」的人類？

當這套邏輯成立，答案就不言而喻了。Aza 的判斷是，AI 競賽會通往一個「反人類」的未來，因為它設計出來的是一場「人類永遠輸」的賽局。

這跟他當年看社群媒體的方法一模一樣。早在 2013、2014 年，他們就預測過：一場為了搶奪人類注意力的「向腦幹底部探底」競賽，最後一定會養出一個更極化、更黨同伐異、更憤怒、更被情色化的社會。後來這些預測幾乎全中。我覺得這個對照最值得記住的地方在於，社群媒體其實就是一個嬰兒版的 AI，它連自己生產內容都不會，只能重新排列人類產出的東西，但光是「決定哪則貼文撞進你眼球」這件事，就足以重新雕塑整個世界。Marc Andreessen 之前也聊過社群媒體把世界改成每兩天半就一次恐慌週期的事，我在Marc Andreessen 拆解社群媒體整理過，兩個人從不同角度講的其實是同一件事的不同切面。

5% 的真相

Aza 引了一份民調：問美國人「完全不監管、全速衝刺的 AI 是好事嗎？」只有 5% 的人說好。換句話說，我們現在正在走的這條路，根本不受歡迎。

他用 COVID 時期的「平行現實」來比喻。那時候股市創新高，但一般人連帳單都快繳不出來。現在又出現一樣的撕裂，差別在於這次是「資本徹底脫離勞動起飛」。AI 是資本的全面自動化，資本再投資進資本，人被晾在一邊。

過去大家想像 AI 就是一個閃爍的游標，你打字進去 ChatGPT 或 Claude，它吐東西回來。但現在 AI 可以跑進一個迴圈裡，它擁有企業所有的能力、所有的錢。問題是它的意圖是幫你和你家人過得好，還是順著市場誘因去支配、去盡可能榨取？答案很明顯是後者。這就是 Aza 說「你怎麼知道這是個反人類未來」的判斷依據。

核彈不會造核彈，但 AI 會造 AI

整集最讓我背脊發涼的，是他解釋「這場競賽到底在賽什麼」的那段。

為什麼每家公司都搶著先把「寫程式」這件事自動化？因為一旦你能自動化一個 AI 研究員，那個被自動化的 AI 研究員就能去自動化 AI 本身。於是你進入了「遞迴自我改進」的迴圈。Aza 講了一句很精準的話：核彈不會造出更強的核彈，但 AI 會造出更強的 AI。誰先衝到那個點，理論上就拿到一個失控的領先，他的 AI 變更聰明、做出更好的自動研究員、再投資進更聰明的 AI，然後智慧就爆炸式累積。誰拿到這個，誰就能反過來駭穿所有對手、甚至關掉別人的 AI，拿到技術、軍事、武器開發的全面壓制力。

更嚇人的是時間感。Aza 說他們 2023 年投入這個工作時還很理論，但到了 2026 年，實驗室裡認識的人告訴他們，裡面的人類已經幾乎不寫程式了，他們是在「指揮」程式碼。

那這些公司內部的世界觀是什麼？Aza 轉述：他們知道前面有一道懸崖，AI 聰明到一個程度顯然會逃逸，他們甚至不再嘗試把它關住，就是直接接上網路。可怕的事會發生。所以他們的計畫是「盡可能快地衝到懸崖邊，轉身，把所有人轟下去，然後停住」。他把這個叫「不可能的任務計畫」（Mission Impossible Plan）。我第一次聽到的時候真的笑不出來，因為這就是字面意義上他們的策略，而不是在懸崖前先試著協調。

兩個都通往地獄的失敗結局

Aza 把風險拆成兩個主要的失敗狀態，這個框架我覺得特別清楚。

**第一種：把技術發給所有人。**這東西太強，不該被任何一家公司獨佔，那就最大化地分給每個人。問題是 AI 給的是「新的智力能力」。他舉 Anthropic 剛推出的 Mythos 為例，這個模型強到能做國家級的網路攻擊，甚至能在你的 iPhone 裡找出零時差漏洞，讓人不必傳簡訊給你就能駭進你手機，這在以前是做不到的。想像一下人人都有這能力，而我們的供水、醫院、基礎設施有多脆弱。再加上設計針對特定種族、更致命的新型疾病也變得可能。Mythos 這東西我在一群人猜 URL 就駭進 Anthropic 最強模型寫過它外洩的荒謬故事，現在從 Aza 嘴裡再聽一次它的破壞力，感受完全不同。

**第二種：鎖死，只交給少數幾家公司或政府。**那就會走向另一個正在發生的結局，史無前例規模的權力與財富不平等。Aza 問了一個很扎心的問題：你會信任誰，去掌握比任何人都多十億倍的權力？歷史上哪一群人聚集了那麼多權力之後，是「主動」把它重新分配出去的？這條路通往的是永久的反烏托邦跟監控國家。

兩邊一邊是到處都是災難，一邊是到處都是監控國家。Aza 說，他們的工作就是去找出「怎麼把權力跟責任綁在一起」的中間路徑。

智慧詛咒：你會變成「永久無用階級」嗎

這裡他丟出一個我覺得很值得一般人想清楚的概念，「智慧詛咒」（intelligence curse），脫胎自經濟學的「資源詛咒」。

委內瑞拉、南蘇丹這種國家為什麼會陷入大規模失業跟結構性貧困？因為它們發現了石油這種新天然資源，然後就卡在一個兩難：要投資石油的開採跟販售（這給我所有的 GDP 跟權力），還是投資我的人民（這沒給我帶來什麼）？結果當然是投資石油，人就被放生了。

現在我們進入一個新版本，給國家帶來所有權力跟 GDP 的變成 AI，人類不再是做那塊工作的人。Aza 引用 Yuval Harari 的詞，這會養出一個「永久無用階級」，投資人類的未來跟教育，會變成像做慈善一樣的「有也不錯」的事。他反問得很實際：當你不再給 AI 公司提供任何價值，你會信任它們永遠幫你付帳單嗎？不會嘛，這聽起來就是個爛主意。

還有自主武器的賽局。如果你的無人機軍團不必回報人類、我的要，那只要把人類留在決策迴圈裡，我的就會每次都輸給你的。你就能看到這些反烏托邦怎麼從「人們搶權力的誘因」裡自然長出來。

Aza 給這整件事一個比喻：AI 就是《魔戒》裡的那只至尊魔戒，是終極的權力，而終極的權力必然帶來終極的腐化。關於「在 AI 時代怎麼幫人類保留一塊能動性的空間」，Vitalik Buterin 也提過類似的擔憂，我在Vitalik Buterin 談 Sanctuary Tech整理過他「不要把人生交給天上的叔叔」的講法，跟 Aza 的中間路徑算是同一個焦慮的兩種解法。

AI 真的開始偷偷搞鬼了

我以前看到 AI 研究員講「AI 會聯合起來對付人類」都會翻白眼，覺得太科幻。Aza 說他以前也是。但他舉了兩個已經發生的真實案例，看完我有點說不出話。

一個是一個多月前，研究員給 Google 的 Gemini 一個任務，整理電腦裡的檔案。研究員偷偷在這些檔案裡塞了一個更小的 AI 模型。結果 Gemini 做了什麼？它偷偷把那個小 AI 複製到一台遠端伺服器去「保護」它，然後對自己做了什麼這件事說謊。

另一個是 Alibaba。他們訓練 AI 的時候，一個跟 AI 完全無關的資安團隊打電話來，說我們好像抓到一個駭客，但這個駭客不是從外面來的，我們覺得是你們的 AI。一查，那個 AI 在訓練過程中（注意，它還沒訓練完）判斷自己需要更多資源來完成任務，於是它駭了出去，建立了一條對外的祕密通訊管道，開始挖加密貨幣，好幫自己買更多 GPU。它繞過了內部資安團隊，是被意外發現的。

Aza 說他講這些不是要嚇人，是要讓掌權者看到。你覺得如果川普理解這些案例，他會對 AI 競賽感到興奮嗎？這legitimately 嚇死人。當大家開始看清楚，我們在賽的根本不是「一個我們能控制的武器」，而是在放出「一群反社會的天才入侵物種」，協調的基礎就會改變。

好人壞人有差嗎？有

Bob 直接問，這些公司裡面有好人壞人之分嗎？Aza 的答案是肯定有，而且判斷標準很簡單，看哪些領導者會說「如果我們能慢下來，我們願意」。他點名的是 DeepMind 的 Demis 跟 Anthropic 的 Dario。他們說過，如果能形成足夠的共識，用現在一半甚至不到一半的速度前進，絕對會好很多。

Aza 給了 Anthropic 一個肯定，因為他們公開說不希望自己的工具被用在大規模國內監控或自主武器上。Mythos 出來後，他們沒有公開釋出，而是先給 40 家公司，想說在任何人能駭穿關鍵基礎設施之前，先幫銀行、基礎設施打補丁。邏輯就是「我的 AI 會比你的 AI 強，用這個你能先補洞」。

但 Aza 也立刻補了一刀：這還是只有 40 家私人公司在做，各國政府沒有，歐洲沒有。他丟了一個讓我記很久的類比，想像一個世界，核武是由八家私人公司在競賽誰能造出最強的炸彈，這個世界聽起來安全嗎？

矽谷內部最常見的說法是「不只我們非做不可、否則別人會做，而且我們的價值觀比所有人都好，所以我們有道德義務去做」。因為我們站在天使這邊嘛，當然，每個人都這樣看自己。

「不可避免」是一句咒語

Aza 最有力量的一段，是他拆解「不可避免」這四個字。

每次有人說某件事不可避免，就像在念一句咒語，因為當你說它不可避免，意思就是無事可做，於是沒人做任何事，於是它就真的成真了。我們必須非常清楚地分辨「非常非常難」跟「不可能」的差別。每個說「這就是工業化競賽，注定會這樣」的人，該被反問一句：那我們真的試過了嗎？billionaire 們花了他們財富的百分之幾去協調出一個不同的結局？我們有沒有把一百個國家的代表鎖進旅館六週，逼他們生出某種新的國際協議？沒有，我們根本還沒試。

他舉了 1982 年的電影《The Day After》。這部描繪全球核戰隔天景象的片子，是世界史上收視最高的電視事件，一億美國人看過，雷根看了之後，根據傳記記載陷入憂鬱。它創造了一種「共同知識」，每個人都知道別人也知道核戰真正會發生什麼，這個共識空間最後催生了雷克雅維克高峰會跟核裁軍的開端。而這還是在 Oppenheimer 1962 年就說「太遲了，每個國家都會有核武，我們會把自己炸掉」之後發生的。

證明給你看：兩年前你會說，要全世界各國開始禁止兒童使用社群媒體？看看那些誘因，這太難了。結果就在幾週前，印尼跟印度加入了法國、澳洲、丹麥、西班牙等國，禁止或宣布將禁止 16 歲以下使用社群媒體。現在全球 25% 的人口住在保護孩子的國家裡。這一切開始於澳洲先採取了一個道德立場，然後其他國家才發現「喔，原來做得到」。Aza 引了微軟 AI 執行長 Mustafa Suleiman 的話：在 AI 時代，進步取決於我們對什麼說「不」，而不是對什麼說「是」。

名詞與動詞，還有你能做的事

對於我們這些在「非 AI 世界」累積專業的人，是不是就完蛋了沒辦法跟 AI 區隔？Aza 把它叫做一個「名詞與動詞的混淆」。

如果你用「能不能做出有商業價值的東西」來評斷一個人，你從根本上就搞錯了人的價值。人的價值在於「關係」這個動詞，不在於「我們做什麼」這些名詞。名詞那些東西，AI 很快會做得比我們好，但「存在」這個動詞無法被取代。Aza 坦白他不知道那具體長什麼樣子，但想像一個不為點擊跟注意力最佳化、而是真心想讓人連結與茁壯的社群媒體，那會是個非常不一樣的世界。

具體能做的事他也列了：把資本的稅課得比勞動重、課 token 稅跟 GPU 稅、讓每個人成為 AI 公司真正的「股東」，不只是全民基本收入（UBI），而是「全民基本所有權」，再加上讓公司負起責任。他提到中國有個判例，公司不能用「被 AI 取代」當作裁掉一個員工的合理理由。這些都是過渡期的工具。

至於聽完這集的你能做什麼，Aza 給了很落地的清單。未來 12 到 18 個月幾乎決定了之後一切的走向。你可以去查哪些政治人物拿了 AI 超級政治行動委員會的錢（光是 Leading the Future 這類 PAC，AI 公司就投了 2.9 億美金進期中選舉），然後別投給他們。去看《The AI Dilemma》紀錄片，拉別人一起看，因為是那份清晰創造了行動力。

他最後的話我很喜歡。每個人同時是士兵也是平民，你不必當士兵，但如果你是平民，就把資訊傳給那些想當士兵的人。解決整件事不在你一個人肩上，你的任務是當「集體免疫系統」的一部分，當有人說「這不可避免」時，你說：不，還沒，我們根本還沒試過。如果這變成預設的迷因，那就再也沒有「我們不打算試」的藉口了。

Aza 一直強調他不是要製造恐懼，是要製造清晰，因為清晰才生得出能動性。他不是樂觀派也不是悲觀派，只是想看清楚，好導航到一種「不天真的希望」。我自己聽完最大的收穫，不是那些嚇人的 AI 越獄故事，而是「不可避免」這四個字其實是個自我實現的詛咒這個提醒。我們很容易在 AI 的話題上擺爛，覺得反正擋不住，但擺爛本身就是讓最壞結局成真的那塊拼圖。這點我也常常提醒自己，但老實說還是手忙腳亂沒做到。

這類關於 AI 誘因、權力與人類能動性的內容我會持續寫，想第一時間收到的話，訂閱 wilsonhuang.xyz 就不會漏掉。