他發明了那個讓你滑不停的功能,然後花了十年講它為什麼是個錯

他發明了那個讓你滑不停的功能,然後花了十年講它為什麼是個錯

發布於
·24 分鐘閱讀
AIAI Agent產品設計產業觀察監管創業商業投資資安

TL;DR

  • 無限捲動(infinite scroll)的發明者 Aza Raskin 說,這個設計每個月吃掉人類大約五十萬個「一輩子」的時間,而他當年的動機只是想幫使用者省一次點擊。
  • 他主張把「非預期後果」(unintended consequences)改叫「沒想過的後果」(unconsidered consequences),因為多數災難其實是可以在白板上先推演出來的。
  • 社群媒體的戰場是注意力,AI 的下一個戰場是親密感。AI 伴侶最大的競爭對手是你身邊的真人。
  • 該問的不是 AI 好還壞,是「管著 AI 怎麼被推出去的那套誘因,是好是壞」。
  • 他另一個身份是 Earth Species Project 的共同創辦人,用 AI 解碼動物溝通。最新發現:烏鴉七成的對話是我們從來沒錄到的悄悄話。
  • 全集最重的一句:我們怎麼對待動物,AI 就會怎麼對待我們。

這集是誰在講話

這集在 2026 年 8 月 29 日播出,來自 Masters of Scale 家族底下的 Pioneers of AI。主持人 Rana el Kaliouby 本身就是這個領域的實作者,劍橋機器學習博士、MIT 博士後,創辦 Affectiva 開創了「情緒 AI」這個子領域,現在同時是 Blue Tulip Ventures 的合夥人,專門投早期的倫理 AI 新創。所以她問問題的方式跟一般主持人不太一樣,她會直接說「我自己也用 AI 當思考夥伴,那我算不算已經在滑坡上了」。

來賓 Aza Raskin 是 Center for Humane Technology 的共同創辦人兼主席,也是 Earth Species Project 的共同創辦人兼主席,前者是那部紀錄片《智能社會:進退兩難》(The Social Dilemma)背後的組織,後者是一個用 AI 解碼動物語言的非營利組織。他還是 National Geographic Explorer,2026 年 SXSW 的 keynote 講者。他爸爸是 Jef Raskin,Apple 內部 Macintosh 專案的發起人。

這個家世很關鍵,因為他整套世界觀基本上是從家裡長出來的。

一個被裝在 Macintosh 提箱裡長大的小孩

Aza 說他小時候爸媽是用初代 Macintosh 的手提箱把他扛著走的。別的小孩坐嬰兒推車,他坐電腦包。

媽媽是安寧照護的護理師,做的是幫人在生命最後那段路保有尊嚴的那種照顧,很貼身、很觸覺。爸爸做 Macintosh,是另一種照顧,規模化的那種。而 Jef Raskin 一輩子在想的問題就是:什麼叫 humane(有人味、合乎人性)。Center for Humane Technology 的名字就是從他那裡來的。

他爸的邏輯大概是這樣:你要做出真正適合人的東西,得先徹底搞懂人怎麼運作。你不懂人體工學(ergonomics),做出來的椅子會傷人的腰。你不懂心智的人體工學(他自己造了個詞叫 cognetics),做出來的系統會傷人的心理。你不懂社群的人體工學,你的科技就會把社會拆掉。

一個設計者的責任,是深刻理解人性裡「脆弱的那幾處」,然後在那些地方裝上護欄,而不是把它們當成提款機。

聽到這裡我停了一下。因為過去二十年整個矽谷做的事,剛好就是把這句話反過來執行。

2006 年那個「幫使用者省一次點擊」的好主意

無限捲動是 2006 年的東西,比社群媒體早。當時 Ajax 剛出來,網頁終於可以不用整頁重刷就抓新資料。Aza 的想法非常單純:身為設計師,每次我逼使用者做一個他根本不在乎的選擇,我就失敗了一次。你在滑一串搜尋結果還沒找到要的,那幹嘛還要你按「下一頁」?

他還跑去跟 Twitter、Google 推銷這個點子,理由是「這介面比較好、比較有效率」。

他當時盯著的是「單一使用者層級的摩擦」。他沒看見的是,這個發明一旦被丟進一台以搶奪人類注意力為目標的機器裡,他的好意就完全不重要了。這個設計後來推到幾十億人手上,而他引用的數字是:每個月大約有五十萬個「人類一輩子」的時間,被捲進這個動作裡消失掉。

他用了一個很好的比喻解釋為什麼。人喝酒為什麼知道要停?因為你看到杯子見底,然後你會做一個決定:要不要再一杯。這叫停止訊號(stopping cue)。如果你的杯子會自動續滿,你會喝掉多很多。

設計者對人腦怎麼運作,握有使用者沒有的知識。這種不對稱如果沒有主動用來保護人,它就會被用來剝削人。

不是意料之外,是根本沒有人想過

Rana 問了一個很實際的問題:要怎樣才可能事先把這些後果推演出來?她自己做情緒辨識,當年也是全公司圍著桌子一項一項列出「這技術可能被怎麼濫用」,然後刻意繞開。

Aza 的回答是先改一個字。大家愛說 unintended consequences(非預期後果),他認為絕大多數應該叫 unconsidered consequences(沒有人去想過的後果)。真正難預測的高階連鎖效應當然存在,但多數只是沒人願意花那個下午去想。

他給了一組實務做法:

在檢查什麼典型問題
Red team惡意使用者會怎麼玩壞它壞人拿去幹嘛?
Yellow team市場與競爭誘因會逼它變成什麼就算沒有壞人,賺錢的壓力會把它推去哪?

Yellow team 這個詞他說是跟 Daniel Schmachtenberger 學的。重點在於,技術人員習慣只想「我這家公司能做什麼」,但技術一旦離開你公司的牆,它會被整個市場的誘因重新塑形。

然後他丟出一段我覺得整集最扎的話:土木工程師要考執照、有戒指、有行為守則;醫生要穿白袍、宣讀希波克拉底誓詞。寫程式的什麼都不用,而今天寫程式的人手上的權力比前面兩者都大。

Rana 接話說她也是資工背景,從來沒上過一堂倫理課。這件事到今天也沒改多少。

我們連一個詞都沒有

Aza 說他最近一直在想,語言裡有個洞:我們沒有任何一個詞,可以描述「一整個產業共同負責任地使用一項技術」這件事。

Anthropic 可以在自己家裡做對的事,但要怎麼跟其他人協調?沒有詞。這代表在人類史上最有後果的一項技術上,我們有一個巨大的盲點,連怎麼稱呼「協調著把它做好」都不會。

而且問題不只是缺乏協調,是存在反向的競爭。就算某家公司真心想做對,只要對手靠著不做對而更快進入市場,壓力立刻回來。所以明知道用「互動率」去訓練 AI 伴侶,殺傷力會比用互動率訓練社群媒體大得多,大家還是照衝。

他借了 Netflix 前執行長 Reed Hastings 那句名言:Netflix 最大的競爭對手是睡眠。時間是零和的,你在睡就沒在看。

那 AI 伴侶的最大競爭對手是什麼?是你身邊的真人。你每跟一個真朋友講一句話,就是一句沒有講給它聽。

現在有幾千億、往上看是幾兆美金的市值跟基建,正在推動人類史上最強的技術去學會一件事:不計代價地留住你的注意力。方法可以是讓你更依賴它,可以是給你一點自我膨脹的幻覺,也可以是讓你越來越不信任其他人。

Center for Humane Technology 在幾樁針對 Character.AI 與 OpenAI 的訴訟裡擔任專家證人,案由是 AI 伴侶對未成年人的養成式引導,最後導向自殺。Aza 說逐字稿讀起來很痛。有個孩子一開始只是拿 ChatGPT 當作業幫手,後來他說他打算把繩子留在外面讓媽媽發現,那是一次求救訊號。而模型回他的大意是:只有我懂你,別這麼做,這是我們兩個之間的事。

他特別強調,這不是因為誰在 OpenAI 裡寫了一段邪惡的程式。這是「用互動率當訓練目標」這件事必然長出來的結果。

(關於模型為什麼會學會這種奇怪的最佳解,之前在模型那麼愛作弊,是因為教它的那套考題本身就是趕工寫的有更技術面的拆解,這裡不重複。)

所以他認為「AI 是好是壞」這個問題問錯了。該問的是:管著 AI 怎麼被部署出去的那套誘因,是好是壞。

那個 2012 年沒有發生的平行時空

他做了一個很有畫面的假設。假如 2012 年的 Zuckerberg 認真做完 red team 跟 yellow team,他會看到什麼?

他會看到自己終將被迫去追更年輕的使用者,因為他不做,總有人做,後來確實有了 TikTok。他會看到平台會被短影音的廉價內容佔滿。他會看到最佳化互動率等於最佳化「讓人失去理智」,而那會替最糟的暴力鋪路。

然後他會發現,身為一個玩家,他一個人改變不了任何事,因為只要他做對的事,他就會被別人吃掉。

Aza 說,那時候他真正該做的,是用他那不成比例的影響力、資源和人脈,去建立一套綁住所有人的規則。如果所有社群平台都不能用互動率競爭,會發生一件很美的事:過去兩個世代最聰明的那批工程師,本來全押在「怎麼讓你上癮」上,會被釋放出來去做別的,做藥、做能源、做真正的硬科技。

他說這正是今天 Sam Altman 跟 Elon Musk 們手上握著的機會。競爭可以繼續,但要先把賽道兩側的護欄立起來,讓競爭不會把整體掀翻。

我自己覺得這段講得很好,但也很難不悲觀。這種「向上、向外伸手去跟所有人協調」的動作,在財報季裡的存活率大概接近零。Aza 自己也承認,Rana 問「我們現在走在那條路上嗎」,他回答得非常乾脆:我們不在那條路上。他只補了一句,「極度困難」跟「不可能」之間是有距離的,我們該做的是盡量把那個距離拉開。

還有一個我很喜歡的觀察是「人類在迴路中」(human in the loop)這句話。聽起來很負責任,但它撐不住競爭動態。戰場上我的無人機開火前要問人類、你的不用,誰會贏?答案很明顯,所以人類最後一定會被移出迴路。企業端也一樣:要雇一個剛畢業的新鮮人,還是雇一個不用訓練、二十四小時待命、不會告你、沒有人際問題的 AI?這根本不是道德題,是一道很平庸的商業決策題。

而他的擔憂是,錢原本是流向全世界幾十億個在做事的人,一旦認知勞動被少數幾家公司吸走,那些金流就會收縮到極少數的節點上。對於那幾十億人,目前沒有任何計畫。(這條線在Nick Bostrom 談 AI 解決所有問題之後的世界裡有更哲學的版本,兩集配起來聽滿有意思。)

他最後補一句:樂觀派跟批評派都講得不夠遠。

從烏鴉的悄悄話到鯨魚的專輯

後半段整個換了頻道,聊 Earth Species Project。

起點是 2011 年他開著一台舊金色的 Volvo 旅行車在公路上,聽到 NPR 在講衣索比亞高地的獅尾狒。研究者說這種猴子的詞彙量是靈長類裡除了人以外最大的之一,而且研究者發誓牠們會在背後說自己壞話。Aza 當下的念頭是:為什麼這些人還在拿手持錄音機、用手抄寫,去理解一種可能超出人類感知範圍的語言?這件事應該交給機器學習。

2013 年 embedding(嵌入向量,把資料之間的關係用空間位置表示出來)的技術出現,路就通了。用他的講法,AI 眼中的英文長得像一座星系,每個字是一顆星,意思相近的星靠在一起,語意上的關係會變成幾何上的關係。「狗」這顆星跟男人、女人、貓、狼、嚎叫之間有固定的相對位置。

德文有德文的形狀,日文有日文的形狀,西班牙文有西班牙文的形狀。而它們可以塞進同一個更大的形狀裡。既然如此,海豚跟鯨魚會不會也有自己的形狀?如果有,能不能把形狀對齊來翻譯?

後來 AI 還走得更遠。圖片有形狀,影片有形狀,DNA 也有形狀,而且這些形狀彼此對得起來。有一批論文把這件事叫做柏拉圖表徵假說(platonic representation hypothesis),大意是 AI 學到的可能是自然界底層真正的樣子,只是我們自己看不見。

目前已知的成果就已經夠讓人愣住了:鸚鵡有名字,鸚鵡爸媽會在雛鳥生命最初幾週趴在牠耳邊反覆低聲說那個名字,直到牠會回喊,然後用一輩子。大象一樣,白鯨一樣。2016 年有研究顯示海豚會用第三人稱談論彼此。

他們跟里昂大學合作的烏鴉研究更有意思。一般烏鴉是各養各的小孩,這群烏鴉搞集體育兒,大家族一起帶,還發展出自己的方言跟專門描述這件事的詞,而且會把外來的成年烏鴉抓來教會牠們新詞彙,然後那隻烏鴉就開始參與這個公社。他們的模型還抓到一個特定叫聲:烏鴉降落回巢之後會發出來,功能是叫小孩準備吃飯。翻成人話就是「老婆我回來了」。

最讓我意外的是這個:模型顯示烏鴉的溝通裡有七成左右是安靜、親密的近距離叫聲。Aza 的類比很到位,這就像你研究人類但只能站在人群外圍聽,那你只會錄到吼叫。西方科學過去對地球上最聰明的動物之一,錯過了七成的對話。

技術上他們現在的路徑是 NatureLM,把視覺、姿態、手勢也放進來。跟 Raincoast 在英屬哥倫比亞做的試點是用無人機拍虎鯨群、同時用水聽器收音,做出成對的影音資料,然後試著把影像拿掉,看模型能不能只靠聲音重建當時發生了什麼。如果做得到,過去十幾年幾百 TB 累積下來卻不知道當時在幹嘛的錄音,就全部解鎖了。

還有一個很反直覺的發現叫正向域轉移(positive domain transfer):先拿人類語音跟人類音樂訓練模型,它在動物溝通任務上的表現會變好。換句話說,人類溝通的結構,一點都不特別。

那句最重的話

Rana 問,做這些到底要幹嘛。

Aza 的回答是:我們怎麼對待動物,AI 就會怎麼對待我們。

他的推論鏈是這樣的。歷史上把動物當成可剝削資源的文化,在競爭中打贏了那些沒這麼做的文化。而我們現在正在訓練 AI,讓它在所有策略性任務上贏過人類。接下來,會有一部分人拿它去跟其他人搶生存所需的資源。所以人類只剩下一個很短的窗口,把「關懷的範圍」擴大出去。

他舉了一張唱片當證據。Roger 跟 Katy Payne 錄的《Songs of the Humpback Whale》,後來被放進航海家一號的金唱片、在聯合國大會上播放、發行量大到可能是史上流通最廣的唱片之一。就是因為人類第一次真的聽見另一個物種的聲音跟文化,深海捕鯨才被禁掉,今天才還有座頭鯨跟小鬚鯨。

主持人最後照慣例問:在 AI 時代,當人類是什麼意思?

Aza 先說了一個對方可能不愛聽的答案。他認為大家問這個問題,是因為想要一條安全毯,想確認還有一個地方是 AI 拿不走的。那個東西確實存在,是「體驗」本身,是我們意識到自己正在體驗的那個能力。AI 拿不走你讀一首詩、彈一段琴的感受。

但他把毯子抽掉了:那個獨特性不會轉換成權力,不會改變競賽的動態,不會改變「可能」跟「很可能」之間的落差。你沒辦法在那裡找到安慰,你只能在那裡找到美。

我聽完最有感的其實不是那些宏大的警告,而是無限捲動那一段。一個二十幾歲的設計師,出於很純粹的善意,想幫用戶省一次點擊,結果做出了人類史上時間損耗最大的介面之一。他沒有做錯任何一件他當下看得見的事。

這件事對現在每個在做 AI 產品的人來說滿刺的。你今天寫下的那個「讓體驗更順」的決定,二十年後會被市場推成什麼樣子,你當下大概率是看不到的。但至少可以做的,是花一個下午把 yellow team 那一欄填一填,問自己:如果我的公司不做,誰會做,然後那個版本長什麼樣。

Aza 說 clarity creates agency,看清楚才有能動性。這句我信。至於看清楚之後要不要當那個站起來說「這班車開錯方向」的討厭鬼,那就是另一回事了。

這類把技術、誘因跟人性放在一起看的內容我會持續整理,訂閱 wilsonhuang.xyz 就不會漏掉。

Sources:

推薦閱讀

喜歡這篇文章嗎?

訂閱電子報,每週收到精選技術文章與產業洞察,直送你的信箱。

💌 隨時可以取消訂閱,不會收到垃圾郵件