氣象學家說 AI 不可能贏，結果一張玩遊戲的顯示卡贏了
TL;DR
- 2021 年一群做 AI 的人跑去做天氣預報，所有氣象學家都勸他們別浪費時間，結果模型準度逼近傳統系統，速度快了幾萬倍，還只需要一張消費級顯示卡。
- 關鍵不是模型更大，是換了一種數學結構：neural operator（神經算子）學的是「函數對函數」的映射，所以解析度可以自由縮放。
- 讓長期預測穩定下來的，居然是「承認地球是圓的」這件小事。過去的模型把地球攤成長方形，跑幾個月就會炸開。
- 模型只被訓練預測「未來六小時」，卻能一路滾動推演好幾個月。她的解釋是：大自然的結構比我們以為的多很多。
- 同一套方法已經用在核融合電漿、地下碳封存、汽車空氣力學、光刻遮罩設計上，最快的一個案例比傳統模擬快一百萬倍。
- 她最在意的一句話：我們有語言的 foundation model，也快有視覺的了，但物理世界的還沒出現。
這集在講什麼，講的人是誰
Latent Space 是 AI 工程圈很硬派的一檔 podcast，最近開了一個 AI for Science 支線，由兩位真的在做科學的人主持：Brandon Anderson 在 Atomic AI 做 RNA 藥物開發的 AI 系統，RJ Honicky 是 MiraOmics 的共同創辦人兼 CTO，做單細胞與空間轉錄體的模型。所以整場訪談的問題都問得很技術，主持人聽不懂會當場追問，不會客氣地放過。
來賓是 Anima Anandkumar，Caltech 的 Bren 講座教授，做 AI 超過二十年，深度學習還沒紅之前她在做機率模型的理論基礎。她在 Amazon Web Services 幫忙創立雲端 AI 團隊、後來在 NVIDIA 擔任 AI 研究資深總監。最重要的身分是：neural operator 這套方法是她發明的，開源天氣模型 FourCastNet 也是她團隊的作品。她今年剛被任命進聯合國秘書長科學諮詢委員會，那個十五人的委員會裡還有 Yoshua Bengio 跟諾貝爾獎得主 Thomas Südhof。
一群外行人闖進氣象學，然後贏了
事情的起點很土炮：他們在找哪個科學領域的資料是公開的，發現天氣資料開放，於是就做了。
當時所有人都勸退。氣象預報有幾十年的累積，那是徹徹底底由下而上的物理建模：先寫下流體力學方程式，再一步一步算出明天的天氣。氣象學家的判斷很直接，AI 不可能靠學資料贏過幾十年的物理工程。
那個場面有點 Michael Burry 的味道，所有人都說你瘋了，但你手上有資料。
他們還是做了。結果模型準度已經逼近傳統系統，速度卻快了幾萬倍。原本要動用超級電腦跑的東西，變成一張消費級 GPU 就能跑，模型還很小。一年之後 DeepMind、華為陸續發表自己的天氣模型，但 FourCastNet 是第一個開源、而且授權寬鬆的，所以後面一整批氣象機構跟公司都是站在它上面蓋的。
這件事有個常被忽略的副作用：天氣預報從此不再是有錢國家的特權。以前只有大型氣象機構養得起超級電腦，現在全球南方的小型氣象單位也能跑出接近的精度。
為什麼傳統方法那麼慢
先把兩條技術路線分乾淨，後面的東西才看得懂。
一種叫 PINN（physics-informed neural network，物理知情神經網路）。做法是把偏微分方程直接寫進損失函數裡，讓神經網路每次從零開始把方程式「解出來」。聽起來很優雅，問題是解不動。尤其一旦牽涉時間演化，像流體那樣跑久了會進入混沌狀態，細微的尺度都會影響結果，這時候的最佳化地形根本沒有人能掌握。Anima 講得很白：這種情況下想從零解方程式，基本上是無望的。
neural operator 的思路反過來。既然有資料，就用資料。先訓練一輪，教它怎麼替各種不同的方程式實例生出解答，測試的時候就像一般的監督式學習那樣直接問答案，物理約束則當成輔助的引導加進去。差別在於，你在訓練階段就知道答案長什麼樣，不會被卡在最佳化地形裡出不來。
| 傳統數值模擬 | PINN | Neural operator | |
|---|---|---|---|
| 資料需求 | 不需要（解方程式） | 不需要 | 需要，但可少 |
| 每個新問題 | 從頭算一次 | 從頭最佳化一次 | 訓練一次，之後直接推論 |
| 時間演化 / 混沌 | 算得動但極貴 | 常常失敗 | 可行 |
| 解析度 | 固定，越細越貴 | 固定 | 可任意縮放 |
「無限解析度」到底是什麼意思
這是整集最關鍵的概念，我試著用生活化的方式講。
一般的神經網路，輸入輸出的尺寸是寫死的。語言模型有固定詞彙表，視覺模型有固定解析度。你事後想放大，就是把照片拉大，越拉越糊，因為那些細節本來就不存在。
neural operator 學的不是「這張圖對應那張圖」，而是「這個函數對應那個函數」。它把輸入輸出當成連續的函數來處理，所以推論的時候你可以指定任何解析度。這比較像向量圖檔跟點陣圖的差別，你放大不會糊掉，因為它記的是形狀本身而不是像素。
當然，主持人馬上追問了一個很尖的問題：符合資料的函數有無限多個，你憑什麼不 overfit？
她的回答很誠實。如果你要求的解析度超過訓練資料，模型確實是在猜，只是猜得比較平滑。但這時候你可以在更細的尺度上加入物理約束，例如守恆律或方程式本身，等於在模型看不到資料的地方替它裝上護欄。這也是為什麼物理約束通常是加在損失函數裡而不是當成硬性限制，硬約束算不動，軟約束才可行。
芝加哥的天氣，會影響舊金山嗎
neural operator 底下最成功的架構叫 Fourier neural operator，也就是把運算搬到傅立葉空間（頻率空間）去做。
為什麼？因為自然界的現象大多是「非局部」的。流體、材料形變、量子化學都一樣，微分是局部的，但積分是全域的，解本身會牽一髮動全身。天氣尤其明顯，加州的大氣河（atmospheric river，那種造成豪雨的狹長水氣帶）動輒橫跨數千英里，你的模型如果只看得到鄰近的格點，根本抓不到它。
那為什麼不用 transformer？transformer 的 attention 本來就是全對全連接。答案是算不起。她給了一個讓人清醒的數字：語言只有一維，context length 推到百萬就已經很吃力了。物理世界是三維再加上時間，工業級的模擬每個維度起跳就是一千個格點，換算下來 context length 是幾千億到一兆的量級。全世界的算力加起來都不夠，而且還得放在同一個機房裡。
傅立葉轉換的複雜度接近線性，同時保有全域連結。這就是為什麼它是那個剛好的中間值。
但她也強調，這不是回頭去用古典的傅立葉分析。傅立葉層之間還是塞了非線性、殘差連接、往高維空間的提升，讓模型自己去找適合的表示。純線性的傅立葉表示需要極細的離散化，那正是傳統數值方法貴得要命的原因。
地球是圓的，這件事花了兩代模型才學會
這是我聽完最喜歡的一段，因為它太不像 AI 的問題了。
第一代 FourCastNet 跟其他所有天氣模型一樣，用標準投影把地球攤成長方形處理。短期預報沒事，跑久了就出問題。當你要求模型連續滾動推演好幾個月，它會很快發散炸開，因為模型腦中的世界是一個矩形，而地球不是。就是那個讓格陵蘭在世界地圖上看起來比非洲還大的老問題。
第二代把球面幾何放進架構裡，改用球諧函數當基底（這對傅立葉架構來說反而是自然的延伸），長期滾動就穩了下來。她展示的對照畫面很直接：左邊那個假設世界是長方形的，跑一跑就爛掉；右邊撐住了，雖然南北極還是最難處理的地方，因為完全沒有物理護欄，那是純外推。
這件事的意義是，天氣模型跟氣候模型從此可以是同一個模型。過去這是兩套系統，短期一套、長期一套，但她的立場很清楚：地球只有一顆，真的要叫 foundation model，就該兩件事都做。Allen AI Institute 現在的氣候模型就是建在這套 neural operator 架構上，她說那是目前唯一能當氣候模擬器用的 AI 模型。
只教它六小時，它卻能推一整年
模型的訓練目標是什麼？預測未來六小時，加上一點多步驟的微調。就這樣。
然後你讓它自迴歸地滾動幾百到幾千步，它居然能推演好幾個月。連主持人都覺得不可思議，說自己本來以為訓練尺度至少是幾週幾個月。
更反直覺的是極端事件。照常理，罕見事件的樣本少，AI 應該最不擅長。實際上第一版模型視覺化颶風跟風暴的時候就表現得很好。Hurricane Lee 那次，FourCastNet 比傳統預報系統提早好幾天正確預測了登陸位置，那也是氣象學界態度轉向的關鍵時刻，因為公眾看得到。
她給的解釋很有意思：物理世界可能比我們想的寬容。颶風雖然極端，但它有非常具體的物理特徵，是「以一種很特定的方式極端」。所以你需要的樣本數沒有想像中多，因為真實世界本身就充滿結構。核融合電漿也一樣，樣本只有幾千筆，卻能把 disruption（電漿失控撞向反應爐內壁的事件）預測得很準。
她認為傳統數值方法反而挖不出這些結構，因為它們追求的是「任何情況下都要正確」，而 AI 是從資料裡去發現這個問題其實沒那麼難。
順帶一提，天氣的訓練資料本身就是衛星觀測跟物理求解器同化過的再分析資料，所以模型某種程度上是隱性地被灌了物理進去。這大概也是它對極端事件不那麼笨的原因之一。
至於長期預測怎麼做，答案是集合預報：對初始條件加各種雜訊，跑幾十條軌跡，得到機率分布。這正是傳統氣候模擬最貴的環節，一次跑完就要命，何況跑幾十次。AI 快了幾萬倍之後，大規模集合預報才第一次變得可行，風險評估的精度也就跟著上來了。
不只是天氣
同一套東西她已經接到好幾個完全不同的領域：
核融合。 跟英國原子能總署合作，替 tokamak 的電漿演化建數位孿生，比傳統模擬快一百萬倍。下一步是把模擬跟控制一起設計，目標是在 disruption 發生前把磁場調回來。她也同時在跟 stellarator 那派合作，理由很坦白：AI 人的好處就是不用預先押哪個技術路線會贏，實體實驗太貴所以必須提早砍掉風險高的方案，數位世界裡可以全部都試。
地下碳封存。 模擬二氧化碳注入地下之後幾十年的擴散跟壓力累積。
空氣力學。 這個比喻很妙：把一輛車的幾何形狀轉換成甜甜圈，在甜甜圈上做物理模擬，再轉回車子。主持人立刻接了拓樸學那個老哏（甜甜圈跟咖啡杯是同一個東西）。重點是找到一個能容納各種幾何形狀的 latent space，模型就能跨形狀泛化。
逆向設計。 這是我認為最有想像空間的一塊。以前的流程是人想設計、再去模擬或吹風洞驗證。現在反過來，讓 AI 直接生出最佳設計，而模擬器就掛在迴路裡當護欄。他們已經做了光刻遮罩、量子點的閘極設計、非線性光子學。她說合作的物理學家本來是靠手工在試，因為人類實在不擅長在高度非線性的耦合現象裡找組合。
之前在一天造 20 種合金，AI 卻一個都想不出來聊過材料領域的困境，瓶頸不在算力在實驗，資料稀缺是共同的敵人。而他們最大的競爭對手，是一隻老鼠那篇談的蛋白質結構預測，之所以能成為生物領域少數的大勝仗，原因也一樣：那個問題被物理約束得夠緊。凡是能用微分方程描述好的東西，AI 進去的空間就大。
神經網路要進控制迴路，就得有保證
另一條線是 TorchLean。這件事跟前面看起來無關，但邏輯是同一條。
語言模型可以生一堆假設，但想法不值錢，驗證才值錢。所以她做兩件事：一是讓模型把物理算對（neural operator），二是讓模型的宣稱可以被形式化驗證（Lean）。
TorchLean 讓你用類似 PyTorch 的寫法定義神經網路，但後端是 Lean 這個形式化證明語言，所以可以直接對這個網路做嚴格證明。能證什麼？例如輸入被擾動一定幅度時，輸出最多被擾動多少（也就是敏感度分析與 certified robustness）；例如網路只用有限精度訓練，這件事帶來的誤差上界是多少。
為什麼要這個？因為當你把深度學習放進控制迴路裡，控制的對象可能是無人機，也可能是核反應爐。這時候穩定性跟安全性不能靠試出來。
她沒有粉飾現況：Lean 目前是 CPU 為主，要搬上 GPU 有一堆眉角，大規模跑起來還有很多工作要做。這是框架，不是成品。
那句最該記住的話
訪談尾聲她講了一件我覺得很重要的事：現在很多監管框架把「AI」直接等同於「語言模型」。語言模型會操縱人、會產生各種傷害，那些該管。但 AI for science 是另一回事，一刀切的規則會誤傷掉真正在推進發現的那一塊。
被問到最想移除哪個瓶頸，她的答案是算力。她自己也承認這個回答很懶，但補了一句：沒有算力就不能實驗，不能實驗就不能創新。這跟AI 的真正瓶頸不是晶片，是電那篇談的其實是同一條供應鏈的不同段落，只是她站的位置是研究端，看到的是國家實驗室的超級電腦不夠用。
而她真正的呼籲是那句：AI for science 不等於語言模型加 agent，那些說到底還是外層的包裝。在我們有一個真正理解物理世界的 AI 之前，能模擬、能設計、能控制的那種，中間缺了一大塊。
我自己聽完最有感的，反而不是任何技術細節，是那個「承認地球是圓的」的段落。花了幾百億參數解決不了的長期穩定性問題，答案是換一組符合現實的座標系。當所有人都在比誰的模型大的時候，這種進展安靜得幾乎沒人注意。
這類 AI 與科學交界的內容我會持續寫，訂閱 wilsonhuang.xyz 就不會漏掉。
Sources:
推薦閱讀
喜歡這篇文章嗎？
訂閱電子報，每週收到精選技術文章與產業洞察，直送你的信箱。
💌 隨時可以取消訂閱，不會收到垃圾郵件