從 Developer Experience 到 Agent Experience：Modal CTO 拆解 AI 基礎建設的下一個轉折點

TL;DR

• Modal 剛完成三億五千五百萬美金的 Series C，估值衝到 46.5 億美金，年化營收從六千萬跳到三億美金，不到一年翻五倍
• 他們把團隊定位從「開發者體驗」轉向「Agent 體驗」（AX），認為好的 DX 跟好的 AX 本質上是同一件事
• Elastic Inference（彈性推論）是目前最大業務，專門服務 Suno、Runway 這類自訓模型的公司，靠 GPU 快照技術把冷啟動時間壓到極短
• 開源了 dflash（block-based speculative decoding），宣稱提升推論速度的關鍵不是 kernel 優化，而是提高 draft model 的 accept length
• 不自建資料中心，橫跨十七家雲端供應商建立算力池，走「超級雲」路線
• 看好 CI/CD 市場會因 coding agent 爆發而重塑，sandbox 的快照能力會是關鍵差異化

這集在 2026 年七月八日播出的 Latent Space，由 swyx（Shawn Wang）跟 Alessio Fanelli 共同主持。Latent Space 基本上是 AI 工程師圈子裡最被廣泛收聽的技術 podcast，專門找 AI infra 和開發工具領域的人來深聊。這集的來賓是 Modal 的共同創辦人兼 CTO Akshat Bubna。Modal 是一家做 AI 雲端運算平台的公司，讓開發者用 Python decorator 就能部署程式到雲端，不用碰 Kubernetes。Akshat 是 MIT 數學與資訊科學出身，拿過國際資訊奧林匹亞金牌，之前在 Scale AI 做過基礎建設。Modal 的 CEO Erik Bernhardsson 是 Spotify 早期員工，當年一手建了 Spotify 的推薦系統，之前在 Latent Space 也上過一次。

三年前沒人在乎的東西，現在是四十六億美金的生意

我覺得 Modal 的故事很有意思，因為它完美示範了一件事：在對的時間做對的基礎建設，比在對的時間做對的應用更值錢。

Erik 最早的出發點其實很樸素。他在 Spotify 待了六年，後來去 Better.com 當 CTO，深刻體會到 workflow orchestration（工作流程編排）這類工具為什麼這麼難用。答案很簡單：因為底層是 Kubernetes。Kubernetes 不是為了突發性的、需要特殊環境的工作負載設計的，開發者體驗爛到不行。

所以 Modal 從頭蓋了一個 serverless container runtime，核心哲學是「自我配置」（self-provisioning）。所有的基礎設施需求都寫在 Python decorator 裡，跟程式碼放在一起，不用另外寫 YAML。swyx 提到這個概念他自己在 Temporal 工作時就寫過，結果被 Modal 直接放上了官網。

重點是，他們在 ChatGPT 出來的前一年就已經把 GPU 加進產品了。Akshat 自己說：「我們只是覺得加個 A100 吧，沒想到會這麼大。」

（這種「我們提早做了但不知道會這麼大」的故事，在之前寫的賣鏟子的人怎麼看這場淘金熱？Nebius 共同創辦人 Roman Chernin 拆解 AI 算力的泡沫論裡也出現過，基礎建設的人永遠是最早嗅到需求的。）

從 DX 到 AX：開發者體驗跟 Agent 體驗其實是同一件事

這集最讓我記住的觀點，是 Akshat 講 Modal 已經把 SDK 團隊的思維從「開發者體驗」（Developer Experience）轉向「Agent 體驗」（Agent Experience）。

他的邏輯是：為什麼你要讓一個 agent 去讀幾百個 Kubernetes 檔案、寫沒有型別的 YAML，而不是讓它在 decorator 裡改幾個參數就好？好的 DX 對人類有用，對 agent 一樣有用。

但有趣的是 swyx 的挑戰：「現在大家根本不看 code 了，DX 還重要嗎？」

Akshat 的回答很實在：沒錯，人不太看 code 了，但 observability（可觀測性）反而更重要了。你的 dashboard 好不好用、agent 能不能透過 CLI 自己查 log、人類能不能快速判斷發生了什麼事。他們把很多原本只在 UI 上的 log 和 metrics 都搬到了 CLI，讓 agent 也能存取。

他們甚至搞了一個叫 Modal Bench 的東西，專門測 LLM 在使用 Modal 時哪裡會卡住。發現 agent 最常卡的地方不是寫程式碼，而是 debug。東西壞了，agent 不知道怎麼看 log、怎麼判斷該改哪裡。所以他們直接把這些變成 skill 塞給 agent。

如果 agent 一直在幻覺某個功能，那就把它做出來。這是產品回饋。

Elastic Inference：不是賣 API，是賣彈性

Modal 最大的業務不是 sandbox，是 Elastic Inference。他們專門服務那些自己訓練模型、需要部署推論的公司。Suno（音樂生成）、Runway（影片生成）、還有一堆機器人和計算生物學的公司。

這些公司的流量模式有個共同特徵：極度不可預測。有時候是日夜週期，有時候公司上了一個新功能流量突然暴增，而且不只部署一個模型，是在不同區域部署一堆不同模型。

Modal 在這裡的差異化是 GPU 快照（GPU snapshotting）。他們可以把 GPU 的狀態，包括編譯好的模型，整個快照起來，下次呼叫直接從快照啟動，冷啟動時間大幅縮短。

他們還開源了 dflash，一個 block-based speculative decoding 的工具。Akshat 講了一個很重要的觀念：大家花很多時間在優化 kernel，但 kernel 優化頂多給你幾個百分點的改善。真正能帶來倍數級提升的，是提高 draft model 的 accept length。這是乘法級的改善，不是加法級的。

（之前在一年燒掉的 token 比工程師薪水還多那篇有聊過 token 成本的經濟學，Modal 做的事情本質上就是在推論端把每個 token 的成本壓到最低。）

十七家雲端供應商，零個自有資料中心

Modal 不自建資料中心。他們跨十七家雲端供應商建立算力池，包括各種大大小小的 NeoCloud。

swyx 問了一個很直接的問題：「你們有算過自建資料中心的 cutover point 嗎？」

Akshat 的回答是：我們的差異化在軟體層，保持資本輕量讓我們能動得更快。而且現在有太多人在蓋資料中心，我們可以跟他們合作，專注在自己擅長的事。

這裡有個很實際的技術挑戰：十七家供應商的可靠度參差不齊。Modal 在上面蓋了自己的可靠性層，如果 GPU 掉了，用戶的工作負載不受影響。這反而讓他們能用比一般用戶更多的算力容量。

他們內部有一個叫「Compute Strategy」的角色，專門做算力的容量規劃。要決定一年期跟三年期的預留比例、預測自己的容量需求、判斷供應鏈會怎麼演化，然後下注。swyx 把這比喻成航空公司的燃油避險，我覺得很精準。Southwest 當年因為押對燃油期貨，成本比所有人都低。Modal 在算力市場做的事情邏輯是一樣的。

Auto-Research 和 CI/CD：兩個正在發生的事

Akshat 提到他們內部已經在用一種叫 auto-inference 的工具，基本上就是讓 agent 自動跑不同配置的 sweep，甚至會叫起 NVIDIA 的 profiler，自動調參數，把 H200 換成 B200 試試看。他說「它真的蠻好用的」。

另一個他很看好的方向是 CI/CD。邏輯很直覺：coding agent 會讓 CI 的執行次數暴增，而現在的 CI 浪費太多時間在準備 artifact 和依賴。如果有記憶體快照和即時恢復的能力，CI 的效率可以大幅提升。

他特別提到 Gitpod（現在叫 Ona），說他們技術非常強，後來被 OpenAI 收了。Modal 認為自己在這個市場也有很好的位置，因為本質上 CI 就是 sandbox，只是 build time 的 sandbox 跟 runtime 的 sandbox 形狀不一樣。

不只是 LLM：計算生物學、機器人、音訊影片

最後值得一提的是，Modal 刻意不只做 LLM 推論。他們服務計算生物學的公司、機器人公司、音訊生成（Suno）、影片生成（Runway）。Akshat 很明確地說，他們的目標不是只服務 LLM 推論市場。

swyx 提了一個有趣的觀察：從 Jensen Huang 今年 GTC 演講來看，AI 工作負載的 GPU 對 CPU 比例正在從過去的八比一變成一比一，因為 agent 會不斷在 GPU 密集和 CPU 密集的任務之間切換。這對 Modal 這種能同時管理 GPU 和 CPU、還能跨區域調度的平台來說，是個結構性的利多。

老實說，我三年前第一次看到 Modal 的時候，覺得它就是一個做得比較好的 serverless 平台。沒想到它現在變成了 AI 基礎建設的關鍵一層。這讓我想到一件事：在技術浪潮裡，最後贏的往往不是做應用的人，而是那個把水電瓦斯接好的人。只是你在接水電的時候，沒人覺得那很性感。

想看更多這類 AI infra 的產業拆解，歡迎訂閱 wilsonhuang.xyz，後續有新的觀察會持續更新。