你 LinkedIn 底下那句「Great insight!」,現在被關進小房間了

你 LinkedIn 底下那句「Great insight!」,現在被關進小房間了

發布於
·21 分鐘閱讀
AIAI Agent產品產業觀察SaaS資料工程創業投資開源商業

TL;DR

  • LinkedIn 把整個動態消息打掉重練,核心改變是把「推薦內容」當成「預測下一個字」來做,用序列模型取代原本各自獨立打分的深度學習架構。
  • 會員數從 2020 年的六億九千萬長到十三億,每秒有七個新用戶進來,逼出兩個題目:新人前幾秒要抓到訊號,老用戶要看到真正有價值的東西。
  • 最貴的一課是 LLM 看不懂數字。文章被按了幾千次讚,模型把那串數字當成普通文字,完全不知道那是「熱門」的意思。
  • 「什麼算高品質內容」現在寫成一份自然語言的政策文件,由產品經理維護、進 GitHub 版控、用 Copilot CLI 做自動評分。
  • GPU 太貴,所以他們把語言過濾這種笨活丟回 CPU、把資料寫入改成批次、甚至下到 CUDA kernel 層手動調校。
  • 自動留言的外掛跟腳本,官方明講違反服務條款,會被限縮觸及,累犯直接限制帳號。

這集 Software Engineering Daily 在 2026 年 8 月 18 日播出。這個節目是軟體工程圈少數還在認真做長訪談的老牌 podcast,不追熱點、不搞排行榜,就是找一個真的在做事的人,把技術細節一層一層問開。這集的主持人 Matt Merrill 有二十年工程資歷,現在在 Dept Agency 帶團隊,本身做後端、雲端架構跟分散式系統出身,所以他問的問題都很「工程人」,不會停在表面。

來賓是 Tim Jurka,LinkedIn 的工程副總,負責消費者產品線,你打開 LinkedIn App 會碰到的東西幾乎都歸他管:動態消息、搜尋、個人檔案。他十三年前進 LinkedIn 的第一份工作,就是當 feed 的 AI 工程師,是最早那一批。從自己寫這個系統,到現在看它服務十三億人,這個視角滿難得的。

每秒七個新用戶,你只有幾秒可以搞懂他要什麼

先講規模。2020 年 LinkedIn 有六億九千萬會員,現在十三億。每一秒有七個人加入。

這個數字帶來的不只是伺服器要多買幾台。新進來的人帶著全新的產業、全新的職位、全新的需求。這幾年世界也變了,疫情、AI 浪潮,一堆人上 LinkedIn 不是為了社交,是為了搞清楚「我這個行業接下來怎麼辦」「我要不要轉技能」。

Tim 把這件事叫做 zero shot 體驗(zero shot,指系統在完全沒有這個人的歷史資料時就要做出判斷)。人家不是來無限滑動的,是來辦事的,你必須在他坐下來的前幾秒就大致猜到他要什麼。

第二個問題比較痛。LinkedIn 傳統上是「人脈導向」的產品,你看到的是你認識的人發的東西。但你認識的那些人,不見得是能給你最前線洞察的人。一個電機工程師想搞懂模組化核反應爐,他的通訊錄裡可能一個懂的都沒有。所以系統得主動把牆外的內容拉進來,這就是你最近看到愈來愈多「建議內容」的原因。

把動態消息當成一句話來寫

這是整集最有意思的部分。

舊的做法是這樣:把一堆特徵丟進模型(發文者是誰、你有沒有互動過、發文時間、主題標籤⋯⋯),模型幫每一則內容各自打一個分數,然後排序。每一則都是獨立事件,互相不認識。

新的做法把它當成語言來看。LLM 本質上就是序列模型(sequence model,看著前面已經有的東西,去猜下一個最可能出現什麼),它猜的是下一個字。那把「字」換成「內容」呢?

Tim 舉的例子很好懂:一個人先看了 PyTorch 入門,接著往下走十五層,最後可能是在自己筆電上重刻一個語言模型。這條路徑是有形狀的。系統看過幾億個專家走過的路徑之後,就能從你現在站的位置,推測你接下來想去哪。

舊架構新架構
判斷單位每則內容獨立打分一整串行為當成序列
邏輯把特徵丟進去交叉組合看你走過的路,猜下一步
檢索來源五套獨立的檢索管線並行收斂成一套 LLM 雙編碼器
弱點新用戶沒資料就抓瞎上下文塞太多會直接爆掉

順帶一提,LinkedIn 原本的檢索端是五條各自獨立的管線在跑:時序的人脈動態、地區熱門、協同過濾、產業模組、還有好幾套 embedding 檢索。現在收斂成一套。這種「五換一」的整併,光是維運成本就省掉一大塊。

那什麼叫「互動」?Tim 說是多目標優化(multi-objective optimization,同時追很多個指標而不是只追一個)。正向的包括你會不會留言、會不會轉發、會停留多久;負向的也算,你會不會直接滑過去、會不會只在畫面停一秒就飄走。

最狠的是後面這句:這些權重是每個人各自客製的。做行銷的人要的是曝光跟留言,準備面試的人只想看怎麼把面試搞定,兩個人的模型設定完全不一樣。不是分「角色」或「族群」,是真的一個人一組。

最貴的一課:LLM 看不懂數字

這段我覺得所有在做 AI 產品的人都該看。

他們把資料丟進模型的時候,發現一個問題:文章的按讚數、瀏覽數這種數字,模型把它當成普通文字在處理,完全沒意識到那是「熱門程度」的訊號。

早期的前沿模型數學很爛,大家的解法是外掛一個計算機,讓模型呼叫工具去算。但這招在 feed 上行不通。你在排一整頁動態消息,每一則都停下來呼叫外部工具,慢到不能看。

所以他們的解法是:不要指望 LLM 包辦一切。熱門度、傳播速度、上升趨勢這些量化訊號,就用老派的計數系統照樣算,算完當成特徵餵給序列模型。LLM 負責它擅長的語義理解,計數器負責它擅長的數數。

我們說 LLM 的時候,不是「神奇的 LLM 解決了所有問題」。是 LLM 加上一大堆它本來就看不懂的量化特徵,組合起來才是那個模型。

另一個新問題是上下文(context,你一次餵給模型的所有資訊)的建構。要判斷一則內容適不適合你,模型得知道你是誰、你在哪工作、你寫了什麼興趣、你最近幾次滑到了什麼,加上這則內容是誰寫的、在講什麼、如果有圖還得描述那張圖。

全部照實塞進去,系統直接爆炸。所以要壓縮、要摘要、要挑出最關鍵的那幾個 token。但壓過頭就失去精度,那你當初用 LLM 幹嘛?光是拿捏這條線,就有一整個團隊在做。這跟之前寫推論工程那篇講的邏輯完全一樣:模型好不好只是一半,剩下一半全在你怎麼餵它、怎麼調度它。

產品經理現在在寫 prompt,而且要進 git

這段是我看完最想跟人聊的。

以前的機器學習系統是這樣:你定一個優化目標,把模型丟出去,然後祈禱它跑出來的東西是好東西。「品質」是一個你只能事後觀察的湧現性質,你控制不了。

現在他們的做法是,把「什麼叫高品質內容」直接寫成一份政策文件。時效性政策、內容類型政策,一條一條寫,用的是自然語言。這份東西由產品經理維護,本質上就是一個 text file,check in 到 GitHub 裡面版控。

然後有兩層驗證。一層是人,他們叫 tastemaker,一批對產品方向很敏感的人來實際評分。另一層是自動化:讓 GitHub Copilot CLI 去看一批被系統撈出來的內容,回報「這幾則我覺得沒有符合政策,你同不同意?」產品經理說「你這則抓錯了」,Copilot 就回頭修改政策的措辭,讓文字更貼近真正的意圖。

這是一個活的迴圈。Tim 說他們可以看到一週之內,團隊對「什麼叫不真誠的內容」的定義是怎麼一路演化的。

我覺得這件事的意義比技術本身大。它代表產品經理的工作內容正在變形:你不再是寫需求文件交給工程師,你是直接在寫系統的行為規則,而且要跟工程師一樣走 code review、走版控。這個門檻的下降速度,跟當年設計師被迫要懂一點 CSS 的邏輯很像,只是這次規模大得多。

GPU 很貴,所以他們把笨活丟回 CPU

一開始他們什麼都放 GPU 上跑,先做出最好的體驗再說。跑到百分之一、百分之二的用戶,發現東西是有搞頭的,然後很快就撞牆:這樣根本 scale 不了。

接下來是一連串很不性感但很實在的優化:

能丟給 CPU 的就丟給 CPU。 一個加州的用戶,絕大多數看到的內容會是英文的。做語言過濾需要 GPU 嗎?不需要,一個簡單的 CPU 索引就搞定了。先用便宜的硬體把明顯不相關的東西刷掉,剩下的才丟進 GPU 記憶體做大規模推論。

能批次的就批次。 LinkedIn 每秒有多少人在按讚?數字大到 Tim 自己都說不出來。但按讚計數器從一百變一百零五,你真的需要在下一毫秒就寫進資料庫嗎?不用。累積十分鐘再寫一次,你照樣知道趨勢,寫入次數卻少了好幾個數量級。Tim 說這根本就是傳統的軟體工程跟資料管線工程,一點都不新。

下到 CUDA kernel 層手動調校。 他們用了共享上下文批次、客製化的注意力核心(custom attention kernel,直接改寫顯卡上最底層的運算程式)來壓低每一次請求的運算成本。Tim 講到這裡自己也承認超出他的守備範圍,說這要找他們的基礎設施工程師來另外錄一集。這種「我不知道我不知道什麼」的坦白,反而讓整段話更可信。

不用前沿模型做推論。 他們在自家資料中心跑自己微調過的模型。原話是:直接拿沒微調過的前沿模型來用,效率非常差,因為它根本不知道你的任務長什麼樣。排一個動態消息而已,你不需要一個什麼都會的通用天才。

但評估的時候反過來,他們會用最強的前沿模型。因為評估「這則內容對這個族群夠不夠及時、算不算 AI 廢文」是一個超細膩的判斷,你要的是最接近人類智慧的東西。而且評估只跑抽樣,不是跑給十三億人看,貴一點無所謂。

用對地方,這件事比用什麼模型重要太多了。

99.5% 的複利陷阱

Tim 有一句話我很喜歡,他說這是他最愛的引言:

如果你的 agent 系統每一步都有 99.5% 的成功率,而整條流程有二十步,那這整條流程基本上是廢的。

算一下,0.995 的二十次方大概是 90.5%。聽起來還行?但這代表每十次執行就有一次會出錯,而且你不知道是哪一步錯的。這也是為什麼AI Agent 從 demo 走到 production 那道溝一直跨不過去的核心原因之一。

他們的對策不是把每一步做到 99.9%(那太難了),而是給系統更多接地的錨點:塞熱門度訊號進去、確保上下文正確、反覆修那份政策文件。用外部的確定性去補模型的不確定性。

主持人 Matt 接了一句話總結得很好:你可以在自己桌上用 Claude 隨便 hack 出一個能動的東西,但那離「做出一個系統」還很遠。

那個一直留「Great insight!」的帳號

講點跟一般人比較有關的。

LinkedIn 明確表態:用瀏覽器外掛、腳本或第三方工具自動留言,違反服務條款。就算你照做,那些留言也不會出現在「最相關」的排序裡,觸及會被限制,累犯可能整個帳號被限縮。

他們把這叫做「低品質與非原創內容」,會用各種工具去偵測然後降權。Tim 的態度滿明確的:會員當然可以用 AI 工具,但要拿來把自己真實的觀點表達得更好,不是拿來大量產出重複的罐頭。

這跟之前 Instagram 負責人 Adam Mosseri 在另一集訪談講的判斷是同一個方向:當合成內容淹沒一切,真實反而變成稀缺品。LinkedIn 手上還有一張別人沒有的牌,一億會員完成了身分驗證。你看到一個認證過的人發文,至少知道對面坐的是真人,而且他的學歷經歷攤在那裡。這在一個到處都是機器人的網路上,價值只會愈來愈高。

責任 AI 的部分他也講了具體做法:模型只用專業訊號跟互動行為,不用敏感的人口統計屬性。每一個要上線的 feed 模型都要跑審計,用統計檢查確認不同族群、不同創作者拿到的分配是公平的。

牆正在融化

最後主持人問了一個好問題:這整個專案下來,你最希望團隊多一點什麼能力?

Tim 的答案是通才。理由很具體:那些 agentic coding 工具根本不知道什麼叫團隊邊界、什麼叫程式碼庫邊界,它們就是從頭到尾把整件事做完。所以那些傳統上「這是我的職責,那是基礎設施同事的職責」的牆,正在融化。跑得最快的人是能橫跨這些領域的人,就算不是隔壁領域的專家,至少知道整張圖怎麼拼起來。

但他也沒有說專才不重要。要把一個模型推到十三億人面前,你需要有人做即時資料管線、有人壓 GPU 的吞吐量、有人訓練模型。他們的組織方式是 pod:一個產品經理、一個設計師、一個基礎設施工程師、一個後端工程師,湊成一組,端到端把一個模型做出來丟給用戶。整個 build-out 動用了幾百位工程師,做了十二到十八個月,但平台蓋好之後,日常維運的團隊就小很多了。

他最後那段話我覺得比技術部分更重要:當決策速度變這麼快,瓶頸就變成「你敢不敢自己下判斷」。因為你的判斷可以立刻被轉換成 code、立刻推到用戶面前。所以你得內化產品願景、內化商業脈絡,讓自己的打擊率夠高。

主持人幫他收了一句:等著被交辦任務的人,在這個世界會活不下去。

我自己看完的感想是,這整集最反直覺的地方在於,一個號稱「用 LLM 重造」的系統,裡面最關鍵的決策幾乎全都是老派的工程判斷:什麼該用貴的、什麼該用便宜的、什麼該即時、什麼該批次、什麼該相信模型、什麼該自己算。技術換了一代,肌肉還是同一組。

如果這類把技術細節拆開講的內容對你有用,我的其他筆記都放在 wilsonhuang.xyz,歡迎訂閱追蹤。

推薦閱讀

喜歡這篇文章嗎?

訂閱電子報,每週收到精選技術文章與產業洞察,直送你的信箱。

💌 隨時可以取消訂閱,不會收到垃圾郵件