Skip to main content
Bitter Lesson 是什麼：AI 算力擴展的主張、爭議與工程實務，從 Sutton 原文看 LLM

Architecture Journal

bitter-lessonai-researchscaling

Bitter Lesson 是什麼：AI 算力擴展的主張、爭議與工程實務，從 Sutton 原文看 LLM

2019 年 3 月 13 日，Richard Sutton 在自己的網站上貼了一篇一千多字的文章，標題叫〈The Bitter Lesson〉。沒有實驗、沒有資料集、沒有 peer review，也不是發表在期刊上。[1]

一個月前，OpenAI 剛發表 GPT-2；2018 年底，AlphaZero 的論文登上 Science。AI 在語音、影像、圍棋接連拿下成果，算力開始被視為進步的主要動力。[2] [3]

這篇短文後來被大量引用。有人說它是大型語言模型（LLM）時代的聖經，有人用「夠不夠 bitter lesson pilled」來判斷一個方法值不值得做。但它到底在講什麼？作者是誰？為什麼一篇沒有實驗的文章，會變成這麼多人的共同語言？

作者是誰：不是評論家，是 RL 的奠基者之一

Richard Sutton 不是那種只在旁邊評論 AI 的人。他是強化學習（reinforcement learning, RL）的奠基者之一。

RL 關注的是：一個 agent（會感知環境、採取行動的系統）如何在環境裡行動、觀察結果、根據 reward（環境給的回饋訊號）調整策略，最後學會達成目標。它不靠人類事先把規則寫好，而是讓 agent 從經驗裡學。

Sutton 在 1978 年於 Stanford 拿到心理學學位，1984 年在 UMass Amherst 拿到電腦科學博士，指導教授是 Andrew Barto。兩人後來一起發展 temporal-difference learning、actor-critic 與 policy gradient 等方法，也合寫了《Reinforcement Learning: An Introduction》。這本書大概是 RL 領域最常被引用的教科書。[4]

他從 2003 年起在亞伯達大學任教，2017 年共同創辦 DeepMind 位於 Edmonton 的研究實驗室。2024 年，他和 Barto 一起拿到 ACM 圖靈獎，理由是「發展強化學習的概念與演算法基礎」。[5]

所以當他談「AI 研究為什麼一直重複犯錯」時，他不是在講一個抽象觀點。他是在講自己參與了四十年的那條路線。

還有一點很重要：Sutton 的專業是 RL，不是 LLM。他的判斷基準是「agent 能不能從經驗裡持續學習」，這跟後來 LLM 圈用「benchmark（拿來打分數的測驗）分數有沒有上升」來理解 Bitter Lesson，其實不完全一樣。

他當時在回應什麼

2019 年的 AI 場景，跟現在不太一樣。

AlphaGo 在 2016 年打贏李世乭；AlphaZero 在 2017 年底問世，2018 年登上 Science。它只靠遊戲規則與自我對弈，就從隨機下棋變成頂尖棋手，沒有塞入人類的開局庫或棋譜。[2]

Sutton 當時人在 DeepMind Alberta，而 AlphaZero 正是 DeepMind 的作品。這篇文也反映了 AlphaZero 帶來的衝擊：原來把人類知識拿掉，只留下搜尋、學習與算力，系統反而能走得這麼遠。

2019 年 2 月，OpenAI 發表 GPT-2，示範了同一個語言模型可以不做任務特定訓練，就處理問答、摘要、翻譯等任務。它當時的結論很直接：給更多資料與算力，表現會繼續上升。[3]

這些結果讓「算力」變成看得見的槓桿。但當時的 AI 研究裡，還是有大量工作在設法把人對領域的理解灌進系統：特徵工程、知識庫、規則、特定架構。

Sutton 的文章，是對這個現象的批評。他不是在寫產品建議，也不是在預測 LLM 會怎麼商業化。他是在對 AI 研究者說：你們又想把人類的理解塞進系統了，但歷史告訴我們，長期會輸給能直接吃算力的方法。

文章貼在他的個人網站，不是期刊論文。它很短，語氣也帶點挑釁。這一點很重要：它是一個研究者的立場聲明，不是一份經過同儕審查的實證研究。

這篇到底在講什麼

文章的核心句是：

The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective, and by a large margin.

翻成中文：從 70 年 AI 研究能讀出的最大教訓，是能利用算力的通用方法，最後會以很大的差距勝出。[1]

這裡的關鍵詞是 general methods that leverage computation。不是「任何方法只要變大就會贏」，而是「方法的設計要能隨著算力增加而繼續變強」。

他認為，最符合這個條件的兩類方法是 search 和 learning。

搜尋（search）是把可能的選項展開，逐一評估，從中找最好的。西洋棋的深搜、圍棋的蒙地卡羅樹搜尋，都是這一類。學習（learning）則是讓系統從資料或經驗裡調整參數。AlphaZero 的自我對弈、神經網路的訓練，都是這一類。

他用四個領域說明同一個模式：

  1. 西洋棋：Sutton 的說法是，1997 年 Deep Blue 打贏 Kasparov，主要靠大量深搜，而不是靠人類棋手那套理解。當時很多研究者不服氣，說這不是通用策略；但他的重點是，能直接吃算力的方法贏了。
  2. 圍棋：一開始大家努力把人類棋感、棋形、定式塞進系統；後來 AlphaGo 與 AlphaZero 用搜尋加自我對弈，把這些手工知識輾過去。
  3. 語音辨識：1970 年代 DARPA 的競賽裡，用音素、發音器官知識的方法，最後輸給用 HMM（隱馬可夫模型）做大量統計計算的方法；後來深度學習又往同一個方向推了一步。
  4. 電腦視覺：早期靠邊緣、SIFT 等人工特徵；後來 CNN（卷積神經網路）只用卷積與某些不變性，表現更好。

他把這個模式拆成四個歷史觀察：

  1. AI 研究者經常試圖把知識直接建進 agent。
  2. 這樣做短期有幫助，而且讓研究者很有成就感。
  3. 但長期會 plateau，甚至阻礙後續進展。
  4. 突破最後來自相反的路線：用 search 和 learning 去 scale computation。[1]

苦澀之處在於：你花了幾十年累積的領域知識，最後可能不是推動進展的槓桿。

但 Sutton 也留了兩個很重要的限定。

第一，他談的是 long run。他沒有說 domain knowledge 今天沒用；他說的是，不要把它當成長期護城河。

第二，他說兩種路線不一定要對立，但實務上往往互相排擠，因為時間花在一邊，就沒辦法花在另一邊。[1]

所以，Bitter Lesson 不是「什麼都不用想，只要 scale」。它更像是一個研究策略的提醒：不要把人類知識當成永久地基，因為能隨算力變便宜的方法，最後會追上你。

為什麼後來這麼多人吹捧

時間點太巧。 它發表在 2019 年 3 月，GPT-2 剛出來一個月。接下來幾年，GPT-3、scaling laws、ChatGPT 接連出現。scaling laws 指的是：當模型、資料與算力一起放大時，表現會以相對可預測的方式上升。每一次「加大模型真的有用」，都像是在幫這篇文章補證據。它看起來像預言，而不是事後解釋。

它提供了一個超簡單的判斷規則。 「這個方法會不會隨算力變強？」這句話很好用。研究者可以用它挑研究方向，實驗室可以用它決定要不要繼續投資源，產業界可以用它判斷哪條技術路線比較有未來。複雜的歷史被壓縮成一個可以拿來吵架的問句。

它很短，而且很好記。 「Bitter Lesson」這個名字本身就是一個 meme。它不需要讀完一千字才能引用；只要一句「這不夠 bitter lesson」，就能結束一場架構討論。Karpathy 說，這篇文在 frontier LLM 圈已經變成「聖經級」文本，研究者會用「夠不夠 bitter lesson pilled」來判斷一個方法值不值得做。意思是：這個方法有沒有安排好，讓更多算力可以直接變成更好的結果。[6]

它讓某些人有台階下。 如果算力是最終槓桿，那研究者就不需要為「我沒有發明更聰明的演算法」感到心虛；實驗室也可以說，我們的工作是把算力用好。這對很多人來說，是一種心理上的解放。

它符合大公司的利益。 這一點是我的觀察，不是 Sutton 說的。如果 AI 的進步主要來自算力，那麼擁有最多 GPU、最多資料、最多資本的組織就結構性領先。Bitter Lesson 剛好提供了一個聽起來很中性的理由，去解釋為什麼資源會往少數實驗室集中。

Dwarkesh Patel 在訪談裡稱它是「或許是 AI 歷史上最有影響力的文章」；Gary Marcus 則說它「大概預見了超大規模語言模型的崛起」。[7] [8] 這些評價也讓它成為 AI 圈的共同語言。

但這裡有個副作用：愈多人引用，它就愈容易被簡化成「scale is all you need」。而那個版本，已經不是 Sutton 原本寫的東西了。

被吹捧的版本，與後來的反駁

如果只讀社群上的轉述，你會以為 Bitter Lesson 的意思是：不要做任何手工設計，只要把模型變大。這個版本很好傳播，但它也引來了不少反駁。

人類知識沒有消失，只是換了位置

MIT 榮譽教授、iRobot 共同創辦人 Rodney Brooks 在文章發表六天後寫了〈A Better Lesson〉。他說，CNN 的卷積與平移不變性，本身就是人類設計進去的；如果真要讓網路從零學出這件事，代價會高出好幾個數量級。[9]

他的說法很尖銳：把人類智慧從「特徵工程」搬到「架構設計」與「資料標註」，不代表人類退出迴圈，只是換個地方施力。他形容這是一種 sleight of hand。[9]

牛津大學教授 Shimon Whiteson 的反駁更直接。他說，深度學習能成功，靠的不只是算力，還包括那些沒有被丟掉的人類知識：convolutions、LSTMs、ReLUs、batch normalization。圍棋能解，也建立在「這是靜態、零和、完全可觀察的遊戲」這個先驗上。[10]

他把 AI 歷史反過來讀：這不是人類知識的失敗史，而是人類知識的成功史。研究策略其實很傳統：試很多東西，丟掉失敗的 99%，留下有用的 1%。[10]

帳算得不完整

Brooks 另一條批評更接近工程現場：Bitter Lesson 只算算力變便宜，沒有算其他成本跑到哪裡去。

他列了幾件事：Moore’s Law 正在放慢；Dennard scaling 在 2006 年結束後，效能提升伴隨功耗上升；一輛自駕車的運算可能要 2,500 瓦，人腦大約 20 瓦；而標註資料、設計網路架構、為特定模型做晶片，全都要人類智慧。[9]

對做企業系統的人來說，這句話特別重要。你可以買到更多 GPU，但買不到更多法規核准、更多可靠的 domain expert、更多願意維護系統的人。

舉一個很常見的例子。團隊想用更大的模型解決客服分類錯誤，直覺是「模型不夠強，再 scale 就好」。但追下去常常發現，真正的瓶頸是標籤定義不一致：同樣一句客訴，三個人會標成三種分類。這時候換更大的模型，只會讓錯誤分類得更快、更有自信。算力不是這裡的槓桿，把標籤與責任邊界講清楚才是。

量到的可能只是考題

Katherine Bailey 問了一個更根本的問題：西洋棋為什麼會成為 AI 的指標？

她的答案是：不是因為「打贏棋」本身有什麼終極價值，而是因為人類相信，要打好棋，必須像人一樣思考。問題是，當我們把「像人一樣思考」換成「打贏棋」這個可量測的指標後，最後贏的系統，可能完全不需要用人類的方式思考。[11]

Keras 作者 François Chollet 則從「智慧」的定義下手。他認為，只用特定任務的技能高低來衡量智慧，會被先驗知識與訓練經驗嚴重干擾。他的說法是：無限的先驗或無限的訓練資料，可以讓實驗者「買到」任意的技能水準，反而遮住系統本身的泛化能力。[12]

把這兩個批評放回 Bitter Lesson，會看到一個很現實的風險：如果 benchmark 本身可以被記憶攻破，那麼「scale 會贏」可能只是在說「更大的模型更會考試」。這句話不一定是錯的，但它離「更理解世界」還有一段距離。

2025 的反轉：Sutton 自己說 LLM 不夠 bitter lesson

2024 年圖靈獎得主 Sutton 在 Dwarkesh Podcast 上說，他不確定 LLM 算不算 Bitter Lesson 的案例。他的原話大意是：LLM 當然是用大量算力，也會沿著算力擴展；但它同時也是把大量人類知識塞進系統的方法。[7]

他甚至說得更重：LLM 是在模仿人會說什麼，不是在預測世界會發生什麼。它學的是「這個情境下，人會怎麼做」，而不是「我做了這件事，世界會怎麼變」。[7]

Dwarkesh 在節目後的文章裡，把 Sutton 的立場濃縮成一句：LLM 不能在職學習（learn on the job），所以無論怎麼 scale，最後還是需要新的架構來做持續學習。[7]

Karpathy 的反應很值得看。他說 Bitter Lesson 在 frontier LLM 圈已經變成「聖經級」文本，結果寫下這篇聖經的人，自己卻不確定 LLM 夠不夠 bitter。[6]

Karpathy 認為 Bitter Lesson 的方向仍然正確，但不是現實世界裡可以直接照做的配方。他用 platonic 形容這個理想方向，也用一個比喻說明現況：現在的 LLM 不是在「建造動物」，而是在「召喚鬼魂」；預訓練像是我們版本的演化，只是訓練資料全來自人類。[6]

Gary Marcus 的反應則是另一種路線。他長期批評 scaling，這次立刻把 Sutton 的發言解讀成「連 Sutton 都下車了」。這當然有他自己的框架，但他也點出一件事：Sutton 對 LLM 的批評，和他多年來對純 scaling 的批評，確實在某些地方重疊。[8]

如果把視角拉回主流實驗室，會發現類似的張力早就存在。Meta 首席 AI 科學家 Yann LeCun 一直認為，只有 scaling 不夠，還需要新的表徵學習、世界模型與規劃機制。[13] Google DeepMind 執行長 Demis Hassabis 的說法更接近工程判斷：scale 是必要的，但很可能不充分；規劃、工具使用、agent 行為，不會只靠放大現有技術就自然長出來。[14]

這些人的立場不完全一樣，但他們共同說明了一件事：Bitter Lesson 從來不是「什麼都不用想，只要 scale」。真正被爭論的，是哪些東西該被 scale、哪些東西該被重新發明。

Sutton 質疑 LLM 的理由，和他 2019 年質疑人類知識的理由其實相同：他一直用「能不能從經驗持續學習」這個標準衡量方法。

怎麼判斷自己站在哪一邊

讀到這裡，很容易得到一個簡化版結論：短期用人類知識，長期看能不能 scale。這句話方向沒錯，但如果不拆開來看，還是會判斷錯。

先界定瓶頸。問題不在於使用人的經驗，而在於系統只能靠人的經驗才能進步。經驗可以是有用的先驗知識（prior），讓你用更少資料、更少算力就達到可用結果。瓶頸出現在下一步仍得請專家、寫規則、標資料，而增加算力不會自動帶來更好的結果。這才是 Bitter Lesson 說的 plateau。

第二個要拆的是「正常運作」和「繼續變強」。工程上的 scale 關心的是十倍流量不會垮、成本還可控；Bitter Lesson 關心的是另一件事：算力變多時，這個方法會不會自動變強。很多手工系統可以正常運作一輩子，但不會因為算力變多而變強。它不會壞，只是會被拉開。

第三個要拆的是「改良」。如果你改良的是讓人類知識更好用——更漂亮的規則、更細的 workflow、更有效率的標註流程——那只是把瓶頸做得更順，沒有解除瓶頸。真正往 scalable 走的改良，是讓系統自己從經驗、搜尋、回饋裡學到那些知識。

實務上，人類知識和 scalable 方法通常會並存。短期可以用人類知識當 prior、guardrail、workflow，換取可用性；同時設計替換路徑，讓手工部分之後能被學習與搜尋取代。重點是這些手工設計能不能逐步替換。

一個簡單的判斷法是問：把算力乘十倍，會發生什麼事？

  • 自動變好：站在 scalable 這邊。
  • 完全沒變：瓶頸不在算力。
  • 要更多人、更多標註才會變好：那就是苦澀的那一邊。

這個測試不完美，因為算力不是唯一變數，資料、回饋、維運也都會影響結果。但它至少可以幫你區分：你現在做的，是在等算力變便宜，還是在等更多人投入。

回到工程現場：四個判斷問題

上面的測試可以幫你判斷方向，但落到具體專案，我現在會先問四個問題。

1. 你的瓶頸真的是 compute 嗎？ 如果你的瓶頸是資料取得、權限、法規、流程整合、維護人力，那 scale 幫不了你。Bitter Lesson 成立的前提，是「方法能隨算力穩定變好，而且算力是你最便宜的生產要素」。這個前提不成立時，硬套只會得到一個更貴、更難維護的系統。

2. 你在做 research bet，還是 product bet？ 研究可以賭十年後；產品要活過這一季。Sutton 自己也承認，人類知識在短期是有幫助的。[1] 問題不是能不能用，而是你有沒有把「短期解法」誤認成「長期地基」。

3. 你的手工設計是可拆的鷹架，還是永久地基？ 企業系統裡，規則、workflow、guardrail（限制 agent 行為的護欄）常常是必要的。它們讓今天的輸出可控、可解釋、可驗收。但你要在設計時就留下一條替換路徑：當模型能力上來、當算力變便宜時，哪些部分可以拆掉？如果拆不掉，那你不是在做過渡方案，你是在蓋一棟不能改建的房子。

4. 你用什麼驗收？ 如果 offline benchmark 只是在獎勵記憶，那你優化出來的東西，可能跟 production 的價值無關。先確認你量到的是「解決問題的能力」，還是「通過考題的能力」。延伸閱讀：AI 時代的自動化測試與驗收（一）整理了如何用測試建立對產品的信任。

結尾

但它也沒有叫我們現在就停止思考。對多數工程團隊來說，更苦的教訓其實是：我們連自己的瓶頸在哪都還沒搞清楚，就急著選邊站。

先問你的方法會不會隨算力增加而進步；如果不會，Bitter Lesson 暫時還輪不到你。

參考資料

回到文章列表