看板 Soft_Job ※ 圖文整理 回首頁

[情報] 模型吃掉了寫程式的 harness，卻吃不掉雲端、權限和成本：前 Cursor 工程師預言半年內 90% agent 工作離開筆電

作者：chinghanho
時間：2026-10-21（Asia/Taipei）
來源：Is the Agent Harness Dead? — Jediah Katz, SpaceXAI／AI Engineer（New York，2026-10-14 場次）／18:14／YouTube 2026-10-19／en
影片封面：Is the Agent Harness Dead?，Jediah Katz，AI Engineer New York
▲ 影片封面。
模型已經學會 harness 以前幫它補的寫程式技巧，所以換 harness 分數差不多；但新領域的護欄、雲端執行、權限和成本，還是得靠 harness。

適合在做 coding agent 或 agent 產品、正在想「模型越來越強，我寫的這層還有沒有用」的工程師。講者 Jediah Katz 2025 年初加入 Cursor，是那邊待最久的 harness 工程師，Cursor 被 SpaceX 收購後轉到 SpaceXAI 做 Grokbot，所以談到 Grokbot 的部分是在講自家產品。〔0:11〕 〔0:23〕

目錄：
  1. harness 分兩層，大家在吵的只是 context 那一層
  2. 換 harness，寫程式的分數幾乎不動
  3. harness 是自己把自己做到過時的
  4. 換到新領域，prompt 和護欄又得加回去
  5. 雲端、權限和成本，模型吸收不了
  6. harness 要設計成方便刪掉
  7. 他的預言：下一代 harness 用 agent 當積木，半年內 90% agent 工作離開筆電
  8. 明天就能做的事
  9. 資料來源

一、harness 分兩層，大家在吵的只是 context 那一層

Katz 說 harness 是模型的眼睛和手：包在模型外面、帶著它走，再把它接到電腦、App 和 MCP 這類第三方服務。〔1:34〕 〔1:52〕

他把 harness 分成兩層。底下是 runtime，決定 agent 的主迴圈在哪裡跑、狀態怎麼存，中斷了才能接著做，這部分跟傳統軟體工程差不多。〔2:10〕 〔2:21〕

上面是 context 和 orchestration，他形容是蠻荒西部：決定什麼時候叫哪個模型、模型看到什麼，包括 prompt、工具、記憶、壓縮對話，還有一堆讓 agent 乖乖照做的小技巧。一般人講 harness，多半指的是這一層。〔2:26〕 〔2:36〕 〔2:44〕

職稱也跟著換過三輪：2023 年初最紅的是 prompt engineer，2025 年中變成 context engineer，今年初業界才定下 harness engineering 這個詞。〔1:13〕 〔1:29〕

投影片：agent harness 包住模型，上層是 context 與 orchestration，下層是 runtime，向外接 inference、環境、App 和 connectors
▲ 投影片：上層 context & orchestration 管 prompt、工具、記憶、壓縮和模型路由；下層 runtime 管迴圈、狀態、驗證和觸發。後面講「模型吃掉 harness」，吃的主要是上層。

二、換 harness，寫程式的分數幾乎不動

他先問台下：只給模型一個 shell 加上所有密鑰，這種陽春 harness 在寫程式的 eval 上會不會跟精緻的一樣好？舉手的人不多。〔4:21〕 〔4:53〕

他引了兩份研究。UC Berkeley 的 HarnessTax 拿 7 個模型配 Claude Code、Codex CLI 和 Pi 三種 harness，共 21 組，發現 harness 對 SWE-bench Lite 的成功率影響平均在 ±2% 以內，花的錢卻可以差到 5 倍；只有讀、寫、編輯和 bash 四個工具的 Pi 也能做到成本和成功率兼顧。〔5:05〕 〔HarnessTax〕

Apple 和 EPFL 的論文在 MLE-bench 上比，同樣的模型、同樣的時間，開源的專用 MLE harness 沒有贏過單一 session 的極簡 coding agent。〔5:26〕 〔arXiv 2609.40303〕

「A fancy harness in this day and age no longer adds coding intelligence.」
現在花俏的 harness 已經不會讓模型更會寫程式。〔5:42〕

Cursor 自己也在拆。他和同事 Stefan Heule 寫過，早期為了補模型的不足，每次編輯後都把 lint 和型別錯誤塞給 agent、改寫它讀檔的行數、限制一輪能呼叫幾個工具，這些現在大多拿掉了；Katz 也提到以前還有一個小模型專門負責把修改套進檔案。〔Cursor blog〕 〔3:54〕 〔4:03〕

換到你身上
  • 比較 harness 時，同一個模型同時看成功率和每個任務的成本，不要只看分數。
投影片：UC Berkeley 研究顯示換 harness 幾乎不影響 SWE-Bench-Lite 成功率；Apple 與 EPFL 研究顯示專用 MLE harness 沒有勝過極簡版
▲ 投影片引的兩份研究：左邊是 Berkeley 的 HarnessTax，右邊是 Apple 和 EPFL 的 MLE-bench 論文。兩份都發現分數差不多，成本差很多，後面第五節會用到。

三、harness 是自己把自己做到過時的

他把原因叫做資料飛輪。harness 讓更難的寫程式任務變得做得到，更多人開始用 agent 做這些事，產生的寫程式資料回到模型實驗室，模型就自己學會了這些技巧。〔6:16〕 〔6:33〕

學會之後，harness 就能把當初為了讓任務跑得動而加的東西刪掉。他舉的例子是探索 codebase、用 /goal 這類方式長時間持續工作、跑測試檢查自己，這些以前靠 harness 教，現在模型本身就會。〔5:54〕 〔6:33〕

所以說 harness 已死的人，其實是在說更聰明的模型殺了它。他同意這部分是真的，但只限寫程式這一塊。〔4:21〕 〔6:57〕

投影片：資料飛輪，harness 解鎖能力、agent 接下新任務、任務變成訓練資料、模型吸收能力、harness 刪掉鷹架
▲ 投影片：「模型吃掉 harness，harness 打開下一塊領域」。圈的起點被換成 software factory，代表下一輪飛輪從這裡開始。

四、換到新領域，prompt 和護欄又得加回去

Katz 現在做的是 SpaceXAI 的 Grokbot，他們稱為自主同事，不只寫程式，也做各種知識工作。它的 harness 以長期存在的協調者 bot 為中心，底下帶一群 worker agent，不靠一次次的單獨對話。他的比喻是請一位厲害的律師，策略自己顧、直接跟你談，雜事分給助理團隊。〔7:32〕 〔8:05〕 〔8:16〕

Grokbot 的方向剛好相反。Cursor 一路在拆 prompt 和護欄，Grokbot 卻一直加回來，因為新領域裡很多事模型還沒做好。〔8:39〕 〔8:50〕

他列了幾件目前在補的事：做簡報、訂行程這類常見流程；隨時回報進度又不能吵到你；決定該直接做還是先問，例如替你寄信給同事；透過記憶慢慢學會你的做事方式。這些在 coding agent 裡都出現過，只是在這裡每個人都會碰到。〔9:01〕 〔9:19〕 〔9:44〕

這也補上飛輪最後一段：寫程式這種能力被模型吃掉、變成標配之後，是 harness 去打開下一塊領域，飛輪重新轉一圈。下一塊可以是寫程式以外的工作，也可以是軟體工程裡寫程式以外的部分。〔9:59〕 〔10:09〕 〔10:29〕

software factory 是另一個例子：多個 agent 一起走完整個軟體開發流程。他描述內部的做法：有人在頻道回報 bug，自動化立刻分類，開一個雲端 agent 去修，附上修前修後的影片證明修好；merge 開始部署後，再由另一個 agent 盯著正式環境。他把這叫 meta harness。〔10:53〕 〔11:18〕 〔11:36〕 〔11:50〕

五、雲端、權限和成本，模型吸收不了

第一件是基礎設施。過去一年多，agent 做一個任務的時間從幾分鐘變成幾小時、幾天，甚至更久，放在會睡著的筆電上不可能跑得穩，要當自主同事就得在雲端跑。〔12:16〕 〔12:21〕 〔12:30〕

第二件是信任和安全。他回到開場那個只有 bash 加密鑰檔的 harness：它確實解得了寫程式的題目，但公司需要把權限縮到特定 agent、特定人身上，任何人也都需要護欄，免得哪天醒來看到一個災難性的動作，或一張 1 萬美元的 API 帳單。〔12:43〕 〔13:04〕

「You probably don't want to give all your API keys in a file to the model.」
你大概不會想把所有 API key 放在一個檔案裡交給模型。〔12:43〕

第三件是效率。前面那兩份研究的分數差不多，但每個任務的成本差很多。〔13:21〕 〔HarnessTax〕 他過去一個月都在調 Grokbot harness 的效率，調的是快取命中率、token 用量和模型搭配，他說成本和速度都明顯改善，品質沒掉，但現場沒給數字。〔13:42〕 〔13:50〕

換到你身上
  • 權限照 agent 和人分開給，不要把整包密鑰交給單一 agent。
  • 要跑幾小時以上的 agent 任務，放到雲端，不要綁在自己的筆電上。

六、harness 要設計成方便刪掉

他認為飛輪在加速，現在產品又跑得比模型快，所以 harness 會先變亂再變乾淨，要設計成功能好加也好拿掉。〔14:17〕 〔14:35〕 〔14:44〕

做法之一是少讓使用者看到 harness 的內部運作。他引 Hyrum's Law：你露出來的任何東西，使用者都會開始依賴。看得少有代價，但要管的變更少，改得快很多。〔14:50〕 〔14:54〕

做法之二是給 agent 設計 primitive，也就是可以組合、擴充的基本介面。他們的例子是 subscriptions：Slack 有人發訊息、PR 的 CI 變紅、每天固定時間，agent 都要被叫醒。與其每種事件各寫一套整合，不如做一個框架、一個工具，讓 agent 自己訂閱事件。〔15:23〕 〔15:43〕 〔16:05〕

做法之三是追蹤 shim。shim 是為了修模型壞習慣而寫死的規則，例如 Grokbot 太久沒回使用者，就推它一下說「使用者在等你」。他們集中記錄每個 shim，每觸發一次就記一筆；有個 bot 盯著儀表板，某個 shim 不再觸發，就自己開 PR 說它可以刪了。〔16:12〕 〔16:20〕 〔16:48〕

換到你身上
  • harness 的內部細節不要直接露給使用者，給他們看結果就好。
  • 事件觸發這類重複出現的需求，做成一個 agent 能自己用的通用工具。
  • 補模型壞習慣的寫死規則集中登記、記錄觸發次數，不再觸發就刪。
投影片：設計 agent primitive，Email、Slack mention、PR review、PagerDuty 警報、每天早上九點都進入同一個 Subscriptions 元件，再叫醒 agent
▲ 投影片：五種事件共用一個 subscriptions primitive，負責權限、分派、去重、濾雜訊和叫醒 agent。
投影片：Firings by shim 圖表，依時間顯示各個 shim 的觸發次數
▲ 投影片：每個 shim 的觸發次數圖。某條線歸零，就是該刪掉那段規則的訊號。

七、他的預言：下一代 harness 用 agent 當積木，半年內 90% agent 工作離開筆電

上一代 harness 是把一堆 LLM 呼叫組起來，新的像 Grokbot 和 software factory，基本單位已經是 agent。〔16:58〕 〔17:04〕

他最後的預測是 6 個月內，90% 的 agent 工作會離開筆電。這是他個人的預言，理由跟第五節一樣：真正自主的 agent 不能靠一台會睡著的電腦。〔17:15〕 〔17:22〕

「Yesterday's harness may be dead, but long live the agent harness of tomorrow.」
昨天的 harness 也許死了，明天的 agent harness 萬歲。〔17:41〕

明天就能做的事

  1. 比較 harness 時，同一個模型同時看成功率和每個任務的成本。
  2. 權限照 agent 和人分開給，不要把整包密鑰交給單一 agent。
  3. 要跑幾小時以上的 agent 任務，放到雲端跑。
  4. harness 的內部細節不要直接露給使用者。
  5. 重複出現的事件觸發需求，做成一個 agent 能自己用的通用工具。
  6. 補模型壞習慣的寫死規則集中登記、記錄觸發次數，不再觸發就刪。

資料來源

  1. Is the Agent Harness Dead? — Jediah Katz, SpaceXAI（原始影片）｜AI Engineer（YouTube）｜2026
  2. HarnessTax: How Much Does the Harness Matter for Coding Agents?｜UC Berkeley Sky Lab、Arena（arena.ai）｜2026
  3. How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?｜EPFL、Apple（arXiv）｜2026
  4. Continually improving our agent harness｜Cursor（Stefan Heule、Jediah Katz）｜2026
  5. Scaling long-running autonomous coding｜Cursor（從零做瀏覽器的 agent 群實驗）｜2026
  6. Hyrum's Law｜Hyrum Wright（hyrumslaw.com）

※ 逐字稿以 Whisper（medium.en，float32，分段轉寫）轉寫影片原音，並對照 YouTube 的 en-orig 字幕校正，兩者用字吻合約 97%。圖片截自原片。〔時間〕連結開啟原片對應段落，大多對到秒。HarnessTax 的 21 組、±2%、5 倍等數字取自研究本文；1 萬美元 API 帳單、任務時間從幾分鐘到幾天、Grokbot 成本和速度的改善、半年 90% 的預測都是講者口述，沒有另外查證。講者任職 SpaceXAI，Grokbot 是他們的產品。Tariq（Anthropic）和 Garry Tan（YC）的說法依講者轉述。本文為非官方整理，以原影片為準。

推 sudhakarjustdoit: 通用 harness 會越來越薄，但專業領域和公司內部的 harness，實驗室拿不到資料，應該還會很興旺。（意譯）
→ morganpottruff5973: 頂尖模型撐起來的 harness 拿來跑大量任務不划算，要讓便宜模型做得好還是得靠 harness。（意譯）
推 CriticalShot-r8e: 半年 90% 離開筆電感覺太激進，但長時間跑的 agent 本來就在雲端，API 暴露和安全會變成整份工作。（意譯）
→ reedschrichte800: 到底是模型本身吸收了 harness 的能力，還是大廠把 harness 功能整合進後端的執行環境？模型和非模型的界線在哪裡還值得問。（意譯）
→ OP: 留言擷取自 YouTube 原片並意譯；本文為非官方圖文整理。