[情報] 醫療 AI agent 的 PoC 過關後，第一個問題是稽核紀錄在哪
適合在醫療、金融、政府這類受監管產業做 agent 的工程師和架構師。講者的例子來自美國醫療保險業，原則可以套到其他重流程的產業。〔1:03〕
一、PoC 準確度過關，離上線還很遠
Christopher Lovejoy 在 Anthropic 當 forward deployed engineer，進駐企業幫他們把 agent 用起來；Saul Howard 是 Anterior 的工程副總，Anterior 賣 agentic AI 給美國的健康保險公司。兩人以前在 Anterior 共事。〔0:01〕
他們假設的情境：跟一家大型醫療體系談好一個行政流程的 PoC，兩位工程師做四週，資料從應用層、控制層、資料湖各處拉過來，結果準確、快又便宜。財務長問明年預算，醫療長想跟同事炫耀準確度，業務主管想在官網寫「AI 驅動」。大家都以為難的部分做完了。〔2:03〕 〔3:03〕
隔天討論上線，問題一個接一個：稽核紀錄看得到嗎、敏感資料怎麼傳給 agent、誰核准決策、不受信任的資料能不能操縱模型、怎麼知道 agent 一直表現得好、怎麼接 Epic 和 Salesforce。演講挑了前面四個講，整合和其中一題留到會後。〔4:04〕 〔5:04〕
二、法遵要的稽核紀錄，比開發者 log 多很多
資安團隊一定會要稽核紀錄。工程師聽到會想到 Datadog 那種開發 log，但 SOC 2、HITRUST、HIPAA 這些框架要的是 agent 做過的每個動作、碰過的每份資料、每一步憑什麼授權，一份都不能少。〔5:19〕 〔5:50〕
Saul 用法律的角度想：如果 agent 的決定上了法庭，你能不能拿出一條說得通的證據鏈，說明每個動作為什麼發生。在醫療業這很可能真的會發生。〔6:06〕
三、把不可變的事件紀錄當資料庫，稽核就變簡單
Saul 設計系統時先問「我想讓什麼變簡單」，再讓這個選擇決定取捨。他借的是金融業的交易紀錄：一份只能追加、有時間戳記的事件紀錄，記下所有輸入、工具呼叫、參數和輸出，所有 agent 共用這一份，它就是系統唯一的事實來源。投影片附了 Martin Fowler 談 Event Sourcing 和 Martin Kleppmann 談 log 的文章。〔6:40〕 〔7:06〕
這樣做，稽核自然就有了：任何時間點的系統狀態都能倒回去重建。代價是寫入變容易、讀取變麻煩，要讀過全部事件才能重組出一個視角，可以用快取和 snapshot 減輕。〔7:30〕 〔7:50〕
他也遇過反過來的好處：醫療上事後多了新事件，對同一段病程的解讀可能要改。所有資料視角都是從事件紀錄算出來的暫時結果，要換一種解讀，重算就好。〔8:10〕
- 先想清楚系統裡哪件事一定要簡單，再接受其他事變難。
四、病歷放進旁邊的物件儲存，事件紀錄只留指標
法遵接著問敏感資料的生命週期。受保護的健康資訊受 HIPAA 和其他法律限制，人和 agent 一樣，只能在當下真的需要時碰到。醫療資料結構不固定，有結構化也有非結構化，一筆就可能超過 1 MB，要依角色控管存取；有些客戶連資料都不讓離開自家的 VPC。〔8:46〕 〔9:40〕
所以他選有 schema 的物件儲存，跟事件紀錄分開放：事件只存指向資料的參照，真正的醫療資料也是不可變的存在物件儲存裡，事後一樣能還原 agent 當時看到哪些資料。〔10:20〕
分開的好處是開發者能從事件紀錄重走 agent 的每一步來除錯，看得到資料的形狀，卻不用看到病患資料本身；Saul 說開發者通常也不會被准許看。〔11:10〕
五、資料分開放，也給了擋 prompt injection 的位置
物件儲存成了套用零信任原則的地方：agent 帶著 token，用到時才拿資料，資料不會在系統裡到處流。〔11:45〕
這也是對付 Simon Willison 說的 lethal trifecta 的地方。Saul 的想法是：agent 在 A 點拿了這份資料，架構上能不能確保它在同一個流程裡拿不到另一邊的資料。用 agent 帶的 token 控制存取、再把資料跟編排邏輯分開，就有地方加這個限制。投影片也引了 Colin Breck 談分散式系統的文章。〔12:11〕
六、把人和模型都算成 agent，升級給人審才接得起來
醫療長問誰核准決策。難處在於升級是動態的：可能是 AI 沒把握時自己升級，也可能是規則觸發，例如療程金額超過某個門檻就要人核准，事前不知道會在哪一步發生。另一個難處是人跟模型處理脈絡的方式不同，模型吃得下大量文字，人吃不下。〔12:50〕 〔13:11〕
Christopher 的做法是在平台裡把「agent」定義得更寬，人和 LLM 都算。凡是 LLM 能做的動作，人也能做；任何一步都能交給人，下游不用管上一步是人還是模型做的。脈絡也用同一份定義，再分別轉成給模型的 prompt 和給人看的 UI。〔13:40〕 〔14:13〕
- 讓每個 LLM 能做的動作都有一個給人操作的版本。
七、前三個基礎做好，eval 幾乎是順便得到的
eval 難在模型不確定，很難指出是哪個改動造成輸出變化；離線資料集可能抽樣不具代表性，也會隨時間過時。〔14:49〕 〔15:13〕
他們說前三個基礎直接給了保護隱私的 eval：事件紀錄可以重播，回到任何時間點，只改 prompt、模型或程式碼，看出直接影響；人和 agent 能做同一件事，兩邊的差異就是 eval 分數；物件儲存讓 eval 能在客戶環境裡用正式資料跑，敏感資料不用離開。〔15:40〕 〔16:13〕
八、從上線的限制往回蓋，別從 PoC 往上補
Saul 的結論：把限制當真，先決定什麼要簡單，再接受其他事變難；這些模式在金融、國防、大型科技公司早就用過，AI 要做的是用新方式組合它們。〔17:14〕
他看過失敗的做法是拿那個準確度很漂亮的 PoC 往上疊，遇到 eval、資安、稽核就一項項加上去，最後系統脆弱、很難推到別的用途。成功的做法是一開始就把正式上線的企業限制當成架構原則，用新的基礎元件再把準確度追回 PoC 的水準。〔17:50〕 〔18:15〕
明天就能做的事
資料來源
- Why Your Enterprise Tech Stack Isn't Ready for AI Agents — Christopher Lovejoy & Saul Howard（原始影片）｜AI Engineer（YouTube）｜2026
- 演講頁面｜AI Engineer｜2026｜影片說明附的連結
- Event Sourcing｜Martin Fowler｜2005｜投影片引用
- Logs for data infrastructure｜Martin Kleppmann｜2015｜投影片引用
- Predicting the Future of Distributed Systems｜Colin Breck｜投影片引用
- The lethal trifecta for AI agents｜Simon Willison｜2025｜投影片引用
- Christopher Lovejoy 的個人網站｜影片說明附的連結
- Saul Howard 的 LinkedIn｜LinkedIn｜影片說明附的連結
※ 逐字稿以 Whisper（medium.en）轉寫 YouTube 原音，對照頻道的 en-orig 字幕和投影片校正。圖片截自原片（原片解析度只有 360p）。〔時間〕連結會跳到原片對應段落。講者一位任職 Anthropic、一位任職賣 AI 給健康保險公司的 Anterior，內容是他們自己的經驗，沒有對照其他做法。本文為非官方整理，以原影片為準。