Architecture Journal
Jev 能用在哪裡？從模型路由到 Agent 決策
Jev 是什麼？
Jev 是 TypeSafe AI 推出的 System One 模型，定位是替軟體做快速、明確的判斷。呼叫時提供目前狀態（state）與要判斷的問題，Jev 會回傳三種結構化答案之一：從選項中挑選的 Choice、依尺度評分的 Score，或用機率表示是非判斷的 Noul。[2] [3]
這和大型語言模型（LLM）的工作不同：大型語言模型產生文字，Jev 回傳程式可以直接處理的判斷結果。程式再依選項、分數和信心值決定下一步。因此 Jev 適合處理生成前後的分類、評分與流程分支；寫作、摘要和開放式推理仍由 LLM 負責。[2]
AI 系統除了生成答案，也要決定該走哪條流程、內容是否相關、結果要不要交給人檢查。若每個判斷都交給大型語言模型，可能增加延遲與成本，也得處理自由文字輸出。ByteByteGo 整理了九個可以交給 Jev 的位置，以下再補充幾個延伸場景。[1]
九個可以使用 Jev 的位置
ByteByteGo 整理了九類適合交給 Jev 的工作。它們有個共同點：先定義好要判斷的問題，程式再根據結果採取行動。[1]
模型與 Agent 流程
- 模型路由： 判斷請求的任務類型或難度，再交給合適的模型，例如簡單問題走快速模型，複雜問題交給推理模型。
- 安全防護： 在呼叫 LLM 前，判斷輸入是否包含越權要求、提示注入或其他安全風險，再由程式決定拒絕、過濾或繼續。
- 工具呼叫分級： 將 Agent 提出的工具呼叫分類為允許、需確認或禁止。Jev 可以協助辨識意圖與風險；真正的權限檢查仍應由程式執行。
搜尋與大量資料處理
- 收件匣分流： 將郵件分類為垃圾郵件、急件、待回覆或封存，交給不同的後續流程。
- 搜尋結果重排： 依照查詢與段落的相關程度打分，讓更有用的內容排在前面。
- 大量資料標註： 對大量資料列套用固定標籤，例如客戶回饋主題或客服案件類別，再彙整結果。
評估與即時決策
- LLM 評測： 依照明確準則為模型輸出評分或分類，例如是否有回答問題、是否符合格式。
- 即時決策： 在對延遲敏感的互動流程中選擇下一步，例如遊戲角色或即時服務的動作。交易等高風險場景還需要獨立的風險限制與驗證。
- 信心門檻： 高信心結果交由程式自動處理，低信心結果轉交人工或更強的模型覆核。信心值應先用實際資料校準，不能直接當成正確保證。
還有哪些應用值得試？
除了上述九類，Jev 也可以用在 Agent 的記憶管理與工作流程控制：
- 挑選 Context 與記憶： 判斷目前任務需要載入哪些歷史訊息、文件或記憶，並標記重複或過時的內容。
- 判斷工具結果的下一步： 將結果分類為已完成、需要重試、改用其他工具或交給人處理，讓 Agent 不必每次都呼叫大型模型決定流程。
- 合併事件並排序覆核： 判斷告警或工單是否重複，再依急迫程度排列人工處理順序。
- 檢查資料品質與新鮮度： 標記可疑或不完整的資料，或判斷快取內容是否可能過期、需要重新查詢。
這些是根據 Jev 的結構化決策介面延伸出的候選用例，實際效果仍要用各自的資料和錯誤成本驗證。
如果你也在設計 Agent 的工具迴圈，可以接著讀 Agent loops 與 long-running agents；那篇談流程如何持續執行，本文則聚焦每個決策點交給誰處理。
我的觀察：把便宜模型的路由再往前推一步
我過去設計工作流程時，也常把分類、路由或初步評分交給比較便宜的模型；遇到複雜或低信心的問題，再升級到能力更強的模型或轉人工。這和 Jev 想處理的問題相似：不必讓最昂貴的模型負責每一個判斷。不過兩者不完全相同：前者是用通用 LLM 執行判斷，輸出仍要靠提示或結構化輸出機制控制；Jev 則直接回傳預先定義的決策型別。
Jev 把這種分工做得更徹底。它從介面上就把輸出限制在選項、分數或是非機率等結構化結果，讓程式可以直接處理，減少解析自由文字時遇到格式變異的風險。這裡說的「更安全」，主要是輸出介面更可控；判斷內容仍可能出錯，權限和高風險規則仍要由程式把關。TypeSafe 主打更快、更低成本，但這些是供應商的效能與價格主張，實際效益仍要放進自己的工作流程測量。[2] [3]
我猜未來會有更多針對特定任務優化的模型。Jev 面向結構化決策；往下發展的話，也可能出現更專門的分類器、排序器或評估器。模型選擇除了大小和通用能力，也要考慮任務類型、輸出介面、延遲、成本與錯誤代價。
怎麼判斷 Jev 是否適合？
如果問題能明確寫成有限選項、分數或是非判斷，而且程式知道每種答案該怎麼處理，就值得評估 Jev。若規則完全明確，直接寫程式通常更合適；若工作需要生成文字、解釋理由或進行長篇推理，則交給生成式模型。
簡單來說：讓 LLM 負責生成，讓 Jev 協助做生成前後的判斷，再由程式控制實際動作。
參考資料
- [1] ByteByteGo，〈EP227: Top 9 Places to Use Jev〉
- [2] TypeSafe AI，〈Introducing System One Models & Jev〉
- [3] TypeSafe AI Docs，〈Introduction〉