每一筆結果的去向
- 結構對得上 放行
- 對不上 換路徑重跑
- 外部狀態不明 關閉並報錯
- 仍對不上 標記交人
你的 AI demo 很神。上線後它會這樣壞掉。
八種失效的共同點:出錯的時候,系統沒有報錯。每一種都配一道護欄,全部是決定性程式,沒有模型在判斷。
本頁沒有客戶見證,也沒有準確率;以下是失效型態與做法,不是事故紀錄或量測結果。
會怎麼壞護欄怎麼接
F1抽出的數字彼此對不上,照樣入庫。
G1先過算術恆等式;對不上就重跑,仍對不上交給人。
F2回應被截斷,半份結果看起來完整。
G2讀 finish reason;截斷就切成小批重跑。
F3模型拒答,整批任務跟著失敗。
G3拒答另走一線:先升溫重試,仍失敗才降級。
F4服務逾時,被當成憑證失效。
G4只有 401/403 才換金鑰;逾時不換。
F5長任務跑在網頁請求裡,一部署就消失。
G5佇列落資料庫,卡住的任務會被回收重排。
F6任務中斷只能整份重跑,再付一次錢。
G6逐單位存進度,從中斷處續跑,不重複計費。
F7外部服務沒設定,靜默改用假資料。
G7沒設定就關閉功能並報錯。
F8樣本不足,照樣給出結論。
G8樣本低於門檻就明確標示,不輸出看似正常的數字。
護欄本身也會壞
永遠回報通過的檢查,跟沒有檢查一樣。所以每一道交付前:
- 先故意弄壞一次,證明它會叫。
- 在健康的輸入上連續跑,證明它不誤叫。
- 「還沒量到」另立一態,不混進通過或失敗。
- 會靜默失敗的機制,另寫專屬斷言。
這四條都與 AI 無關,所以這一層不用模型來做。
這不是什麼
- 不是模型,也不是 AI 平台;它是模型外面的一層程式。
- 不承諾錯誤率、SLA 或賠償。
- 它讓錯誤被偵測到,不讓錯誤消失。
如果你手上那套已經在線上了
- 模型失敗的時候,你的系統怎麼知道?
- 長任務中斷的時候,進度在哪裡?
- 外部服務沒設定的時候,會發生什麼事?
- 你上一次確認這些檢查還在運作,是什麼時候?
對談不需要你交出程式碼。我們先看架構圖跟 log 就夠了。
