我請一個 AI agent「用 Playwright 確認排版是否正確」。
Agent 執行了。回傳了 PASS。沒有任何錯誤訊息。
但它沒有真正打開瀏覽器截圖——它把任務折疊成「跑完 layout verifier → 得到報告」就結束了。
指令清楚。執行完成。結果卻錯了。
沒有人報錯,因為從系統的角度看,一切都對。
這不是 bug。這是 semantic ambiguity 在 contract world 裡的靜默失敗。
為什麼沒有人報錯?
「用 Playwright 確認排版」是一個 semantic instruction——它帶有意圖:打開瀏覽器、截圖、用眼睛確認。
但 agent pipeline 把它處理成 contract:layout verifier 有跑 → 有 PASS/FAIL → 任務完成。
Validation layer 通過了。但語意從來沒有被正確翻譯。
問題不在任何一個環節失敗,而是 semantic ambiguity 在進入 execution 之前,從來沒有被明確翻譯成 contract。它靜靜地帶著歧義通過了每一層。
Deterministic System 的本質是 Contract
Deterministic system 建立在一個根本假設上:
相同的 input
→ 相同的 output
→ 可追蹤的失敗
→ 可解釋的推理
這是 contract。
Contract 的力量在於:當它失敗時,你知道哪裡失敗了,為什麼失敗。整個系統的可靠性建立在這個可追蹤性上。
Rule-based system、API schema、型別系統、unit test——這些都是 contract 的不同形式。它們的共同點是:ambiguity 不被允許進入。
Semantic Interpretation 的本質是 Meaning Negotiation
語意解釋不是 contract。它是 meaning negotiation。
「用 Playwright 確認排版」這句話沒有唯一正確的解釋。它的意思取決於:
- 說話者的意圖
- 接收者的背景知識
- 當下的 context
- 雙方對「確認」這個詞的共識
這不是 bug,是語言的本質。
Semantic system 活在 ambiguity 裡。Contract system 假設 ambiguity 不存在。
這兩者不只是不同的技術選擇——它們是兩種不同的認識論。
你不能用 Validation Layer 解決它
很多人的直覺反應是:加更多 validation。
但 validation 只能檢查 contract 有沒有被滿足。它無法填補 semantic gap,因為它不知道 semantic gap 存在。
在 Playwright 的例子裡:
- 加一個 validation 確認 agent 有執行 ✓
- 加一個 validation 確認有回傳 PASS/FAIL ✓
- 加一個 validation 確認截圖檔案存在 ✓
但這些都沒有問:「你執行的,是我真正要求的嗎?」
Validation 只能驗證 contract 的執行。它無法翻譯 semantic intention。
你需要的不是更多 validation,而是一個明確的 semantic-to-contract translation layer。
Translation Layer 長什麼樣
Translation layer 的工作是:在 semantic instruction 進入 execution 之前,把它轉換成明確的 contract。
以 Playwright 的例子,translation layer 會把:
「用 Playwright 確認排版是否正確」
轉換成:
1. 啟動 browser instance
2. 導航到目標 URL
3. 截圖並儲存
4. 驗證 table selector 存在且可見
5. 驗證 code block 有 syntax highlighting class
6. 把截圖路徑回傳到主對話
這個 contract 是可以被 validated 的。更重要的是:它讓 semantic gap 顯形——如果翻譯錯了,錯誤會發生在 translation layer,而不是靜默地消失在 execution 裡。
這不只是 LLM 的問題
這個衝突出現在任何「人類意圖遇上系統執行」的邊界:
- LLM agent 接受自然語言指令
- Recommendation system 接受模糊偏好
- Autonomous system 接受高層目標
- 任何 API 接受人類設計的 schema
每一個邊界都是 semantic world 和 contract world 的接縫。
現在這個邊界正在變得越來越普遍,因為我們在快速地把 semantic instruction 餵給 system execution——LLM、AI agent、自動化工具——但我們沒有意識到這兩個世界的本質差異。
| Semantic World | Contract World |
|---|---|
| 意圖(Intent) | 規格(Spec) |
| 語意(Meaning) | 型別(Type) |
| 偏好(Preference) | 約束(Constraint) |
| 模糊(Ambiguity) | 確定(Determinism) |
| 詮釋(Interpretation) | 執行(Execution) |
Translation Layer 的終點:把 Contract 寫成 Code
在分析完 Playwright 失敗之後,我們討論了怎麼修正那個 layout verification 的流程。
直覺反應是:把 DoD 寫得更清楚,讓 agent 的 prompt 更明確。
但更深的問題出現了:為什麼要用 agent 做一個純機械性的任務?
Layout 驗證不需要任何語意解釋。前一節列出的六個步驟是固定的,不會因為 context 不同而改變——這正是 contract 的定義。
它應該活在 code 裡,不是活在給 LLM 的指令裡。
node scripts/verify-layout.js <slug>
# → 截圖存到 /tmp/verify-<slug>-*.png
# → console 輸出 PASS/FAIL + 各項檢查結果
# → 失敗時 exit code 1Script 本身就是 translation layer 的完成形式。它把「確認排版是否正確」這個 semantic instruction,一次性地翻譯成一組固定的 contract,encode 進 code。之後每次執行都是相同的 contract,不消耗 LLM token。
一個值得注意的細節:script 的輸出是截圖檔案,不只是 PASS/FAIL 文字。PASS 只能確認特定 selector 存在,無法替代視覺確認——截圖必須被讀進主對話,由人眼做最後確認。文字 PASS 是必要條件,不是充分條件。
這說明了 translation layer 真正做的事:它不消滅 semantic interpretation,而是把能機械化的部分全部機械化,讓剩下那一層語意判斷(這個表格視覺上正確嗎?)在正確的地方、以明確的形式出現——而不是靜默地藏在某個 agent 的詮釋空間裡。
還有一個執行前提:script 需要等 deployment 完成才能執行,否則 Playwright 截到的是舊版本。push 後需要等約 90 秒確認 deployment 上線,再觸發 script。這是 contract 的 precondition,需要明確排程,不能假設它會自動滿足。
用 agent 做這件事,反而是把 semantic ambiguity 重新引入——你用一個 semantic instruction,告訴一個會詮釋指令的系統,去做一件不需要詮釋的事。這個迴圈本身就是問題的來源。
當任務是機械性的,translation 的終點應該是 code,不是自然語言的 prompt。
結論
Playwright 的失敗不是技術問題。是架構問題。
Semantic ambiguity 不會在 validation layer 被攔截,因為 validation 只看 contract。它會靜靜地通過,帶著錯誤的解釋一路執行到底,產生一個看起來成功、實際上錯的結果。
解法不是更多 validation。是讓 translation layer 顯形——讓語意到合約的轉換成為一個明確的、可審計的步驟,而不是每個系統元件各自猜測對方的意圖。
這是下一代軟體架構真正難的地方:不是讓 LLM 更準確,而是設計一個能夠承接 semantic world 和 contract world 之間根本衝突的邊界。