
做完之後,派一個沒看過過程的 AI 去驗
AI 自己驗一份產出,兩項全過。另外派一個看不到原本對話的 subagent 去驗,找到 6 條問題,全部落在原本的檢查範圍之外。漏掉的檢查不會報錯,只會沒出現。
文 KIDULT 3 MIN READ
8 月中,我讓 AI 把一支英文影片整理成中英對照的學習頁。那支影片是 Greg Isenberg 講「圖工程」的一集,裡面有一句 Checking is its own job,意思是檢查本身是另一份工作,寫答案的人不該自己打分。
學習頁做完,AI 自己列了兩項檢查,有沒有簡體字、字重有沒有超過規定,兩項都過。
我想起影片那句話,多做了一件事,請它另外派一個 subagent 去驗。Claude Code(Anthropic 出的 AI 工具)可以在對話裡另外開出一個子對話,這個子對話就叫 subagent,它看不到原本的對話紀錄。我不告訴它誰做過什麼、用什麼方法,只給它檔案位置跟「這東西該符合什麼」,請它自己檢查。
它找到 6 條問題。
6 條全部落在原本那兩項檢查之外。1 條是阻擋級,也就是不修就不能交出去,4 條應該修,1 條是建議。阻擋級那條是一個時間碼,頁面寫某個論點出自影片 22:56 到 23:20,那段講的其實是別的事,真正的依據在 23:34 之後。畫面上它看起來完全正常,就是一行時間碼。
我用 AI 做事的方式,原本是開一個對話,把一整件事從頭做到尾。想清楚、動手、檢查,全在同一條線上。這樣做有一個問題,而且這個問題不會報錯。
我當下想知道的是,為什麼一開始沒有人想到要檢查那些。
回頭看,那兩項檢查是 AI 一邊做、一邊順手列的。它用搜尋文字的方式做,就只想得到用搜尋文字去驗。它會去驗它擔心的地方,而它擔心的地方,正是它做的時候有意識到的地方。那 6 條都要拿另一份資料回頭對,或想像使用者會怎麼操作,才看得到,像那個時間碼,要拿逐字稿回頭對才看得出來。
那些沒意識到的,不會變成一條失敗的檢查,它們根本不會出現在清單上。
這跟「請人幫忙看」不一樣。找一個知道你怎麼做的人來看,他會順著你的思路走一遍,很容易跟你漏在同一個地方。
要的是沒有脈絡的那個。脈絡指的是一個對話裡累積下來的東西,交代過的需求、做過的步驟、中間下過的判斷。AI 每做一步都帶著這些往下走,檢查的時候也一樣。
所以我刻意製造一個沒有脈絡的環境,讓它用陌生的眼睛看一次。做法很普通,就是另開一個新對話。Claude Code 的官方文件其實也這樣建議,換一個新的脈絡來審程式碼,Claude 比較不會偏袒自己剛寫的東西。我只是把這個動作,拿來當成一道隔離牆。
我現在的判準是:如果一件事的失敗方式,跟你做它的方式有關,那就不要自己驗。
這條判準的適用範圍比我一開始想的大。寫完一份報價單,我不會自己檢查有沒有漏項,因為漏掉的那項,正是我想事情的時候沒想到的那項。做完一個網站,我不會只測自己設計的那條動線,也就是使用者在網站上一路點下去的路徑,因為我會不自覺地照著我預期的順序點下去。
交稿前找人看一眼,找的不是更厲害的人,是沒有參與過程的人。
所以現在我做事的順序變了:做完不是終點,是「換一個沒有脈絡的人來看」的起點。
那次的成本是兩分半鐘,加上大約 28 萬 token,token 是 AI 服務計算用量的單位。同一天我又試了一次,那次負責驗收的 AI 半路被擋下來,只交回一句看起來很正常的結論,要回頭看它有沒有跑完才知道沒驗到。這個成本我願意付,只是要記得確認它真的驗完了。
你上一次說「我檢查過了」,那份檢查清單是誰列的?
留言
看全部留言 →用一段話,接著聊。留言送出後,所有讀者都看得見。
正在載入留言⋯