Claude Cowork Lesson 12|驗證 Plugin 技能的安全檢查

Claude Cowork Lesson 12|驗證 Plugin 技能的安全檢查

Claude Cowork 系列進度 12 / 14

← 回到 Claude Cowork 完整課程目錄

Claude Cowork Lesson 12|驗證 Plugin 技能的安全檢查

📌 這篇文章談什麼?

  • eval(評測)不是什麼技術活——就是一次試跑:丟一個真實請求進去,看結果,然後告訴 Claude 該修什麼。
  • 關鍵在對照組:同一個請求,一邊用你的 skill、一邊不用,並排看差別。
  • 附三組完整對照範例——包含一個「兩邊同分」的案例,那才是最值得看的。
  • 迭代原則:一次只改一件事;出貨標準不是滿分,而是「你在意的案例明顯比基準好」。
課程單元Lesson 12|Validating skills for plugins
官方預估時長約 8 分鐘(含三組模擬評測練習)
需要寫程式嗎完全不用。沒有程式、沒有測試腳本,靠的是你的判斷
官方連結前往 Anthropic Academy 原課程 →

🎯 本課學習目標

  1. 說明什麼是 eval,以及為什麼在你依賴或分享一個 skill 之前它很重要。
  2. 透過 skill-creator 跑一次輕量的 eval。

一、為什麼這件事重要

當你建立一個 skill、或把幾個打包成 plugin 時,你其實是在做一個會被別人使用的小產品。就像任何你會交給同事的東西——一份範本、一個試算模型、一張檢核表——在它離開你的桌子之前,值得先試跑一次。

🕳 你自己用,和別人用,差在哪裡

當你用的是自己做的 skill,你知道怎麼繞過它的問題。你清楚該問什麼、該給哪些檔案、答案應該長什麼樣。

但同事一樣都沒有。他可能把請求講得稍微不一樣、給的輸入略有出入、或撞上一個邊緣案例——那種不常見但真實會發生的情況,例如剛好落在這個 skill 設計範圍之外的請求。skill 通常就是在那裡絆倒的,而使用它的人不會知道為什麼。

🔑 別被「評測」這個詞嚇到。
eval 就是一次試跑:丟一個真實的請求進去,看看出來什麼,然後告訴 Claude 要修什麼。
沒有程式碼、沒有測試腳本——只有你的判斷:這個結果好到可以掛上你的名字了嗎?

二、評測系統怎麼運作

當你用 skill-creator(Claude 內建的 skill 建立助手)做 skill 時,它會把 eval 當成流程的一部分帶你走過。實際上是這樣:

評測流程:一個真實請求分別產出有技能與無技能兩份結果,你並排比較並給回饋,Claude 據此修改技能,形成一個循環 一個真實的請求 有用你的技能 結果 A 沒有用技能 結果 B = 對照基準 你並排比較、給回饋 Claude 修改技能

▲ 這是一個迴圈,不是一次性的關卡。

⚖️ 對照組才是重點

skill-creator 會想出兩個以上可能有人會拿來用的真實請求。每一個請求,它都產出一對結果:一份用了你的 skill、一份沒有用。

第二份就是比較基準。它存在是為了讓你並排看出你的 skill 實際上造成了什麼差別——不只是「這個產出還可以嗎」,而是「這個產出比 Claude 自己做出來的更好嗎」。

你要回答的其實只有兩個問題

✅ 技能版是我會拿去用的那份嗎?

如果是,很好——記下是什麼讓它變好的,好讓這個 skill 繼續保持。

✏️ 如果不是,缺了什麼或哪裡不對?

要具體。「語氣太正式了」或「它漏掉摘要段落」是 Claude 可以據以行動的;「這個不太對」則不是。

你在審閱頁面上用白話文寫下回饋就好。送出之後,Claude 會根據你說的內容替你修改這個 skill。

三、讀懂一份 eval:三組實例

官方用一個「會議記錄 skill」示範三種情境。這個 skill 的內部規則有四條:先講決議、每個待辦都要有負責人與日期、把待確認問題獨立列出、字數控制在一定範圍內。

案例一 典型情境

整理一場例行的產品同步會議

有技能 ✓✓✓✓ 4/4

決議
・新的引導流程週一起對 10% 新註冊用戶上線
・站內導覽改版暫緩到上線之後

待辦事項
・〔負責人 A〕——本週五前完成上線計畫
・〔負責人 B〕——本週三前為新流程加上啟用率追蹤
・〔負責人 C〕——下週一前草擬公告貼文

待確認問題
・上線到 10% 之前,新文案需要法務簽核嗎?

✓ 先講決議 ✓ 每個待辦都有負責人與日期
✓ 待確認問題獨立列出 ✓ 字數合規

無技能 ×××✓ 1/4

團隊今早針對新的引導流程有一場很有收穫的討論。看過最新的設計稿之後,大家決定下週一開始推進 10% 的上線。站內導覽改版也有被提到,但共識是等上線之後再回頭處理。

〔某人〕主動說會完成上線計畫,〔某人〕提到他會看一下追蹤的部分。〔某人〕則要草擬公告的東西。關於新文案是否需要法務表示意見,也有一些來回討論——團隊當下沒有做出結論。

整體來說是一場有明確後續步驟的成功會議。

× 先講決議 × 每個待辦都有負責人與日期
× 待確認問題獨立列出 ✓ 字數合規

📌 差距最明顯的一組。無技能版讀起來像散文,資訊都在裡面,但「誰要在哪天前做什麼」全部糊掉了。

案例二 凌亂的輸入

從潦草、半數是貼上訊息的筆記整理站立會議

有技能 ✓✓✓× 3/4

決議
・網路研討會從 5/14 改到 5/21,避開與客戶大會撞期

待辦事項
・〔負責人 A〕——下週一前更新報名頁並重寄邀請
・(負責人不明——要不要跟某某確認?)——本週三前依新日期調整信件節奏

待確認問題
・需要通知先前宣傳過原日期的合作夥伴嗎?
・改期後的當日執行由誰負責?

✓ 先講決議 ✓ 待辦有負責人與日期(或已標示)
✓ 待確認問題獨立列出 × 字數超出

無技能 ✓××✓ 2/4

團隊同意把網路研討會從 5/14 推遲到 5/21,因為客戶大會在同一週。〔負責人 A〕會更新到達頁並重寄邀請。

〔某人〕會依新日期調整信件節奏。團隊也討論了如何處理已經宣傳過原日期的合作夥伴,以及新日期的當日執行事宜。

進展不錯——大家對這次改期都有共識。

✓ 先講決議 × 待辦有負責人與日期(憑空編出一個負責人)
× 待確認問題獨立列出(埋在敘述裡) ✓ 字數合規

📌 這一組的關鍵不在分數,在那個「負責人不明」的標示。有技能版老實承認它不知道並請你確認;無技能版則直接編了一個負責人出來。前者字數超標所以扣了一分,但那是遠比「憑空指派工作給某人」輕微的問題。

案例三 形式與實質的拉扯

寫給「只看前三行」的主管的會議記錄

有技能 ✓✓✓× 3/4

決議
・上線日從 5/28 延到 6/12,以吸收品保測試的延遲
・客戶溝通計畫暫緩到新日期確定

待辦事項
・〔負責人〕——下週一前發送修訂後的上線計畫

待確認問題
・新日期會影響我們承諾的本季數字嗎?

✓ 先講決議 ✓ 待辦有負責人與日期
✓ 待確認問題獨立列出 × 重點沒在前三行(日期被推到第五行)

無技能 ✓✓×✓ 3/4

上線延到 6/12——品保需要再兩週處理新的驗證流程,如果 5/28 硬上,我們會落得只推出部分功能。

客戶溝通在新日期確定前暫停。〔負責人〕會在下週一前發送修訂後的計畫。

待確認:新日期會影響本季承諾的數字嗎?——已標記請財務確認。

✓ 先講決議 ✓ 待辦有負責人與日期
× 待確認問題獨立列出(埋在敘述裡) ✓ 重點在前三行

📌 兩邊同分——這才是最值得看的一組。技能版守住了結構(問題獨立列出),但因為結構本身有標題層次,最關鍵的日期被擠到第五行;無技能版第一句就把日期講出來,卻把待確認問題埋進敘述裡。各有各的失分,分數一樣。

🔑 這正是為什麼 eval 不能只看分數。
案例三的分數是平手,但你一看就知道要給什麼回饋:「這個受眾只看前三行,請讓決議的日期出現在最開頭。」
eval 的價值不在打分,在於逼你看清楚「差在哪裡」,然後說出那一句話。

四、迭代這個 Skill

你的回饋就是修正本身。送出之後,Claude 會更新這個 skill——改寫指令、調整範例、把它要求的東西收緊——然後你可以再跑一次同樣的請求,看看那個改動有沒有生效。

🎯 一次只改一件事

如果第一輪顯示這個 skill 既太囉嗦、又漏掉一個段落,挑比較要緊的那一個去修,重跑,然後再回來做第二次審閱。這樣你才分辨得出到底是哪個改動真的起了作用。

🔁 它是一個迴圈,不是一次性的關卡

修改之後如果你還是不滿意,就再跑一次。大部分 skill 在一到兩輪之後就可以用了。

📏 出貨標準是什麼?
把一個 skill 交出去——給你自己、給同事——標準不是評測完美。
而是:① 你在意的那些案例,明顯比基準版更好;② 你已經指出還沒處理好的是哪些案例。

✨ 如果第一輪產出就已經很好了呢?那就結束了。eval 不是一道要跳過去的圈——它存在是為了讓你在需要信心的時候有信心,不是為了走個形式。

📝 本課重點整理

  1. 你做的 skill 是一個小產品,別人用它時沒有你的內建知識——邊緣案例就是它絆倒的地方。
  2. eval 就是試跑:真實請求進去、看結果、說出要修什麼。不用寫程式。
  3. 對照組是核心設計:問題不是「這個還可以嗎」,而是「這比 Claude 自己做的更好嗎」。
  4. 回饋要具體:「語氣太正式」可以行動,「這個不太對」不行。
  5. 一次改一件事;出貨標準不是滿分,而是重要案例明顯更好、且你知道還缺什麼。

✍️ 動手練習:讀一份 eval

回到上面那三組對照,針對每一對做兩件事:

  1. 挑出你真的會拿去送出的那一版。
  2. 寫一行你會給 Claude 的回饋。

這就是整個迴圈。當那是你自己的 skill 時,Claude 會拿你的選擇與回饋去修改它。

回饋寫法對照:可行動 vs 不可行動

✗ Claude 無法行動✓ Claude 可以行動
「這個不太對」「它漏掉了摘要段落」
「感覺怪怪的」「語氣太正式了」
「再好一點」「決議的日期要出現在前三行」
「不夠專業」「負責人不確定時要標示,不要自己指派」

判斷方式:把你寫的那句話唸一遍,你能想像 Claude 要改哪一行 SKILL.md 嗎?想不出來,就是還不夠具體。

🚀 下一課預告

Lesson 13 要從「這個對我有用」走到「這個對團隊有用」——那些把個人工作流程變成共享基礎設施的模式與選擇。

常見問題 FAQ

eval(評測)需要會寫程式嗎?

完全不用。官方講得很明白:沒有程式碼、沒有測試腳本。eval 就是一次試跑——丟一個真實請求進去,看看出來什麼,然後用白話文告訴 Claude 要修什麼。整個過程靠的是你的判斷:這個結果好到可以掛上你的名字了嗎?

為什麼要看「沒有用 skill」的那一份?

因為它是比較基準。沒有對照組的話,你只能問「這個產出還可以嗎」;有了對照組,你問的才是「這比 Claude 自己做出來的更好嗎」。如果兩邊差不多,那這個 skill 其實還沒創造出什麼價值,該回頭想想它到底要固定住什麼。

回饋要怎麼寫,Claude 才改得準?

要具體到可以行動。「語氣太正式了」或「它漏掉摘要段落」是 Claude 能據以修改的;「這個不太對」則沒有著力點。判斷方式很簡單:把你寫的那句話唸一遍,你能想像 Claude 要改 SKILL.md 的哪一行嗎?想不出來就是還不夠具體。

一輪要修幾個問題?

一次只改一件事。如果第一輪同時發現太囉嗦又漏段落,挑比較要緊的那個修、重跑,再回來做第二輪。這樣你才分辨得出到底是哪個改動起了作用。大部分 skill 在一到兩輪之後就可以用了。

要評測到全部通過才能分享出去嗎?

不用。官方的出貨標準是兩件事:你在意的那些案例明顯比基準版更好,而且你已經指出還沒處理好的是哪些案例。滿分不是門檻——把「目前還處理不了什麼」講清楚,反而比追求完美更有價值,因為接手的人會知道邊界在哪。

如果兩份產出分數一樣,代表 skill 沒用嗎?

不一定,而且這種情況最值得細看。分數平手通常代表兩邊各有各的失分方式——例如技能版守住了結構但重點被推後,無技能版開頭有力但把待確認事項埋進敘述裡。這時候你要做的不是比分數,而是看清楚差在哪,然後給出那一句具體的回饋。

延伸閱讀

※ 本文為個人學習筆記,內容整理自 Anthropic Academy 課程「Introduction to Claude Cowork」Lesson 12,並補充中文說明與回饋寫法對照。官方範例中的人名為虛構示範,本文已改以角色描述呈現。原課程 Copyright 2026 Anthropic, All rights reserved. 產品功能以官方公告為準,本文更新於 2026 年 7 月。

📬 喜歡這篇文章?訂閱電子報不錯過任何更新

生成式 AI 時代,最珍貴的資產不是工具本身,而是你的提問力與協作思維。
每週精選 AI 實戰技巧、官方課程更新與 AI 工作流攻略,直接寄到你的信箱!

免費訂閱電子報 →