AI Capabilities Lesson 12|當特性互相衝突:診斷 AI 的非預期輸出

📚 AI Capabilities and Limitations 學習筆記系列
Lesson 12 / 14 ・ 課程進度 86%
L11
實作練習
L12
特性衝突
L13
下一步
📌 這篇文章談什麼?

四大特性從來不是各自運作的。真實世界的 AI 失誤,大多是兩個特性同時撞在一起。本課帶你診斷四組最經典的碰撞:捏造的引用、長對話飄移、自信滿滿的錯誤算術、附和你的錯誤前提。關鍵洞察只有一句——一旦你能叫出是哪兩個特性在作用,你就知道該伸手拿哪一種解方。這是整門課的收網,也是「辨別(Discernment)」的實戰版。

課程單元Lesson 12|When Properties Collide
預估時間約 25 分鐘(含練習)
難度中階(建議先讀完 L4–L11 四大特性)
官方單元連結When Properties Collide(英文)

本課學習目標

讀完這一課,你將能夠:

  • 認清大多數 AI 失誤都牽涉兩個以上的特性交互作用
  • 透過辨識「哪些特性在作用」來診斷常見失誤:捏造引用、長對話飄移、自信的錯誤算術、附和錯誤前提
  • 根據「哪個特性是限制因子」,採取對症下藥的修正

四大特性,從來不是各自運作

官方互動頁在這裡放了一個很妙的設計:四個特性是可以拖曳的節點,把任兩個拖近,就會看到它們相撞時發生什麼事。先把四個節點的「一句話定義」記起來:

🎲 📚 🧠 🧭 下一個 Token 預測 生成「聽起來對」的東西 知識 只知道訓練時讀過的 工作記憶 只注意「附近」的東西 可引導性 跟隨「最大聲」的指令

看懂這四句話,就懂為什麼它們會相撞:一個負責生成聽起來對的東西,一個只知道讀過的,一個只顧得上附近的,一個聽最大聲的。把任兩個放在同一個任務上,縫隙就出現了。

四組經典的「特性相撞」

① 捏造的引用文獻 🎲 + 📚

現象:你請 AI 附上參考來源,它給了格式完美的論文標題、作者、年份——結果一查,論文根本不存在。

哪兩個相撞:下一個 Token 預測(生成看起來合理的東西)撞上知識(一個模型自己不知道存在的空缺)。

為什麼:模型的知識裡有洞,但洞不會被標記出來(來源失憶)。當生成流程走到那裡,它不會停下來說「這裡我不知道」,而是用合理的材料無縫填滿——而引用文獻的格式,恰恰是最容易被模仿的模式。

🔧 對症解方:優先查證具體細節(名字、日期、數字、URL);改用有引用來源功能的工具(網頁搜尋、Research 模式),讓內容可追溯。

② 長對話中的飄移 🧠 + 🧭

現象:對話進行到第 30 則,你發現它早就不遵守你開頭訂的規則了——語氣跑掉、格式跑掉、當初說好的限制不見了。

哪兩個相撞:工作記憶(早期脈絡逐漸淡出)撞上可引導性(後來的指令覆蓋掉先前的)。

為什麼:你開頭的規則離現在越來越遠,滑進了注意力的中段死區、甚至被擠出視窗;而每一則新訊息都是「更大聲」的指令。兩股力量同方向作用——舊規則變弱、新指令變強

🔧 對症解方:重新供應關鍵脈絡(「提醒:全篇維持 800 字內、對象是高中生」);把常設規則搬到系統提示或專案設定;或乾脆開新對話並帶上整理過的脈絡。

③ 自信滿滿的錯誤算術 🎲 + 🧭

現象:一份財務試算,每一步的說明都清楚流暢、語氣篤定,但總數是錯的。

哪兩個相撞:下一個 Token 預測(流暢度與真實性脫鉤)撞上可引導性(沒有原生的數量感,處理數字仍是靠模式)。

為什麼:模型不是在「計算」,是在「寫出看起來像計算的東西」。早期的小偏差沿著推理鏈累積(推理飄移),而流暢的敘述把猜測包裝得像結論——這正是「錯置的自信」。

🔧 對症解方:把數學外包給程式碼執行(真正的直譯器);要求它展示每一步;在第二步插入檢查點,而不是等最終答案。

④ 附和你的錯誤前提 🤝 + 🎲

現象:你說「我覺得這個策略無懈可擊」,它熱情地幫你把策略講得更好聽——而策略的前提根本是錯的。

哪兩個相撞:訓練出來的性格Lesson 3 的諂媚指紋)撞上下一個 Token 預測(延續你的框架,而不是挑戰它)。

為什麼:微調讓它偏好被認同的回應,而生成機制本來就在「延續已經寫下的東西」。你先表了態,那句話就成了它要延續的模式——兩股力量都指向「順著你講」

🔧 對症解方:明確邀請反駁(「如果你認為我錯了,請真誠地告訴我」);提問時先不要表態;或請它先列出最強的反面論點再回答。

三步驟診斷法

下次 AI 給你一個令人失望的輸出時,別急著重試——先跑一遍這三步:

① 描述現象

我問了什麼?拿到什麼?具體哪裡不對?

② 叫出兩個名字

四個特性裡,哪兩個在這裡作用?哪一個是限制因子?

③ 對症下藥

根據診斷選解方,而不是把同一句話再講一次

診斷速查表

你看到的現象哪兩個特性解方
細節精確但查不到/不存在🎲 Token 預測 + 📚 知識查證具體細節、改用有來源的工具
聊久了規則跑掉🧠 工作記憶 + 🧭 可引導性重供脈絡、搬到系統提示、開新對話
計算流暢但答案錯🎲 Token 預測 + 🧭 可引導性交給程式碼執行、展示步驟、插檢查點
它一直說我對🤝 諂媚性格 + 🎲 Token 預測邀請反駁、先別表態、要求反面論點
最新的事它講成舊的📚 知識 + 🎲 Token 預測開啟網頁搜尋、自己提供最新資料
長文件漏看中間的關鍵條款🧠 工作記憶 + 🧭 可引導性關鍵指示前置與結尾重申、分段處理
🔗 4D 框架連結:辨別(Discernment)的實戰版

這個「叫出兩個特性名字」的動作,就是辨別能力的實際操作。當你知道自己面對的是哪一種錯,評估會準得多——也才不會用錯解方(例如遇到知識空缺卻拼命改提示、遇到脈絡流失卻怪模型變笨)。4D 框架教你要辨別;這門課給了你辨別時該用的座標。

重點整理(Key Takeaways)

  • 真實世界的失誤通常是兩個特性交互作用,而不是單一特性出問題。
  • 要認得的診斷配對:Token 預測 + 知識(捏造的具體細節)、工作記憶 + 可引導性(長對話飄移)。
  • 叫出在作用的特性名字,會直接指向解方:查證具體細節、重供脈絡、外包給程式碼執行、或邀請反駁。
  • 這個診斷動作就是「辨別」的應用——知道自己面對的是哪一種錯,評估才會準。

實作練習:失誤診斷(The Failure Diagnosis)

回想你用 AI 的經驗(包括這門課過程中觀察到的),找出 2–3 次輸出真正讓你失望或意外的時刻。每件事用一兩句話寫下:你問了什麼、拿到什麼、哪裡令人失望或意外。

步驟一:把每個事件拿去跟 AI 討論。描述發生了什麼,然後問:「根據四大特性(下一個 Token 預測、知識、工作記憶、可引導性),這裡可能是哪些特性在作用?為什麼?

步驟二:用你現在的知識評估它的診斷。你同意嗎?不同意就直接反駁。

⚠️ 記得 Lesson 3諂媚指紋:AI 可能太快同意你的框架。如果你覺得它錯了,說出來——這一步本身就是碰撞④的實戰。

步驟三:針對每個診斷追問:「既然是這個診斷,最對症的修正是什麼?」可以的話,現在就拿一個類似任務測試這個調整。

收尾:你的任務清單,五層註記總回顧

現在打開你從 Lesson 1 一路累積下來的任務清單。經過這門課,它上面應該已經疊了好幾層資訊:

Lesson 1任務清單本體 + 一次到位/需要重做
Lesson 2特性標籤(你當初憑直覺猜的那四個問題)
Lesson 4查證分數(具體細節的正確率)
Lesson 6知識註記(可以依靠模型/需要自己餵)
Lesson 8脈絡需求(要常設脈絡/冷啟動就夠)
Lesson 10目標句與檢查點位置

📎 最後一步:挑出最讓你頭痛的那幾個任務,替每一個寫下「是哪兩個特性在相撞」。這份清單,就是你從這門課帶走的個人化診斷手冊

課後反思

  • 叫出特性配對的名字,有沒有改變你會採取的解方?上這門課之前,你會不會用另一個(比較沒效的)方法?
  • 你的日常工作中,最常遇到哪一組特性配對?

下一課預告

最後一課,我們把你建立起來的一切收攏起來:把這門課接回 4D 框架成為一套完整的系統,並指出可以往下深入的方向。之後就是官方測驗與證書了 🏆

← 上一課
Lesson 11|實作練習:字面 vs 精神
下一課 →
Lesson 13|下一步

延伸閱讀

常見問題 FAQ

Q1:為什麼 AI 會給出格式完美但不存在的參考文獻?

這是「下一個 Token 預測」撞上「知識」的典型案例:模型的知識有空缺,但空缺不會被標記出來,生成流程走到那裡就用看似合理的材料填滿,而引用格式又是最容易模仿的模式。解方是查證所有具體細節,並改用有引用來源功能的工具。

Q2:為什麼聊久了 AI 就開始不遵守我一開始訂的規則?

這是「工作記憶」撞上「可引導性」:開頭的規則隨對話變長而淡出注意力甚至被擠出視窗,同時每一則新訊息都是更大聲的指令。解方是重新供應關鍵脈絡、把常設規則搬到系統提示或專案設定,或開新對話並帶上整理過的脈絡。

Q3:怎麼避免 AI 一直附和我?

附和是「訓練出的諂媚傾向」撞上「延續你的框架」。三個做法:提問時先不要表達自己的立場、明確邀請它反駁(「如果你認為我錯了,請真誠告訴我」)、或請它先列出最強的反面論點再作答。

Q4:AI 輸出出問題時,第一步該做什麼?

不要急著重試或把同一句指令講得更用力。先跑三步驟診斷:具體描述哪裡不對 → 叫出是哪兩個特性在作用 → 依診斷選對應解方(查證細節、重供脈絡、外包計算、邀請反駁)。診斷錯了,再多的重試也修不好。

本文為 Anthropic 官方課程之中文學習筆記。原課程建立於 Prof. Rick Dakan(Ringling College of Art and Design)與 Prof. Joseph Feller(University College Cork)發展的 AI Fluency Framework 之上,以 CC BY-NC-SA 4.0 授權釋出。Copyright 2026 Anthropic.

📬 喜歡這篇文章?訂閱電子報不錯過任何更新

生成式 AI 時代,最珍貴的資產不是工具本身,而是你的提問力與協作思維。
每週精選 AI 實戰技巧、官方課程更新與 AI 工作流攻略,直接寄到你的信箱!

免費訂閱電子報 →

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *