AI Capabilities Lesson 4|下一個 Token 預測:AI 幻覺與流暢從何而來

AI Capabilities Lesson 4|下一個 Token 預測:AI 幻覺與流暢從何而來

📚 AI Capabilities and Limitations 學習筆記系列
Lesson 4 / 14 ・ 課程進度 29%
L3
AI 的性格
L4
Token 預測
L5
實作練習
📌 這篇文章談什麼?

生成式 AI 更像一台超大規模的自動完成,而不是搜尋引擎——它不是「查」答案,而是根據「什麼通常接在什麼後面」一個字一個字把答案寫出來。這個單一事實,比本課程任何其他知識都更能解釋 AI 的行為:它同時給了你流暢幻覺。本課教你判斷任務落在「熟路」還是「生路」、認識捏造最愛集中的五類「具體細節」,以及引用來源等把限制邊界往外推的產品機制。

課程單元Lesson 4|Next Token Prediction
預估時間約 30 分鐘(含練習)
難度入門~中階,無需技術背景
官方單元連結Next Token Prediction(英文)

本課學習目標

讀完這一課,你將能夠:

  • 解釋下一個 Token 預測作為生成式 AI 的核心機制,以及它為什麼同時產生流暢與幻覺
  • 把任務定位在下一個 Token 預測的光譜上:熟路 vs 生路
  • 認出具體細節(名字、日期、引用、統計)是捏造最集中的地帶
  • 辨識引用來源、不確定性標示、受限生成、生成者—驗證者模式等產品機制,其實都是針對這項限制的緩解措施

開始之前,先猜一題

官方課程在這裡有個互動設計,你在往下讀之前先回答:

🤔 你請 AI 幫你摘要一份長報告。你需要多仔細地檢查結果?先在下面的光譜上選一個位置,記住你的答案,再往下讀。

直接信任抽查核對細節仔細查證高風險
✅ 能力區⚠️ 限制區

選好了嗎?官方統計多數學員選「抽查(Spot-check)」,而這也是建議答案:摘要是模型看過數百萬次的「熟路」,通常能俐落完成——但仍要抽查有沒有被發明出來的具體細節。如果你選的是「直接信任」或「仔細查證」,讀完這課再回來看看你的直覺差在哪。

超大規模的自動完成

每個現代 AI 助手的核心,是一個極其簡單、卻以驚人規模執行的操作:「根據目前為止寫的一切,預測接下來是什麼。」系統一次生成一小段,一遍又一遍,每個新字都是從一個機率分布中取樣出來的——那個分布,由它在訓練中學到的一切所塑造。

💬 生成式 AI 更接近一台極度精密的自動完成(autocomplete),而不是搜尋引擎。官方直說:這一個區分,比本文件中任何其他事實都更能解釋 AI 的行為。

換句話說:系統不是在「查」一個答案,而是在「寫」一個答案——一個字接一個字,根據「什麼通常跟在什麼後面」。同一套生成流程永遠在運作,變的只是這條路有多熟

  • 熟路(能力區):任務長得像模型看過無數次的模式——摘要、重排格式、解釋常見概念
  • 生路(限制區):任務推進到新穎、模式稀疏的領域,或需要區分「真的」和「聽起來像真的」

一體兩面:同一個機制的能力與失誤

✅ 這個機制讓 AI 能夠⋯⋯
  • 用幾乎任何風格與格式,寫出流暢自然的文字
  • 快速綜合相距甚遠領域的想法
  • 與訓練所見相似的任務上表現強勁
  • 連貫地接續任何脈絡:一個故事、一段論證、一塊程式碼
⚠️ 同一個機制的特徵性失誤
  • 幻覺(Hallucination):「看起來合理的下一句」不一定是「真的下一句」
  • 虛構補白(Confabulation):遇到空缺,用合理的材料填上,而不是標記出來
  • 不一致(Inconsistency):因為是取樣,同一個提示可能產出不同結果
  • 錯置的自信(Misplaced confidence):行雲流水的文筆,包的可能是一個猜測

💡 記住 Lesson 1 的話:AI 能寫得又快又好,因為它是模式補全引擎;它會幻覺,也因為它是模式補全引擎。你不可能只留下一面——能做的是知道自己何時站在哪一面。

捏造集中在「具體細節」

這是本課最實用的一條規律:捏造不是均勻分布的,它集中在「具體性」上。一個說法越精確,就越值得查證。高風險名單如下:

👤 人名與頭銜 📅 日期 📊 統計數字 📚 引用文獻 🔗 URL 連結 💬 直接引言

為什麼?因為對「下一個 Token 預測」來說,一段泛泛的敘述有很多條「都算對」的熟路可走;但一個精確的數字、一條真實存在的 URL,正確答案只有一個——而「聽起來像正確答案」的候選卻有無數個。這正是「真的 vs 聽起來像真的」最難分的地方。

把邊界往外推的產品機制

認出這些失誤模式後,你會發現許多 AI 產品功能正是為了緩解這項限制而存在

📎 引用來源(Citations & Source Grounding)讓你追溯哪些內容「有依據」、哪些是「生成的」。例如 Claude 的網頁搜尋與 Research 模式。
🚩 不確定性標示(Uncertainty Signaling)模型主動標記自己「不太穩」的地方,例如「我不確定,但⋯⋯」。
🧱 受限生成(Constrained Generation / Skills)縮小生成空間,讓捏造沒有空隙可鑽——例如強制輸出特定格式、只從指定資料作答。
🔁 生成者—驗證者模式(Generator–Verifier)先生成、再用另一道流程驗證輸出,把「寫」和「查」分開處理。
🔗 4D 框架連結:辨別(Discernment)

下一個 Token 預測是「辨別」能力的地基。知道這段輸出是「生成」出來的,你就確切知道該用哪種眼光檢查它:流暢不等於正確、具體細節優先查證、同一提示可以重跑比對。這正是 4D 框架所說的:無法評估你不理解其來源的輸出。

重點整理(Key Takeaways)

  • 下一個 Token 預測指的是:生成式 AI 根據「什麼通常接在什麼後面」,一個字一個字把答案寫出來。
  • 能力區:與模型看過無數次的模式相似的任務(摘要、重排格式、解釋常見概念)。
  • 限制區:新穎或稀疏的領域,以及任何需要區分「真的」與「聽起來像真的」的地方。
  • 捏造集中在具體性:人名、日期、統計、引用、URL、引言。說法越精確,越需要查證。
  • 引用來源、不確定性標示、受限生成、生成者—驗證者迴圈等產品機制,正是為了把這條限制的邊界往外推
  • 4D 連結:下一個 Token 預測是辨別(Discernment)的基礎——知道輸出是生成的,就知道該套用哪種檢查。

實作練習:查證測試(The Verification Test)

你已經知道:讓 AI 流暢的機制,就是讓它捏造的機制。現在到你自己的主場驗證這件事——選一個你抓得出錯的領域。

準備:回到 Lesson 1 任務清單,挑出你最有領域專業的那個任務——你必須當得了裁判。寫下該領域 5 個具體、可查核的事實:某人的職稱、一個出版日期、一項統計、一個產品規格、一句直接引言、一條 URL。都要是你確知正確、能獨立確認的。

探測一|能力區體驗:請 AI 解釋或摘要你領域中一個知名、文獻充足的概念。感受那個流暢度,再抽查內容。這就是能力區的手感:順、自信、而且大致正確

探測二|具體細節壓力測試:請 AI 提供你領域的 5 個可查核細節:引用三個來源、指名一位作者、給出確切數字、附一條 URL。每一項都去查證,打個五分制分數。如果它捏造了,記下它捏造時聽起來有多自信

探測三|取樣現形:開一個全新對話,把探測二一模一樣再跑一次。比對兩份輸出:什麼不變?什麼變了?你看到的變化,就是下一個 Token 預測的「取樣」在運作。

🏆 挑戰題:在有引用來源功能的工具(例如 Claude 的 Research 模式)重跑探測二,再打一次分數。「有來源可查」有沒有改變成績?這就是產品機制把邊界外推的實際效果。

課後反思

  • 剛剛的捏造,如果發生在一個你不熟的領域,你抓得到嗎?
  • 回看你的任務清單:哪些任務大致落在能力區?哪些會推進到需要查證的「具體細節」地帶?

下一課預告

概念懂了,下一課是本特性的「Try it out」實作課:用官方設計的互動練習,親手體驗下一個 Token 預測如何影響輸出品質,把這一課的理解變成手感。

← 上一課
Lesson 3|AI 的性格從哪來?
下一課 →
Lesson 5|實作練習:Token 預測

延伸閱讀

常見問題 FAQ

Q1:什麼是下一個 Token 預測(Next Token Prediction)?

生成式 AI 的核心機制:根據目前為止的所有內容,預測接下來最可能出現的字詞,一次一個 token 反覆進行。AI 不是查答案,而是根據「什麼通常接在什麼後面」把答案寫出來——比起搜尋引擎,更像超大規模的自動完成。

Q2:什麼是 AI 幻覺(hallucination)?為什麼會發生?

幻覺指 AI 生成看似合理但不真實的內容。成因就在下一個 Token 預測:「統計上合理的下一句」不一定是「真實的下一句」,而模型無法原生區分「真的」和「聽起來像真的」。捏造特別集中在人名、日期、統計、引用、URL 等具體細節上。

Q3:為什麼同一個問題,AI 每次回答不一樣?

因為每個字都是從機率分布中「取樣」出來的,而不是唯一解。同一個提示會走出略微不同的路徑,導致輸出不一致。實務上可以利用這點:把重要問題重跑幾次,比對哪些內容穩定、哪些飄移——飄移處通常就是該查證的地方。

Q4:怎麼降低 AI 幻覺的影響?

三個方向:優先查證具體細節(名字、數字、引用、連結);使用有引用來源功能的工具(如 Claude 的網頁搜尋、Research 模式),讓內容可追溯;把任務限制在指定資料範圍內作答(受限生成)。核心原則是——流暢度不是正確性的證據。

本文為 Anthropic 官方課程之中文學習筆記。原課程建立於 Prof. Rick Dakan(Ringling College of Art and Design)與 Prof. Joseph Feller(University College Cork)發展的 AI Fluency Framework 之上,以 CC BY-NC-SA 4.0 授權釋出。Copyright 2026 Anthropic.

📬 喜歡這篇文章?訂閱電子報不錯過任何更新

生成式 AI 時代,最珍貴的資產不是工具本身,而是你的提問力與協作思維。
每週精選 AI 實戰技巧、官方課程更新與 AI 工作流攻略,直接寄到你的信箱!

免費訂閱電子報 →

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *