AI Fluency Framework Lesson 4|生成式 AI 是什麼?LLM、神經網路、Transformer 基礎入門

AI Fluency Framework Lesson 4|生成式 AI 是什麼?LLM、神經網路、Transformer 基礎入門

📖 AI Fluency: Framework & Foundations 學習筆記系列(根據 Anthropic 官方英文免費課程整理)
Lesson 4 / 13 31%
3
上一課
4
本篇
5
下一課
📌 這篇文章談什麼?

這是 AI Fluency 課程進入 Deep Dive 1:What is Generative AI? 的第一課。前三課建立了思維框架,從這課開始往底層走:生成式 AI 到底是什麼?它和傳統 AI 有什麼不同?Claude 這樣的語言模型是怎麼「學會」說話的?這些技術背景知識,會直接幫助你做更好的 Delegation 決策——知道 AI 怎麼運作,才能知道什麼任務適合交給它。

📋 課程基本資訊

項目內容
所屬課程AI Fluency: Framework & Foundations
課程章節Deep Dive 1:What is Generative AI?(第一課)
LessonLesson 4:Generative AI fundamentals
課程平台Anthropic Academy(免費,含影片與 PDF)
預估學習時間影片 6 分鐘

🎯 這課學完你會得到什麼?

  • 定義生成式 AI,並說明它和其他 AI 類型的差異
  • 認識讓生成式 AI 成為可能的三個技術基礎
  • 理解 LLM 的學習過程:Pre-training、Fine-tuning、Deployment
  • 認識 AI 的主要能力與現有限制

🧠 課程重點筆記

生成式 AI 是什麼?和傳統 AI 有什麼不同?

在了解 Claude 怎麼運作之前,先搞清楚「生成式 AI」和你可能更熟悉的「傳統 AI」有什麼本質差異。

傳統 AI生成式 AI(Generative AI)
分析和分類已有的內容創造全新的內容
📧 例:判斷一封信是不是垃圾郵件📧 例:幫你寫一封全新的郵件

簡單說:傳統 AI 的工作是「看」和「判斷」;生成式 AI 的工作是「創造」。這個差異,讓生成式 AI 能做的事情從分類、預測,擴展到寫作、分析、編程、設計等幾乎無所不包的內容創作。

讓生成式 AI 成為可能的三個基礎

生成式 AI 不是憑空出現的,它是三個條件同時成熟的結果:

⚙️ 演算法突破
Algorithms

2017 年 Transformer 架構的誕生,革命性地改變了 AI 處理長文本的方式,讓模型能同時關注段落中不同位置詞語之間的關係。

💾 資料爆炸
Data Explosion

網站、程式碼庫、數位文本的爆炸性增長,提供了訓練這些系統所需的海量原料。沒有足夠的資料,再好的演算法也學不起來。

🖥️ 運算力躍升
Computing Power

GPU 等晶片帶來的大規模運算能力提升,讓在所有這些資料上訓練超大型模型成為可能。沒有算力,資料和演算法都是空談。

這三個條件缺一不可——演算法的突破決定了「怎麼學」,資料爆炸決定了「學什麼」,運算力決定了「學得起學不起」。

LLM 怎麼「學習」?三個階段

大型語言模型(LLM)的學習過程分為三個階段,了解這個過程能幫助你理解為什麼 AI 有時候很厲害,有時候又會犯奇怪的錯誤。

① Pre-training
預訓練

模型分析數十億筆文字範例,學習預測「下一個詞是什麼」。這個過程讓模型建立對語言結構、世界知識和各種主題的基礎理解。就像一個人從小閱讀大量書籍,逐漸形成語感和知識庫。

② Fine-tuning
微調

在預訓練的基礎上,模型被進一步訓練,學會遵循指令、提供有用回應、避免生成有害內容。這個階段讓模型從「預測文字接龍」的系統,變成真正能對話和協助任務的助手。

③ Deployment
部署

你輸入提示詞,模型根據訓練中學到的規律生成回應。模型在這個階段不會「繼續學習」——它只是運用訓練結果來回應你的輸入。這也是為什麼它有知識截止日期。

AI 的主要能力

根據官方講義,現代生成式 AI 具備四項主要能力:

能力說明
Versatile language skills
多樣化語言能力
寫作、翻譯、摘要、對話、編程——在各種語言任務上都能勝任
General-purpose abilities
通用能力
不限於單一領域,能跨越醫學、法律、科技、創意等各種主題提供協助
Learning from examples
從範例學習
在對話中,你提供範例,AI 就能理解你要的風格或格式(Few-shot learning)
Connecting to external tools and data
連接外部工具與資料
透過 RAG 等技術,AI 可以連接外部知識庫,突破訓練資料的限制

AI 現有的主要限制

了解限制和了解能力一樣重要——這是 Delegation 能力的核心:知道什麼不能交給 AI。

限制實際影響
Knowledge cutoff date
知識截止日期
AI 不知道訓練截止日後的事件。詢問最新新聞或近期資料時要特別注意。
Potential inaccuracies(Hallucinations)
幻覺/不準確
AI 有時會自信地說出聽起來合理但實際上錯誤的內容。重要事實務必查證。
Context window constraints
上下文視窗限制
AI 一次能處理的資訊量有上限。超長的文件或對話可能導致早期內容被「遺忘」。
Challenges with complex reasoning and math
複雜推理與數學的挑戰
多步驟數學運算或需要嚴密邏輯推理的任務,AI 容易出錯,需要人工驗證。
💡 和 4D 框架的連結

這些限制直接影響你的 Delegation 決策:需要最新資訊的任務、需要精確數字的任務、或結果會被直接引用的任務,都需要你保留更多人工驗證的比重。了解限制,才能做出明智的任務分配。

Emergent Capabilities(湧現能力)是什麼?

課程還提到一個有趣的現象:Scaling Laws(縮放定律)。隨著模型規模擴大、訓練資料增加,AI 的表現不只是線性提升,在某些規模門檻之後,模型會「湧現」出一些完全沒有被明確訓練過、但突然就會了的新能力。

這解釋了為什麼新一代模型有時會讓人驚訝——不是因為工程師特別設計了那個功能,而是規模帶來了意料之外的能力躍升。這也意味著 AI 的邊界本身在持續移動,你今天認為「AI 做不到」的事,下一個版本可能已經可以了。


🔜 下一課預告

Lesson 5 是 Deep Dive 1 的第二課,會更深入探討 AI 的能力與限制——特別是在實際使用場景下,這些能力和限制是怎麼表現出來的,以及你該如何調整 Delegation 策略來應對。

← Lesson 3:4D 框架完整解析 Lesson 5:AI 的能力與限制 →

📖 延伸閱讀


❓ 常見問題 FAQ

生成式 AI 和傳統 AI 最大的差別是什麼?

最根本的差別是:傳統 AI 分析和分類已有的內容,生成式 AI 創造全新的內容。傳統 AI 告訴你「這封信是垃圾郵件」,生成式 AI 幫你寫一封全新的信。這個差異讓生成式 AI 的應用範圍從分類、預測,擴展到幾乎所有需要創作的任務。

LLM 是怎麼學習語言的?

主要透過「預測下一個詞」這個任務。模型在預訓練階段分析數十億筆文字,不斷練習預測序列中的下一個詞,在這個過程中逐漸學會語言結構、事實知識和推理模式。之後再透過 Fine-tuning 讓它學會遵循指令和提供有用回應。

為什麼 AI 會「幻覺」(Hallucination)?

因為 LLM 的本質是預測「接下來最可能出現的詞」,而不是從資料庫查詢事實。當模型對某個主題的訓練資料不足,或問題超出它的知識範圍時,它仍然會生成聽起來合理的文字——但那些文字可能是錯的。這就是為什麼重要的事實一定要查證。

Context window 是什麼?有多大?

Context window(上下文視窗)是 AI 一次能考量的資訊量上限,包含你這次對話的所有訊息和上傳的文件。不同模型的上限不同,以 Claude 為例,目前支援相當大的 context window,但仍有上限。超出限制後,早期的對話內容可能被截斷。

Transformer 架構為什麼重要?

2017 年以前,AI 處理長文本時很難同時關注句子不同位置的詞語關係。Transformer 的突破在於它能「平行處理」整個文字序列,並透過注意力機制(Attention)關注遠距離詞語之間的關係。這讓模型處理長文本的能力大幅提升,是現代 LLM 成為可能的關鍵演算法基礎。

📬 喜歡這篇文章?訂閱電子報不錯過任何更新

生成式 AI 時代,最珍貴的資產不是工具本身,而是你的提問力與協作思維。
每週精選 AI 實戰技巧、官方課程更新與 AI 工作流攻略,直接寄到你的信箱!

免費訂閱電子報 →

Leave a Reply

Your email address will not be published. Required fields are marked *