什麼是大型語言模型？

大型語言模型（LLM）是人工智慧系統，經由龐大文字資料集訓練，能理解並生成類似人類的語言。簡單來說，LLM 已經吸收了數百萬甚至數十億字（通常來自網路），因此能在語境中預測並產生文字。這些模型通常建立在深度學習神經網路上，最常見的是Transformer架構。由於規模龐大，LLM 能執行多種語言任務（聊天、翻譯、寫作），而無需針對每項任務特別編程。

大型語言模型的主要特點包括：

龐大的訓練資料：LLM 以海量文字語料庫（數十億頁）訓練，這樣的「大型」訓練集賦予它廣泛的語法和知識。
Transformer 架構：它們使用帶有自注意力機制的 Transformer 神經網路，意味著句子中每個字詞會與其他字詞同時比較，讓模型有效學習語境。
數十億參數：模型包含數百萬到數十億的權重（參數），這些參數捕捉語言中的複雜模式。例如，GPT-3 擁有 1750 億參數。
自我監督學習：LLM 透過預測文字中缺失的詞彙來學習，無需人工標註。例如，訓練時模型會嘗試猜測句子中的下一個字。透過在龐大資料上反覆練習，模型內化了語法、知識甚至部分推理能力。
微調與提示：預訓練後，LLM 可針對特定任務進行微調或透過提示引導。這表示同一模型能透過較小資料集或巧妙指令，適應醫療問答或創意寫作等新任務。

這些特點使得 LLM 能像人類一樣理解並生成文字。實務上，訓練良好的 LLM 能推斷語境、完成句子，並在多種主題（從日常對話到專業技術）上產生流暢回應，無需針對每項任務特別設計。

LLM 通常採用 Transformer 網路架構。此架構為多層深度神經網路，節點彼此連結。其關鍵組件是自注意力機制，讓模型能同時評估句中每個字詞相對於其他字詞的重要性。

與舊有的序列模型（如 RNN）不同，Transformer 能並行處理整個輸入，讓 GPU 訓練速度大幅提升。訓練過程中，LLM 透過嘗試預測龐大語料庫中的下一個字詞，不斷調整數十億參數。

隨著時間推移，這個過程教會模型語法與語意關係。結果是，給定提示時，模型能自主生成連貫且符合語境的語言。

大型語言模型縮寫為 LLM

LLM 的應用

由於它們能理解並生成自然語言，LLM 在各行各業有廣泛應用。常見用途包括：

對話式人工智慧（聊天機器人與助理）：LLM 支援先進聊天機器人，能進行開放式對話或回答問題。例如，客服機器人、Siri 與 Alexa 等虛擬助理利用 LLM 理解查詢並自然回應。
內容生成：它們能撰寫電子郵件、文章、行銷文案，甚至詩歌與程式碼。例如，ChatGPT（基於 GPT 模型）能根據主題提示草擬論文或故事。企業利用 LLM 自動化部落格寫作、廣告文案與報告產出。
翻譯與摘要：LLM 能在語言間翻譯文字，並摘要冗長文件。因訓練時見過平行範例，模型能輸出流暢的另一種語言文本，或將 20 頁報告濃縮成幾段。
問答系統：給定問題，LLM 能根據知識提供事實性答案或解釋。這驅動問答搜尋介面與虛擬導師。例如，ChatGPT 類模型能回答冷知識或以淺顯語言說明概念。
程式碼生成：部分 LLM 專門處理程式碼，能根據描述撰寫程式碼片段、找出錯誤或跨語言轉換。（GitHub Copilot 使用訓練於程式碼的 LLM 協助開發者。）
研究與分析：它們協助研究人員從大量文字資料中萃取洞見、標註內容，或對客戶反饋進行情感分析。在許多領域，LLM 加速文獻回顧與資料整理，因為它們能理解文件內容。

知名大型語言模型包括ChatGPT / GPT-4（OpenAI）、Bard（Google 的 PaLM）、LLaMA（Meta）、Claude（Anthropic）及Bing Chat（微軟基於 GPT）。這些模型皆經過龐大資料集訓練，並可透過 API 或網頁介面存取。

例如，ChatGPT 背後的 GPT-3.5 與 GPT-4 擁有數千億參數，而 Google 的 PaLM 與 Gemini 等模型運作方式類似。開發者通常透過雲端服務或函式庫與這些 LLM 互動，並針對特定任務（如文件摘要或程式碼協助）進行客製化。

LLM 的應用