甚麼是大型語言模型？
大型語言模型（LLM）是一種先進的人工智能，經過大量文本數據訓練，以理解、生成及處理人類語言。LLM推動了許多現代AI應用，如聊天機械人、翻譯工具及內容創作系統。透過學習數十億字詞的模式，大型語言模型能提供準確答案、創造類似人類的文本，並支援各行各業的任務。
大型語言模型（LLM）是人工智能系統，經過龐大文本數據集訓練，以理解及生成類似人類的語言。簡單來說，LLM已經「餵食」了數百萬甚至數十億字詞（通常來自互聯網），因此能在語境中預測及產生文本。這些模型通常基於深度學習神經網絡構建——最常見的是Transformer架構。由於規模龐大，LLM能執行多種語言任務（聊天、翻譯、寫作），而無需為每項任務明確編程。
大型語言模型的核心特點
大型語言模型的主要特點包括：
龐大訓練數據
LLM在龐大的文本語料庫（數十億頁）上訓練。這個「大型」訓練集賦予它們廣泛的語法和知識。
Transformer架構
它們使用帶有自注意力機制的Transformer神經網絡，意味著句子中每個詞會與其他詞同時比較，令模型能高效學習語境。
數十億參數
模型包含數百萬甚至數十億個權重（參數），這些參數捕捉語言中的複雜模式。例如，GPT-3擁有1750億參數。
自監督學習
LLM透過預測文本中缺失的詞語來學習，無需人工標籤。例如，訓練時模型嘗試猜測句子中的下一個詞。透過在龐大數據上反覆進行，模型內化了語法、知識甚至部分推理能力。
微調與提示引導
預訓練後，LLM可針對特定任務進行微調或透過提示引導。這意味著同一模型能透過較小數據集或巧妙指令，適應醫療問答或創意寫作等新任務。
綜合這些特點，LLM能像人類一樣理解及生成文本。實際上，訓練良好的LLM能推斷語境、完成句子，並在多種主題（從日常聊天到技術議題）上產生流暢回應，無需針對特定任務的工程設計。
LLM的運作原理：Transformer架構
LLM通常採用Transformer網絡架構。該架構是一種深度神經網絡，包含多層相連節點。其關鍵組件是自注意力，讓模型能同時評估句子中每個詞相對於其他詞的重要性。
序列處理
- 逐字逐句處理
- GPU訓練較慢
- 語境理解有限
並行處理
- 同時處理整個輸入
- GPU訓練速度大幅提升
- 優越的語境理解能力
與舊有的序列模型（如RNN）不同，Transformer能並行處理整個輸入，令GPU訓練速度大幅提升。訓練過程中，LLM透過嘗試預測龐大文本語料庫中的下一個詞，調整其數十億參數。
隨著時間推移，這個過程教會模型語法和語義關係。結果是，給定提示時，模型能自主生成連貫且語境相關的語言。
LLM的應用
由於它們理解並生成自然語言，LLM在各行各業有廣泛應用。常見用途包括：
對話式人工智能
內容生成
翻譯與摘要
問答系統
程式碼生成
研究與分析
例如，ChatGPT背後的GPT-3.5及GPT-4擁有數千億參數，而Google的PaLM和Gemini等模型運作方式類似。開發者通常透過雲端服務或函式庫與這些LLM互動，並針對特定任務如文件摘要或程式碼輔助進行定制。
挑戰與考量
LLM功能強大，但並非完美。由於它們從真實世界文本學習，可能複製訓練數據中的偏見。若未經嚴格過濾，LLM可能生成帶有文化偏見、冒犯性或刻板印象的內容。
偏見問題
幻覺現象
資源需求
準確性驗證
另一問題是幻覺現象：模型可能產生流暢但完全錯誤或捏造的答案。例如，LLM可能自信地編造虛假事實或名稱。這些錯誤源於模型本質上是在猜測最合理的文本延續，而非核實事實。
即使如此，LLM用戶必須意識到結果需檢查準確性及偏見。此外，訓練及運行LLM需要龐大計算資源（強大GPU/TPU及大量數據），成本不菲。
總結與未來展望
總結來說，大型語言模型是基於Transformer的人工智能系統，經過龐大文本數據訓練。它透過自監督學習掌握語言模式，具備生成流暢且語境相關文本的能力。由於規模龐大，LLM能處理廣泛語言任務——從聊天、寫作到翻譯及編碼——常常達到甚至超越人類流暢度。
這些模型將重塑我們與科技互動及獲取資訊的方式。
— 領先的人工智能研究者
