Pure 新知
什麼是擷取增強世代（RAG）？

什麼是擷取增強世代（RAG）？

機器學習和 AI 是強大的工具，具有改變世界的潛力，但它們的強大功能，僅止於為他們提供資料以及他們使用的模型。自然語言處理（NLP）是機器學習和 AI 的重要組成部分，可讓電腦解讀、操作和理解人類語言。

擷取增強生成（RAG）代表了 NLP 的重大進展，透過縮小生成能力與外部知識的取得之間的差距，進而產生更健全、更上下文感知的語言理解和生成系統。

本文說明 RAG 是什麼、為何它很重要、如何運作，以及其應用與效益。

什麼是 RAG？

RAG 是一種將 LLM 功能與外部權威知識庫整合，以擴展其原始訓練資料之外的技術。

在 RAG 中，一種生成機器學習模型會在產生過程中從大型外部知識庫中擷取相關資訊，進而產生更豐富的脈絡、更豐富的成果，以及更好的內容。

為何 RAG 在 NLP 領域很重要？

RAG 結合了預先訓練語言模型的優勢，以及擷取資訊的脈絡豐富性，在各種應用程式中產生更明智且準確的文字，包括問題解答、總結和對話系統。

RAG 是 NLP 領域的重要概念，因為它帶來：

提升情境理解能力：透過整合擷取機制，RAG 模型可以存取與輸入查詢或產生任務相關的大量外部知識或內容。這使得模型能夠更深入地理解背景，從而得到更準確和與背景相關的回應。

更好的內容產生：RAG 模型不僅能流暢產生內容，還能建立在真實世界的知識基礎上。這在產生輸出需要真實和連貫的任務中特別有用。

減少偏見和錯誤資訊：RAG 模型可透過驗證產生的內容與外部來源，協助減少偏見和錯誤資訊。透過整合來自知識庫的多元觀點，該模型可以產生更平衡、更真實的產出。

彈性與適應性：RAG 架構具有彈性，可適應不同的領域和語言。他們可以利用特定領域的知識庫，或在推論期間動態擷取相關資訊，以適應新的主題。

可擴充性：RAG 模型可以有效擴展，以處理大規模的知識庫。擷取元件不僅僅仰賴預先訓練的參數，還能將方法擴展到各種應用程式和使用案例。

持續學習與改善：RAG 系統的設計可隨時間持續學習與改善。RAG 模型結合回饋機制與反覆精煉流程，可提升其在產生高品質內容時的效能、準確性與相關性。這個反覆的學習循環有助於 RAG 驅動應用程式的長期效能和可靠性。

RAG 如何運作？

RAG 結合了預先訓練的語言模型與檢索機制，以改善文字式輸出的產生。

我們來看看 RAG 的基本要素：

預先訓練的語言模型

該過程從預先訓練的語言模型開始，如生成預先訓練的變壓器（GPT）或來自變壓器的雙向編碼器表示（BERT）。這些模型經過大量文字資料訓練，能理解並產生類似人類的文字。

擷取機制

擷取機制使用 Okapi BM25（搜尋引擎使用的排名功能）等技術，從知識庫取得相關資訊。

知識庫

RAG 需要存取知識庫或工作主體，其中包含與手頭任務相關的資訊。可以是資料庫、文件集，甚至是一系列精心設計的網頁。

輸入查詢

使用者向 RAG 系統提供輸入查詢或提示。此查詢可以是問題、部分句子，或是任何需要上下文或資訊才能產生有意義的回應的輸入形式。

檢索流程

擷取機制會處理輸入查詢，並從知識庫擷取相關文件或段落。

內容融合

擷取的資訊會與原始輸入查詢融合，或提示為語言模型建立內容豐富的輸入。此內容融合步驟可確保語言模型在產生輸出前，能夠存取相關資訊。

世代

預先訓練的語言模型採用脈絡豐富的輸入，並產生所需的輸出。這個輸出內容可以是問題的完整答案、故事的延續、重述句子，或任何其他文字式回應。

評估與完善

可根據預先定義的指標或人為判斷來評估產生的輸出。系統可依據回饋進行微調與微調，以改善產出的品質。

RAG 應用程式

RAG 適用於各種產業的多種應用程式。

聊天機器人

最常見的範例是聊天機器人和虛擬助理，其中 RAG 透過提供情境相關且準確的回應來改善對話能力。舉例來說，電信公司的客戶服務聊天機器人，可以使用 RAG 從知識庫中擷取資訊，如常見問題、產品規格和故障排除指南。當網站使用者提出問題時，聊天機器人可以根據使用者查詢和擷取的知識來產生回應，從而產生更多資訊和有用的互動。