一個(gè)高效的RAG研究Python工具包，來自中國人民大學(xué)

大家好，我是Ai學(xué)習(xí)的老章

今天給大家介紹一個(gè)由中國人民大學(xué)自然語言處理與信息檢索實(shí)驗(yàn)室（RUC NLPIR）開發(fā)的高效RAG研究Python工具包 - FlashRAG。這個(gè)工具包專門為RAG（Retrieval-Augmented Generation）研究而設(shè)計(jì)，能夠幫助研究者和開發(fā)者快速搭建、評估和優(yōu)化RAG系統(tǒng)。

FlashRAG：一個(gè)強(qiáng)大的RAG研究工具包

RUC-NLPIR團(tuán)隊(duì)推出了FlashRAG，這是一個(gè)全面的Python工具包，旨在使RAG模型的復(fù)現(xiàn)、開發(fā)和評估比以往任何時(shí)候都更加高效。

無論是希望復(fù)現(xiàn)最先進(jìn)的結(jié)果，還是構(gòu)建自己的定制RAG管道，F(xiàn)lashRAG都提供了加速工作的框架、資源和預(yù)構(gòu)建組件。

https://github.com/RUC-NLPIR/FlashRAG FlashRAG的突出特點(diǎn)

FlashRAG不僅僅是一個(gè)庫，它還是一個(gè)完整的RAG研究生態(tài)系統(tǒng)。以下是其突出特點(diǎn)：

• 廣泛且可定制的框架：它提供了一整套RAG組件——包括檢索器、重排器、生成器和壓縮器——可以靈活地組裝成復(fù)雜的管道。

• 全面的基準(zhǔn)測試：可以訪問36個(gè)預(yù)處理的基準(zhǔn)數(shù)據(jù)集和17種最先進(jìn)的RAG算法，從而可以進(jìn)行穩(wěn)健的測試并輕松復(fù)現(xiàn)已發(fā)表的結(jié)果。

• 為效率而優(yōu)化：該工具包專為速度而設(shè)計(jì)，利用vLLM和FastChat等技術(shù)加速LLM推理，并利用Faiss進(jìn)行高速向量索引。

• 簡化的工作流程：FlashRAG為語料庫處理、索引構(gòu)建和文檔預(yù)檢索等常見但繁瑣的任務(wù)提供了腳本，為節(jié)省了寶貴的時(shí)間。

• 直觀的用戶界面（FlashRAG-UI）：對于那些喜歡可視化方法的人，F(xiàn)lashRAG提供了一個(gè)用戶友好的UI，無需編寫大量代碼即可配置、測試和評估RAG方法。

該工具包旨在易于訪問。可以通過簡單的pip安裝來啟動(dòng)和運(yùn)行：

pip install flashrag-dev --pre

安裝后，典型的工作流程包括：

1. 語料庫準(zhǔn)備：將的文檔格式化為簡單的jsonl文件。

2. 索引構(gòu)建：使用提供的腳本為密集（例如E5、BGE）和稀疏（BM25）檢索方法構(gòu)建索引。

3. 運(yùn)行管道：可以通過簡單地加載配置文件來使用預(yù)配置的管道，也可以通過從BasicPipeline類繼承來構(gòu)建自己的自定義邏輯。

以下是如何運(yùn)行預(yù)構(gòu)建的順序管道的快速瀏覽：

from flashrag.utils import get_dataset from flashrag.pipeline import SequentialPipeline from flashrag.config import Config # 加載配置 my_config = Config(config_file_path='my_config.yaml') # 加載數(shù)據(jù)并初始化管道 all_split = get_dataset(my_config) test_data = all_split['test'] pipeline = SequentialPipeline(my_config) # 運(yùn)行管道并獲取結(jié)果 output_dataset = pipeline.run(test_data, do_eval=True)

FlashRAG根據(jù)其推理路徑將RAG方法分為四個(gè)主要的管道類別：

• 順序式：從檢索到生成的線性流程。

• 條件式：針對不同查詢類型的不同路徑。

• 分支式：具有合并結(jié)果的并行路徑（例如REPLUG）。

• 循環(huán)式：迭代檢索和生成（例如Self-RAG、FLARE）。

該工具包支持36個(gè)多樣化的數(shù)據(jù)集，用于問答（NQ、TriviaQA）、多跳問答（HotpotQA）和事實(shí)核查（FEVER）等任務(wù)，所有這些數(shù)據(jù)集都可以在Hugging Face上找到。

FlashRAG-UI：觸手可及的RAG

對于快速實(shí)驗(yàn)，FlashRAG-UI是一個(gè)游戲規(guī)則改變者。它允許：

• 只需點(diǎn)擊幾下即可加載配置。

• 快速測試不同的RAG方法和超參數(shù)。

• 直接從界面復(fù)現(xiàn)基準(zhǔn)測試結(jié)果。

這種可視化工具降低了入門門檻，使更廣泛的受眾可以進(jìn)行高級RAG研究。