爆款背后的秘密：2024年B站最火RAG視頻是怎樣煉成的？

用向量數據庫實現魯迅說沒說

原標題：爆款背后的秘密：2024年B站最火RAG視頻是怎樣煉成的？
文章來源：AI小島
內容字數：21047字

用向量數據庫和大型語言模型構建魯迅語錄鑒定器

近年來，隨著人工智能技術的飛速發展，大型語言模型(LLM)和向量數據庫在信息檢索和知識問答領域展現出巨大的潛力。本文將介紹一個基于開源向量數據庫Milvus和大型語言模型的魯迅語錄鑒定應用，它能夠有效地判斷一句文字是否出自魯迅先生之手。

一、問題的提出

魯迅先生的作品對中國文學和思想產生了深遠的影響，他的許多名句廣為流傳。然而，網絡上也充斥著大量偽造的魯迅語錄，誤導讀者。傳統的搜索方法由于關鍵詞匹配的局限性，難以有效區分真偽。因此，我們需要一種更精準、更智能的語義搜索方法來解決這個問題。

二、技術方案

本應用的核心技術在于結合向量數據庫Milvus和大型語言模型的能力。我們首先將魯迅先生的全部作品進行向量化，并將這些向量存儲在Milvus數據庫中。當用戶輸入一句待鑒定的文字時，系統會對其進行向量化，并在Milvus中進行語義相似度搜索，找到與輸入文字語義最相似的魯迅作品片段。最后，將搜索結果和用戶輸入一同傳遞給大型語言模型，由模型判斷該文字是否出自魯迅先生。

三、技術細節

3.1 數據準備與向量化

本應用使用了公開的魯迅作品集，并對其進行了預處理，使其符合向量數據庫的輸入格式。為了提高搜索效率和準確率，文章被分割成多個語義片段（chunk），每個片段被單獨向量化。文中探討了三種分塊方法：固定字數分塊、基于標點符號分塊以及基于句子分塊，并比較了它們的效果。實驗結果表明，基于句子的分塊方法在保證語義完整性的同時，能夠取得最佳的搜索效果。

3.2 向量數據庫Milvus的應用

Milvus作為高效的開源向量數據庫，負責存儲和檢索高維向量。本應用利用Milvus的語義搜索功能，快速找到與輸入文字語義相似的魯迅作品片段，為大型語言模型提供可靠的上下文信息。

3.3 大型語言模型的調用

本應用使用了DeepSeek大型語言模型，其API與OpenAI兼容。通過精心設計的提示詞，引導模型根據Milvus搜索結果判斷輸入文字的真偽，并生成清晰、準確的回答。提示詞的設計是保證模型輸出質量的關鍵。

四、實驗結果與分析

文章中選取了三個示例句子進行測試，并比較了不同分塊方法的RAG(檢索增強生成)效果。實驗結果表明，基于句子的分塊方法在保證語義完整性的同時，能夠取得最佳的搜索效果，并生成更準確的判斷結果。雖然這種方法需要更多的存儲空間，但其準確率的提升是值得的。

五、未來展望

本應用只是一個初步的嘗試，未來可以進一步改進和完善。例如，可以探索更先進的分塊方法，提高語義理解的準確性；可以嘗試使用更強大的大型語言模型，提升判斷的準確性和效率；還可以擴展應用的功能，例如提供魯迅作品智能問答和推薦等。

六、總結

本應用成功地利用向量數據庫Milvus和大型語言模型構建了一個魯迅語錄鑒定器，有效地解決了網絡上偽造魯迅語錄的問題。該應用的技術方案具有普適性，可以推廣到其他文學作品或知識領域的真偽鑒定。

聯系作者

文章來源：AI小島
作者微信：
作者簡介：簡單學 AI，看清未來！