通古大模型 – 華南理工大學推出的古籍大語言模型

通古大模型是一款由華南理工大學深度學習與視覺計算實驗室（SCUT-DLVCLab）研發的人工智能語言模型，專注于古籍和文言文的處理。該模型基于百川2-7B-Base框架，通過增量預訓練的方法，利用24.1億古籍語料進行無監督學習，并結合400萬古籍對話數據進行指令微調。通古大模型借助冗余度感知微調技術（RAT），顯著提升了在古籍任務中的表現，旨在為用戶提供更加便捷的古籍理解和翻譯體驗。同時，通過檢索增強生成（CCU-RAG）技術，有效減少了知識密集型任務中的信息錯誤，提高了生成內容的準確性和可靠性。

通古大模型是什么

通古大模型是華南理工大學深度學習與視覺計算實驗室（SCUT-DLVCLab）推出的一款專注于古籍文言文處理的人工智能語言模型。該模型以百川2-7B-Base為基礎，通過增量預訓練，利用24.1億古籍語料進行無監督學習，并結合400萬古籍對話數據進行指令微調。采用冗余度感知微調（RAT）技術，有效提升了古籍處理任務的性能，為用戶理解和翻譯古籍文獻提供了便利。通過檢索增強生成（CCU-RAG）技術，有效減少知識密集型任務中的幻覺現象，提高生成內容的準確性與可靠性。

主要功能

• 古文句讀：該模型能夠自動為古文添加標點，解決古籍文獻中的斷句困擾，幫助用戶更好地理解古文。
• 文白翻譯：通古大模型支持文言文與現代白話文之間的雙向翻譯，能夠將復雜的古文轉化為現代語言，同時也能將現代文轉為文言文，便于用戶進行古籍閱讀及研究。
• 詩詞創作：模型可以根據用戶提供的主題或關鍵詞，生成符合古詩詞的格律與風格的作品，滿足用戶的創作需求。
• 古籍賞析：通古大模型能夠對古籍中的經典篇章進行深度解讀，分析其文學價值、歷史背景及文化內涵，幫助用戶深入學習古籍。
• 古籍檢索與問答：借助檢索增強技術，模型能夠快速檢索古籍內容，并根據用戶提問給出準確的答案，幫助用戶高效獲取信息。
• 輔助古籍整理：該模型能夠識別古籍中的文字錯誤和缺漏，提供修復建議，支持古籍的整理和數字化工作。

產品官網

• Github倉庫：https://github.com/SCUT-DLVCLab/TongGu-LLM
• HuggingFace模型庫：https://huggingface.co/SCUT-DLVCLab/TongGu-7B-Instruct

應用場景

• 古籍處理與數字化：通古大模型能夠高效處理古籍文獻，支持文白翻譯、句讀標點和古籍檢索等功能，助力古籍整理工作，提升數字化效率。
• 教育支持：教師可以利用該模型生成教案、制作教學PPT，并設計課堂互動環節；而學生則可以通過模型獲取文言文翻譯、成語解釋和詩詞創作等功能，增強對古文的理解。
• 文化傳承與普及：通古大模型降低了古籍閱讀的難度，使更多人能夠接觸和理解中華傳統文化。
• 學術研究：為古籍研究提供強大的技術支持，幫助學者快速檢索和分析古籍內容。

常見問題

• 通古大模型適合哪些人群使用？ 該模型適合古籍研究者、學生、教師以及對中華傳統文化感興趣的廣大用戶。
• 如何獲取通古大模型？ 用戶可以通過訪問其GitHub和HuggingFace頁面獲取相關資源和使用說明。
• 通古大模型是否支持多種語言？ 目前，模型主要支持文言文與現代白話文之間的雙向翻譯。
• 使用通古大模型需要什么技術基礎？ 使用者無需專業的技術背景，但了解基礎的古文知識將有助于更好地利用模型的功能。