通古大模型 – 華南理工大學(xué)推出的古籍大語(yǔ)言模型

通古大模型是一款由華南理工大學(xué)深度學(xué)習(xí)與視覺(jué)計(jì)算實(shí)驗(yàn)室（SCUT-DLVCLab）研發(fā)的人工智能語(yǔ)言模型，專(zhuān)注于古籍和文言文的處理。該模型基于百川2-7B-Base框架，通過(guò)增量預(yù)訓(xùn)練的方法，利用24.1億古籍語(yǔ)料進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，并結(jié)合400萬(wàn)古籍對(duì)話數(shù)據(jù)進(jìn)行指令微調(diào)。通古大模型借助冗余度感知微調(diào)技術(shù)（RAT），顯著提升了在古籍任務(wù)中的表現(xiàn)，旨在為用戶(hù)提供更加便捷的古籍理解和翻譯體驗(yàn)。同時(shí)，通過(guò)檢索增強(qiáng)生成（CCU-RAG）技術(shù)，有效減少了知識(shí)密集型任務(wù)中的信息錯(cuò)誤，提高了生成內(nèi)容的準(zhǔn)確性和可靠性。

通古大模型是什么

通古大模型是華南理工大學(xué)深度學(xué)習(xí)與視覺(jué)計(jì)算實(shí)驗(yàn)室（SCUT-DLVCLab）推出的一款專(zhuān)注于古籍文言文處理的人工智能語(yǔ)言模型。該模型以百川2-7B-Base為基礎(chǔ)，通過(guò)增量預(yù)訓(xùn)練，利用24.1億古籍語(yǔ)料進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，并結(jié)合400萬(wàn)古籍對(duì)話數(shù)據(jù)進(jìn)行指令微調(diào)。采用冗余度感知微調(diào)（RAT）技術(shù)，有效提升了古籍處理任務(wù)的性能，為用戶(hù)理解和翻譯古籍文獻(xiàn)提供了便利。通過(guò)檢索增強(qiáng)生成（CCU-RAG）技術(shù)，有效減少知識(shí)密集型任務(wù)中的幻覺(jué)現(xiàn)象，提高生成內(nèi)容的準(zhǔn)確性與可靠性。

主要功能

• 古文句讀：該模型能夠自動(dòng)為古文添加標(biāo)點(diǎn)，解決古籍文獻(xiàn)中的斷句困擾，幫助用戶(hù)更好地理解古文。
• 文白翻譯：通古大模型支持文言文與現(xiàn)代白話文之間的雙向翻譯，能夠?qū)?fù)雜的古文轉(zhuǎn)化為現(xiàn)代語(yǔ)言，同時(shí)也能將現(xiàn)代文轉(zhuǎn)為文言文，便于用戶(hù)進(jìn)行古籍閱讀及研究。
• 詩(shī)詞創(chuàng)作：模型可以根據(jù)用戶(hù)提供的主題或關(guān)鍵詞，生成符合古詩(shī)詞的格律與風(fēng)格的作品，滿(mǎn)足用戶(hù)的創(chuàng)作需求。
• 古籍賞析：通古大模型能夠?qū)偶械慕?jīng)典篇章進(jìn)行深度解讀，分析其文學(xué)價(jià)值、歷史背景及文化內(nèi)涵，幫助用戶(hù)深入學(xué)習(xí)古籍。
• 古籍檢索與問(wèn)答：借助檢索增強(qiáng)技術(shù)，模型能夠快速檢索古籍內(nèi)容，并根據(jù)用戶(hù)提問(wèn)給出準(zhǔn)確的答案，幫助用戶(hù)高效獲取信息。
• 輔助古籍整理：該模型能夠識(shí)別古籍中的文字錯(cuò)誤和缺漏，提供修復(fù)建議，支持古籍的整理和數(shù)字化工作。

產(chǎn)品官網(wǎng)

• Github倉(cāng)庫(kù)：https://github.com/SCUT-DLVCLab/TongGu-LLM
• HuggingFace模型庫(kù)：https://huggingface.co/SCUT-DLVCLab/TongGu-7B-Instruct

應(yīng)用場(chǎng)景

• 古籍處理與數(shù)字化：通古大模型能夠高效處理古籍文獻(xiàn)，支持文白翻譯、句讀標(biāo)點(diǎn)和古籍檢索等功能，助力古籍整理工作，提升數(shù)字化效率。
• 教育支持：教師可以利用該模型生成教案、制作教學(xué)PPT，并設(shè)計(jì)課堂互動(dòng)環(huán)節(jié)；而學(xué)生則可以通過(guò)模型獲取文言文翻譯、成語(yǔ)解釋和詩(shī)詞創(chuàng)作等功能，增強(qiáng)對(duì)古文的理解。
• 文化傳承與普及：通古大模型降低了古籍閱讀的難度，使更多人能夠接觸和理解中華傳統(tǒng)文化。
• 學(xué)術(shù)研究：為古籍研究提供強(qiáng)大的技術(shù)支持，幫助學(xué)者快速檢索和分析古籍內(nèi)容。

常見(jiàn)問(wèn)題

• 通古大模型適合哪些人群使用？ 該模型適合古籍研究者、學(xué)生、教師以及對(duì)中華傳統(tǒng)文化感興趣的廣大用戶(hù)。
• 如何獲取通古大模型？ 用戶(hù)可以通過(guò)訪問(wèn)其GitHub和HuggingFace頁(yè)面獲取相關(guān)資源和使用說(shuō)明。
• 通古大模型是否支持多種語(yǔ)言？ 目前，模型主要支持文言文與現(xiàn)代白話文之間的雙向翻譯。
• 使用通古大模型需要什么技術(shù)基礎(chǔ)？ 使用者無(wú)需專(zhuān)業(yè)的技術(shù)背景，但了解基礎(chǔ)的古文知識(shí)將有助于更好地利用模型的功能。