K2-上海交通大學

K2-上海交通大學官網(wǎng)

一個地球科學的開源大預(yù)言模型
網(wǎng)站服務(wù)：K2-上海交通大學。
Code and datasets for paper "Learning A Foundation Language Model for Geoscience Knowledge Understanding and Utilization" – GitHub – davendw49/k2: Code and datasets for paper "Learning A Foundation Language Model for Geoscience Knowledge Understanding and Utilization"

K2是一個地球科學的開源大預(yù)言模型。首先通過收集和清理的地球科學文獻（包括地球科學開放獲取論文和頁面）對 LLaMA 進行進一步預(yù)訓(xùn)練，然后使用知識密集型指令調(diào)優(yōu)數(shù)據(jù)（GeoSignal ）。初步評估采用GeoBenchmark（由NPEE和AP Test on Geology、Geography、Environmental Science組成）作為基準。與具有相似參數(shù)的幾個基線模型相比，K2 在客觀和主觀任務(wù)上的表現(xiàn)優(yōu)于基線。我們介紹 K2 (7B)，它是一個開源語言模型，首先在收集和清理過的地球科學文獻（包括地球科學開放存取論文和頁面）上對 LLaMA 進行進一步預(yù)訓(xùn)練，然后使用知識密集型指令調(diào)整數(shù)據(jù)（GeoSignal）進行微調(diào)。在初步評估中，我們使用 GeoBench（由 NPEE 和關(guān)于地質(zhì)學、地理學和環(huán)境科學的 AP 測試組成）作為基準。與參數(shù)相似的幾個基準模型相比，K2 在客觀和主觀任務(wù)上的表現(xiàn)都優(yōu)于基準模型。在該資源庫中，我們將共享以下代碼和數(shù)據(jù)。

K2-上海交通大學網(wǎng)址入口

https://github.com/davendw49/k2

OpenI小編發(fā)現(xiàn)K2-上海交通大學網(wǎng)站非常受用戶歡迎，請訪問K2-上海交通大學網(wǎng)址入口試用。