Lit-GPT

Lit-GPT官網

快捷微調LLM

網站服務：AI開源項目，ai，AI編程，AI開源項目，ai。

Lit-GPT簡介

Hackable implementation of state-of-the-art open-source LLMs based on nanoGPT. Supports flash attention， 4-bit and 8-bit quantization， LoRA and LLaMA-Adapter fine-tuning， pre-training. Apache 2.0-licensed. – GitHub – Lightning-AI/lit-gpt: Hackable implementation of state-of-the-art open-source LLMs based on nanoGPT. Supports flash attention， 4-bit and 8-bit quantization， LoRA and LLaMA-Adapter fine-tuning， pre-training. Apache 2.0-licensed.
一個基于 Lit-LLaMA 和 nanoGPT 實現，支持 LLaMa 2、Mistral 7B、Mixtral 8x7B 等模型的微調。支持閃存注意力，Int8和GPTQ 4bit量化，LoRA和LLaMA-Adapter微調，預訓練等功能。

Lit-GPT官網入口網址

https://github.com/Lightning-AI/lit-gpt

OpenI小編發現Lit-GPT網站非常受用戶歡迎，請訪問Lit-GPT網址入口試用。