FlagAI飛智：AI基礎模型開源項目，支持一鍵調用OPT等模型

一?背景

GPT-3、OPT系列、悟道等預訓練模型在NLP領域取得了非常矚目的效果，但是不同代碼倉庫有著不同實現風格，并且在預訓練大模型過程中使用的技術也各不相同，造成了技術鴻溝。為了快速加載、訓練、推理不同大模型，使用最新最快的模型并行技術以及提高用戶訓練和使用模型的便捷性，北京智源人工智能研究院推出了FlagAI（飛智）基礎模型開源項目，為一鍵調大模型等功能提供支持。

二 FlagAI特點

FlagAI飛智是一個快速、易于使用和可擴展的AI基礎模型工具包。 支持一鍵調用多種主流基礎模型，同時適配了中英文多種下游任務。

• FlagAI支持最高百億參數的悟道GLM(詳見GLM介紹)，同時也支持BERT、RoBERTa、GPT2、T5 模型、Meta OPT模型和 Huggingface Transformers 的模型。
• FlagAI提供 API 以快速下載并在給定（中/英文）文本上使用這些預訓練模型，你可以在自己的數據集上對其進行微調(fine-tuning)或者應用提示學習(prompt-tuning)。
• FlagAI提供豐富的基礎模型下游任務支持，例如文本分類、信息提取、問答、摘要、文本生成等，對中英文都有很好的支持。
• FlagAI由三個最流行的數據/模型并行庫（PyTorch/Deepspeed/Megatron-LM）提供支持，它們之間實現了無縫集成。 在FlagAI上，你可以用不到十行代碼來并行你的訓練、測試過程，也可以方便的使用各種模型提速技巧。

開源項目地址：FlagAI-Open/FlagAI: FlagAI (Fast LArge-scale General AI models) is a fast, easy-to-use and extensible toolkit for large-scale model. (github.com)