LLM Engineer Toolkit

LLM Engineer Toolkit官網

一個精心整理的LLM工具庫，它將120多個與LLM相關的庫按照功能和用途進行了細致分類，涵蓋了從訓練微調、應用開發、推理服務到安全評估等 LLM 開發全流程所需的工具。

網站提供：Ai工具箱，Ai學習資源，LLM Engineer Toolkit，LLM。

LLM Engineer Toolkit工具分類

1. LLM訓練和微調

• unsloth：快速微調LLM，減少內存占用。
• PEFT：參數高效微調庫。
• TRL：通過強化學習訓練Transformer語言模型。
• DeepSpeed：分布式訓練和推理優化庫。

2. LLM應用開發

• LangChain：開發基于LLM的應用。
• Llama Index：為LLM應用提供數據框架。
• Haystack：端到端LLM框架，支持與Transformer模型和向量搜索集成。

3. LLM推理

• vLLM：高吞吐量、內存高效的推理引擎。
• LightLLM：輕量級、可擴展的推理框架。
• TensorRT-LLM：Nvidia框架，用于優化LLM推理。

4. LLM服務

• Langcorn：自動將LangChain應用部署為FastAPI服務。
• LitServe：支持批量、流式傳輸和GPU自動擴展的快速服務引擎。

5. LLM數據提取

• Crawl4AI：開源的LLM友好型網絡。
• Docling：文檔解析工具。
• PyMuPDF4LLM：用于提取PDF內容的工具。

6. LLM數據生成

• DataDreamer：合成數據生成庫。
• fabricator：靈活的合成數據生成框架。

7. LLM安全與監控

• LLM Guard：LLM交互的安全工具。
• Weights & Biases：跟蹤LLM性能。
• Helicone：開源的LLM可觀測性平臺。

8. LLM評估

• Ragas：LLM應用評估工具。
• LangTest：提供多種測試類型，評估LLM的準確性、偏見和魯棒性。

9. LLM嵌入模型

• Sentence-Transformers：最先進的文本嵌入模型。
• Text Embedding Inference：高性能嵌入模型推理工具。

10. 其他

• LLM Transparency Tool：分析Transformer模型內部機制的工具。
• mergekit：合并預訓練LLM的工具。

LLM Engineer Toolkit官網入口網址

llm-engineer-toolkit工具庫GitHub倉庫：https://github.com/KalyanKS-NLP/llm-engineer-toolkit

OpenI小編發現LLM Engineer Toolkit網站非常受用戶歡迎，請訪問LLM Engineer Toolkit網址入口試用。