AnythingLLM

AnythingLLM官網

AnythingLLM是一個全棧應用程序，您可以使用現成的商業大語言模型或流行的開源大語言模型，再結合向量數據庫解決方案構建一個私有ChatGPT，不再受制于人：您可以本地運行，也可以遠程托管，并能夠與您提供的任何文檔智能。

AnythingLLM將您的文檔劃分為稱為workspaces (工作區）的對象。工作區的功能類似于線程，同時增加了文檔的容器化。工作區可以共享文檔，但工作區之間的內容不會互相干擾或污染，因此您可以保持每個工作區的上下文清晰。

AnythingLLM的功能特點

• 多用戶實例支持和權限管理
• 工作區內的智能體Agent（瀏覽網頁、運行代碼等）
• 為您的網站定制的可嵌入窗口
• 支持多種文檔類型（PDF、TXT、DOCX等）
• 通過簡單的用戶界面管理向量數據庫中的文檔
• 兩種對話模式：和查詢。模式保留先前的對話記錄。查詢模式則是是針對您的文檔做簡單問答
• 中會提供所引用的相應文檔內容
• 100%云部署就緒。
• “部署你自己的LLM模型”。
• 管理超大文檔時高效、低耗。只需要一次就可以嵌入（Embedding)一個龐大的文檔或文字記錄。比其他文檔機器人解決方案節省90%的成本。
• 全套的開發人員API，用于自定義集成！

支持的 LLM、嵌入模型和向量數據庫

• LLM：包括任何開源的 llama.cpp 兼容模型、OpenAI、Azure OpenAI、Anthropic ClaudeV2、LM Studio 和 LocalAi。
• 嵌入模型：AnythingLLM 原生嵌入器、OpenAI、Azure OpenAI、LM Studio 和 LocalAi。
• 向量數據庫：LanceDB（默認）、Pinecone、Chroma、Weaviate 和 QDrant。

AnythingLLM的技術概覽

• 整個項目設計為單線程結構，主要由三部分組成:收集器、前端和服務器。
• collector：Python 工具，可快速將在線資源或本地文檔轉換為 LLM 可用格式。
• frontend：ViteJS + React 前端，用于創建和管理 LLM 可使用的所有內容。
• server：NodeJS + Express 服務器，處理所有向量數據庫管理和 LLM 交互。

AnythingLLM官網入口：

• AnythingLLM官網：https://anythingllm.com/
  github：https://github.com/Mintplex-Labs/anything-llm