借助LMStudio本地部署DeepSeek-R1系列模型
原標題:DeepSeek R1本地部署,小白教程來了!
文章來源:智猩猩GenAI
內容字數:2506字
本地部署DeepSeek-R1模型小白教程
本文提供一個簡易教程,指導用戶如何在本地部署DeepSeek-R1模型,并將其API接入AI IDE,例如Cursor。
1. DeepSeek-R1及蒸餾模型
DeepSeek開源了完整的deepseek-r1 671B權重和一些蒸餾后的較小模型(Disstill系列)。其中,qwen-14b模型的性能與OpenAI-o1-mini相當。本教程將使用LMStudio部署這些較小的Disstill模型。
2. 選擇本地部署工具:LMStudio
LMStudio是一個功能強大的本地大模型部署工具,支持Windows、macOS和Linux系統。它強調本地化操作,保障數據隱私和安全,非常適合處理敏感數據。無論用戶是初學者還是資深開發者,都能輕松上手。
3. 步驟詳解:本地部署DeepSeek-R1-Disstill模型
下載LMStudio
從LMStudio官網或GitHub倉庫下載0.3.9版本安裝包(其他版本可能不適用本教程)。
官網:https://lmstudio.ai/
GitHub:https://github.com/lmstudio-ai/lmstudio.js更換模型下載源及下載模型
由于Hugging Face訪問限制,需要修改LMStudio的模型下載源。打開LMStudio安裝目錄下的
resources\app\.webpack\renderer\main_window.js
和resources\app\.webpack\main\index.js
這兩個文件,將所有https://huggingface.co/
替換為https://hf-mirror.com/
。重啟LMStudio。在LMStudio界面搜索”r1″,選擇合適的DeepSeek-R1-Disstill模型下載(例如deepseek-r1-distill-qwen-7b)。模型加載與測試
下載完成后,LMStudio會自動加載模型。加載時間取決于模型大小和硬件配置。即使顯存較小(例如6G顯存的3060顯卡),LMStudio也會利用內存輔助加載,從而實現本地部署。 可以使用測試問題進行驗證,例如:”Strawberries 有幾個 r?”。
部署API
點擊LMStudio主界面的第二個按鈕進入開發者界面,啟用API部署服務。在設置中選擇全部打開,以便在不同環境(例如WSL)訪問服務。此API可供AI IDE(例如Cursor)調用。
4. 總結
本教程詳細介紹了如何使用LMStudio本地部署DeepSeek-R1-Disstill系列模型,并提供了解決Hugging Face訪問問題的方案。即使是配置較低的電腦,也能通過LMStudio實現本地部署,保障數據隱私和安全。 通過部署API,用戶可以方便地將本地模型集成到其他AI開發環境中。
聯系作者
文章來源:智猩猩GenAI
作者微信:
作者簡介:智猩猩旗下賬號,專注于生成式人工智能,主要分享技術文章、論文成果與產品信息。