HF-Mirror

HF-Mirror官網(wǎng)

HF-Mirror是國內(nèi)訪問HuggingFace的公益鏡像站，提供模型和數(shù)據(jù)集的高速下載，支持huggingface-cli和hfd工具，適用于AI開發(fā)者與研究人員。

HF-Mirror 是什么？

HF-Mirror 是一項公益性質(zhì)的項目，旨在為國內(nèi)用戶提供高速、穩(wěn)定的 Hugging Face 資源鏡像服務(wù)，解決訪問緩慢和下載受限等問題。它不僅提供模型、數(shù)據(jù)集等資源的加速訪問，還配備了專門的工具，如 hfd 下載器，以確保流暢的文件獲取體驗。HF-Mirror 不僅僅是一個鏡像站點，更是一個集模型搜索、數(shù)據(jù)集托管和算力調(diào)度于一體的 AI 開發(fā)協(xié)作平臺。

HF-Mirror 的應(yīng)用場景

• 科研開發(fā)者： 助力他們迅速下載所需的熱門模型與數(shù)據(jù)集，應(yīng)用于自然語言處理、圖像識別以及語音合成等多元化任務(wù)。
• 高校實驗室： 確保學(xué)生在校園網(wǎng)絡(luò)環(huán)境下，可以無障礙地訪問各類 AI 資源，告別下載中斷與失敗的困擾。
• 企業(yè)研發(fā)團隊： 協(xié)助構(gòu)建本地化的 AI 模型倉庫，保障部署效率與數(shù)據(jù)的安全性。
• AI 初學(xué)者： 提供零門檻的學(xué)習(xí)體驗，讓他們能夠輕松使用 Hugging Face 上的優(yōu)質(zhì)資源，無需額外的網(wǎng)絡(luò)配置。

HF-Mirror 的主要功能

• 模型與數(shù)據(jù)集鏡像搜索引擎： 幫助用戶快速精準(zhǔn)地定位 Hugging Face 上的所需資源。
• 多樣化的下載方式： 支持網(wǎng)頁直接下載，huggingface-cli 工具，hfd 下載器，以及環(huán)境變量設(shè)置等多種靈活的方式。
• 極速下載工具 hfd： 基于 aria2 開發(fā)，具備斷點續(xù)傳與并行下載能力，顯著提升下載效率。
• Gated Repo 支持： 允許用戶通過 Access Token 下載需要授權(quán)的模型資源。
• Co-op 一站式體驗平臺： 整合了模型查找、項目運行以及部署等環(huán)節(jié)，提供全面的服務(wù)。

HF-Mirror 的目標(biāo)用戶

HF-Mirror 主要面向以下用戶群體：

• AI 開發(fā)者與研究人員
• 機器學(xué)習(xí)工程師
• 數(shù)據(jù)科學(xué)從業(yè)者
• 教育工作者與學(xué)生
• 開源社區(qū)愛好者

HF-Mirror 尤其適合那些 Hugging Face 的重度使用者，深度學(xué)習(xí)模型的訓(xùn)練者，以及希望加速國內(nèi) AI 資源訪問的用戶。

如何使用 HF-Mirror？

? 方法一：網(wǎng)頁下載

直接訪問 hf-mirror.com，搜索并點擊所需的模型，然后進(jìn)入 “Files and versions” 頁面即可開始下載文件。

? 方法二：huggingface-cli 設(shè)置鏡像

pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download gpt2 --local-dir gpt2

? 方法三：使用 hfd 下載器（推薦）

wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh
export HF_ENDPOINT=https://hf-mirror.com
./hfd.sh gpt2

? 方法四：非侵入式設(shè)置環(huán)境變量（適用于訓(xùn)練腳本）

HF_ENDPOINT=https://hf-mirror.com python train.py

免費試用及收費方式介紹

HF-Mirror 秉持公益性質(zhì)，提供完全免費的服務(wù)，所有功能均開放使用。目前沒有任何收費機制，用戶可以通過網(wǎng)頁左下角的“捐贈支持”鏈接，自愿支持項目的持續(xù)運營。此外，HF-Mirror 整合的“趨動云 Co-op 平臺”提供云端訓(xùn)練與部署服務(wù)，具體信息可以參考詳細(xì)介紹。

HF-Mirror 效果評測

根據(jù)社區(qū)的反饋來看：

• ? 下載速度相較于 Hugging Face 官方網(wǎng)站有了顯著提升，尤其是在大模型多文件批量下載方面。
• ?? 配合 hfd 工具使用時，表現(xiàn)出極高的穩(wěn)定性，即使遇到斷網(wǎng)也能實現(xiàn)斷點續(xù)傳。
• ? 對于 Gated Repo 的訪問兼容性良好，不過需要手動添加 Token。
• ? 目前尚未提供登錄功能，因此某些需要用戶驗證的操作仍然需要在 Hugging Face 官網(wǎng)進(jìn)行處理。

HF-Mirror 替代工具推薦

• ModelScope 鏡像（魔搭社區(qū)）： 阿里達(dá)摩院提供的模型與數(shù)據(jù)集平臺，特別適用于中文場景。
• OpenMMLab 鏡像倉庫： 專注于計算機視覺任務(wù)，支持模型鏡像與社區(qū)共享。
• Tsinghua Tuna 鏡像站： 國內(nèi)知名的開源鏡像站，提供部分 AI 資源的加速下載服務(wù)。
• 百度飛槳 AI Studio： 提供模型托管與訓(xùn)練資源，適合國內(nèi)教育與企業(yè)應(yīng)用場景。
• Kaggle Dataset 下載代理： 通過國內(nèi) CDN 提供數(shù)據(jù)集的高速訪問服務(wù)。

HF-Mirror 常見問題解答

Q: 是否支持下載需要登錄授權(quán)的模型？
A: 是的，但是用戶需要先在 Hugging Face 官網(wǎng)申請 Access Token，然后通過命令行工具傳入 Token 參數(shù)。

Q: 下載工具 hfd 是否提供 GUI 界面？
A: 目前 hfd 是一款 Shell 腳本工具，沒有圖形界面，但使用簡單，適合熟悉命令行的用戶。

Q: 如果下載失敗應(yīng)該怎么辦？
A: 檢查是否正確設(shè)置了 HF_ENDPOINT 環(huán)境變量，或者嘗試切換到 hfd 工具進(jìn)行下載。

Q: 鏡像數(shù)據(jù)是否能夠做到實時同步？
A: 一般情況下，鏡像數(shù)據(jù)每日同步一次，更新頻率較高。

HF-Mirror官方網(wǎng)站入口網(wǎng)址：

HF-Mirror官網(wǎng)：https://hf-mirror.com/

OpenI小編發(fā)現(xiàn)HF-Mirror網(wǎng)站非常受用戶歡迎，請訪問HF-Mirror官網(wǎng)網(wǎng)址入口試用。