hf-mirror.com
是一个旨在为中国国内的人工智能开发者提供更快更稳定下载服务的镜像站点,它镜像了Hugging Face的huggingface.co
网站上的模型和数据集资源。由于网络环境和地理限制,直接从Hugging Face的官方服务器下载可能遇到速度慢或者连接不稳定的问题,而hf-mirror.com
通过在国内部署服务器,提供了对这些资源的加速访问。
以下是使用hf-mirror.com
下载模型或数据集的一些方法:
直接在网站上搜索所需的模型或数据集,并在模型主页的“Files and Version”部分下载文件。
pip install -U huggingface_hub
安装必要的工具。export HF_ENDPOINT=https://hf-mirror.com
,在Windows PowerShell中使用$env:HF_ENDPOINT = "https://hf-mirror.com"
。建议将这行代码添加到你的shell配置文件中,例如~/.bashrc
。huggingface-cli download --resume-download <model_name> --local-dir <destination_folder>
。huggingface-cli download --repo-type dataset --resume-download <dataset_name> --local-dir <destination_folder>
。可以通过添加--local-dir-use-symlinks False
来禁用软链接。wget https://hf-mirror.com/hfd/hfd.sh
并运行chmod a+x hfd.sh
使其可执行。./hfd.sh <model_or_dataset_name> --tool aria2c -x 4
(对于数据集,添加--dataset
标志)。在运行Python脚本时,通过环境变量HF_ENDPOINT=https://hf-mirror.com python your_script.py
指定下载源。
对于那些需要登录才能访问的资源(Gated Repositories),你需要先在Hugging Face的官网上登录并申请权限,然后获取Access Token,再通过--token
参数使用huggingface-cli
或hfd
下载。