hf-mirror.com是一个旨在为中国国内的人工智能开发者提供更快更稳定下载服务的镜像站点,它镜像了Hugging Face的huggingface.co网站上的模型和数据集资源。由于网络环境和地理限制,直接从Hugging Face的官方服务器下载可能遇到速度慢或者连接不稳定的问题,而hf-mirror.com通过在国内部署服务器,提供了对这些资源的加速访问。
hf-mirror.com
huggingface.co
以下是使用hf-mirror.com下载模型或数据集的一些方法:
直接在网站上搜索所需的模型或数据集,并在模型主页的“Files and Version”部分下载文件。
pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
$env:HF_ENDPOINT = "https://hf-mirror.com"
~/.bashrc
huggingface-cli download --resume-download <model_name> --local-dir <destination_folder>
huggingface-cli download --repo-type dataset --resume-download <dataset_name> --local-dir <destination_folder>
--local-dir-use-symlinks False
wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh
./hfd.sh <model_or_dataset_name> --tool aria2c -x 4
--dataset
在运行Python脚本时,通过环境变量HF_ENDPOINT=https://hf-mirror.com python your_script.py指定下载源。
HF_ENDPOINT=https://hf-mirror.com python your_script.py
对于那些需要登录才能访问的资源(Gated Repositories),你需要先在Hugging Face的官网上登录并申请权限,然后获取Access Token,再通过--token参数使用huggingface-cli或hfd下载。
--token
huggingface-cli
hfd