一、大模型相关
hf-mirror
参考文档：https://hf-mirror.com/
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
| #1. 安装依赖
pip install -U "huggingface_hub[hf_transfer]" modelscope
#2. 设置环境变量
# Linux 建议将这一行写入 ~/.bashrc
export HF_ENDPOINT=https://hf-mirror.com
export HF_HUB_ENABLE_HF_TRANSFER=1
# Windows Powershell
$env:HF_ENDPOINT = "https://hf-mirror.com"
#3.1 下载模型
huggingface-cli download --resume-download gpt2 --local-dir gpt2
#3.2 下载数据集
huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext
# 可以添加 --local-dir-use-symlinks False 参数禁用文件软链接，这样下载路径下所见即所得
|
modelscope
1
2
3
4
5
6
7
8
9
| # Ubuntu 上用 ModelScope 预下载
python - <<'PY'
from modelscope.hub.snapshot_download import snapshot_download
local_dir = snapshot_download(
model_id='vidore/colqwen2-v1.0', # 若该ID不存在，需换ModelScope上的实际模型ID
cache_dir='/data/models'
)
print(local_dir)
PY
|