runningcheese/MirrorSite: 鏡像網(wǎng)站合集 (github.com)

huggingface

下載模型和數(shù)據(jù)使用snapshot_download的方法

不會(huì)修改HuggingFace模型下載默認(rèn)緩存路徑？一篇教會(huì)你!_huggingface默認(rèn)下載路徑-CSDN博客

下載模型

使用snapshot_download

使用snapshot_download配置代理多線程下載模型 - 風(fēng)之煉金術(shù)士華華 - 博客園

直接使用git下載

GIT_LFS_SKIP_SMUDGE=1 git clone git clone https://huggingface.co/facebook/
opt-125m
cd opt-125m
git lfs pull --include="*.bin"

下載數(shù)據(jù)

使用snapshot_download

import os
from huggingface_hub import snapshot_download
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
snapshot_download(repo_id = 'liuhaotian/LLaVA-CC3M-Pretrain-595K',  repo_type="dataset",  # 可選 [dataset,model] local_dir='/home/jsh/code/Train_llava/Data',# 下載到本地的路徑resume_download=True, # 斷點(diǎn)續(xù)傳) 

使用 datasets的load_dataset

from datasets import load_dataset, Dataset 
dataset = load_dataset("gsm8k",'main',split='train')

如果是本地沒有緩存那么會(huì)下載到路徑

https://zhuanlan.zhihu.com/p/620652410

Windows系統(tǒng)中，HuggingFace模型的默認(rèn)保存位置是C:\Users\username\.cache\huggingface\transformers。您可以更改shell環(huán)境變量來指定不同的緩存目錄。例如，您可以更改默認(rèn)的shell環(huán)境變量TRANSFORMERS_CACHE或者HF_HOME + transformers/

文件儲(chǔ)存格式

會(huì)先把原文件格式下下來然后生成保存成.arrow文件

(hf_dataset_download) PS C:\code\hf_dataset_download> python .\dataset_modelscope.py
README.md: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7.94k/7.94k [00:00<?, ?B/s]
C:\Users\13783\.conda\envs\hf_dataset_download\lib\site-packages\huggingface_hub\file_download.py:139: UserWarning: `huggingface_hub` cache-system uses symlinks by default to efficiently store duplicated files but your machine does not support them in C:\Users\13783\.cache\huggingface\hub\datasets--gsm8k. Caching files will still work but in a degraded version that might require more space on your disk. This warning can be disabled by setting the `HF_HUB_DISABLE_SYMLINKS_WARNING` environment variable. For more details, see https://huggingface.co/docs/huggingface_hub/how-to-cache#limitations.
To support symlinks on Windows, you either need to activate Developer Mode or to run Python as an administrator. In order to activate developer mode, see this article: https://docs.microsoft.com/en-us/windows/apps/get-started/enable-your-device-for-developmentwarnings.warn(message)
train-00000-of-00001.parquet: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2.31M/2.31M [00:00<00:00, 2.40MB/s]
test-00000-of-00001.parquet: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 419k/419k [00:00<00:00, 8.18MB/s]
Generating train split: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7473/7473 [00:00<00:00, 678809.61 examples/s] 
Generating test split: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1319/1319 [00:00<00:00, 439105.24 examples/s] 

修改下載位置?

通過datasets加載數(shù)據(jù)集

加載 - Hugging Face 中文

github

github下載國內(nèi)鏡像網(wǎng)站

▼?GitHub	鏡像網(wǎng)站
GitHub 訪問	在任意 github 鏈接后面加上 fast，也就是 githubfast.com，[示例]
?	在任意 github 鏈接前面加上 521，也就是 521github.com，[示例]
?	在任意 github 鏈接前面加上 kk，也就是 kkgithub.com，[示例]
GitHub 下載	在 github 下載鏈接前面加上?https://mirror.ghproxy.com，[示例]
GitHub 文件夾	項(xiàng)目地址，解決 GitHub 只能下載整個(gè)項(xiàng)目的問題。
GitHub CDN	https://gcore.jsdelivr.net，180ms 延遲，海外服務(wù)器，有緩存。[示列]
?	https://cdn.jsdelivr.net，180ms 延遲，海外服務(wù)器，有緩存。[示列]
?	https://jsd.onmicrosoft.cn，15ms 延遲，國外服務(wù)器，無緩存。[示列]
?	https://jsd.cdn.zzko.cn，30ms 延遲，國外服務(wù)器，無緩存。[示列]
Stackoverflow	fsou，在原網(wǎng)頁前加上鏈接。[示例]