Добро пожаловать в aihoster!

Замените URL для huggingface-cli

Установите переменную окружения HF_ENDPOINT на наш сайт ( https://hf.aihoster.ru).

Linux:

export HF_ENDPOINT=https://hf.aihoster.ru

Windows Powershell:

$env:HF_ENDPOINT = "https://hf.aihoster.ru"

Все загрузки с aihoster выполняются аналогично huggingface

from huggingface_hub import snapshot_download

snapshot_download(repo_id='Qwen/Qwen-7B', repo_type='model',
    local_dir='./model_dir', force_download=True,
    max_workers=8)

Или вы можете скачивать модели и датасеты через huggingface cli.

pip install -U huggingface_hub

Пример загрузки GPT2:

huggingface-cli download openai-community/gpt2 --local-dir gpt2

Пример загрузки WikiText:

huggingface-cli download --repo-type dataset Salesforce/wikitext --local-dir wikitext