Следующий код не работает, когда у меня нет рабочего подключения к Интернету, с сообщением об ошибке, которое я подробно описал ниже. Я пробовал много вещей, включая настройку и проверку папки .flair
и папки .cache
, которую использует пакет transformers
. Я также проверил, что distilbert-base-uncased
является текущим идентификатором модели на https://huggingface.co/models, как предполагалось в сообщении об ошибке. Что я могу сделать, чтобы исправить это? Подробности ниже.
Код с ошибкой
from flair.models import TextClassifier
en_classifier = TextClassifier.load('en-sentiment')
Ошибка:
Can't load tokenizer for 'distilbert-base-uncased'. Make sure that:
- 'distilbert-base-uncased' is a correct model identifier listed on 'https://huggingface.co/models'
- or 'distilbert-base-uncased' is the correct path to a directory containing relevant tokenizer files
Дополнительные сведения:
Версия Flair: 0.8.0.post1'
Необходимы переменные среды, поскольку мое приложение должно работать автономно без подключения к Интернету:
TRANSFORMERS_OFFLINE=1
HF_DATASETS_OFFLINE=1
У меня есть файлы моделей, расположенные в каталоге .flair
, настроенном с помощью flair.cache_root
. Код, который работает для меня, когда я загружаю другие модели:
from flair.models import TextClassifier
rnn_classifier = TextClassifier.load('sentiment-fast')
даже это работает:
from flair.models import SequenceTagger
tagger = SequenceTagger.load('ner')
Каталог .flair
содержит:
sentiment-en-mix-distillbert_4.pt
sentiment-en-mix-ft-rnn.pt
-
ner-english
(папка) -
pos-english
(папка)
~/.cache/huggingface/transformers
содержит:
0e1bbfda7f63a99bb52e3915dcf10c3c92122b827d92eb2d34ce94ee79ba486c.d789d64ebfe299b0e416afc4a169632f903f693095b4629a7ea271d5a0cf2c99
0e1bbfda7f63a99bb52e3915dcf10c3c92122b827d92eb2d34ce94ee79ba486c.d789d64ebfe299b0e416afc4a169632f903f693095b4629a7ea271d5a0cf2c99.json
75abb59d7a06f4f640158a9bfcde005264e59e8d566781ab1415b139d2e4c603.7f2721073f19841be16f41b0a70b600ca6b880c8f3df6f3535cbc704371bdfa4
75abb59d7a06f4f640158a9bfcde005264e59e8d566781ab1415b139d2e4c603.7f2721073f19841be16f41b0a70b600ca6b880c8f3df6f3535cbc704371bdfa4.json
8c8624b8ac8aa99c60c912161f8332de003484428c47906d7ff7eb7f73eecdbb.20430bd8e10ef77a7d2977accefe796051e01bc2fc4aa146bc862997a1a15e79
8c8624b8ac8aa99c60c912161f8332de003484428c47906d7ff7eb7f73eecdbb.20430bd8e10ef77a7d2977accefe796051e01bc2fc4aa146bc862997a1a15e79.json