Ошибка импорта pyarrow в блокнот jupyter после установки pyarrow в pip

avatar
Adrian Denner
1 июля 2021 в 20:28
1428
2
1

У меня проблема с импортом pyarrow в блокнот Jupyter. Чтобы дать некоторый контекст, я создал виртуальную среду с именем rc_env. Я удалял и переустанавливал pyarrow несколько раз, но это сообщение, которое я получил, когда недавно установил его.

pip install pyarrow
Requirement already satisfied: pyarrow in ./Environments/rc_env/lib/python3.8/site-packages (4.0.1)
Requirement already satisfied: numpy>=1.16.6 in ./Environments/rc_env/lib/python3.8/site-packages (from pyarrow) (1.21.0)

Таким образом, пакет находится в моей среде. И для еще одной проверки работоспособности я использовал команду pip list, чтобы просмотреть пакеты python, установленные в моей среде.

(rc_env) LTA00015JFK:~ adenner$ pip list
Package                       Version
----------------------------- ---------
appnope                       0.1.2
argon2-cffi                   20.1.0
async-generator               1.10
attrs                         21.2.0
backcall                      0.2.0
beautifulsoup4                4.9.3
bleach                        3.3.0
boto3                         1.17.103
botocore                      1.20.103
cachetools                    4.2.2
certifi                       2021.5.30
cffi                          1.14.5
chardet                       4.0.0
cycler                        0.10.0
debugpy                       1.3.0
decorator                     5.0.9
defusedxml                    0.7.1
dictor                        0.1.7
entrypoints                   0.3
et-xmlfile                    1.1.0
google                        3.0.0
google-api-core               1.30.0
google-api-python-client      2.11.0
google-auth                   1.32.1
google-auth-httplib2          0.1.0
google-auth-oauthlib          0.4.4
google-cloud                  0.34.0
google-cloud-bigquery         2.20.0
google-cloud-bigquery-storage 2.5.0
google-cloud-core             1.7.1
google-cloud-vision           2.3.2
google-crc32c                 1.1.2
google-resumable-media        1.3.1
googleapis-common-protos      1.53.0
grpcio                        1.38.1
httplib2                      0.19.1
idna                          2.10
ipykernel                     6.0.0
ipython                       7.25.0
ipython-genutils              0.2.0
ipywidgets                    7.6.3
jedi                          0.18.0
Jinja2                        3.0.1
jmespath                      0.10.0
jsonschema                    3.2.0
jupyter                       1.0.0
jupyter-client                6.1.12
jupyter-console               6.4.0
jupyter-core                  4.7.1
jupyterlab-pygments           0.1.2
jupyterlab-widgets            1.0.0
kiwisolver                    1.3.1
libcst                        0.3.19
MarkupSafe                    2.0.1
matplotlib                    3.4.2
matplotlib-inline             0.1.2
mistune                       0.8.4
mypy-extensions               0.4.3
nbclient                      0.5.3
nbconvert                     6.1.0
nbformat                      5.1.3
nest-asyncio                  1.5.1
notebook                      6.4.0
numpy                         1.21.0
oauthlib                      3.1.1
openpyxl                      3.0.7
packaging                     20.9
pandas                        1.2.5
pandas-gbq                    0.15.0
pandocfilters                 1.4.3
parso                         0.8.2
pexpect                       4.8.0
pickleshare                   0.7.5
Pillow                        8.3.0
pip                           21.1.3
prometheus-client             0.11.0
prompt-toolkit                3.0.19
proto-plus                    1.19.0
protobuf                      3.17.3
ptyprocess                    0.7.0
pyarrow                       4.0.1
pyasn1                        0.4.8
pyasn1-modules                0.2.8
pycparser                     2.20
pydata-google-auth            1.2.0
Pygments                      2.9.0
pyparsing                     2.4.7
pyrsistent                    0.18.0
python-dateutil               2.8.1
pytz                          2021.1
PyYAML                        5.4.1
pyzmq                         22.1.0
qtconsole                     5.1.1
QtPy                          1.9.0
requests                      2.25.1
requests-oauthlib             1.3.0
rsa                           4.7.2
s3transfer                    0.4.2
scipy                         1.7.0
seaborn                       0.11.1
Send2Trash                    1.7.1
seshat                        0.8.5
setuptools                    57.0.0
six                           1.16.0
soupsieve                     2.2.1
terminado                     0.10.1
testpath                      0.5.0
titlecase                     2.2.0
tornado                       6.1
tqdm                          4.61.1
traitlets                     5.0.5
typing-extensions             3.10.0.0
typing-inspect                0.7.1
uritemplate                   3.0.1
urllib3                       1.26.6
uuid                          1.30
wcwidth                       0.2.5
webencodings                  0.5.1
wheel                         0.36.2
widgetsnbextension            3.5.1
XlsxWriter                    1.4.3

Теперь, когда я открываю Python и пытаюсь импортировать модуль, я получаю следующее сообщение об ошибке:

(rc_env) LTA00015JFK:~ adenner$ python 
Python 3.8.5 (v3.8.5:580fbb018f, Jul 20 2020, 12:11:27) 
[Clang 6.0 (clang-600.0.57)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import pyarrow 
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Users/adenner/Environments/rc_env/lib/python3.8/site-packages/pyarrow/__init__.py", line 63, in <module>
    import pyarrow.lib as _lib
ImportError: dlopen(/Users/adenner/Environments/rc_env/lib/python3.8/site-packages/pyarrow/lib.cpython-38-darwin.so, 2): Symbol not found: ____chkstk_darwin
  Referenced from: /Users/adenner/Environments/rc_env/lib/python3.8/site-packages/pyarrow/libarrow.400.dylib
  Expected in: /usr/lib/libSystem.B.dylib
 in /Users/adenner/Environments/rc_env/lib/python3.8/site-packages/pyarrow/libarrow.400.dylib

Я пытался использовать среды anaconda3 и miniconda3, но, к сожалению, постоянно получаю одно и то же сообщение об ошибке. Я также использую macOS High Serra версии 10.13.6. Есть предложения?

Источник
TDrabas
1 июля 2021 в 20:45
0

Я только что сделал pip install pyarrow в новой среде (созданный как conda create -n pyarrow python=3.8), и у меня не было проблем с запуском python -c "import pyarrow". Затем я установил jupyter lab (используя conda, conda install jupyterlab) и смог сделать то же самое в среде ноутбука. Можете ли вы попробовать создать новую среду и посмотреть, поможет ли это?

TDrabas
1 июля 2021 в 21:01
0

Поскольку вы работаете на Mac, вы также можете попробовать это: coderhelper.com/questions/35029029/…

Ответы (2)

avatar
Ray
19 октября 2021 в 05:38
0

вы можете попробовать лабораторию jupyter вместо ноутбука jupyter. У меня возникла эта проблема, когда я использую блокнот, но pyarrow хорошо работает в лаборатории jupyter

Yunnosch
19 октября 2021 в 05:51
1

Пожалуйста, сделайте более очевидным, какую дополнительную информацию дает этот пост по сравнению с существующим ответом, например. coderhelper.com/a/68225189/7733418 Кроме того, вам может понравиться эта информация coderhelper.com/editing-help

avatar
Uwe L. Korn
2 июля 2021 в 12:26
2

Это известная ошибка в последнем выпуске pyarrow: https://issues.apache.org/jira/browse/ARROW-13108. вам понадобится macOS 10.15+ для запуска сборок колес.

Поскольку вы уже находитесь в среде, созданной conda, вместо этого вы можете использовать пакет conda pyarrow. Это будет работать на macOS 10.9+ и даже является предпочтительным способом установки pyarrow:

.
conda install -c conda-forge pyarrow

В качестве альтернативы можно использовать mamba:

mamba install -c conda-forge pyarrow
Adrian Denner
2 июля 2021 в 14:57
1

Большое спасибо за ваш ответ. Мне удалось решить проблему, обновив macOS до версии BigSur 11.4.