я пытаюсь использовать набор данных с помощью pandas в ibm cloud error=кодек 'utf-8' не может декодировать байты в позиции 135-136: недопустимый байт продолжения

avatar
srikar
9 августа 2021 в 05:02
102
1
0

Это код, автоматически сгенерированный ibm cloud, когда я загружаю свой набор данных и пытаюсь кодировать='latin-1', но все равно выдает ошибку

import os, types
import pandas as pd
from botocore.client import Config
import ibm_boto3

def __iter__(self): return 0

if os.environ.get('RUNTIME_ENV_LOCATION_TYPE') == 'external':
    endpoint_3660ea30b8c954806ac4 = 'https://s3.us.cloud-object-storage.appdomain.cloud'
else:
    endpoint_3660ea30b8c954806ac4 = 'https://s3.private.us.cloud-object-storage.appdomain.cloud'

client_3660ea30b8c954806ac4 = ibm_boto3.client(service_name='s3',
    ibm_api_key_id='xjHcqdBlY9iaaD7qu17e6-njKJPFSdGWk4d',
    ibm_auth_endpoint="https://iam.cloud.ibm.com/oidc/token",
    config=Config(signature_version='oauth'),
    endpoint_url=endpoint_3660ea30b8c954806ac4)

body = client_3660ea30b8c954806ac4.get_object(Bucket='spamdetectionmodel-donotdelete-pr-mt98rs41prv05c',Key='spam.csv')['Body']
# add missing __iter__ method, so pandas accepts body as file-like object
if not hasattr(body, "__iter__"): body.__iter__ = types.MethodType( __iter__, body )
df_data_1 = pd.read_csv(body)
df_data_1.head()

Ошибка:

кодек 'utf-8' не может декодировать байты в позиции 135-136: неверно байт продолжения

Источник
covener
9 августа 2021 в 05:16
0

любопытно, почему это было помечено как "вебсфера"?

Ответы (1)

avatar
Ibrahim Ayoup
9 августа 2021 в 05:33
0

Вы пытались изменить настройки pandas encoding, можете попробовать ниже:

df_data_1 = pd.read_csv(body, encoding='utf-8')

Или альтернативно:

df_data_1 = pd.read_csv(body, encoding='ISO-8859-1')

Прочитайте настройки encoding, приведенные ниже помогли мне устранить такую ​​ошибку:

UnicodeDecodeError при чтении файла CSV в Pandas с помощью Python

srikar
9 августа 2021 в 05:54
0

да, я тоже использовал их, но все равно выдает ту же ошибку, но это работает на моем компьютере, но не в облаке IBM

Ibrahim Ayoup
9 августа 2021 в 09:31
0

Честно говоря, не уверен насчет IBM Cloud, попробуйте погуглить, всего наилучшего!