Не могу очистить роботов в питоне с помощью BeautifulSoup

avatar
Bill My
8 августа 2021 в 15:51
61
0
0

Мне удалось получить суп и html веб-страницы, но по какой-то причине я не могу найти robots tag, хотя я могу найти его при очистке на других языках.

Пример:

headers = {
        'Accept-Encoding': 'gzip, deflate, sdch',
        'Accept-Language': 'en-US,en;q=0.8',
        'Upgrade-Insecure-Requests': '1',
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87  Safari/537.36',
        'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,/;q=0.8', 
        'Cache-Control': 'max-age=0', 'Connection': 'keep-alive', 
    }

res=requests.get('http://{}'.format("radverdirect.com"), headers=headers, allow_redirects = True)
number= str(res.status_code)
soup = BeautifulSoup(res.text, 'html.parser')

x=soup.find('meta', attrs={'name':'robots'})
out=x.get("content", None)  
out

Этот сайт возвращает мне noodp на других языках, но здесь я не могу найти этот тег. Почему и как это исправить?

Источник
Steven
8 августа 2021 в 16:45
0

Я думаю, вам стоит разделить все вопросы по разным темам. А ваши вопросы вообще не касаются искры.

Bill My
8 августа 2021 в 18:53
0

первые два связаны. Я могу разделить третий, вы знаете решение? я не говорил, что это связано с искрой

Ответы (0)