Бот Google убивает мою пропускную способность

avatar
Prajwal
8 апреля 2018 в 10:41
634
1
0

Я столкнулся со странной и очень серьезной проблемой с учетными записями, размещенными на моем веб-сайте у реселлера hostgator. с 23 марта 2018 г. доступ к моим сайтам осуществляет бот Google (userAgent: Mozilla/5.0 [совместимый; Googlebot/2.1; +http://www.google.com/bot.html]). Их IP-адреса находятся в диапазоне 66.249.. и часто меняются. Из моей cPanel я вижу, как показано ниже;

66.249.79.79 /MzhmLzUxNzE5LzhmLzE2NjYvZmgz.asp 08.04.18, 5:30 7377 Mozilla/5.0 (совместимый; Googlebot/2.1; +http://www.google.com/bot.html<589155<597155 >)

66.249.79.75 /bXYtMzE2MS92b2svNzczODEtb2t3bw== 08.04.18, 5:29 7377 Mozilla/5.0 (совместимый; Googlebot/2.1; +http://www.google.com/bot.7<597155<597155 >)

66.249.79.75 /cTN1Lzc0ODQ3LzN1LzY0MzAvdXFi.asp 08.04.18, 5:29 7377 Mozilla/5.0 (совместимый; Googlebot/2.1; +http://www.google.com/bot.html<538915737 >)

66.249.79.75 /cGEwMGk2LzczODMvYTAvODU4MDEvMA== 08.04.18, 5:29 7377 Mozilla/5.0 (совместимо; Googlebot/2.1; +http://www.google.com/bot.html<59715877389 >)

66.249.79.77 /eDItOTQ4NC8yYWIvMzMwNTctYWJtNA== 08.04.18, 5:29 7377 Mozilla/5.0 (совместимо; Googlebot/2.1; +http://www.google.com/bot.html<5971591738 >)

66.249.79.79 /ZmlhLzc4NTk5L2lhLzMyNzcvYTVo.asp 08.04.18, 5:29 7377 Mozilla/5.0 (совместимый; Googlebot/2.1; +http://www.google.com/bot.html<5871577 >)

и таких полно. Они потребляют мою пропускную способность, и я беспомощен от службы поддержки hostgator, поскольку у них также нет конкретного решения для этого.

Поэтому, во-первых, я хотел бы знать, есть ли какой-либо вариант или пошаговое руководство, чтобы временно запретить Google доступ к моему сайту? Во-вторых, могу ли я что-то сделать, чтобы очистить список URL-адресов индексации Google для моего сайта?

Источник
Prajwal
9 апреля 2018 в 00:58
0

snag.gy/79JrAM.jpg

Ответы (1)

avatar
MisterSmith
8 апреля 2018 в 10:55
0

Google будет отслеживать задержку сканирования в секундах между запросами, которые вы можете указать в файле robots.txt в корне вашего домена. См. раздел нестандартных расширений — https://en.m.wikipedia.org/wiki/Robots_exclusion_standard.

Вы также можете использовать поисковую консоль Google (формально называемую инструментами веб-мастера, я думаю), чтобы запросить удаление URL-адресов из их индексов и управлять другим поведением / увидеть любые проблемы с индексацией вашего сайта. Вам нужно будет зарегистрироваться, а затем завершить процесс проверки, чтобы связать свою учетную запись с вашим доменом. https://www.google.com/webmasters/tools/home?hl=ru

Prajwal
8 апреля 2018 в 11:28
0

Я попытался создать robots.txt и запретить использование всех агентов. В настоящее время я все еще вижу посетителей, и консоль поиска Google также показывает увеличенное количество ошибок 404. Но это, похоже, не приводит меня к каким-либо решениям. Почему Google пытается сканировать случайные ссылки на моем веб-сайте, поскольку он уже видит тысячи ошибок 404 за короткий промежуток времени.

MisterSmith
8 апреля 2018 в 11:53
0

Я предполагаю, что ваш/другой сайт создает неработающие ссылки?

MisterSmith
8 апреля 2018 в 11:55
0

Вы могли бы переписать поддельные URL-адреса в пустой файл, чтобы они потребляли меньше трафика? Это уменьшило бы влияние, но вы мало что можете сделать, когда у Google есть список URL-адресов для сканирования.

Prajwal
8 апреля 2018 в 12:05
0

Да, это то, чем я сейчас занимаюсь. Я создал пустой файл 404.php, чтобы использовать 0 байтов BW, но я все еще вижу множество фиктивных вызовов URL-адресов ботом Google в моем разделе последних посетителей.

MisterSmith
8 апреля 2018 в 12:13
0

Вы видите, откуда берутся обратные ссылки? В инструментах для веб-мастеров есть отчет по обратным ссылкам? support.google.com/webmasters/answer/55281?hl=ru

Prajwal
9 апреля 2018 в 00:50
0

Я также проверил это, и нет таких обратных ссылок, из-за которых бот Google делает запрос на мой сайт.