IP поисковых ботов

Posted on : 04-03-2011 | By : Design_Nick | In : Тестируем, ищем и пользуемся, Чужое понравившееся

Метки: ,

1

Хороший перечень ботов с указанием IP адресов. Очень полезно. Источник

Из года в год количество вредных ботов в Интернете не уменьшается.

Одни спамят, другие сканируют сайты на уязвимости, чтобы затем их взломать. Есть и те, что скачивают сайты целиком, чтобы потом наживиться на вашей раскрученности.

Самый действенный способ – забанить таких ботов.

Но при этом есть риск перекрыть доступ к сайту нужным ботам поисковых систем.

В данной таблице я систематизировал информацию о поисковых системах:

1. Названия и ip-адреса поисковых систем

2. Имена поисковых ботов, которыми они представляются сайтам

Поисковая система Наиболее 

активный IP

 Диапазон сети CIDR
Россия
Aport 194.67.18.239 194.67.18.0 – 194.67.18.255 194.67.0.0/18
Liveinternett 88.212.202.26 88.212.202.0 – 88.212.202.63 88.212.202.0/26
Mail.ru 

Gogo.ru

 94.100.176.20 94.100.181.91 94.100.176.0 – 94.100.183.255 

94.100.181.128 – 94.100.181.255

195.239.211.0 – 195.239.211.255

 94.100.176.0/20 

94.100.181.128/25

195.239.211.0/24
Rambler 

(StackRambler)

 81.19.66.8 

81.19.66.77 81.19.66.115

 81.19.64.0 – 81.19.66.255 81.19.64.0/19
Yandex 87.250.255.243 77.88.22.0 – 77.88.23.255 

87.250.224.0 – 87.250.255.255

93.158.128.0 – 93.158.191.255

95.108.128.0 – 95.108.255.255

213.180.214.128 – 213.180.214.255

 77.88.0.0/18 

87.250.224.0/19

93.158.128.0/18

95.108.128.0/17

213.180.192.0/19
Webalta 77.91.224.12 77.91.224.23 77.91.224.0 – 77.91.224.255 77.91.224.0/21
Зарубежные
Bing 

(MSN)

 207.46.98.149 65.52.0.0 – 65.55.255.255 

207.46.0.0 – 207.46.255.255

 65.52.0.0/14 

207.46.0.0/16
Cuil 

(Twiceler)

 67.218.116.130 

216.129.119.40

 67.218.96.0 – 67.218.127.255 

216.129.96.0 – 216.129.127.255

 67.218.96.0/19 

216.129.96.0/19
Entireweb 

(Speedy)

 88.131.106.22 88.131.106.0 – 88.131.106.63 88.131.0.0/16
Gigablast — 66.231.188.0 – 66.231.188.255 66.231.188.0/24
Google 

(Googlebot)

 66.249.65.141 64.68.80.0 – 64.68.87.255 

64.233.160.0 – 64.233.175.255

66.102.0.0 – 66.102.15.255

66.249.64.0 – 66.249.95.255

72.14.192.0 – 72.14.255.255

209.85.128.0 – 209.85.255.255

209.185.0.0 – 209.185.255.255

216.239.32.0 – 216.239.63.255

 64.68.80.0/21 

64.233.160.0/19

66.102.0.0/20

66.249.64.0/19

72.14.192.0/18

209.85.128.0/17

209.185.0.0/16

216.239.32.0/19
Yahoo! 

(Yahoo!

AltaVista)

 74.6.68.152 67.195.0.0 – 67.195.255.255 

69.147.64.0 – 69.147.127.255

72.30.64.0 – 72.30.255.255

74.6.0.0 – 74.6.255.255

 67.195.0.0/16 

69.147.64.0/18

72.30.0.0/16

74.6.0.0/16

Read Full Article

Изменение User-Agent робота Рекламной сети Яндекса

Posted on : 29-05-2010 | By : Design_Nick | In : Новости

Метки: ,

0

Важная новость

В июне 2010 года изменится вид представления роботов Яндекса в User-Agent и их интерпретация в robots.txt.

С помощью этих изменений мы хотим:
* привести представления всех роботов к единому виду;
* сделать представления роботов более информативными.

Новый User-Agent робота, который индексирует страницы сайтов — участников Рекламной сети Яндекса:

Mozilla/5.0 (compatible; YandexDirect/3.0)

Обращаем внимание владельцев сайтов РСЯ: в связи с изменением интерпретации файла robots.txt, блокировка робота User-agent: Yandex в robots.txt может привести к блокировке всех роботов Яндекса, включая робота РСЯ.

Чтобы удостовериться, что робот Рекламной сети Яндекса будет обходить ваш сайт, необходимо добавить в начало файла robots.txt в корневой папке следующую запись:

User-Agent: YaDirectBot
Disallow:

Read Full Article