Имя бота

Posted on : 04-03-2011 | By : Design_Nick | In : Тестируем, ищем и пользуемся, Чужое понравившееся

Метки:

1

В продолжение


ID Бота Имя бота Соответствие агенту IP бота Бот активен
51 Yandex [Bot] Yandex Да
52 Rambler [Bot] Rambler Да
53 Mail.Ru [Bot] Mail.Ru Да
54 Сuill [Bot] Twiceler-0.9 Да
55 Google [Bot] Googlebot Да
57 VadixBot [Bot] VadixBot Да
58 WebAlta [Bot] WebAlta Crawler/ Да
60 Yandex-MNT [Bot] AutoLuba/1.0 Да
62 Igde [Bot] igdeSpyder Да
63 Aport Catalog [Bot] AportCatalogRobot/2.0 Да
64 W3C [Validator] W3C_Validator/ Да
65 Alexa [Bot] ia_archiver Да
66 MSN [Bot] msnbot/ Да
67 Google Feedfetcher Feedfetcher-Google Да
69 Baidu [Spider] Baiduspider+( Да
70 Ask Jeeves [Bot] Ask Jeeves Да
71 Google Desktop Google Desktop Да
72 SEO Crawler Crawler Да
73 Yahoo MMCrawler [Bot] Yahoo-MMCrawler/ Да
74 Yahoo [Bot] Yahoo! Slurp Да
76 YahooSeeker [Bot] YahooFeedSeeker/ Да
77 AdsBot [Google] AdsBot-Google Да
78 Google Adsense [Bot] Mediapartners-Google Да
79 Alta Vista [Bot] Scooter/ Да
80 MSN NewsBlogs msnbot-NewsBlogs/ Да
81 MSNbot Media msnbot-media/ Да
82 W3 [Sitesearch] W3 SiteSearch Crawler Да
83 MLBot MLBot Да
84 XML Sitemaps Generator XML Sitemaps Generator Да
85 FeedValidator FeedValidator/ Да
86 W3C Link Checker W3C-checklink/ Да
87 Rambler Feed libwww-perl/ Да
88 YandexBlog [Bot] YandexBlog/ Да
89 W3C CSS [Validator] W3C_CSS_Validator_JFouffa/ Да
90 Yanga WorldSearch [Bot] Yanga WorldSearch Bot Да
91 FeedBurner FeedBurner/ Да
92 CYS [Bot] www.cys.ru Да
93 Liveinternet [Bot] liveinternet spider Да
94 Gigabot [Bot] Gigabot/ Да
95 Speedy Spider Speedy Spider Да
96 Aport Catalog [Bot] Aport Catalog Robot Да
97 Google Image [Bot] Googlebot-Image/ Да
98 Yandex Direct YaDirectBot/ Да
99 CazoodleBot CazoodleBot/ Да
100 BlogPulse [Bot] BlogPulse Да
101 Setooz [Bot] OOZBOT/ Да
102 Psbot psbot/ Да
103 Majestic-12 [Bot] MJ12bot/ Да
104 Begun [Bot] Begun Robot Да
105 Validome XML-Validator Validome XML-Validator Да
106 Live [Bot] msnbot-webmaster/ Да
107 Web-sniffer Web-sniffer/ Да
108 Aport [Bot] Aport Да
109 Facebook [Bot] facebookexternalhit/1.1 Да
110 Bing [Bot] bingbot/ Да

Источник

Read Full Article

IP поисковых ботов

Posted on : 04-03-2011 | By : Design_Nick | In : Тестируем, ищем и пользуемся, Чужое понравившееся

Метки: ,

1

Хороший перечень ботов с указанием IP адресов. Очень полезно. Источник

Из года в год количество вредных ботов в Интернете не уменьшается.

Одни спамят, другие сканируют сайты на уязвимости, чтобы затем их взломать. Есть и те, что скачивают сайты целиком, чтобы потом наживиться на вашей раскрученности.

Самый действенный способ – забанить таких ботов.

Но при этом есть риск перекрыть доступ к сайту нужным ботам поисковых систем.

В данной таблице я систематизировал информацию о поисковых системах:

1. Названия и ip-адреса поисковых систем

2. Имена поисковых ботов, которыми они представляются сайтам

Поисковая система Наиболее 

активный IP

 Диапазон сети CIDR
Россия
Aport 194.67.18.239 194.67.18.0 – 194.67.18.255 194.67.0.0/18
Liveinternett 88.212.202.26 88.212.202.0 – 88.212.202.63 88.212.202.0/26
Mail.ru 

Gogo.ru

 94.100.176.20 94.100.181.91 94.100.176.0 – 94.100.183.255 

94.100.181.128 – 94.100.181.255

195.239.211.0 – 195.239.211.255

 94.100.176.0/20 

94.100.181.128/25

195.239.211.0/24
Rambler 

(StackRambler)

 81.19.66.8 

81.19.66.77 81.19.66.115

 81.19.64.0 – 81.19.66.255 81.19.64.0/19
Yandex 87.250.255.243 77.88.22.0 – 77.88.23.255 

87.250.224.0 – 87.250.255.255

93.158.128.0 – 93.158.191.255

95.108.128.0 – 95.108.255.255

213.180.214.128 – 213.180.214.255

 77.88.0.0/18 

87.250.224.0/19

93.158.128.0/18

95.108.128.0/17

213.180.192.0/19
Webalta 77.91.224.12 77.91.224.23 77.91.224.0 – 77.91.224.255 77.91.224.0/21
Зарубежные
Bing 

(MSN)

 207.46.98.149 65.52.0.0 – 65.55.255.255 

207.46.0.0 – 207.46.255.255

 65.52.0.0/14 

207.46.0.0/16
Cuil 

(Twiceler)

 67.218.116.130 

216.129.119.40

 67.218.96.0 – 67.218.127.255 

216.129.96.0 – 216.129.127.255

 67.218.96.0/19 

216.129.96.0/19
Entireweb 

(Speedy)

 88.131.106.22 88.131.106.0 – 88.131.106.63 88.131.0.0/16
Gigablast — 66.231.188.0 – 66.231.188.255 66.231.188.0/24
Google 

(Googlebot)

 66.249.65.141 64.68.80.0 – 64.68.87.255 

64.233.160.0 – 64.233.175.255

66.102.0.0 – 66.102.15.255

66.249.64.0 – 66.249.95.255

72.14.192.0 – 72.14.255.255

209.85.128.0 – 209.85.255.255

209.185.0.0 – 209.185.255.255

216.239.32.0 – 216.239.63.255

 64.68.80.0/21 

64.233.160.0/19

66.102.0.0/20

66.249.64.0/19

72.14.192.0/18

209.85.128.0/17

209.185.0.0/16

216.239.32.0/19
Yahoo! 

(Yahoo!

AltaVista)

 74.6.68.152 67.195.0.0 – 67.195.255.255 

69.147.64.0 – 69.147.127.255

72.30.64.0 – 72.30.255.255

74.6.0.0 – 74.6.255.255

 67.195.0.0/16 

69.147.64.0/18

72.30.0.0/16

74.6.0.0/16

Read Full Article