Хронологія змін роботів Google

Март 1998 года. Компания Google успешно стартует вместе с Ларри Пэйджом и Сергеем Брин. Тогда же и выходит первый алгоритм ранжирования сайтов под названием PageRank. 
PageRank — это величина, которая соответствует важности страницы. Расчеты весьма просты: чем больше ссылок ведут на страницу — тем выше её PageRank. Важно отметить, что вес, передаваемый страницей донором, напрямую зависит от ссылок на сам донор. Кстати, PageRank алгоритм, который работает уже почти 20 лет, хоть и в сильно измененном виде.

Это интересно

Казалось бы, PageRank переводится как «ранг страницы», но на самом деле «ранг Пэйджа». Видимо, Ларри суждено было придумать этот алгоритм.

 

Время перемен

 

 

 
Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».
Подпишись на рассылку и получи книгу в подарок!
наши дни
 

Сведения от Гугл

Пошуковый роботТокен агента пользователя (продукта Google)Полная строка агента пользователя
APIs-Google

APIs-Google

APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense

Mediapartners-Google

Mediapartners-Google

AdsBot Mobile Web Android

(проверяет качество рекламы на веб-страницах, предназначенных для устройств Android)

AdsBot-Google-Mobile

Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

(проверяет качество рекламы на веб-страницах, предназначенных для устройств iOS)

AdsBot-Google-Mobile

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(проверяет качество рекламы на веб-страницах, предназначенных для компьютеров)

AdsBot-Google

AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Image
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot News
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot (сайты для обычных компьютеров)

Googlebot

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

    ИЛИ (в некоторых случаях)
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot (сайты для мобильных устройств)

Googlebot

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense

Mediapartners-Google

(Могут указываться различные типы мобильных устройств) (compatible; Mediapartners-Google/2.1+http://www.google.com/bot.html)

Mobile Apps Android

(проверяет качество рекламы в приложениях для устройств Android, действует в соответствии с теми же правилами, что и Google AdsBot)

AdsBot-Google-Mobile-Apps

AdsBot-Google-Mobile-Apps

Feedfetcher

FeedFetcher-Google

errorНе учитывает правила в файле robots.txt. Подробнее…

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

Google-Read-Aloud

errorНе учитывает правила в файле robots.txt. Подробнее…

Текущие агенты

  • Версия для компьютеров: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)
  • Версия для мобильных устройств: Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)

Прежняя версия (больше не поддерживается)google-speakr

Duplex в Интернете

DuplexWeb-Google

errorМожет игнорировать подстановочный знак *. Подробнее…

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36

Google Favicon

Получает значки для различных сайтов.

Google Favicon

errorВ случае пользовательских запросов игнорирует правила в файле robots.txt.

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
Web Light

googleweblight

errorНе учитывает правила в файле robots.txt. Подробнее…

Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19