Март 1998 года. Компания Google успешно стартует вместе с Ларри Пэйджом и Сергеем Брин. Тогда же и выходит первый алгоритм ранжирования сайтов под названием PageRank.
PageRank — это величина, которая соответствует важности страницы. Расчеты весьма просты: чем больше ссылок ведут на страницу — тем выше её PageRank. Важно отметить, что вес, передаваемый страницей донором, напрямую зависит от ссылок на сам донор. Кстати, PageRank алгоритм, который работает уже почти 20 лет, хоть и в сильно измененном виде.
Казалось бы, PageRank переводится как «ранг страницы», но на самом деле «ранг Пэйджа». Видимо, Ларри суждено было придумать этот алгоритм.
| Пошуковый робот | Токен агента пользователя (продукта Google) | Полная строка агента пользователя |
|---|---|---|
| APIs-Google |
|
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html) |
| AdSense |
|
Mediapartners-Google |
|
(проверяет качество рекламы на веб-страницах, предназначенных для устройств Android) |
|
Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) |
|
(проверяет качество рекламы на веб-страницах, предназначенных для устройств iOS) |
|
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) |
|
(проверяет качество рекламы на веб-страницах, предназначенных для компьютеров) |
|
AdsBot-Google (+http://www.google.com/adsbot.html) |
| Googlebot Image |
|
Googlebot-Image/1.0 |
| Googlebot News |
|
Googlebot-News |
| Googlebot Video |
|
Googlebot-Video/1.0 |
|
Googlebot (сайты для обычных компьютеров) |
|
|
|
Googlebot (сайты для мобильных устройств) |
|
|
| Mobile AdSense |
|
(Могут указываться различные типы мобильных устройств) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html) |
|
(проверяет качество рекламы в приложениях для устройств Android, действует в соответствии с теми же правилами, что и Google AdsBot) |
|
AdsBot-Google-Mobile-Apps |
|
Не учитывает правила в файле robots.txt. Подробнее… |
|
|
|
Не учитывает правила в файле robots.txt. Подробнее… |
Текущие агенты
Прежняя версия (больше не поддерживается): |
|
| Duplex в Интернете |
Может игнорировать подстановочный знак *. Подробнее… |
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36 |
|
Google Favicon Получает значки для различных сайтов. |
В случае пользовательских запросов игнорирует правила в файле robots.txt. |
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon |
| Web Light |
Не учитывает правила в файле robots.txt. Подробнее… |
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19 |