Основные поисковые роботы Рунета

08 мар 05

Поисковые роботы АпортАпорт

На данным момент нам известен один робот Апорта с разными функциями.
Робот может приходить с разных хостов, например indexer20.aport.ru.
Идентифицировать его можно по строке User-agent:
  • Aport — основной индексирующий робот

Поисковые роботы РамблерРамблер

На данным момент нам известен один робот Рамблера с разными функциями.
Робот может приходить с разных хостов, например robot4.rambler.ru.
Идентифицировать его можно по строке User-agent:
  • StackRambler/2.0 (MSIE incompatible) — основной индексирующий робот

Поисковые роботы ЯндексЯндекс

Яндекс использует несколько видов роботов с разными функциями.
Идентифицировать их можно по строке User-agent:
  • Yandex/1.01.001 (compatible; Win 16?; I) — основной индексирующий робот
  • Yandex/1.01.001 (compatible; Win 16?; P) — индексатор картинок
  • Yandex/1.01.001 (compatible; Win 16?; H) — робот, определяющий зеркала сайтов
  • Yandex/1.03.003 (compatible; Win 16?; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
  • Yandex/1.03.000 (compatible; Win 16?; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
  • YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий xml-файлы для поиска по блогам. YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей.
Кроме того, в Яндексе работает несколько «простукивалок», которые проверяют доступность документов:
  • Yandex/2.01.000 (compatible; Win 16?; Dyatel; C) — «простукивалка» Яндекс.Каталога?. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
  • Yandex/2.01.000 (compatible; Win 16?; Dyatel; Z) — «простукивалка» Яндекс.Закладок?. Ссылки на недоступные сайты помечаются серым цветом.
  • Yandex/2.01.000 (compatible; Win 16?; Dyatel; D) — «простукивалка» Яндекс.Директа?. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.

4489http://infonew.ru/crawlers_ru/