Специалисты Яндекса разработали и внедрили новую поисковую технологию, которая обеспечивает мгновенную индексацию недавно опубликованного в Интернете контента и поиск информации в режиме real-time.

Говоря о причинах создания нового поискового механизма, эксперты компании отмечают, что достаточно много поисковых запросов (от 2% в спокойные дни до 8% в дни важных событий) посвящено событиям, которые случились совсем недавно. Задавая эти запросы, пользователи ожидают найти в том числе и документы, которые были созданы только что. Чтобы хорошо отвечать на такие запросы, разработчики Яндекса запустили поискового робота Orange Crawler, функционирующего в режиме реального времени и обученного находить свежие документы в Сети, индексировать их и выкладывать на поисковые серверы без задержек.

Некоторые сайты Интернета обновляются не очень часто, а на других — к примеру, на новостных ресурсах — новая информация появляется постоянно. Orange Crawler обходит такие сайты и добавляет новые данные в поиск по мере их появления. Для того чтобы определять, нужна ли свежая информация в ответ на те или иные запросы, Яндекс разработал несколько детекторов. Они анализируют самые разные сведения — например, тематику сообщений в СМИ или рост количества поисковых запросов по той или иной теме.

Робот Orange Crawler и технология поиска в реальном времени были разработаны специалистами из Yandex.Labs — калифорнийского представительства компании — в сотрудничестве с разработчиками из московского офиса. Подробнее о новых технологиях можно почитать в блоге Яндекса.