Пн-Пт 9:30-18:00

Палех — новый алгоритм от Яндекса

Ноябрь 3, 2016

Яндекс анонсировал инновационный поисковый алгоритм, получивший название «Палех». Его принципиальным отличием от предыдущих алгоритмов является использование в процессе выполнения поиска так называемых нейронных сетей. Новый алгоритм позволяет искать документы не по используемым в запросе словам, а по смыслу заголовка и запроса.

Усовершенствовать систему поиска программисты-разработчики пытаются уже много лет. В течение долгого времени они безуспешно старались научить компьютер осуществлять семантический поиск, опираясь на смысловое соответствие запросу. Реализовать данную идею им удалось только сейчас.

Как совершенствовались поисковые системы?

Как известно, функционирование современных поисковиков основано на машинном обучении. Используемая в интернете система поиска появилась очень давно. С расширением интернета в нем становится больше пользователей. Параллельно этому, более строгими становятся требования к поиску.

Первоначально в интернете использовался инвертированный индекс – простой поиск слов. Когда страниц стало чересчур много, система поиска научилась их ранжировать. Когда же в интернете на любую тему появилось очень много страниц, при поиске начали учитывать ссылки. Когда стала важной коммерческая составляющая интернета, во всемирной сети появились жулики, пытающиеся обмануть использовавшиеся в то время простые алгоритмы. Тогда поисковые системы начали анализировать поведение пользователей с целью определения «хороших» и «плохих» страниц.

В этот момент поисковые системы начали использовать машинное обучение. В Яндексе был изобретен один из самых совершенных алгоритмов машинного обучения – Матрикснет. При его использовании информация о поведении пользователей преобразуется в большое количество факторов для построения подходящей формулы ранжирования.

Использование системы искусственного интеллекта для поиска

Недавно же произошел окончательный прорыв в формировании совершенного поискового алгоритма. Такие факторы, как большой объем информации и высокая скорость работы современных компьютеров, позволили использовать для этой цели нейронные сети. Технологии, основанные на их применении, не случайно называют искусственным интеллектом. Нейронные сети, функционирующие по принципу нейронов в человеческом мозге, демонстрируют впечатляющие результаты в сфере анализа информации. Они обладают высоким потенциалом для улучшения ранжирования. Долгосрочная перспектива их использования состоит в создании моделей, которые будут способны «понять» семантическое соответствие вводимых запросов документам на уровне, сопоставимом с уровнем человеческого мышления.