«Яндекс» запустил новую версию поиска на базе технологии нейронных сетей
«Яндекс» запустил новую версию поиска на базе технологии нейронных сетей
31.08.2017
Яндекс запустил версию поиска, с помощью которой сможет наиболее точно отвечать на сложные запросы. Поиск основан на новом алгоритме ранжирования, который получил название «Королев» (в честь основоположника практической космонавтики Сергея Королева). В основе алгоритма лежат искусственные нейронные сети.
Новый алгоритм «Королёв» с помощью нейронной сети сопоставляет смысл запросов и веб-страниц. Благодаря этому точность ответа на редкие или специфические запросы значительно возрастает. Для того чтобы обучить нейронную сеть, разработчики используют не только поисковую статистику, но и распределенную сеть асессоров и толокеров (людей, анализирующих контент), а также пользовательские оценки.
«Мы увеличили влияние нейтронных сетей на наше ранжирование», — рассказал руководитель службы релевантности «Яндекс.Поиска» Александр Сафронов.
В Яндексе отмечают, что для обучения новой версии поиска используются поисковая статистика и оценки миллионов людей. Таким образом, вклад в развитие поиска вносят не только разработчики, но и все пользователи Яндекса.
В 2016 году «Яндекс» запустил поиск на алгоритме ранжирования «Палех», в основе которого также лежали нейронные сети. Но если «Палех» осуществлял смысловой анализ 150 документов, то «Королев» может осуществлять смысловой анализ 200 тысяч документов.
В сообщении интернет-компании указано, что алгоритм с помощью нейронной сети сопоставляет смысл запросов и веб-страниц — это позволяет точнее отвечать на сложные запросы. Нейронная сеть, которую использует алгоритм «Королев», обучается на обезличенной поисковой статистике.
«Королев» сравнивает семантические векторы поисковых запросов и веб-страниц целиком — а не только их заголовков. При этом алгоритм высчитывает векторы страниц заранее и сравнивает вектор запроса с уже известными ему векторами страниц.
Помимо того, что «Королев» сравнивает текст веб-страницы с поисковым запросом, он обращает внимание на другие запросы, по которым люди приходят на эту страницу, — это позволяет установить дополнительные смысловые связи.
Для корректной работы нейронных сетей требуются большие вычислительные мощности, поэтому смысл содержимого веб-страницы определяется алгоритмом заранее, на этапе индексирования. Это позволило увеличить количество одновременно обрабатываемых страниц со 150 единиц до 200 тысяч. Ещё одной отличительной особенностью «Королёва» стало то, что анализ содержимого происходит относительно всех релевантных для страницы запросов.
Вернуться к списку новостей
