В «Яндекс Поиске» нейросети отмечают десятилетие!

Поиск по загруженным изображениям «Яндекс» начал использовать нейросети ровно 10 лет назад — 5 декабря 2014 года. С тех пор они нашли применение в различных сферах: от ранжирования сайтов до перевода текстов и поиска объектов на фотографиях. Нейросети развивались и становились более доступными для широкой аудитории и компаний. Например, генеративные нейросети позволяют создавать изображения, тексты, видео и многое другое.

Тем не менее, распознавание и поиск изображений — не только по внешним признакам, но и по смыслу — не стали первой функцией, в которую «Яндекс» внедрил нейросеть. Еще в 2012 году компания применяла простую нейронную сеть для предсказания пробок на дорогах, а в 2013 году — для распознавания речи в технологии SpeechKit.

Затем, в 2015 году, нейросети начали использоваться в поиске изображений при обработке текстовых запросов. Если раньше релевантность изображения определялась по тексту на сайте, новая модель позволила оценивать само изображение, объединяя его в одно семантическое пространство с текстовым запросом.

В рамках поискового алгоритма «Палех» нейросети впервые начали использовать для ранжирования сайтов в 2016 году. Модель, разработанная «Яндексом», аналогичная DSSM (Deep Semantic Similarity Model), помогала оценивать смысловую связь между заголовками веб-страниц и запросами пользователей. Спустя год, в 2017-м, в обновлении «Королев» нейросеть стала применяться к содержимому страниц, что улучшило качество ответов на уникальные запросы.

В 2020 году для ранжирования сайтов впервые была использована мощная нейронная сеть YATI (Yet Another Transformer with Improvements) — усовершенствованная версия «трансформера», адаптированная под «рантайм» «Поиска». Это обновление значительно повысило качество ранжирования сайтов со времен внедрения «Матрикснета» в 2009 году.

В машинный перевод «Яндекс» внедрил нейросети в 2017 году: благодаря этому «Переводчик» стал учитывать контекст и переводить фразы на его основе. Функция перевода появилась и в «Поиске»: достаточно ввести запрос [translation перевод], чтобы получить мгновенный результат.

Полноценный переводной поиск «Яндекс» был запущен в 2021 году: если подходящих результатов на русском языке не было, система искала их на англоязычных сайтах и предлагала переведенные варианты. В том же году появилась функция перевода видео в «Поиске» и «Браузере», что способствовало расширению доступа к полезной информации, преодолевая языковые барьеры.

Основная цель «Поиска» — помочь пользователям в решении их задач. Для этого «Яндекс» предоставляет не только список сайтов, но и быстрые ответы на вопросы, дополненные ссылками на источники. Ранее для получения таких кратких ответов требовалась языковая модель YaLM, а с 2024 года, после внедрения нейросети нового поколения YandexGPT, поиск стал лучше справляться с анализом сложных вопросов и формированием точных ответов.

Кроме того, в 2024 году «Яндекс» впервые внедрил в поисковую систему мультимодальную VLM-нейросеть, объединяющую текстовые и визуальные модели. Теперь пользователи «Поиска» могут задавать вопросы, сочетающие текст и изображение, и получать подробные ответы.