Искусственный интеллект, экономика и электроэнергия: как нейросети становятся умнее и существуют ли границы их совершенствования?

Нейросети представляют собой математические модели и их программные реализации, но, если рассмотреть шире, это аналог алгоритмов функционирования человеческого мозга.

Что касается последнего, то по когнитивным способностям новорожденный ребенок не сильно отличается от детеныша шимпанзе, однако к трем годам разница между маленьким человеком и маленьким шимпанзе становится колоссальной. Почему так происходит? В человеческом мозге на 50 миллиардов нейронов больше, чем в мозге самых умных обезьян. В данном случае количество переходит в качество.

А как обстоят дела с искусственным интеллектом? Что делает его «умнее»?

– Когда мы обучаем крупные языковые модели, мы оцениваем, насколько качественно они отвечают на заданные вопросы, насколько полезны их выводы для пользователей и насколько точно они решают поставленные задачи. Все это сильно зависит от трех факторов: от размеров нейросети, объема обучающей выборки и от вычислительных мощностей, которые мы использовали для ее обучения. Эта зависимость является экспоненциальной, – подчеркивает эксперт.

В результате получается линейная зависимость: нейросеть настолько умна, насколько она велика и насколько много обучающих данных прошло через нее, а увеличение объема нейросети, данных и возможностей их обработки зависит от доступных вычислительных мощностей.

– Предположим, наша нейросеть, проходя сложный тест, допускает ошибки в 20 процентах случаев. Чтобы улучшить точность вдвое, уменьшив количество ошибок с 20 до 10 процентов, нам придется потратить в 10 раз больше вычислительных мощностей, чем ранее, использовать в десять раз больший датасет и увеличить размер нейросети в десять раз.

Экономика и интеллект

Здесь проблема роста искусственного интеллекта переходит из области математики или информатики в экономику: может ли разработчик данной нейросети позволить себе такой экспоненциальный рост вычислительных мощностей?

– В настоящее время топовые нейросети имеют размер в сотни миллиардов параметров. Если считать, что аренда сервера стоит доллар в час и нам нужно потратить 50 миллионов часов на тренировку нейросети, чтобы обработать обучающую выборку более триллиона слов, то на обучение нейросети мы потратим 50 миллионов долларов на вычислительные мощности, – говорит Юрий Чайников.

Таким образом, рост интеллектуальных способностей нейросети напрямую связан с финансами, вложенными в ее обучение. Это хорошо понимают их создатели. Например, Сэм Альтмен, основатель и генеральный директор OpenAI, планирует создать вычислительные кластеры на триллион долларов, на обеспечение которых потребуется более 10 процентов общего энергопотребления США. Для питания дата-центров, на которых будут работать модели, потребуется строительство атомных электростанций с десятками ядерных реакторов, мощностью в десятки гигаватт. Microsoft уже подтвердила свою готовность участвовать в инвестициях в этот проект.

Но насколько оправданы такие затраты?

Себестоимость обработки одного запроса топовой нейросетью от OpenAI в текущий момент варьируется от 20 до 40 центов. В то время как запрос в поисковике Google стоит около одного цента. Если Google зарабатывает с каждого запроса примерно 20 центов, то это отличный бизнес. Однако бизнес OpenAI пока не так оптимистично прибылен.

Тем не менее, экспоненциальный рост мощностей может изменить ситуацию. В настоящее время топовые нейросети выполняют задачи, на которые человеку потребовалось бы несколько минут, за считанные секунды и с сопоставимым качеством. Задача, требующая 10 минут человеческого времени, стоит 1-2 доллара. Решение нейросетью обходится в 20 раз дешевле. Экономика – безжалостная вещь. Если за сопоставимое качество можно заплатить в 10 раз меньше, это будет сделано. И начинается гонка не только за точность моделей, но и за стоимость их работы.

– Например, у нас есть модель, которая имела точность 84 процента и выдавала 100 токенов в секунду на стандартном сервере. Мы немного скорректировали ее для снижения затрат при массовом применении. В результате точность упала на один процент, но теперь она выдает не 100, а 1 000 токенов в секунду. Точность немного снизилась, следовательно, предельные задачи, с которыми она справляется, уменьшились. Однако экономическая эффективность на тех задачах, с которыми она справляется, возросла в 10 раз.

Это одно из ключевых направлений совершенствования больших моделей, – отмечает эксперт. – Некоторые компании умудряются в сотни раз повысить производительность в терминах токенов за доллар затрат на вычисления и строить на этом нормально функционирующий бизнес, предлагая это как сервис. Мы берем выпущенную open source модель, дорабатываем ее: да, она становится чуть хуже, но зато в 100 раз дешевле, а затем продаем ее пользователям в 50 раз дешевле и зарабатываем на этом X2 по цене продажи. Такая непрерывно работающая схема.

Электрический апокалипсис

Если деньги являются двигателем развития искусственного интеллекта, то что может его остановить?
Пока локомотив экономической эффективности движется вперед, остановить объективное развитие ИИ невозможно: инвестиции в нейросети выгодны. Но искусственный интеллект, как и вся человеческая цивилизация в целом, зависит, как ни странно, от технологий позапрошлого века.

– Нейросети будут существовать примерно столько же, сколько существует человеческая цивилизация и электричество, потому что без электричества современная городская инфраструктура превращается в тыкву всего за считанные часы, а город – в мертвый город за две недели. Все зависит от электричества, начиная от кассовых терминалов, которые не будут доступны без него, что означает, что вам ничего не смогут продать, и заканчивая самой банальной инфраструктурой, такой как водоснабжение и канализация. Если в кране нет воды и в туалете не работает канализация, то через неделю у вас возникнет эпидемия бактериальных заболеваний, начиная от дизентерии и заканчивая вспышкой холеры и тифа. Электричество за несколько десятилетий стало основой инфраструктуры человеческой цивилизации в ее нынешнем виде.

Интернет сделал это за пару десятков лет. Пройдут считанные годы, и большие мультимодальные модели проникнут в каждый уголок современного мира, – считает Юрий Чайников.

Выпуская джинна из бутылки

Обратной стороной стремительного развития ИИ является риск его выхода из-под контроля. Уже сейчас существуют модели, которые позволяют управлять действиями на экране компьютера без участия человека, создавая иллюзию, что это делает сам человек. В ответ на поставленную задачу нейросеть может самостоятельно сгенерировать длинную последовательность действий и выполнить их: открыть электронную почту, написать и отправить сообщение, зайти на сайт и собрать информацию по запросу в таблицу, манипулировать курсором мыши, открывать нужные окна на экране компьютера. Да, нейросеть пока делает это в 10 раз медленнее, чем человек, но это – автоматизация реальной деятельности. Дальше – больше: нейросети постепенно будут осваивать все новые и новые сферы человеческой деятельности. И здесь возникает вопрос о контроле над развитием ИИ.

– На сегодняшний день мы очень плохо умеем контролировать большие мультимодальные модели, которые создаем. Существует классическая мифологическая конструкция: джинн, который исполняет желания в буквальном смысле, а не так, как это подразумевал автор. Например, человек пожелал: «Хочу много денег», а джинн ему: «О, у вас умерли все родственники, и вы теперь – единственный наследник». Почему так произошло? Джин просто не потрудился переспросить, хотел ли автор желания оставить родственников живыми, устроит ли его такой вариант исполнения, и просто взял и сделал. Подобная ситуация может когда-нибудь произойти с искусственным интеллектом.

«Оптимизатор скрепок» – мысленный эксперимент о поведении искусственного интеллекта, которому поручили всего лишь оптимизировать выпуск канцелярских скрепок, а в результате он превратил в скрепки весь мир – не такой уж и невероятный сценарий, – утверждает эксперт.

Однако пока катастрофические сценарии остаются