Штучний інтелект, економіка та електрика: чому нейромережі стають розумнішими і чи є межа їхньому вдосконаленню?

Нейромережі – це математичні моделі, а також їх програмне втілення, але, якщо поглянути ширше – це модель алгоритмів роботи людського мозку.

Що стосується останнього, то за когнітивними здібностями тільки що народжена дитина мало чим відрізняється від дитинча шимпанзе, але вже до трирічного віку різниця між маленькою людиною і маленьким шимпанзе – колосальна. Чому? У людському мозку нервових клітин (нейронів) на 50 мільярдів більше, ніж у мозку найрозумніших мавп. У цьому випадку кількість переходить у якість.

А як справи з штучним інтелектом? За рахунок чого він стає «розумнішим»?

– Коли ми тренуємо великі мовні моделі, ми оцінюємо, наскільки добре вони відповідають на задане питання, наскільки часто їх висновки корисні користувачеві, наскільки правильно вони вирішують поставлені завдання. Усе це дуже сильно залежить від трьох параметрів: від розмірів нейромережі, обсягу навчальної вибірки та обсягу обчислювальних потужностей, які ми витратили на те, щоб її тренувати. І залежність ця – експоненційна, – зазначає експерт.

В результаті виходить така лінійна залежність: нейромережа настільки розумна, наскільки вона велика, і наскільки багато через неї пропустили навчальних даних, а зріст обсягу нейромережі, даних і сама можливість їх переробки нейромережею залежить від доступних обчислювальних потужностей.

– Припустимо, наша нейромережа, проходячи складний тест, в 20 відсотках випадків допускає помилки. Щоб покращити точність удвічі, зменшивши кількість помилок з 20 до 10 відсотків, нам доведеться витратити в 10 разів більше обчислювальних потужностей, ніж ми раніше залучали, прогнати в десять разів більший датасет, десятикратно збільшити розмір нейромережі.

Економіка і інтелект

І тут проблема зростання штучного інтелекту переходить з площини математики або інформатики в площину економіки: чи може розробник цієї нейромережі дозволити собі такий експоненційний ріст обчислювальних потужностей?

– Зараз топові нейромережі мають розмір у сотні мільярдів параметрів. Якщо ми будемо виходити з того, що оренда сервера обходиться в долар на годину і нам необхідно витратити 50 мільйонів годин на тренування нейромережі, щоб прогнати через неї навчальну вибірку більше трильйона слів, то на навчання нейромережі ми витратимо 50 мільйонів доларів обчислювальних потужностей, – говорить Юрій Чайников.

Таким чином, ріст інтелектуальних здібностей нейромережі безпосередньо залежить від витрачених на її навчання грошей. Це чудово розуміють їхні творці. Так, фронтмен нейромережевої революції Сем Альтман, засновник і генеральний директор OpenAI, планує побудувати обчислювальні кластери на трильйон доларів, на забезпечення яких знадобиться більше 10 відсотків загального енергоспоживання США. Для живлення дата-центрів, на яких будуть працювати моделі, знадобиться будівництво атомних електростанцій з десятками ядерних реакторів, потужністю в десятки гігават. Microsoft вже заявила, що братиме участь в інвестиціях у цей проект.

Але наскільки виправдані такі витрати?

Собівартість обробки одного запиту топовою нейромережею від OpenAI на поточному рівні розвитку обходиться за різними оцінками від 20 до 40 центів. Тоді як запит у пошуковику Google – порядку одного цента. Якщо Google заробляє з кожного запиту приблизно 20 центів, то це чудовий бізнес. Бізнес OpenAI поки не такий оптимістично прибутковий.

Але експоненційний ріст потужностей може змінити все. Зараз топові нейромережі за секунди виконують завдання з якістю, що можна порівняти з людським, на які людина витратила б кілька хвилин. Завдання на 10 хвилин людського часу коштує 1-2 долари. Рішення нейромережею обходиться в 20 разів дешевше. Економіка – безжальна річ. Якщо за порівнянну якість можна заплатити в 10 разів дешевше – це буде зроблено. І тут починається гонка не тільки за точність моделей, але й за вартість їх роботи.

– Наприклад, у нас є модель, яка мала точність 84 відсотки і виробляла рішення на 100 токенів за секунду на стандартному сервері. Ми її трохи підправили для здешевлення її роботи при масовому застосуванні. В результаті точність впала на один відсоток, зате тепер вона видає не 100, а 1 000 токенів за секунду. Точність стала трохи меншою, тобто граничних задач, з якими вона справляється, стало трохи менше. Зате економічна ефективність на тих задачах, з якими вона справляється, зросла в 10 разів.

І це – одне з найважливіших напрямків удосконалення великих моделей, – зазначає експерт. – Деякі компанії вміють у сто разів підвищити продуктивність у термінах токенів за долар витрат на комп'ютер і побудувати на цьому нормально працюючий бізнес, продаючи це як сервіс. Беремо випущену open source модель, підправляємо її: так, вона стає трохи гіршою, але зате в 100 разів дешевшою, а потім продаємо її користувачам у 50 разів дешевше і заробляємо на цьому X2 за ціною продажу. Ось така безперервно працююча конструкція.

Електричний апокаліпсис

Якщо гроші живлять розвиток штучного інтелекту, то що може його зупинити?
Поки локомотив економічної ефективності мчить вперед – логіку об'єктивного розвитку ІІ зупинити неможливо: вкладатися в нейромережі вигідно. Але штучний інтелект, як і вся людська цивілізація в принципі, залежить, як не дивно, від технологій позаминулого століття.

– Нейромережі будуть існувати приблизно стільки ж, скільки існує людська цивілізація і електрика, тому що без електрики сучасна міська інфраструктура перетворюється на гарбуз буквально за лічені години, а місто – в мертвий місто за два тижні. Адже на електриці зав'язане все, починаючи від касових терміналів, якими ви не зможете скористатися при його відсутності, а, значить, вам нічого не зможуть продати, і закінчуючи найбанальнішою інфраструктурою, як-от водопостачання та каналізація. А якщо в крані немає води і в туалеті не працює каналізація, то через тиждень у вас епідемія бактеріальних захворювань, починаючи від дизентерії і закінчуючи спалахом холери та тифу. Електрика за кілька десятиліть стала основою інфраструктури людської цивілізації в її нинішньому вигляді.

Інтернет зробив це