Технологічна сингулярність скасовується? Закінчилися дані для навчання штучного інтелекту.

«Ми вже практично вичерпали сукупний обсяг людських знань <…> у сфері навчання ШІ. І це сталося минулого року», — заявив Маск під час розмови з головою компанії Stagwell Марком Пенном у соцмережі X.

Ці слова прозвучали всього через кілька днів після того, як Суцкевер, який допомагав створювати ChatGPT, розповів на щорічному заході Neurips, що компанії досягли піку даних — і більше їх не буде.

Якщо це правда, то заповнити дефіцит можна за допомогою синтетичних даних, тобто контенту, який виробляють самі генеративні моделі ШІ. Однак цей спосіб далекий від ідеалу.

Дослідники зі Стенфордського університету та Університету Райса раніше виявили, що моделі, які навчаються на даних, згенерованих ШІ, будь то тексти чи зображення, мають тенденцію «зходити з розуму» після п'яти циклів навчання.

У листопаді минулого року з'ясувалося, що OpenAI стикається з труднощами зі своєю новою моделлю Orion: вона виявилася не такою просунутою, як сподівалися в компанії. Аналогічно, новітня версія Gemini від Google стала не набагато кращою за попередню. Водночас Anthropic взагалі відклала випуск своєї моделі Claude.

Нагадаємо, раніше Маск і керівник OpenAI Сем Альтман заявляли, що ШІ близький до того, щоб перевершити інтелектуальні здібності окремої людини, а потім і інтелект усіх людей разом узятих.