Технологическая сингулярность под вопросом? Похоже, данные для обучения ИИ исчерпаны.

«Мы почти исчерпали общий объем человеческих знаний <…> в сфере обучения ИИ. И это произошло в прошлом году», — заявил Маск в беседе с председателем компании Stagwell Марком Пенном в социальной сети X.

Эти слова прозвучали всего через несколько дней после того, как Суцкевер, который принимал участие в разработке ChatGPT, сообщил на ежегодной конференции Neurips, что компании достигли предела данных — и больше их не будет.

Если это так, то восполнить нехватку можно с помощью синтетических данных, то есть контента, создаваемого самими генеративными моделями ИИ. Однако этот метод далек от совершенства.

Исследователи из Стэнфордского университета и Университета Райса ранее обнаружили, что модели, обученные на данных, сгенерированных ИИ, будь то текст или изображения, имеют тенденцию «сходить с ума» после пяти циклов обучения.

В ноябре прошлого года выяснилось, что OpenAI сталкивается с проблемами в работе своей новой модели Orion: она оказалась не такой продвинутой, как ожидали в компании. Аналогично, новейшая версия Gemini от Google не продемонстрировала значительных улучшений по сравнению с предыдущей. В то же время Anthropic полностью отложила выпуск своей модели Claude.

Напомним, что ранее Маск и руководитель OpenAI Сэм Альтман заявляли, что ИИ близок к тому, чтобы превзойти умственные способности отдельного человека, а затем и интеллект всего человечества.