Российские исследователи разработали уникальную открытую виртуальную платформу для самообучающегося искусственного интеллекта.

Хотя СМИ часто изображают развитие современного ИИ как непрерывную серию успехов, реальность оказывается гораздо более сложной. Управление автономными автомобилями и беспилотными летательными аппаратами (БЛА) продолжает оставаться вызовом: даже у крупнейших игроков на рынке, таких как Waymo и Tesla, машины иногда проезжают на красный свет или взаимодействуют друг с другом в ночное время, несмотря на то, что автономные автомобили, в отличие от управляемых, практически не реагируют на звуковые сигналы.

Эти случаи не случайны и подчеркивают одно из слабых мест современного ИИ: он хорошо справляется с ситуациями, для которых его «готовили», обучая на больших выборках, но часто оказывается беззащитным перед редкими и сложными задачами, которые слабо (или вовсе не) представлены в его обучающей выборке.

Конечно, ученые стремятся противостоять таким явлениям. Одним из решений является контекстное обучение с подкреплением (In-context Reinforcement Learning, или In-Context RL). Это сравнительно новое направление в области ИИ: такой подход позволяет модели быстро адаптироваться к новым задачам, основываясь на подсказках и контексте, без необходимости длительного обучения с нуля.

В результате ИИ может эффективно взаимодействовать даже с очень сложной окружающей средой и дообучаться в реальном времени. In-Context RL рассматривается как перспективный подход в таких областях, как персонализированные рекомендации для пользователей интернет-магазинов, управление роботами и автономными автомобилями. Иными словами, он наиболее актуален там, где требуется практически мгновенная адаптация к новым условиям.

Однако для обучения такого ИИ необходима специализированная виртуальная среда, своего рода цифровой полигон. Существующие среды можно разделить на две категории. Одна группа хорошо разработана, как, например, Google DeepMind, но является корпоративной и недоступна для внешних пользователей. Вторая группа — открытые, но они сравнительно просты и предлагают для дообучения ИИ только однотипные и легкие задачи, что затрудняет достижение значительного прогресса. Поэтому в лаборатории T-Bank AI Research было решено создать свою собственную открытую виртуальную среду.

«Мы вошли в область контекстного обучения с подкреплением, когда она только начинала развиваться, и не смогли найти подходящий инструмент для оценки новых идей. Стало очевидно, что это проблема для многих специалистов, и ее необходимо решить в первую очередь. Так и появился XLand-MiniGrid», — отметил ученый Вячеслав Синий из научной группы AI Alignment, входящей в лабораторию исследований искусственного интеллекта T-Bank AI Research.

Научная статья о новой виртуальной среде была принята на крупнейшую международную конференцию в области ИИ — NeurIPS 2024. Ее представление состоится с 10 по 15 декабря в Ванкувере, Канада. Однако еще до этого среда уже использовалась в ряде исследований учеными из крупных зарубежных центров, работающих над искусственным интеллектом.

Новая среда создана на основе JAX — технологии для разработки высокопроизводительных программ. Поэтому, в отличие от более медленных открытых аналогов, XLand-MiniGrid выполняет миллиарды операций в секунду.

Кроме того, в ней собрано 100 миллиардов примеров действий ИИ в 30 тысячах задач. Это позволяет разработчикам использовать готовые датасеты для обучения, а не собирать их каждый раз с нуля. Такие особенности виртуальной среды для обучения ИИ упрощают проведение исследований и новых открытий в данной области.

При этом, в отличие от уже существующих сложных сред, XLand-MiniGrid доступна для всех и размещена на GitHub.