ИИ проник в онлайн-опросы: социологи рассказали о возможных последствиях этого явления.

Вопрос о возможном искажении исследований из-за использования чат-ботов на основе искусственного интеллекта, таких как ChatGPT, подняла Джанет Сюй (Janet Xu) из Стэнфордской высшей школы бизнеса. Ее соавторами статьи, текст которой доступен на сайте SocArXiv, стали социолог Симона Чжан (Simone Zhang) из Нью-Йоркского университета и специалист по информационным наукам Эй Джей Альверо (AJ Alvero) из Корнеллского университета.

При проведении масштабных опросов часто используются онлайн-платформы, такие как Prolific или Amazon Mechanical Turk. Участники этих платформ предоставляют информацию о себе и заполняют анкеты в обмен на денежные вознаграждения или подарочные сертификаты. Однако с появлением ChatGPT и аналогичных сервисов исследователи начали замечать, что некоторые развернутые комментарии в опросах выглядят «нечеловеческими». Например, они могут казаться слишком детализированными или чрезмерно корректными.

Услышав подобные подозрения от коллег, Джанет Сюй решила изучить этот вопрос. В сотрудничестве с другими учеными она организовала онлайн-опрос среди примерно 800 зарегистрированных участников Prolific, чтобы выяснить, используют ли они ИИ-инструменты при формулировании ответов. Респондентам пообещали, что их ответы не повлияют на возможность участия в будущих исследованиях.

В результате около трети опрошенных признались в использовании таких практик, из которых 10% сообщили, что делают это довольно часто. Две трети участников заявили, что никогда не используют ChatGPT для генерации ответов, объяснив это моральными соображениями и опасениями относительно достоверности исследований.

Чтобы понять, в чем различаются человеческие ответы и ответы, сгенерированные компьютером, исследователи проанализировали данные опросов из трех научных работ, написанных до появления ChatGPT. Эти результаты были сопоставлены с ответами, полученными с помощью нейронных сетей.

Сравнение показало, что люди обычно использовали конкретные и эмоционально насыщенные выражения, иногда с уничижительным оттенком. В то же время формулировки от ИИ выглядели более нейтральными и абстрактными, а когда речь шла о деликатных темах и отдельных социальных группах — более корректными и сглаженными.

Хотя результаты исследования показали, что использование ИИ в опросах еще не стало массовым явлением, ученые выразили обеспокоенность по поводу такой возможности. Если люди начнут использовать подобные инструменты не только для улучшения формулировок, но и полностью заменять свои ответы сгенерированными, это может исказить реальную картину и сделать ее более однородной.

Исследователи пока не нашли оснований для исправления или отзыва уже опубликованных работ из-за потенциального влияния ИИ, но призвали коллег внимательно относиться к качеству данных, получаемых в опросах.

Авторы новой статьи отметили, что в качестве превентивной меры можно прямо просить респондентов не использовать ИИ или внедрять в онлайн-формы для анкетирования специальный код, который блокирует копирование и вставку текста. Также ученые призвали лучше прорабатывать опросники, делая их более краткими, четкими и понятными, чтобы у людей не возникало соблазна прибегнуть к ИИ.