Команда химика Хизер Десайр из Канзасского университета обучила модель распознавать написаны ли научные тексты человеком или чатботом ChatGPT, выбрав для сравнения Perspectives — резюме объемом 300-400 слов из Science, в которых ученые дают оценку определенной теме исследования или результату.
Используя набор обучающих данных из 64 реальных текстов и 128, созданных ChatGPT, исследователи тренировали модель на типичных особенностях человеческих и компьютерных материалов. Сравнивая их вручную, ученые определили четыре категории отличительных признаков текстов человека:
- абзацы длиннее и сложнее;
- больше варьируется длина предложений;
- чаще используются скобки, двоеточия, тире;
- чаще применяются определенные слова.
При проверке на двух наборах данных, состоявших из текстов Science Perspectives и ChatGPT, созданных таким же образом, модель достигла 100-процентного попадания, а при принятии решения на основе выдержек из соответствующих текстов точность составляла 92 %.
По мнению Криса Биманна, профессора языковых технологий Гамбургского университета, который не участвовал в исследовании, такая почти идеальная классификация — признак переподгонки. Модель была настолько сильно адаптирована к определенному набору данных, что она прекрасно на нем работает — "но только на этом одном наборе данных".
Коллектив авторов признает, что подход был "рассчитан на более узкий диапазон написания". Но хотя сама модель работает только для того типа текста, на котором она была обучена, команда Дезер надеется, что их метод полезен и в других контекстах:
Мы стремились создать легкодоступный метод, чтобы даже ученики старших классов могли создать детектор ИИ для различных типов текста без особых указаний».
Биманн считает этот подход устаревшим, поскольку корректировка подсказки или минимальная обработка сгенерированного текста человеком может сделать модель непригодной для использования. Хотя уже есть более продвинутые подходы, пока невозможно достоверно различить, написал ли человек научную статью сам или адаптировал текст сгенерированный компьютером.
