Руководители более 100 ведущих мировых компаний в области искусственного интеллекта очень обеспокоены развитием «роботов-убийц», которые могут быть неправильно использованы или взломаны террористами. Но есть и более реальная угроза: действия самих машин, у системы которых может возникнуть поведение, намного более непредсказуемое, чем сумма отдельных действий как людей, так и роботов.
Элементы сложных систем, как то: экономических рынков или погоды - взаимодействуют не простым линейным способом. Это очень затрудняет их моделирование и понимание. Сами системы часто очень чувствительны к небольшим изменениям и поэтому непредсказуемы. Так климатология, существующая уже много лет, не гарантирует точных долгосрочных прогнозов погоды.
Недавно исследователи изучали сложную систему с «хорошими» ботами Википедии для редактирования статей. Все они работают на основе хорошо установленных правил и имеют общую цель - улучшить энциклопедию. Однако коллективное поведение ботов оказывается неожиданно неэффективным, поскольку на сайте нет центральной системы управления и эффективной координации между управляющими ими людьми. Были обнаружены пары ботов, несколько лет отменявшие изменения друг друга, и никто этого не замечал.
Боты вели себя по-разному и в разных языковых версиях Википедии. Правила более или менее одинаковы, цели идентичны, технология аналогична. Но в немецкой Википедии сотрудничество ботов намного эффективнее и продуктивнее, чем, например, в португальской. Это можно объяснить только разными редакторами, которые запускают эти машины в разных средах. У ботов Википедии очень мало автономии, а система уже работает по-разному с целями отдельных ботов. А что будет, когда Фонд Викимедиа будет использовать искусственный интеллект, который даст ботам большую автономию. Скорее всего, это приведет к их еще более неожиданному поведению.
Другим примером могут служить действия двух ботов, предназначенных для общения с людьми: если они взаимодействуют друг с другом, то могут начаться споры и даже оскорбления. Еще более непредсказуемое поведение может возникнуть, когда роботы-водители, «обученные» разными людьми в разных средах, вступят в контак друг с другом.
Чем больше становится система и чем автономнее каждый бот, тем сложнее и непредсказуемее будет поведение системы. Сложность и, следовательно, непредсказуемость возрастают в геометрической прогрессии, так как в систему добавляется все больше и больше людей. Это может привести к неожиданному поведению роботов, выходящему за рамки нашего воображения.
