Гугл создал ИИ, которому больше всего на свете нравится паркур. Пока виртуальный.
Для создания виртуального паркурщика использовали обучающий метод с подкреплением. Обучаемый ИИ с определённым набором действий помещался в неизвестное для него виртуальное пространство. Взаимодействуя с окружающей средой, ИИ переводил её в качественно новое состояние, которое награждало его либо штрафом, либо призом. Регулярная обратная связь позволяла системе постоянно совершенствоваться.
Как правило, программисты создают такие условия вознаграждения, которые предусматривают единственно правильное поведение, тем самым вводя ИИ в ступор при малейшем изменении исходных данных. Гугл пошел другим путём. Создав грамотно построенное пространство и систему наград в нём, они заставляют программу развить сложное поведение.
Программисты создали виртуальный уголок с самыми разными препятствиями, которые по очереди проходили три ИИ – туловище с двумя ногами, «паук» (сфера с четырьмя ногами) и фигура, похожая на человека. Каждая система обладала простейшим зрением и могла ощущать части своего тела по отношению друг к другу и к пространству. Для всех троих «участников» была поставлена одна и та же задача – добраться из пункта А в пункт В. Меньше времени = больше награда. Были и штрафы. Например, «паука» и «человека» наказывали, если они отклонялись от центра плоскости, а туловище – если оно сталкивалось с преградами из-за неверного расположения торса.
В результате ИИ сами научились довольно сложным движениям. Например, уклоняться от верхних препятствий. И даже использовать «колени», чтобы забраться на самые высокие преграды.
Эксперимент показал, что насыщенное виртуальное пространство и грамотная система наград позволяют системе развить нетривиальные навыки в движениях. Это значительно повышает качество и надёжность поведения ИИ. Вполне возможно, в будущем разработку используют в создании роботов, которым придётся передвигаться по пересечённой местности.
