Искусственный интеллект Sony обогнал лучших гонщиков в Gran Turismo Sport
© Sony Interactive Entertainment
GT Sophy — совместная разработка Sony AI, Polyphony Digital и Sony Interactive Entertainment. При её создании использован новый метод глубокого машинного обучения с подкреплением (Deep RL), основанный на сложной системе поощрений и алгоритме QR-SAC, в который закодировали правила гонок и особый режим тренировок, необходимый для овладения всеми нюансами вождения. Обычно с помощью Deep RL «прокачивают» игровые ИИ в сетевых стратегиях реального времени, так как RL-агенты просчитывают свои действия далеко вперед, но Sony, похоже, впервые применила эту методику в гоночном симуляторе.
Для обучения GT Sophy специалисты Sony AI создали веб-платформу DART (Distributed, Asynchronous Rollouts and Training), у которой был доступ к тысяче консолей PlayStation 4 и собственной облачной игровой платформе Sony. Каждая консоль собирала данные, необходимых для обучения, или оценивала уже обученную версию GT Sophy. DART позволила одновременно проводить сотни симуляций, с каждым разом улучшая взаимодействие ИИ-агента со средой и повышая его навыки вождения.
Что умеет Софи? Во-первых, она хорошо понимает динамику автомобиля и молниеносно просчитывает идеальную траекторию движения. Во-вторых, за доли секунды выбирает нужную стратегию: например, использует зону пониженного давления за впереди идущей машиной для совершения обгона или блокирует соперника, не давая ему её обойти. Наконец, Софи обучена основам спортивного этикета. По словам авторов, это значит никаких преднамеренных аварий и попыток вытолкнуть другого гонщика с трассы.
Летом прошлого года Софи стала победителем двух заездов Race Together 2021 Challenge, а в октябре выиграла гонку формата FIA Gran Turismo. Но на этом разработки не прекратятся. Уже объявлено, что Sony AI продолжит совершенствовать GT Sophy, а также будет изучать способы интеграции ИИ-агента в будущие симуляторы серии Gran Turismo.