Что делает бот Openai, который побил Денди

На прошлой неделе история была создана в сферах Dota 2 и AI. В International The Dendi, один из лучших игроков в игре, был безжалостно избит ботом 1 на 1 два раза подряд. Этот бот был создан OpenAI, стартапом Elon Musk.

Теперь у вас могут возникнуть вопросы. Что такое дота? Что такое OpenAI? И почему это даже важно? Начнем с того, что Dota - это бесплатная игра MOBA, в которой вы управляете героями, и ваша цель - уничтожить древних противников. Многие фанаты Dota могут обидеться до последнего предложения, поскольку Dota так много, что я подвел итог.

Игра очень сложная с очень крутой кривой обучения. Некоторое время назад я приступил к миссии по изучению Dota, и мне потребовалась неделя, чтобы просто просмотреть базовое видео « Как сделать», где они объясняют стратегию игры, что делают оружие, заклинания, герои и как добывать крипов. И это делает всю битву ИИ против Денди важной, потому что она показывает, насколько продвинутыми стали ИИ и МЛ. Итак, давайте посмотрим, что питает этого бота и нужно ли нам бояться восстания ИИ.

Восстание планеты ИИ

AI став Skynet является дискуссионной проблемой. Элон Маск считает, что если его не держать под контролем, сценарий, подобный Скайнету, может произойти. С другой стороны, Марк Цукерберг говорит, что ИИ безвреден и не приведет к сценарию Судного дня. Элон Маск начал OpenAI с этой целью.

Предотвратить злоупотребление ИИ и исследовать ИИ, который не обернется против нас. И я на его стороне.

Но это не то, что мы здесь, чтобы обсудить. Основная тема - узнать, что делает бот, созданный OpenAI. Чтобы понять это, я прочитал несколько научных статей и блогов на эту тему, а также связался с моим другом Анмолом Шармой, который является исследователем ИИ и МЛ.

Усиление обучения

Это название технологии, которая стоит за Dota-ботом OpenAI. Но прежде чем углубляться в это, мы должны понять, как работает общий ИИ, в частности ИИ в видеоиграх. AI - это термин, обозначающий доску и содержащий много тем, таких как машинное обучение, глубокое обучение и нейронные сети. Чтобы грубо определить ИИ, мы можем сказать, что это способность компьютера учиться на информации и принимать решения на основе его обучения. Чем больше он учится, тем больше увеличивается правильность решения.

Чем он отличается от обычного бота?

Боты в общих видеоиграх могут выглядеть как умные, но это не настоящая форма ИИ. Почти все эти боты в играх запрограммированы на основе утверждений If..This..Then..That. Они просто следуют заявлениям и предпринимают действия в соответствии с условиями, изложенными в заявлении.

Выше я показал очень простой пример. Заявления в реальных играх гораздо сложнее с условиями в условиях. Чем четче и детальнее эти утверждения, тем более умным кажется бот.

Награды и наказания

В AI lingo то, что мы называем ботом, называется агентом. Цель состоит в том, чтобы заставить агента учиться всему, чему мы хотим его научить. Агент учится тем же методом, что и ваша собака, через награды и наказания. Всякий раз, когда агент совершает ошибку, он наказывается, и всякий раз, когда он делает правильное предположение или дает правильный ответ, он вознаграждается. Посредством этой системы агент учится связывать действия, которые он не должен делать, чтобы избежать наказания, и выполнять действия (или аналогичные действия), которые дают награды.

Если вы внимательно об этом думаете, это все равно что принимать решения на основе определенных условий, как это делают алгоритмы. Как я показал выше, игровой бот, натолкнувшись на взрывную бочку, будет действовать согласно алгоритму. Алгоритмы в ИИ, очевидно, намного сложнее, чем это, что делает всю систему разумной.

Приходя к нашему боту OpenAI, по словам разработчиков, он выучил всю игру за 2 недели. В течение 2 недель он был онлайн 24 × 7 и играл против своей копии. Это замечательная веха, учитывая сложность игры и тот факт, что она может победить Денди.

Почему автомобили без водителя все еще не здесь?

Это был один из первых вопросов, который возник у меня в голове, когда я услышал об этом событии. Если бот может выучить такую ​​игру и тренироваться до такой степени, что побеждает лучших игроков, почему мы до сих пор занимаем руль? И это был тот же вопрос, который я задал своему другу, г-ну Анмолу Шарме, который также занимался исследованиями бездорожных автомобилей. Это то, что он должен был сказать.

В игре, разработанной человеком, количество переменных меньше. Плюс, если агент (бот) допустит ошибку, худшим штрафом будет раунд. В реальном мире одна ошибка - смерть.

Несмотря на то, что Dota - сложная игра, возможные комбинации ходов, заклинаний и тактики, хотя и по-прежнему нелепо велики, все же ограничены. И ошибки допускаются без какого-либо реального штрафа. Но в случае с агентом без водителя, ошибки могут привести к несчастным случаям и даже смерти.

В реальном мире количество переменных, которые агент должен отслеживать, бесконечно, и ситуации, возникающие из-за этих переменных, как, например, другая машина, внезапно меняющая полосу движения, прыжки пешеходов перед машиной, также бесконечны. Кроме того, как сказал Джереми Кларксон, им придется принимать моральные и этические решения, когда они находятся на грани немедленной аварии (хотя его теория не верна).

Будущее

Мы уже знаем о роботе, контролируемом человеком, который выполняет внутренние операции. Следующий прыжок - это роботы под управлением ИИ, выполняющие его. И это только в медицинской сфере. ИИ, несомненно, станет доминирующей новой технологией в следующем десятилетии во многих областях. Но ИИ также может быть использован не по назначению для злых целей, таких как DDoS-атаки, вымогатели-боты и взлом других компьютеров или систем корпораций.

Что касается Dota и других игр, мы можем ожидать, что такие умные боты будут созданы и для других игр, против которых игроки могут тренироваться, чтобы работать еще лучше. И я упоминал, что OpenAI будет делать 5 на 5 на International в следующем году? Так что я собираюсь освежить свои навыки Dota, чтобы по крайней мере победить встроенных тупых ботов. Божественная рапира, вот и я!