谷歌旗下DeepMind开发的人工智能AIphaStar在《星际争霸2》(Starcraft II)中击败了两位人类职业玩家,这是AI领域的新里程碑。在YouTube和Twitch上播放的比赛中,AI玩家在连续10局中反复击败人类。而在最后的对决中,职业选手格里戈尔兹·“曼娜”·科明兹(Grzegorz “MaNa” Komincz)为人类赢得了唯一的胜利。
去年12月份的比赛截图显示,AlphaStar与人类玩家TLO的对决 相比人类玩家,AI的优劣势很明显
与兄弟AI AIphago登顶的围棋所不同的是,《星际争霸2》是不完美信息系统,有着阻碍信息顺利获取的战争迷雾,除此之外,操作的单位数量和频率较大,且存在多线作战,需要同时兼顾后方经营,和前方多线战事。显然,在多线决策方面AI的优势要比线性思维的人类要大得多。
DeepMind的研究联席负责人戴维·西尔弗(David Silver)在赛后表示:“AI的历史被打上了许多重大的、标杆性胜利的印记。尽管还有很多工作要做,但我希望未来的人们在回顾(今天)时,认为这是AI系统向前迈进了一步的象征。”
在视频游戏里击败人类玩家似乎是AI开发过程中的一个小插曲,但这也是一个重大的研究挑战。《星际争霸2》这样的游戏比围棋之类棋盘游戏更难玩。在视频游戏中,AI无法通过观察每个棋子的移动来计算下一步棋,它们必须实时做出反应。
这些因素似乎对DeepMind被称为AlphaStar的AI系统并未构成多大障碍。首先,它打败了人类职业玩家达里奥·温什(Dario Wunsch,即TLO),然后将目标对准MaNa。这些比赛最初是于去年12月份在DeepMind的伦敦总部举行的,但该公司今天播放了AlphaStar与MaNa的最后一场比赛,这是人类玩家唯一获胜的比赛。
《星际争霸》的职业评论员形容AlphaStar的表现是“非凡的”、“超人的”。在《星际争霸2》中,玩家在建立基地、训练军队和入侵敌人领土之前,会从相同地图的不同侧面展开行动。AlphaStar尤其擅长所谓的“微操”,即在战场上快速、果断地控制单个或少量部队的能力。
尽管人类玩家有时能够训练出更强大的作战单位,但AlphaZero还是能够在近距离内战胜他们。在一场游戏中,AlphaStar用名为Stalker的快速移动单位骚扰MaNa。评论员凯文·范德库伊(Kevin van der Kooi)将其描述为“非凡的单位控制能力,很不常见”。MaNa在赛后表示:“如果我和任何人类比赛,他们都不会将Stalker运用得如此出神入化。”
这与我们在其他高级游戏AI中看到的行为相呼应。当OpenAI去年在《Dota 2》中与人类职业选手对决时,它们最后以失败告终。但专家们指出,这些AI是以一种“清晰而精确”的方式进行着游戏。对此,我们无需感到奇怪,快速做出没有任何错误的决定是机器的天赋异能。
专家们已经开始仔细分析这些比赛,并就AlphaStar是否拥有任何不公平的优势展开辩论。这些AI在某些方面依然显得笨拙,例如,AlphaStar的每分钟点击依然比人类低。但与人类玩家不同的是,它每次都能够查看整个地图,而不是手动导航。
DeepMind的研究人员表示,这并没有为AlphaStar提供真正的优势,因为它在任何时间只关注地图的某个特定部分。但是,正如比赛所显示的那样,这并没有阻止AlphaStar同时熟练地控制三个不同区域的单位。评论员们表示,这对人类来说是不可能的。值得注意的是,当MaNa在直播比赛中击败AlphaStar时,AI使用的是受限的摄像头视角。
AlphaStar的另一个潜在痛点是,人类玩家虽然是职业玩家,但却不是世界冠军的标准。TLO还必须扮演《星际争霸2》中他不熟悉的三个种族之一。
AI的重大进步?
撇开这些不谈,专家们称这场比赛是AI向前迈出的重要一步。长期参与《星际争霸》AI场景的AI研究人员戴夫·丘吉尔(Dave Churchill)表示:“我认为AI取得了重大成就,至少比我在AI研究人员中听到的最乐观猜测提前了一年。”然而,邱吉尔补充说,由于DeepMind尚未发布任何关于这项工作的研究论文,因此很难说它是否显示出任何技术上的飞跃。他指出:“我还没有读过这篇博客文章,也没有接触过相关的论文或技术细节。”
佐治亚理工学院AI副教授马克·里德尔(Mark Riedl)表示,他对结果并不那么惊讶,AI获得胜利只是“时间问题”。里德尔补充说,他不认为这些比赛表明《星际争霸2》已经被AI彻底掌控。他表示:“在上一场直播比赛中,限制AlphaStar的某些能力确实消除了它的许多人为优势。但我们看到的更大的问题是,当人们可以把AI推出舒适区时,它就会崩溃。”
丹麦哥本哈根信息技术大学的塞巴斯蒂安·里斯(Sebastian Risi)表示:“这看起来是向前迈出的一大步。我们不知道这其间有多少创新,但培训AI的方式似乎是关键。”里斯的同事尼尔斯·贾斯特森(Niels Justesen)说:“我没想到会发生这样的事情,尤其是因为之前的端到端学习《星际争霸》的尝试远远没有达到人类的水平。”
残酷的强化学习AI竞技场
最终,这类工作的最终目标不是利用AI在视频游戏中击败人类,而是改进AI的训练方法,尤其是为了创建能够在《星际争霸》等复杂虚拟环境中运行的系统。
为了训练AlphaStar, DeepMind的研究人员使用了被称为强化学习的方法。AI智能体基本上是通过反复尝试才能达到某些目标,比如赢球或者仅仅是生存下去。它们首先通过模仿人类玩家来学习,然后在类似竞技比赛中相互对决。最强的AI会存活下来,最弱的则被淘汰。DeepMind估计,其每个AlphaStar智能体都以这种方式积累了大约200年的游戏时间,游戏速度也在加快。
DeepMind很清楚自己开展这项工作的目标。AlphaStar项目联合负责人奥里尔·维尼亚斯(Oriol Vinyals)说:“首先,也是最重要的,DeepMind的任务是建立通用AI,它可以执行人类所能完成的任何心理任务。要实现这个目标,最重要的就是对我们的AI智能体在各种任务中的表现进行基准测试。”
科技媒体Engadget评论道,谷歌旗下的AI子公司DeepMind已经转向电脑游戏,其AI系统始终在进行微调,以适应《星际争霸2》。今天的《星际争霸2》比赛,是AlphaStar与职业玩家的第一次正面交锋。在两场五局的系列比赛中,AlphaStar战胜了职业选手TLO和MaNa,赢得了10场胜利。而在连续十次失利后,人类玩家终于赢得了最后一场比赛。
DeepMind的野心