清華機器人「大力射門」氣走德國 靠這套算法留下冠軍

在機器人運動會的足球5V5決賽上，再次上演了證明中國科技實力的一幕。清華火神隊的「大力射門」算法在關鍵時刻發揮作用，成功氣走勁敵的德國隊HT⁃WK Robots+Nao Devils（下稱「德國HTWK」），也將世界首場全自主機器人5V5足球賽冠軍留在中國。

新京報報導，2009年，德國HTWK開始訓練機器人「踢」足球，2018年獲RoboCup標準平台（SPL）冠軍，今年7月奪得RoboCup小型組冠軍；面對這樣的勁敵，直到比賽結束哨聲吹響的前一刻，清華火神隊都沒有獲勝的絕對把握。

然而在決賽當天，火神隊在上半場12分鐘，以一記遠射拿下關鍵1分，最後始終咬緊優勢，成功贏得勝利。在比賽結束時，所有隊員擊掌歡呼，圍住寫下「大力射門」算法的隊員王與時，將他拋向空中，慶祝他的算法為火神隊再拿下一個冠軍。

強化學習 達成連貫策略

「大力射門」算法是火神隊獨有的策略，相較於3V3比賽，5V5比賽的場地更寬闊，對機器人踢球的速度要求更高。「大力射門」是王與時基於深度強化學習設計出來的算法，當識別到外部環境達到射門的條件時，機器人就會將控制策略切換為該算法訓練出的模型。

報導指出，目前機器人使用的算法基本都是分層模型，執行動作的時候需要分階段進行，導致機器人踢球時出現決策延遲，與踢球動作脫節，從而喪失最佳射門時機。今年年初，王與時開始思考利用強化學習的方式實現「找球-追球-踢球」全過程的連貫統一策略，於是就想到了利用端到端強化學習的技術範式訓練該策略，增加機器人射門機會。

測試過程並不順利，王與時在寫這套算法時也經歷過無數次失敗。今年3月，他第一次將此套算法在仿真環境中部署到真實物理場景中嘗試，盡管動作不太優雅、踢球的力度不是很大、準確度也並不高，甚至還會摔倒，但至少可以完成，也就是從那個時候起，王與時和團隊看到了該算法的可行性。他們不斷調整參數，反複嘗試機器人與球門的角度、與球的位置達到何種角度射進門的概率更大。在賽前準備時，他每晚都要將機器人和球放在訓練場上不同的位置測試成功率，測試更合適的射門角度。

想贏得比賽，僅靠「大力射門」還不夠，更需要考慮的是團隊之間的配合策略。在5V5賽場上，機器人「疊羅漢」、「摔倒」的頻率遠高於3V3賽場，一旦場上多了兩個球員，機器人感知決策的邏輯鏈條就會變得更難設定。火神隊隊長羅長盛表示，「距離正式比賽還剩最後幾個小時的時候，我們才寫好了一套新的算法。」

賽前幾小時 新算法出爐

因為與德國HTWK有過兩次交鋒，羅長盛和團隊開始研究對手的策略，「我們前幾天熬夜研究德國隊的戰術，發現他們只有一個球員帶球，所以我們的策略就是輪流上去傳球，而不是一窩蜂地上去傳球」，事實上該策略也獲得了很好的效果。

火神隊2005年開始征戰RoboCup，直到今年7月前，最好的成績是亞軍。而清華火神隊前任隊長陳蓬輝的快速起身算法、王與時的端到端算法，結合加速進化人形機器人T1的硬件能力，刷新了得獎紀錄。

「今年我們不但拿到了冠軍，還推動組委會做了很大的改革，包括很多關鍵性的技術和比賽的方式。」清華大學自動化系研究員、機器人控制實驗室主任趙明國表示，例如去掉了機器人背後的保護員、保證硬件能力能夠支持3V3比賽、快速起身保證比賽流暢度等。

今年4月，在Robo⁃Cup新加坡公開賽上，組委會同意使用火神隊的3V3足球賽Demo。而這次公開賽也傳遞出一個信號：中國機器人的算法和硬件已經能做出比原來2V2足球賽更好的效果。

不再衝撞 實現通信配合

當機器人在球場上不再衝撞守門員，能夠很好地實現通信、配合隊友傳球時，也許也能夠合作搬起一把椅子，在家庭裡穿梭時不會撞到老人、孩子。RoboCup機器人世界杯國際聯合會副主席、RCAP亞太機器人世界杯國際理事會主席周長久說表示，「足球賽事真正是機器人技術的標準測試，同時也是一種展示」。

在周長久看來，世界人形機器人運動會有發展成機器人奧運會的可能。「對人形機器人產業未來發展而言，它構建的生態系統將起到標竿作用，發揮每個參與國的優勢。世界各地都可能舉辦類似的比賽。但無論比賽在哪個國家或地區舉行，大家都將意識到這一賽事起源於中國北京。」