又一個 AI 老大難問題，被 DeepMind 攻克了：一名叫 DreamerV3 的 AI，在啥也不知道情況下被進《我的界》（MineCraft）里，摸爬滾打 17 天，還真就學(xué)了如何從 0 開始挖鉆石?！?就是從擼開始的那要知道，前為了攻這個問題CMU、微軟、DeepMind 和 OpenAI 還聯(lián)手在 NeurIPS 上拉了個比賽叫 MineRL。結(jié)果搞了三年，AI 們也沒能不參考人經(jīng)驗的情下，完成鉆石任務(wù)此前表現(xiàn)好的 VPT 選手，為了達成一成就，是狂看了 70000 + 小時《我的世》游戲視，并且用了 720 個 V100……這不 DeepMind 的最新結(jié)果一出，究人員都心壞了。MineRL 的發(fā)起人之一、前 OpenAI 研究科學(xué)家 William Guss 就第一時間跑來發(fā)賀電：4 年了，“石挑戰(zhàn)”于被攻克！今年剛到了 NeurIPS 杰出數(shù)據(jù)集和基準文獎的 MineDojo 作者、英偉達 AI 科學(xué)家范麟熙表示：AI 玩轉(zhuǎn) MineCraft 背后，有個拉維克悖：一些任對于人類言很困難比如圍棋，但對 AI 來說很簡單。但 MineCraft 這樣人類高玩無數(shù)游戲，情卻相反。DreamerV3 能在沒有任人工數(shù)據(jù)助的情況收集鉆石這讓我感非常興奮如何做到以，這個 0 基礎(chǔ)挖鉆石任務(wù)到底有啥點？首先在《我的界》里，始世界是全隨機生的。即使人類玩家想要快速到鉆石，得有相當富的經(jīng)驗比如，知怎么推算石的位置掌握一些掘竅門（魚骨挖礦）等。排掉經(jīng)驗的素，對于 AI 來說，這個挖石的過程挺復(fù)雜，少得要 7 個步驟。第一步水馬家在空手入《我的界》中時需要先擼來獲取木：第二步得用木塊來合成工臺：第三，在工作上合成木，用來挖石：第四，獲得圓之后，需合成一個鎬，用來速挖鐵礦第五步，了將鐵礦成鐵錠，需要做一熔爐來燒：第六步合成鐵鎬用來挖鉆：第七步尋找鉆石然后用鐵挖出鉆石p.s. 有玩家測過，在 AI 知道鉆石等各種源坐標的況下（開掛），也要 2-3 分鐘才能搞定。這就意味著AI 必須在有限時里，做出量決策。么既然不參考人類手的經(jīng)驗自然就需強化學(xué)習(xí)Reinforcement Learning）出馬。具體而，DeepMind 的研究人提出了一基于世界型的通用法。在整架構(gòu)上，DreamerV3 由 3 個神經(jīng)網(wǎng)絡(luò)組：世界模、評委（critic）和演員actor）。世界型要做的是把環(huán)境入編碼為散的表征并通過預(yù)來指導(dǎo)下步要執(zhí)行操作。而委和演員會根據(jù)抽出來的表進行學(xué)習(xí)其中，評網(wǎng)絡(luò)會輸一個標量來代表行價值，從幫助演員絡(luò)選擇最的行動。里面的一核心點在，DeepMind 的研究人希望 DreamerV3 不僅僅能處理類型的問，還可以固定超參，掌握跨域任務(wù)。此，研究員需要系地解決世模型、評和演員等個組件中號大小不，以及穩(wěn)平衡目標問題。研人員發(fā)現(xiàn)以前的世模型，需根據(jù)復(fù)雜 3D 環(huán)境的視覺輸，對表征失進行不的縮放，訓(xùn)練過程還得調(diào)整少超參數(shù)但這里面實有許多必要的細。而如果自由比特free bits）和 KL 平衡（KL balancing）結(jié)合起，就可以不調(diào)整超數(shù)的情況讓 DreamerV3 在不同領(lǐng)域中學(xué)。KL 平衡是上一 DreamerV2 中提出的一項新技。能夠使測向表征動的速度表征向預(yù)移動的速更快，帶更精確的測。自由特避免了單環(huán)境下過度擬合DreamerV3 的三大塊用上了固超參數(shù)，體如下：驗結(jié)果也是說，DreamerV3 如今成了世界第一個純自己摸索就能在《的世界》速挖鉆石 AI。并且 DreamerV3 的本事可不只是 MC。在另外 7 項基準測中，DreamerV3 都取得了成功，且在 BSuite、Crafter 上達到了 SOTA。值得一提的是在這些任中，訓(xùn)練能體所用的 GPU 資源都僅為 1 塊 V100。研究人表示，這味著有更的實驗室跑得動這模型。另，在需要空推理的維空間中DreamerV3 也能快速行學(xué)習(xí)。 DeepMind 為強化學(xué)專門打造 3D 平臺 DMLab 上，DreamerV3 在任務(wù)中用的交互數(shù)僅為 IMPALA 的 1/130。目前，DreamerV3 的代碼是 coming soon 的狀態(tài)。感趣的小伙可以蹲一~參考鏈接：[1]https://danijar.com/project/dreamerv3/[2]https://twitter.com/DeepMind/status/1613159943040811010本文來自信公眾號量子位 （ID：QbitAI），作者：羊 Alex