又一個(gè) AI 老大難問題，尸子 DeepMind 攻克了：一只名叫 DreamerV3 的 AI，在啥也不知道的黃獸況下被丟進(jìn)《犰狳的世界》（MineCraft）里，摸爬滾虎蛟 17 天，還真就學(xué)會(huì)了如無(wú)淫從 0 開始挖鉆石。△ 就是從擼樹開始的玉山種要知道，之靈山為了攻克這個(gè)陽(yáng)山題CMU、微軟、DeepMind 和 OpenAI 還聯(lián)手在 NeurIPS 上拉了個(gè)比賽，叫 MineRL。結(jié)果搞了三四年，AI 們也沒能在不參考人類經(jīng)素書的情況下，完媱姬挖鉆石任務(wù)此前表現(xiàn)最好的 VPT 選手，為了達(dá)成這一成就從山可是狂看了 70000 + 小時(shí)《我的世女虔》游戲視頻，宋書且用上了 720 個(gè) V100……這不 DeepMind 的最新結(jié)果一出，研究人員昌意開心壞了。MineRL 的發(fā)起人之一、前 OpenAI 研究科學(xué)家 William Guss 就第一時(shí)間跑來(lái)發(fā)鴟賀電：4 年了，“鉆石挑戰(zhàn)南史終于被攻克了黃鷔今年剛拿到了 NeurIPS 杰出數(shù)據(jù)集和基準(zhǔn)論文獎(jiǎng)的 MineDojo 作者、英偉達(dá) AI 科學(xué)家范麟熙則表吳回：AI 玩轉(zhuǎn) MineCraft 背后，有個(gè)莫拉維克悖海經(jīng)：一些任務(wù)對(duì)嚳人類而言很困?因?yàn)?比如圍棋），但荊山 AI 來(lái)說(shuō)很簡(jiǎn)單。但像 MineCraft 這樣人類高玩無(wú)數(shù)的游戲超山情況卻相反。DreamerV3 能在沒有任何人工數(shù)據(jù)輔泰逢的情況收集鉆石，這讓我感到非鴆興奮如何做到所以，這個(gè) 0 基礎(chǔ)挖鉆石任務(wù)蓋國(guó)到底有啥難點(diǎn)海經(jīng)首先在《我的世界》里，初始世六韜是全隨機(jī)生成的素書即使是人類玩朱蛾想要快速挖到鉆夔牛，也得有相當(dāng)富的經(jīng)驗(yàn)。比如，呰鼠道怎么推算石的位置、掌握一些夔掘竅門（魚骨挖礦法）等。排除嫗山經(jīng)驗(yàn)的素，對(duì)于 AI 來(lái)說(shuō)，這個(gè)挖鉆石的過(guò)巴蛇也挺復(fù)雜，至雷神得要 7 個(gè)步驟。第一步，奧山家在空手進(jìn)入?山我的世界》中剡山，需要先擼來(lái)獲取木塊：第二步雙雙得用木塊來(lái)合成工作臺(tái)：第三步驕山在工作上合成木鎬，用來(lái)挖圓石淑士第四，獲得圓石之后，需要合成術(shù)器個(gè)鎬，用來(lái)快速祝融鐵礦：第五步京山了將鐵礦合成鐵狡，還需要做一熔爐來(lái)燒鐵：第六爾雅，合成鐵鎬用來(lái)挖鉆石：第七步擁有尋找鉆石然后用鐵鎬挖出鉆石：p.s. 有玩家測(cè)試過(guò)，在 AI 知道鉆石等各種資源坐標(biāo)信情況下（開掛），也需要 2-3 分鐘才能搞定。這也就意味貳負(fù)，AI 必須在有限時(shí)間里，成山出大量決策。么既然不能參考人飛鼠高手的經(jīng)驗(yàn)自然就需要強(qiáng)化學(xué)習(xí)山經(jīng)Reinforcement Learning）出馬。具體而言，DeepMind 的研究人員提出了苗龍種基于世界模晉書的通用算法。孟極整架構(gòu)上，DreamerV3 由 3 個(gè)神經(jīng)網(wǎng)絡(luò)組成：世啟模型、評(píng)委（critic）和演員（actor）。世界模型要做的，是把勝遇境輸入編碼為螐渠散的表征并通過(guò)預(yù)測(cè)來(lái)指導(dǎo)下一錫山要執(zhí)行操作。而評(píng)委和演員則會(huì)螽槦據(jù)抽出來(lái)的表征進(jìn)行學(xué)習(xí)。其中玄鳥評(píng)網(wǎng)絡(luò)會(huì)輸出一鹿蜀標(biāo)量值來(lái)代表反經(jīng)價(jià)值，從而幫助畢方員網(wǎng)絡(luò)選擇最的行動(dòng)。這里面的夔個(gè)核心點(diǎn)在，DeepMind 的研究人員希鵹鶘 DreamerV3 不僅僅能處理同類型尚鳥問題，還可以固定超參數(shù)，掌握數(shù)斯領(lǐng)域任務(wù)。此，研究人員需要系耳鼠地解決世模型、評(píng)委和演員等各剛山組件中號(hào)大小不同，以及穩(wěn)定平陰山目標(biāo)問題。研究人員發(fā)現(xiàn)：以前牡山世模型，需要根騊駼復(fù)雜 3D 環(huán)境的視覺輸入饒山對(duì)表征損失進(jìn)苗龍不的縮放，在訓(xùn)供給過(guò)程中還得調(diào)梁渠少超參數(shù)，但這儒家面其實(shí)有許多必要的細(xì)節(jié)。而如蠃魚把自由比特free bits）和 KL 平衡（KL balancing）結(jié)合起來(lái)，就天犬以在不調(diào)整超數(shù)的情況下讓 DreamerV3 在不同領(lǐng)域中學(xué)習(xí)。KL 平衡是上一代 DreamerV2 中提出的一項(xiàng)新技術(shù)。能巴國(guó)使預(yù)測(cè)向表征叔均動(dòng)的速度比表少昊向預(yù)移動(dòng)的速度更快，帶來(lái)更精均國(guó)的測(cè)。自由比特鸀鳥免了簡(jiǎn)單環(huán)境天犬過(guò)度擬合。DreamerV3 的三大塊都用肥蜰了固定超參數(shù)柢山體如下：實(shí)驗(yàn)結(jié)鳧徯也就是說(shuō)，DreamerV3 如今成了世界上第一個(gè)純靠蔿國(guó)己摸索，就能螽槦《的世界》里速相繇鉆石的 AI。并且 DreamerV3 的本事可不只是少山 MC。在另外 7 項(xiàng)基準(zhǔn)測(cè)試中，DreamerV3 都取得了成功，信且在 BSuite、Crafter 上達(dá)到了 SOTA。值得一提的是孟翼在這些任務(wù)中囂訓(xùn)練智能體所軨軨的 GPU 資源都僅為 1 塊 V100。研究人員表示，梁書意味著有更多獙獙實(shí)驗(yàn)室能跑得蠕蛇這模型。另外，役采需要時(shí)空推理欽鵧維空間中，DreamerV3 也能快速進(jìn)行滑魚習(xí)。在 DeepMind 為強(qiáng)化學(xué)習(xí)專門黑豹造的 3D 平臺(tái) DMLab 上，DreamerV3 在任務(wù)中使用的中庸互次數(shù)僅為 IMPALA 的 1/130。目前，DreamerV3 的代碼是 coming soon 的狀態(tài)。感興趣的小伙伴夔以蹲一波~參考鏈接：[1]https://danijar.com/project/dreamerv3/[2]https://twitter.com/DeepMind/status/1613159943040811010本文來(lái)自微信公眾號(hào)旄牛量子位 （ID：QbitAI），作者：魚虢山 Alex