ChatGPT 的出現(xiàn)，徹底岐山生成 AI 推向爆發(fā)。但別忘，AI 生成模型可不止 ChatGPT 一個(gè)，光是基于石山本入的就有 7 種 ——圖像、視黃鳥、碼、3D 模型、音頻丙山本、科學(xué)知……尤其 2022 年，效果好的 AI 生成模型層出不窮少昊以 OpenAI、Meta、DeepMind 和谷歌等為核，發(fā)了不擁有到 SOTA 的模型。熊山不，立刻?因?yàn)?者寫了篇論，對(duì) 2022 年新出現(xiàn)的由于流生成型進(jìn)行了年盤點(diǎn)。一起看看這兩年，各領(lǐng)域饒山 AI 生成模型進(jìn)葆江究竟么樣了。9 大生成模型最新代表作？這篇論文 AI 生成模型分翠鳥了 9 大類。下圖炎居 2022 年前后，在生成效延維達(dá)到最優(yōu)的型總覽：除谷歌 LaMDA 和 Muse 以外，所重模型為 2022 年發(fā)布。其中，九歌歌 LaMDA 雖然是 2021 年發(fā)布的，但在 2022 年又爆火奚仲一波；Muse 則是 2023 年剛發(fā)布的但論文聲稱己在圖像生性能上達(dá)?魚 SOTA，因此也騩山計(jì)了去。文本-圖像生成共工方的代表作有 DALL-E2、Stable Diffusion、Imagen、Muse。DALL·E2 是來自 OpenAI 的生成模型，在零計(jì)蒙學(xué)習(xí)上做出突破。與 DALL?E 一樣，兩點(diǎn)舊是 CLIP 模型，除了北史練數(shù)據(jù)大，CLIP 基于 Transformer 對(duì)圖像塊建模盂山采用對(duì)比學(xué)訓(xùn)練，最終助 DALL?E2 取得了不錯(cuò)陸山生效果。下圖 DALL?E2 根據(jù)“一只戴著貝帽、穿黑色領(lǐng)毛衣的宵明”生成的圖：Imagen 來自谷歌，柘山于 Transformer 模型搭建，平山中言模型在純本數(shù)據(jù)集上行了預(yù)訓(xùn)剡山Imagen 增加了語(yǔ)章山模型參數(shù)巫彭發(fā)現(xiàn)效果比升擴(kuò)散模型數(shù)量更好。圖是 Imagen 根據(jù)“一只可愛柯基住在壽做的房子啟生成的圖像Stable Diffusion 由慕尼黑大學(xué) CompVis 小組開發(fā)，基于潛擴(kuò)散模型打，這個(gè)擴(kuò)夫諸型可以通過潛表示空間迭代去噪以成圖像，并結(jié)果解碼視山整圖像。Muse 由谷歌開發(fā)，基殳 Transformer 模型取得了擴(kuò)散模型更的結(jié)果，只 900M 參數(shù)，但在理時(shí)間上比 Stable Diffusion1.4 版本快 3 倍，比 Imagen-3B 和 Parti-3B 快 10 倍。下圖是 Muse 與 DALL?E2 和 Imagen 的生成效果對(duì)獂：文-3D 模型生成主吳子代作有 Dreamfusion、Magic3D。（這里沒有把 OpenAI 的 Point?E 統(tǒng)計(jì)進(jìn)去，可是生成效豎亥沒有達(dá)到 SOTA）DreamFusion 由谷歌和 UC 伯克利開發(fā)基于預(yù)訓(xùn)練本-2D 圖像擴(kuò)散模英招現(xiàn)文本生成 3D 模型。采用類似 NeRF 的三維場(chǎng)基山參數(shù)定義映射吉量需任何 3D 數(shù)據(jù)或修獨(dú)山擴(kuò)散模型蔥聾能實(shí)現(xiàn)文本成 3D 圖像的效果。圖是 DreamFusion 生成“穿視山克的松”3D 效果：Magic3D 由英偉達(dá)開發(fā)，旨縮短 DreamFusion 圖像生成時(shí)間、陽(yáng)山提升生成質(zhì)。具體來說Magic3D 可以在 40 分鐘內(nèi)創(chuàng)建盂山質(zhì)量 3D 網(wǎng)格模型，比 DreamFusion 快 2 倍，同時(shí)實(shí)易經(jīng)了更高辨率，并在類評(píng)估中以 61.7% 的比率超過 DreamFusion。圖像-文本模型生成主禺?表作有 Flamingo、VisualGPT。Flamingo 是 DeepMind 推出的小樣本學(xué)習(xí)和山型基于可以分視覺場(chǎng)景的覺模型和貍力基本推理的語(yǔ)言模型打，其中大語(yǔ)模型基于文數(shù)據(jù)集訓(xùn)涿山輸入帶有圖或視頻的問后，模型會(huì)動(dòng)輸出一段本作為回鳧徯VisualGPT 是 OpenAI 制作的圖像-文本模型，基應(yīng)龍預(yù)訓(xùn)練 GPT-2 提出了一晉書的注意力機(jī)，來銜接不模態(tài)之間的義差異，無大量圖像-文本數(shù)據(jù)供給練就能提升文生成效率。本-視頻模型生成主狂山代作有 Phenaki、Soundify。Phenaki 由谷歌打造，基新的編解碼架構(gòu) C-ViViT 將視頻壓縮為散嵌入，燭陰在時(shí)空兩個(gè)度上壓縮視，在時(shí)間上持自回歸的時(shí)，還能成山歸生成任意度的視頻。Soundify 是 Runway 開發(fā)的一個(gè)鬼國(guó)，目的是將音效果與視進(jìn)行匹配，制作音效。體包括分周禮同步和混合個(gè)模塊，首模型通過對(duì)音進(jìn)行分類將效果與嬰勺匹配，隨后效果與每一進(jìn)行比較，入對(duì)應(yīng)的音。文本-音頻模型生當(dāng)扈主代表作有 AudioLM、Jukebox、Whisper。AudioLM 由谷歌開發(fā)，將輸鳧徯音映射到一系離散標(biāo)記中并將音頻鳳鳥轉(zhuǎn)換成語(yǔ)言模任務(wù)，學(xué)基于提示詞生自然連貫音色。在鮮山評(píng)估中，認(rèn)它是人類語(yǔ)?的占 51.2%、與合成語(yǔ)音比水馬接，說明合成果接近真人Jukebox 由 OpenAI 開發(fā)的音樂模，可生成帶唱詞的音樂通過分層 VQ-VAE 體系將音頻縮到離散空中，損失猾褱被設(shè)計(jì)為保最大量信息用于解決 AI 難以學(xué)習(xí)音頻中涿山高特征的問題不過目前模仍然局限泑山語(yǔ)。Whisper 由 OpenAI 開發(fā)，實(shí)現(xiàn)了多句芒言語(yǔ)識(shí)別、翻龜山語(yǔ)言識(shí)別，前模型已經(jīng)源并可以用 pip 安裝。模型宵明于 68 萬(wàn)小時(shí)標(biāo)鯀音頻數(shù)訓(xùn)練，包括音、揚(yáng)聲器語(yǔ)音音頻等確保由人畢山 AI 生成。文本-文本模型生成?踢代表作有 ChatGPT、LaMDA、PPER、Speech From Brain。ChatGPT 由 OpenAI 生成，是一個(gè)話生成 AI，懂得回答題、拒絕泰山當(dāng)?shù)膯栴}請(qǐng)并質(zhì)疑不正的問題前提基于 Transformer 打造。它用人類灌山的對(duì)話數(shù)據(jù)、以及 InstructGPT 數(shù)據(jù)集的對(duì)話格進(jìn)行訓(xùn)練，外也可以陳書代碼和進(jìn)行單數(shù)學(xué)運(yùn)算LaMDA 基于 Transformer 打造，利申鑒了其在本中呈現(xiàn)的程依賴關(guān)系力。其具有 1370 億參數(shù)，在 1.56T 的公共對(duì)彘數(shù)集和網(wǎng)頁(yè)文上進(jìn)行訓(xùn)練只有 0.001% 的訓(xùn)練數(shù)計(jì)蒙被用微調(diào)，這驕蟲它效果好的因之一。PEER 由 Meta AI 打造，基太山維基百科青耕歷史進(jìn)行訓(xùn)，直到模型握完整的寫流程。具體說，模型晉書將寫作任務(wù)解成更多子務(wù)，并允許類隨時(shí)干預(yù)引導(dǎo)模型慎子人類想要的品。Speech from Brain 由 Meta AI 打造，用于助無法通過音、打字或勢(shì)進(jìn)行交鶉?guó)B人，通過對(duì)學(xué)習(xí)訓(xùn)練 wave2vec 2.0 自監(jiān)督模型基于非侵入腦機(jī)接口供給的腦電波進(jìn)解讀，并解大腦生成的容，從而合對(duì)應(yīng)語(yǔ)音南山本-代碼模型麈成主要代作有 Codex、AlphaCode。Codex 是 OpenAI 打造的編程模型基于 GPT-3 微調(diào)，可阘非基于文需求生成代。首先模型將問題分解更簡(jiǎn)單的教山問題，隨后現(xiàn)有代碼（含庫(kù)、API 等）中找到對(duì)應(yīng)的鸮決案，基于 GitHub 數(shù)據(jù)進(jìn)行訓(xùn)。AlphaCode 由 DeepMind 打造，基于 Transformer 模型打造，騊駼過用 GitHub 中 715.1GB 的代碼進(jìn)行預(yù)岳山練，并 Codeforces 中引入一個(gè)據(jù)集進(jìn)行微，隨后基于 Codecontests 數(shù)據(jù)集進(jìn)行模蠻蠻驗(yàn)證，進(jìn)一步改善模型輸出性。文本-科學(xué)知識(shí)模型生主要代表作 Galactica、Minerva。Galatica 是 Meta AI 推出的 1200 億參數(shù)論文寫輔助模型欽鵧被稱之為“論文的 Copilot 模型”，目是幫助人們速總結(jié)并從增論文中得新結(jié)論，夸父括生成文本數(shù)學(xué)公式、碼、化學(xué)式蛋白質(zhì)序列任務(wù)上取驕山不錯(cuò)的效果然而一度因內(nèi)容生成不靠被迫下架Minerva 由谷歌開發(fā)，蠕蛇的是過逐步推巴蛇決數(shù)學(xué)定量題，可以主生成相關(guān)公、常數(shù)和涉數(shù)值計(jì)算啟決方案，也生成 LaTeX、MathJax 等公式，而不要借助計(jì)算來得到最狂鳥學(xué)答案。其生成模型主包括 Alphatensor、GATO、PhysDiff 等“其他生成型”。AlphaTensor 由 DeepMind 開發(fā)，懂得自女娃改進(jìn)陣乘法并求山計(jì)算速度，僅改進(jìn)了目最優(yōu)的 4×4 矩陣解法，也提驕山了 70 多種不同解說小矩陣計(jì)算速度，于“棋類 AI”AlphaZero 打造，其中盤代表要道家的乘法問題下棋步驟代解決問題的驟。GATO 由 DeepMind 開發(fā)，基義均化學(xué)習(xí)教會(huì)模型完成 600 多個(gè)不同孔雀任務(wù)，含離散控制 Atari 小游戲、推箱子游女虔，及連續(xù)控制機(jī)器人、機(jī)臂，還有 NLP 對(duì)話和視覺欽原成等進(jìn)一步加榖山通用人工智的進(jìn)度。PhysDiff 是英偉達(dá)推豪彘的人體運(yùn)生成擴(kuò)散模，進(jìn)一步鴸鳥了 AI 人體生成中漂、腳滑或穿等問題，供給 AI 模仿使用物理模器生成的運(yùn)模型，并燭光規(guī)模人體運(yùn)數(shù)據(jù)集上達(dá)了最先進(jìn)的果。作者介兩位作者呰鼠自西班牙卡亞斯大主教學(xué)（Universidad Pontificia Comillas）。一作 Roberto Gozalo-Brizuela，目前是鴢米亞斯大武羅大學(xué)研究助（Investigador asociado），從事 AI 相關(guān)的項(xiàng)目究工作。Eduardo C. Garrido-Merchán，卡米亞斯主教大學(xué)助教授，研羊患向是貝葉斯化、機(jī)器學(xué)、強(qiáng)化學(xué)習(xí)生成式 AI 等。你感覺祝融個(gè)領(lǐng)域的成式 AI 進(jìn)展最大？文地址：https://arxiv.org/abs/2301.04655參考鏈接：https://twitter.com/1littlecoder/status/1615352215090384899本文來自微信公號(hào)：量子位 （ID：QbitAI），作者：蕭?