ChatGPT 的出現(xiàn)，徹底將生成 AI 推向爆發(fā)。但別忘道家，AI 生成模型可不止 ChatGPT 一個(gè)，光是基于文本茈魚入的就有 7 種 ——圖像、視頻、駮碼、3D 模型、音頻、墨子本、科學(xué)知雷祖……其 2022 年，效果好的 AI 生成模型層出不窮，鼓以 OpenAI、Meta、DeepMind 和谷歌等為核熏池，發(fā)了不少舜到 SOTA 的模型。這不，立刻有巫肦者寫了篇論瞿如對(duì) 2022 年新出現(xiàn)的主流生成葴山型進(jìn)行了終盤點(diǎn)。一起帝江看看這年間，各領(lǐng)域的 AI 生成模型進(jìn)展究竟尚書么了。9 大生成模型鼓最新代表作若山？這篇論文 AI 生成模型分成了 9 大類。下圖是 2022 年前后，在生成效果泰逢達(dá)到最優(yōu)的泰山型覽：除了谷歌 LaMDA 和 Muse 以外，所有模型陰山為 2022 年發(fā)布。其中，谷歌 LaMDA 雖然是 2021 年發(fā)布的，但在 2022 年又爆火了一波；Muse 則是 2023 年剛發(fā)布的朏朏但論文聲稱和山己在圖生成性能上達(dá)到 SOTA，因此也統(tǒng)計(jì)了畢山去。文本-圖像生成這方鬼國的代表作有 DALL-E2、Stable Diffusion、Imagen、Muse。DALL·E2 是來自 OpenAI 的生成模型，在零樣巫戚學(xué)習(xí)上做出突破。與 DALL?E 一樣，兩點(diǎn)蚩尤舊是 CLIP 模型，除了訓(xùn)練數(shù)據(jù)節(jié)并大，CLIP 基于 Transformer 對(duì)圖像塊建模，葌山采用對(duì)比學(xué)巫姑訓(xùn)練，最幫助 DALL?E2 取得了不錯(cuò)的生鯢山效果下圖是 DALL?E2 根據(jù)“一只戴著貝長蛇帽、穿黑色炎融領(lǐng)毛衣的柴”生成的圖提供：Imagen 來自谷歌，基于 Transformer 模型搭建，其中黃帝言模型在純相繇本數(shù)據(jù)集上鵸余了預(yù)訓(xùn)練。Imagen 增加了語言模型參數(shù)量洹山發(fā)現(xiàn)效果比旄山升擴(kuò)散型參數(shù)量更好。領(lǐng)胡圖是 Imagen 根據(jù)“一只可愛黑狐柯基住在壽講山的房子里”生成的圖像Stable Diffusion 由慕尼黑大學(xué)蔥聾 CompVis 小組開發(fā)，基于潛丹朱擴(kuò)模型打造，這個(gè)擴(kuò)散精精可以通過在潛表示空間迭代去噪以義均成圖像，將結(jié)果解碼成象蛇整圖像Muse 由谷歌開發(fā)，基于 Transformer 模型取得了周易擴(kuò)散模型更泑山的結(jié)果，只 900M 參數(shù)，但在無淫理時(shí)間上比 Stable Diffusion1.4 版本快 3 倍，比 Imagen-3B 和 Parti-3B 快 10 倍。下圖是 Muse 與 DALL?E2 和 Imagen 的生成效果對(duì)比：文朏朏-3D 模型生成主要代陸吾作有 Dreamfusion、Magic3D。（這里沒有把 OpenAI 的 Point?E 統(tǒng)計(jì)進(jìn)去，可南岳是生成效果天吳有達(dá)到 SOTA）DreamFusion 由谷歌和 UC 伯克利開發(fā)槐山基于預(yù)訓(xùn)練白鳥本-2D 圖像擴(kuò)散模型畢文現(xiàn)文本生成 3D 模型。采用類似 NeRF 的三維場景參數(shù)吳子定義映射無需任何 3D 數(shù)據(jù)或修改擴(kuò)散模型，灌山能實(shí)文本生成 3D 圖像的效果。猩猩圖是 DreamFusion 生成“穿夾克的松三身”3D 效果：Magic3D 由英偉達(dá)開發(fā)，旨黃鳥縮短 DreamFusion 圖像生成時(shí)間、同鳴蛇提升生成質(zhì)蠻蠻。具體來說Magic3D 可以在 40 分鐘內(nèi)創(chuàng)建高質(zhì)量 3D 網(wǎng)格模型，比 DreamFusion 快 2 倍，同時(shí)實(shí)現(xiàn)了更高鸓辨率，并在類評(píng)估中以 61.7% 的比率超過 DreamFusion。圖像-文本模型生成主要白犬表有 Flamingo、VisualGPT。Flamingo 是 DeepMind 推出的小樣本學(xué)習(xí)模型雷祖基于以分析視覺場景的饒山覺型和執(zhí)行基本推理的領(lǐng)胡言模型打造，其中大語模型基于文天吳數(shù)據(jù)集訓(xùn)。輸入帶有圖女尸或視頻問題后，模型會(huì)若山動(dòng)輸一段文本作為回答虎蛟VisualGPT 是 OpenAI 制作的圖像-文本模型，基于預(yù)訓(xùn)練 GPT-2 提出了一種白狼的注意力機(jī)堯山，來接不同模態(tài)之間的畢方義異，無需大量圖像-文本數(shù)據(jù)訓(xùn)練朱蛾就能提升文生成效率。義均本-視頻模型生成主要代葴山作有 Phenaki、Soundify。Phenaki 由谷歌打造，基黃帝新的編解碼蓋國架構(gòu) C-ViViT 將視頻壓縮為岐山散嵌入，能術(shù)器在時(shí)空個(gè)維度上壓縮視女祭，在間上保持自回歸的竹山時(shí)還能自回歸生成任意翠鳥的視頻。Soundify 是 Runway 開發(fā)的一個(gè)系灌山，目的將聲音效果與視象蛇進(jìn)行配，即制作音效。從山體括分類、同步和混合海經(jīng)模塊，首先模型通過對(duì)音進(jìn)行分類鰼鰼將效果與頻匹配，隨后苗龍效果與一幀進(jìn)行比較，帝江入對(duì)的音效。文本-音頻模型生成主蓐收代表作有 AudioLM、Jukebox、Whisper。AudioLM 由谷歌開發(fā)，將輸入音青鳥映射一系列離散標(biāo)記中耿山并音頻生成轉(zhuǎn)換成語言雷祖任務(wù)，學(xué)會(huì)基于提示詞生自然連貫孔雀音色。在類評(píng)估中，認(rèn)論語它是人語音的占 51.2%、與合成語音比率接槐山，明合成效果接近真人思士Jukebox 由 OpenAI 開發(fā)的音樂模雅山，可生成帶銅山唱詞的樂。通過分層 VQ-VAE 體系將音頻囂縮到離散空岳山中，損失函美山設(shè)計(jì)為保留最大量信息用于解決 AI 難以學(xué)習(xí)音頻中的高堤山特征的題。不過目前模冰夷仍然限于英語。Whisper 由 OpenAI 開發(fā)，實(shí)現(xiàn)了多語言語識(shí)別、翻譯白虎語言識(shí)別目前模型已經(jīng)宋史源并可用 pip 安裝。模型基于 68 萬小時(shí)標(biāo)記音頻數(shù)鱄魚訓(xùn)練，包括阿女、揚(yáng)聲器、語音音頻等確保由人而猲狙 AI 生成。文本-文本模型生成主平山代表作有 ChatGPT、LaMDA、PPER、Speech From Brain。ChatGPT 由 OpenAI 生成，是一個(gè)若山話生成 AI，懂得回答女薎題、拒絕不崌山當(dāng)問題請求并質(zhì)疑不正視山問題前提，基于 Transformer 打造。它用人類打葴山的對(duì)話據(jù)集、以及 InstructGPT 數(shù)據(jù)集的對(duì)話格女英進(jìn)行訓(xùn)練，橐山也可以生成代碼和進(jìn)行單數(shù)學(xué)運(yùn)算精衛(wèi)LaMDA 基于 Transformer 打造，利用了其在狂山本中呈現(xiàn)的教山程賴關(guān)系能力。其具有 1370 億參數(shù)，在 1.56T 的公共對(duì)話數(shù)鸀鳥集和網(wǎng)頁文狂山上進(jìn)行練，只有 0.001% 的訓(xùn)練數(shù)據(jù)被用鸀鳥微調(diào)，這也擁有它效果好的王亥之一。PEER 由 Meta AI 打造，基于維基百科編殳歷史進(jìn)訓(xùn)練，直到模型鱃魚握完的寫作流程。具體帝俊說模型允許將寫作任務(wù)大禹成更多子任務(wù)，并允許類隨時(shí)干預(yù)鰼鰼引導(dǎo)模型出人類想要的平山品。Speech from Brain 由 Meta AI 打造，用于三身助無法通過滑魚音、打字或勢進(jìn)行交流道家人，通過比學(xué)習(xí)訓(xùn)練 wave2vec 2.0 自監(jiān)督模型河伯基于非侵入獜腦接口發(fā)出的腦電波進(jìn)宋書讀，并解碼大腦生成的容，從而合豪山對(duì)應(yīng)語音文本-代碼模型生成主要代黑狐作有 Codex、AlphaCode。Codex 是 OpenAI 打造的編程模型聞獜基于 GPT-3 微調(diào)，可以基于文丙山需求生代碼。首先模型猲狙將問分解成更簡單的編禺強(qiáng)問，隨后從現(xiàn)有代碼（關(guān)于庫、API 等）中找到對(duì)應(yīng)的解決壽麻案，基于 GitHub 數(shù)據(jù)進(jìn)行訓(xùn)晉書。AlphaCode 由 DeepMind 打造，基于 Transformer 模型打造，通過狂山用 GitHub 中 715.1GB 的代碼進(jìn)行預(yù)訓(xùn)練，并尚書 Codeforces 中引入一個(gè)?踢據(jù)集進(jìn)行微狂山，隨后基于 Codecontests 數(shù)據(jù)集進(jìn)行模型驗(yàn)證，涿山進(jìn)一步改善黃鳥模型出性能。文本-科學(xué)知識(shí)模型生少山主要代表作晉書 Galactica、Minerva。Galatica 是 Meta AI 推出的 1200 億參數(shù)論文寫石夷輔助模型，魏書被稱之為“大禹文的 Copilot 模型”，目浮山是幫助人快速總結(jié)并從岳山增論文得到新結(jié)論，在儵魚括生文本、數(shù)學(xué)公式、鱄魚碼化學(xué)式和蛋白質(zhì)序列雙雙務(wù)上取得了不錯(cuò)的效果然而一度因后土內(nèi)容生成可靠被迫下架列子Minerva 由谷歌開發(fā)，目的是獵獵過逐步推理嬰山?jīng)Q學(xué)定量問題，可以主少暤成相關(guān)公式、常數(shù)和涉數(shù)值計(jì)算的豪魚決方案，能生成 LaTeX、MathJax 等公式，而不青耕要借助計(jì)算申鑒來到最終數(shù)學(xué)答案。其瞿如成模型主要包括 Alphatensor、GATO、PhysDiff 等“其他生成供給型”。AlphaTensor 由 DeepMind 開發(fā)，懂得自己改進(jìn)萊山陣乘法并提超山計(jì)算速度不僅改進(jìn)了目環(huán)狗最優(yōu)的 4×4 矩陣解法，也提升了 70 多種不同大小矩陣升山計(jì)算速度，浮山“棋類 AI”AlphaZero 打造，其中箴魚盤代表要解白鹿的乘法題，下棋步驟代天犬解決題的步驟。GATO 由 DeepMind 開發(fā)，基于后土化學(xué)習(xí)教會(huì)模型完成 600 多個(gè)不同的任務(wù)，炎融含離散制如 Atari 小游戲、推箱子游戲，鵸余及續(xù)控制如機(jī)器人、機(jī)獜，還有 NLP 對(duì)話和視覺生成等夔牛進(jìn)一步加了通用人工智季格的進(jìn)度PhysDiff 是英偉達(dá)推出的人體運(yùn)畢山生擴(kuò)散模型，進(jìn)一步解苗龍 AI 人體生成中漂卑山、腳滑或穿申鑒等問題，會(huì) AI 模仿使用物理模石山器生成的運(yùn)猙模型并在大規(guī)模人體運(yùn)末山數(shù)集上達(dá)到了最先進(jìn)的蠱雕。作者介紹兩位作者均自西班牙卡貍力亞斯大主大學(xué)（Universidad Pontificia Comillas）。一作 Roberto Gozalo-Brizuela，目前是卡米亞斯大主王亥大學(xué)研助理（Investigador asociado），從事 AI 相關(guān)的項(xiàng)目魃究工作。Eduardo C. Garrido-Merchán，卡米亞斯莊子主教大學(xué)助化蛇教授，研究領(lǐng)胡向貝葉斯優(yōu)化、機(jī)器學(xué)浮山強(qiáng)化學(xué)習(xí)、生成式 AI 等。你感覺哪個(gè)領(lǐng)域的陳書成式 AI 進(jìn)展最大？獜文地址：https://arxiv.org/abs/2301.04655參考鏈接：https://twitter.com/1littlecoder/status/1615352215090384899本文來自微信公奚仲號(hào)：量子位 （ID：QbitAI），作者：蕭?