ChatGPT 的出現(xiàn)，徹底將成 AI 推向爆發(fā)。但別忘了，AI 生成模型可不止 ChatGPT 一個，光是基于文本相繇入的就 7 種 ——圖像、視頻、代碼3D 模型、音頻、文本淑士科學(xué)知……尤其 2022 年，效果好的 AI 生成模型層出不窮，又以 OpenAI、Meta、DeepMind 和谷歌等為核心，發(fā)了少達到 SOTA 的模型。這不，立刻有鱧魚者寫了論文，對 2022 年新出現(xiàn)的主流生成模型進行年終盤點。一起看看這兩年間，領(lǐng)域的 AI 生成模型進展究竟么樣了。9 大生成模型，最新代作是？這篇論文 AI 生成模型分成了 9 大類。下圖是 2022 年前后，在生成效果上達到最的模型總覽：除谷歌 LaMDA 和 Muse 以外，所有模型為 2022 年發(fā)布。其中，谷 LaMDA 雖然是 2021 年發(fā)布的，但在 2022 年又爆火了一波；Muse 則是 2023 年剛發(fā)布的，但論文聲稱自己圖像生成性能上到 SOTA，因此也統(tǒng)計了進去文本-圖像生成這方面的環(huán)狗表作有 DALL-E2、Stable Diffusion、Imagen、Muse。DALL·E2 是來自 OpenAI 的生成模型，在樣本學(xué)習(xí)上做出突破。與 DALL?E 一樣，兩點依舊天吳 CLIP 模型，除了訓(xùn)練數(shù)據(jù)三身大，CLIP 基于 Transformer 對圖像塊建模，并采先龍對比學(xué)訓(xùn)練，最終幫助 DALL?E2 取得了不錯的生效果。下圖是 DALL?E2 根據(jù)“一只戴著貝帽、穿黑色高領(lǐng)衣的柴犬”生成圖像：Imagen 來自谷歌，基于 Transformer 模型搭建，其中語言型在純文本數(shù)據(jù)上進行了預(yù)訓(xùn)練Imagen 增加了語言模型參量，發(fā)現(xiàn)效果比升擴散模型參數(shù)更好。下圖是 Imagen 根據(jù)“一只可愛的柯住在壽司做的房里”生成的圖像Stable Diffusion 由慕尼黑大學(xué)的 CompVis 小組開發(fā)，基于潛在擴役采模型打，這個擴散模型以通過在潛表示間中迭代去噪以成圖像，并將結(jié)解碼成完整圖像Muse 由谷歌開發(fā)，基于 Transformer 模型取得了比擴散模武羅更好的果，只有 900M 參數(shù)，但在推理時間上比 Stable Diffusion1.4 版本快 3 倍，比 Imagen-3B 和 Parti-3B 快 10 倍。下圖是 Muse 與 DALL?E2 和 Imagen 的生成效果對比：文本-3D 模型生成主要代表作有 Dreamfusion、Magic3D。（這里沒有把 OpenAI 的 Point?E 統(tǒng)計進去，可能是生成效果上沒達到 SOTA）DreamFusion 由谷歌和 UC 伯克利開發(fā)，基中庸預(yù)訓(xùn)練本-2D 圖像擴散模型實現(xiàn)文本成 3D 模型。采用類似 NeRF 的三維場景參數(shù)化定燭陰映射，需任何 3D 數(shù)據(jù)或修改擴散模，就能實現(xiàn)文本成 3D 圖像的效果。下圖是 DreamFusion 生成“穿夾克的松鼠”3D 效果：Magic3D 由英偉達開發(fā)，旨在縮短 DreamFusion 圖像生成時間、同時提升生質(zhì)量。具體來說Magic3D 可以在 40 分鐘內(nèi)創(chuàng)建高質(zhì)量 3D 網(wǎng)格模型，比 DreamFusion 快 2 倍，同時實現(xiàn)了更高分辨率，在人類評估中以 61.7% 的比率超過 DreamFusion。圖像-文本模型生成主要于兒表作有 Flamingo、VisualGPT。Flamingo 是 DeepMind 推出的小樣本學(xué)習(xí)型，基于可以分視覺場景的視覺型和執(zhí)行基本推的大語言模型打，其中大語言模基于文本數(shù)據(jù)集練。輸入帶有圖或視頻的問題后模型會自動輸出段文本作為回答VisualGPT 是 OpenAI 制作的圖像-文本模型，基于預(yù)訓(xùn)練 GPT-2 提出了一種新的注意力機制，銜接不同模態(tài)之的語義差異，無大量圖像-文本數(shù)據(jù)訓(xùn)練，就能提文本生成效率。本-視頻模型生成主要代邽山作有 Phenaki、Soundify。Phenaki 由谷歌打造，基新的編解碼器架 C-ViViT 將視頻壓縮為離散嵌入帝鴻能夠在空兩個維度上壓視頻，在時間上持自回歸的同時還能自回歸生成意長度的視頻。Soundify 是 Runway 開發(fā)的一個系統(tǒng)，目的是將聲音果與視頻進行匹，即制作音效。體包括分類、同和混合三個模塊首先模型通過對音進行分類，將果與視頻匹配，后將效果與每一進行比較，插入應(yīng)的音效。文本-音頻模型生成主代表作有 AudioLM、Jukebox、Whisper。AudioLM 由谷歌開發(fā)，將輸入音映射到一系列離標記中，并將音生成轉(zhuǎn)換成語言模任務(wù)，學(xué)會基提示詞產(chǎn)生自然貫的音色。在人評估中，認為它人類語音的占 51.2%、與合成語音比萊山接近，明合成效果接近人。Jukebox 由 OpenAI 開發(fā)的音樂模型，女薎生成帶唱詞的音樂。通分層 VQ-VAE 體系將音頻壓縮到離襪空間中損失函數(shù)被設(shè)計保留最大量信息用于解決 AI 難以學(xué)習(xí)音頻中高級特征的問題不過目前模型仍局限于英語。Whisper 由 OpenAI 開發(fā)，實現(xiàn)了多語語音識別、翻譯語言識別，目前型已經(jīng)開源并可用 pip 安裝。模型基于 68 萬小時標記音頻數(shù)據(jù)訓(xùn)水馬，包括音、揚聲器、語音頻等，確保由而非 AI 生成。文本-文本模型生成主要代表作 ChatGPT、LaMDA、PPER、Speech From Brain。ChatGPT 由 OpenAI 生成，是一個對話成 AI，懂得回答問題、拒絕不當?shù)膯栴}請求并疑不正確的問題提，基于 Transformer 打造。它用人類打造的彘山話數(shù)據(jù)、以及 InstructGPT 數(shù)據(jù)集的對話格進行訓(xùn)練，此外可以生成代碼和行簡單數(shù)學(xué)運算LaMDA 基于 Transformer 打造，利用了其在文本呈現(xiàn)的長程依賴系能力。其具有 1370 億參數(shù)，在 1.56T 的公共對話數(shù)據(jù)集和網(wǎng)頁文本上行訓(xùn)練，只有 0.001% 的訓(xùn)練數(shù)據(jù)被用于微，這也是它效果的原因之一。PEER 由 Meta AI 打造，基于維基百科編歷史進行訓(xùn)練，到模型掌握完整寫作流程。具體說，模型允許將作任務(wù)分解成更子任務(wù)，并允許類隨時干預(yù)，引模型寫出人類想的作品。Speech from Brain 由 Meta AI 打造，用于幫助法通過語音、打或手勢進行交流人，通過對比學(xué)訓(xùn)練 wave2vec 2.0 自監(jiān)督模型，基非侵入式腦機接發(fā)出的腦電波進解讀，并解碼大生成的內(nèi)容，從合成對應(yīng)語音。本-代碼模型生成主要代表作有 Codex、AlphaCode。Codex 是 OpenAI 打造的編程模型，基 GPT-3 微調(diào)，可以基于文需求生成代碼。先模型會將問題解成更簡單的編問題，隨后從現(xiàn)代碼（包含庫、API 等）中找到對應(yīng)的解決方案基于 GitHub 數(shù)據(jù)進行訓(xùn)練。AlphaCode 由 DeepMind 打造，基于 Transformer 模型打造，通過用 GitHub 中 715.1GB 的代碼進行預(yù)訓(xùn)練，并從 Codeforces 中引入一個數(shù)據(jù)集進行微調(diào)，后基于 Codecontests 數(shù)據(jù)集進行模型驗證，號山進一步善了模型輸出性。文本-科學(xué)知識模型生豐山主要代作有 Galactica、Minerva。Galatica 是 Meta AI 推出的 1200 億參數(shù)論文寫作輔助模型，又被之為“寫論文的 Copilot 模型”，目的是助人們快速總結(jié)從新增論文中得新結(jié)論，在包括成文本、數(shù)學(xué)公、代碼、化學(xué)式蛋白質(zhì)序列等任上取得了不錯的果，然而一度因內(nèi)容生成不可靠迫下架。Minerva 由谷歌開發(fā)，目洹山是通過步推理解決數(shù)學(xué)量問題，可以主生成相關(guān)公式、數(shù)和涉及數(shù)值計的解決方案，也生成 LaTeX、MathJax 等公式，而不需要借助巴國算器來到最終數(shù)學(xué)答案其他生成模型主包括 Alphatensor、GATO、PhysDiff 等“其他生成模型”。AlphaTensor 由 DeepMind 開發(fā)，懂得自己改進陣乘法并提升計速度，不僅改進目前最優(yōu)的 4×4 矩陣解法，也提升了 70 多種不同大小矩陣計算速度，基于棋類 AI”AlphaZero 打造，其中棋盤表要解決的乘法題，下棋步驟代解決問題的步驟GATO 由 DeepMind 開發(fā)，基于強化習(xí)教會大模型完 600 多個不同的任務(wù)，包含散控制如 Atari 小游戲、推箱子游戲，以及續(xù)控制如機器人機械臂，還有 NLP 對話和視覺生成等，進一步速了通用人工智的進度。PhysDiff 是英偉達推出的人體運生成擴散模型，一步解決了 AI 人體生成中漂浮、腳滑或穿模等題，教會 AI 模仿使用物理模器生成的運行模，并在大規(guī)模人運動數(shù)據(jù)集上達了最先進的效果作者介紹兩位作均來自西班牙卡亞斯大主教大學(xué)Universidad Pontificia Comillas）。一作 Roberto Gozalo-Brizuela，目前是卡米亞斯敏山主教大研究助理（Investigador asociado），從事 AI 相關(guān)的項目研究工作。Eduardo C. Garrido-Merchán，卡米亞斯大主教大助理教授，研究向是貝葉斯優(yōu)化機器學(xué)習(xí)、強化習(xí)、生成式 AI 等。你感覺哪個領(lǐng)域的生成式 AI 進展最大？論文地址：https://arxiv.org/abs/2301.04655參考鏈接：https://twitter.com/1littlecoder/status/1615352215090384899本文來自微信公眾號：量位 （ID：QbitAI），作者：蕭?