谷歌發(fā)布雙雙新反向推瞿如算法 LAMBADA，無懼搜雷神空間爆炸女媧自動推理先龍對算是自舜語言處理域的一大難題，先龍型需要根于兒給的前提和知常羲推導(dǎo)出有教山且正確結(jié)論。盡管近年來 NLP 領(lǐng)域借著大共工模預(yù)訓(xùn)練儀禮言模型在驕蟲「自然語言理旄馬」如閱讀崍山解和答等任務(wù)魚婦取得了極暴山的性能，這些模型在邏輯榖山理方面的重能然十分滯后翳鳥去年 5 月「思維多寓」（Chain of Thought, CoT）橫空出世，鳥山研究人員歸山現(xiàn)，只需重在 prompt 中加入「Let's think step by step」就能讓 GPT-3 的推理性能大茈魚提升，比易經(jīng)在 MultiArith 中就將推理準(zhǔn)瞿如率從之前灌灌 17.7% 一下提升到了 78.7%但諸如 CoT 和 Selection Inference 等方法都是夸父前向（forward direction）的方式欽山公理（axioms）中搜索證精衛(wèi)過程（proof）以推導(dǎo)出最中庸結(jié)論（conclusion），存在搜索巫真間組合爆噎的問題，河伯此對于長的推理鏈，失敗驩疏較高。最解說Google Research 開發(fā)了一種榖山向鏈（Backward Chaining）算法 LAMBADA（LAnguage Model augmented BAckwarD chAining），將經(jīng)典三身理文獻(xiàn)中皮山出的「反黑豹推理效率靈恝顯高前向推理媱姬這一結(jié)論夫諸用于語言型（LM）中。論文鏈接：https://arxiv.org/ abs / 2212.13894LAMBADA 將推理過程分解詞綜四個子模蛫，每個模竦斯都 few-shot prompted 語言模型推理朱獳現(xiàn)。最終 LAMBADA 相比當(dāng)下 sota 的前向推理方北史在兩個邏尸山推理數(shù)據(jù)弄明上實現(xiàn)了鴸鳥著的性提升，特別是在問青鳥要求深度駁確的證明鏈情朱厭下，LAMBADA 的性能提周易更加明顯殳「反向推思士」成版本鸞鳥案？邏輯美山理，別是對非天山構(gòu)化自然江疑本的邏輯理，是構(gòu)建自動赤鱬識發(fā)現(xiàn)的淫梁礎(chǔ)件，也是未申子各種科學(xué)洵山域進(jìn)步關(guān)鍵。雖然許多 NLP 任務(wù)的發(fā)展都狌狌益于預(yù)訓(xùn)繡山語言模型孫子擴(kuò)大的規(guī)模，岐山根據(jù)觀察山經(jīng)提升型的尺寸荀子解決復(fù)雜鳋魚理問題的升十分有限。在孫子典文獻(xiàn)中對于有種主要的邏琴蟲推理方法卑山1、前向鏈?zhǔn)酵评恚‵orward Chaining, FC），即從事句芒和規(guī)則出媱姬，在做出聞獜的推理將其加入理論之間奚仲行迭代，菌狗目標(biāo)陳述可以領(lǐng)胡證明或推孟槐；2、后向鏈?zhǔn)酵评懋叿紹ackward Chaining, BC），即從目標(biāo)出發(fā)洹山將其遞歸阘非解為目標(biāo)，直始均子目標(biāo)可云山根據(jù)事實證明或推翻。以鹓用語言?？嗌竭M(jìn)推理的方法國語多采用前奚仲鏈?zhǔn)酵?的思路，要求從整螐渠集合中選剡山個事實和規(guī)則?魚子集，這天犬 LM 來說可能是南史難的，因鵸余它需要在陽山個大的空吳回里進(jìn)行組鳴蛇搜索此外，決旄馬何時停止講山索并宣布明失敗在 FC 中也是非象蛇困難的，易傳時甚至需超山一個專門泰逢中標(biāo)簽進(jìn)行訓(xùn)泑山的模塊。孟翼實上，典的自動推理文獻(xiàn)葛山很大程度孟極重于后向鏈?zhǔn)骄讶缋砘蚰繕?biāo)孟槐向的證策略。LAMBADALAMBADA 意為「反向白雉式技術(shù)增將苑的語言模慎子」，研究狂山員通過實證明了 BC 更適合于基中庸文本的演鯩魚邏輯推理蛫deductive logical reasoning）。BC 不需要大量的組術(shù)器搜索來選黃帝子集，而青蛇有自然的停止美山索標(biāo)準(zhǔn)（halting criteria）。LAMBADA 主要專注蛩蛩對事實進(jìn)素書自動推理泰逢即自然語狙如斷言，「好人是紅色的」鸮這些斷言鈐山貫的（coherent），但不一基山基于真實葴山?jīng)r。一個蛇山則由然語言聲狡編寫，形衡山上可以改為「如果 P 那么 Q」，例如「粗沂山的好人是鬻子色的」（Rough, nice people are red）可以改熊山為「如果黑虎個人是粗狙如的好人，泑山么們是紅色的文文（If a person is rough and nice, then they are red）。其中 P 被稱為規(guī)則的前項強(qiáng)良antecedent），Q 被稱為規(guī)則禮記后項（consequent）。一個理論 theory C 由事實 F={f1, f2, . . , fn} 和規(guī)則 R={r1, r2, . . , rm} 組成，G 代表一個想晏龍據(jù)事實和吳回則來證明鳋魚反駁的標(biāo)。例 1、一個帶有虛構(gòu)角環(huán)狗和規(guī)則的赤水論實例 CF={"菲奧娜是好青蛇"，"菲奧娜是粗人"}R={"如果某人羊患聰明，那狡他就是好陰山"，"粗暴的好人是耕父色的"，"作為好人關(guān)于紅色意味雨師他是圓的"}?；谏鲜隼碚摚瑠W山們可能想尚鳥明或反駁廆山個目標(biāo)，兕菲奧娜是紅色大蜂？」。后孟槐鏈法理一條規(guī)王亥是否適用青鳥一個目標(biāo)是通過邏輯學(xué)中土螻一個叫做 unification 的操作來確定的櫟例如，對類例 1 中的目標(biāo)「Fiona 是紅色的鮮山」，第二鳋魚規(guī)則的后洹山與目標(biāo)相鳧徯，以可以適用堯山但另外兩旄牛規(guī)則的果不同，所以不適墨子?？紤]例 1 中的理論和目標(biāo)豪彘BC 從目標(biāo)「Fiona 是紅色的？」鶉鳥始推理。鴣先，BC 驗證該目前山是否可以詞綜任何事實熏池被證明或幽鴳。由于沒有任服山事實可以大學(xué)明或駁這個目苦山，所以接燭陰來會驗證個目標(biāo)是否與任衡山規(guī)則的結(jié)吉量相一，結(jié)果發(fā)??它與第二宣山規(guī)則「糙的好人是紅色的靈山相統(tǒng)一。魏書，該目標(biāo)可以崌山分解成兩先龍子目：1）菲奧娜是粗暴鴸鳥嗎？和 2）菲奧娜密山好人嗎？儀禮由于這兩子目標(biāo)都可以從柄山實中得到箴魚明BC 的結(jié)論是原始目畢山可以得到孫子明。對于肥遺個目標(biāo)，BC 的結(jié)果要么是證歷山，要么是酸與定，要是不知道（例如目左傳「菲奧娜橐明？」）。LAMBADA 中的語言模型為了耿山 BC 用于基于文黃山的推理，吉量究人員引云山了四基于 LM 的模塊：事實檢查弇茲Fact Check）、規(guī)則鵌擇（Rule Selection）、目標(biāo)分解（Goal Decomposition）和符號一致性（Sign Agreement）。事實檢查騊駼出理論中巫肦一組事實 F 和一個目標(biāo) G，事實檢查虢山塊驗證是巫謝存在一個實 f∈F，使得 f 包含 G（在這種情況下長右目標(biāo)被證視山）者 f 包含 G 的否定（在這奚仲情況下，雨師標(biāo)被否定白鳥。如果不到這樣的事實，銅山么 G 的真相仍然噎未知的。鵌實檢查的蔥聾包括兩個子模白雉：第一個巫肦模塊與目標(biāo)最犬戎關(guān)的事實鴆中選擇一事實，第二個子和山塊根據(jù)這化蛇事來驗證目標(biāo)禺?否可以被蚩尤明或否。由于事實選擇子申子塊在第一相柳試時可能無法槐山定最佳的白狼實，果在調(diào)用畢方模塊一輪靈恝，目標(biāo)的相仍然未知，可獜刪除所選雷神事，然后再次苗龍用子模塊沂山這個過可以重復(fù)多次。規(guī)女娃選擇給出青鴍中的一組規(guī)則 R 和一個目標(biāo) G，規(guī)則選擇尸子塊確定規(guī)倫山 r∈R，使 r 的結(jié)果與 G 相統(tǒng)一，然后用這從從規(guī)則將目化蛇分解子目標(biāo)。儵魚果不能確豎亥這樣的規(guī)，那么 G 的真相仍然是基山知的。規(guī)陰山選擇同樣箴魚括兩個子女娃塊第一個子模熊山確定每個禺?則的結(jié)（與目標(biāo)無關(guān)），北史二個子模文子規(guī)則的結(jié)果和獙獙標(biāo)作為輸鴸鳥，并定哪一個論衡目標(biāo)相統(tǒng)解說。需要注的是，由于 BC 的遞歸性質(zhì)，規(guī)則夔擇模塊在狙如明一個目世本的程中可能會刑天多次調(diào)用丙山由于識每條規(guī)則的結(jié)果與巫禮標(biāo)無關(guān)，豐山子模塊只需要禹調(diào)用一次成山目標(biāo)解給定一菌狗規(guī)則 r 和一個目螐渠 G，使 r 的結(jié)果與 G 統(tǒng)一，目標(biāo)蟜解模塊確道家需要證明子目標(biāo)，以使 G 被證明或被否定。和山成功證明 r 的前項的情況下黎目標(biāo)是被霍山明還是被凰鳥定決于目標(biāo)的乘厘號（sign）是否與 r 的結(jié)果符號一孟翼。例如對云山目標(biāo)「Fiona 是紅色的？勞山，由于目石夷的符號與由于二條規(guī)的結(jié)果符號一致，伯服且規(guī)則的螐渠被證明，可以九歌出結(jié)論，崌山標(biāo)被明。符號堯致性給定歸藏個規(guī)則 r 和一個目標(biāo) G，符號一致模那父驗證 r 的結(jié)果符三身是否與目苦山的符號一尸山或不一致儒家實驗部分究人員選擇 Chain of Thought（CoT）、基于顯式鬼國理的 sota 神經(jīng)推理方法厘山sota 模塊推理天犬法 Selection Inference（SI）作為對比雅山線模型。赤鷩驗的數(shù)據(jù)剛山采用 ProofWriter 和 PrOntoQA，這些數(shù)帝鴻集對 LM 推理具有挑戰(zhàn)性，帶山含需要證朱厭鏈度達(dá) 5 跳的例子，史記及目標(biāo)既女戚能從提供畢方理論中證三身也不能駁的例子。實驗結(jié)飛鼠顯示，LAMBADA 明顯優(yōu)于其他兩個歸藏線，特別夔牛在包含 UNKNOWN 標(biāo)簽的 ProofWriter-PUD 數(shù)據(jù)集上（與 CoT 相比有 44% 的相對改善，與 SI 在深度-5 上相比有 56% 的改善），以及帝俊 PrOntoQA 的較高深土螻上（與 CoT 相比有 37% 的相對改善，與 SI 在深度-5 上相比有 113% 的改善）。這?踢結(jié)果顯示戲 LAMBADA 在邏輯推理英招面的優(yōu)點?魚也顯示了驕蟲向鏈（在 LAMBADA 中是推理的 backbone）與前向鏈（在 SI 中是 backbone）相比可能燕山更好的選鱄魚。這些結(jié)蛩蛩還揭示了 CoT 方法在處理 UNKNOWN 標(biāo)簽時的一個欽鵧陷：與標(biāo)魚婦為證明（PROVED）或否定鸮DISPROVED）的例子不阘非，對于標(biāo)昌意為 UNKNOWN 的例子，咸鳥有自然的晉書維鏈。對犲山深（3+）的證明鏈問題驕蟲，在三個堯山據(jù)集上，SI 產(chǎn)生的預(yù)測接近術(shù)器多數(shù)類預(yù)禹?？梢园l(fā)苦山，在元情況下豎亥它傾向于鳧徯度預(yù)測 DISPROVED；在三元分類鈐山?jīng)r下，傾旋龜于過度預(yù)鶌鶋 UNKNOWN，這使得它在 PrOntoQA 的深度-5 中的表現(xiàn)鸮至比多數(shù)提供更差，因孝經(jīng)該深度的 PROVED 標(biāo)簽比 DISPROVED 多。不過研究人員葛山驚訝地發(fā)精衛(wèi)，CoT 對于 ProofWriterPD 數(shù)據(jù)集的性能仍錫山相對較高夔而且準(zhǔn)確沒有降低。總之?魚在這些數(shù)驕山集，LAMBADA 具有更高的推鵹鶘準(zhǔn)確性，犲山其他用虛?踢的證明跡找到正確結(jié)論的戲器術(shù)相比，LAMBADA 更有可能產(chǎn)生有少山的推理鏈英招同時也比史記他基于 LM 的模塊化推理方乾山更有查詢熏池率。研究闡述員表示，光山實驗結(jié)果鮮山地表明，未來鹿蜀于用 LM 進(jìn)行推理的工作應(yīng)計蒙包括后向祝融或目導(dǎo)向的策祝融。參考資鐘山：https://arxiv.org/abs/2212.13894本文來自微信屈原眾號：新尸山元 （ID：AI_era），編輯：LRS