《AI 理性主義的終結是不可能的嗎》這注定是一本小眾冷書。但願所傳承創新的符號自然語言學術，絲相連、藕不斷。有如人工智能理性主義的潮起潮落，庶幾留下一聲歷史的回響。誰知道呢，五十年河西，“神經”恐非歷史的終結。鐘擺回擺的時節，歷史或被重新發現。摘自《寫在NLP小書出版之時》宋：@wei 祝賀立委心血之作付梓！做科學，真知灼見；講科學，深入淺出！王：祝賀李老師出書，一定拜讀！我覺得符號主義的香火是不會斷的，因為無論符號主義還是統計主義，本質都是數學建模，都來源于對實際語料的考察(人工的或自動/半自動的)，而且都有加入人類主觀知識的操作空間(包括調整模型，引入新的變量或調整參數)。更深層次的爭論點，也許出在“計算語言學/自然語言處理需不需要(或者有沒有可能脫離)人類總結的關于語言的知識”這個問題上？李：@王，謹慎（不）樂觀。我是這樣看的。先回顧一下親身體驗。當統計MT取代規則MT的時候，雖然知道是大勢所趨，心裡是不服的。統計MT雖然魯棒，普適性強，

九天娛樂城

但質量難以恭維，心裡總在嘀咕，給我資源我會殺回來的。但是到了神經MT的時代，那是徹底服了。給我再多的資源，我也無法逼近神經MT；這不是說規則系統不能對神經MT有補充、改良的作用，但最多也就是幫助神經擦屁股，擔當不了主力。擦屁股的地方當然有，譬如幫助克服神經張冠李戴 指鹿為馬的毛病，或者是在神經使不上力氣的地方，

雷尼替丁

譬如領域場景沒有足夠翻譯數據可供訓練的時候。如果以MT作為前車之鑑，面對神經，以前對于規則的自信的確受到了挑戰和挫折。但是好在 MT 是個特殊的 case，不但有幾乎無窮的免費的人工翻譯的平行數據做訓練，還有更加無窮無盡的自然語言原始語料可做語言模型（我們每說一句話，就是做了一次標注，標注什麼是合法的語言現象）幫助語句通順。而規則系統的語言生成根本上是在那裡拿每個詞的譯法湊，無論如何達不到語言模型的通順度。其他的 NLP 任務和場景呢？這就回到了對 AI 理性主義命運的看法。不好說。現在有預訓練，也是有無窮無盡的數據。理論上講，等到預訓練足夠豐富發達，後面的語義落地就可以變得很薄。預訓練好比是代替或隱含了句法結構解析。而且，詞典習得（lexicon acquisition）乃至本體知識庫的習得（ontology acquisition）與構建，很大程度上也是可以直接從原始數據開始的，最多是插入一些有限的快速人工校驗。這樣看來，預訓練+詞典習得+神經，保不定哪一天“終結”了NLP理性主義，也不是不可想象的。果如此，是值得慶賀的。鐘擺業已升天，使命已然完成，有什麼必要盼它回擺呢？謹慎樂觀也是謹慎不樂觀。因為迄今為止，垂直領域呼喚語言技術，嗷嗷待哺；這邊廂鬧得動靜那麼大的神經就是使不上力氣，這種事兒我們在第一線看得多了。垂直領域NLP的主流，沒標注數據就傻眼。宋：理性主義永遠不會滅絕。理性主義代表人類對于未知的好奇和探求，包括對于語言規律的好奇和探求，這是人類社會發展的基本動力之一。詹：其實，“理性主義”跟“經驗主義”這樣的對立方式，至少在顧名思義的層面上，容易誤解：好像憑經驗辦事，不夠理性似的。要搞清楚這兩個名詞的來歷，可能需要到哲學故紙堆裡找半天。從某種意義上，預訓練模型應該也是比較理性的吧。語言學追求的是範疇化的知識表示，是可理解的清晰的語言模型（因果關系）。機器學習追求的是數據（輸入：輸出）之間的函數擬合關系（相關關系）。二者也不是矛盾對立的。大數據+深度學習可以帶來機器翻譯的效果有明顯提升，但同樣明顯的是，它還是沒有理解句子的意思。要戲弄機器翻譯系統，仍然是輕而易舉的事情。這個不像圍棋，深度學習的圍棋智能，人類已經幹不過機器了。語言不是競爭的遊戲，而是合作的遊戲。在理論層面，我絲毫看不到預訓練模型有什麼能像人類那樣理解語言的機制。人類理解語言有兩個層次：（1）顯式符號層次；（2）隱式認知層次。語言學，尤其是基于結構主義分布思想的語言學，基本上就是對顯式符號層次的觀察，並將語言知識範疇化、系統化。語言學家做的工作，跟預訓練模型做的工作，

久福電子遊藝場

沒有本質的區別，只是分布顆粒度的區別。在細顆粒度尺度下，神經網絡對符號分布的刻畫（拋棄範疇化的分布）比語言學家的描述更準確。但是，”分布“ 跟 “語義”的差距還是很大的。“分布”只是冰山一角，看得見的“言語”。“隱藏的認知”可能才是“語言”的真相（全貌？）。任正非：發展芯片，光砸錢不行，還要砸人2019年05月21日 09:52 新浪科技綜合https://tech.sina.com.cn/it/2019-05-21/doc-ihvhiews3388256.shtml要從大數據裡學到“砸錢”、“砸人”、“砸鍋”、“砸飯碗”的“意思”，我還看不到頭緒。一個億廣告砸出一百個億的銷售額。人如何理解“砸”的意思的？是靠分布嗎？梁：先有了“砸了一大筆錢”之說，然後才類比地理解了什麼叫“砸人”，[Chuckle]詹：是，理解一定需要“類比”能力。不理解也可以翻譯。現在的NMT機器翻譯經常能翻得非常好。梁：“砸”，我的想象是，一個人舉起一個很重的東西，拼命向下摔。[Grin] 砸鍋砸碗是本意，詹：“砸鍋”已經從本意引申出去了。“砸碗”也可以不真的砸“碗”了[Grin]梁：如果一件事情被我搞砸了，那這件事對我來說應該是比較重要的事。詹：真真假假，虛虛實實，語言不是“堅硬之物”，信息符號常常可以不費力氣的“揉巴”變形。是的。“砸”裡邊有“力度大”這個“語義”。我怒砸一塊錢賭特朗普連任。梁：人的認知結構裡，有重要不重要之說，很多詞（概念）圍繞著“重要”這個概念 build 起來。詹：是的。一是“重要”，二是“舉重若輕”。這兩樣加在一起，

王柏融

就厲害了。如果總是很實誠地“負重前行“，機器估計能勝任。問題更在于，

歐冠賽程

“輕和重”，不是“物理”，是“心理”。梁：是的，先是“物理的”，後來才引申為“心理的”。詹：一旦從看得見的“物理的”，變成看不見的“心理的”，就不僅僅是“分布”的事情了。梁：剛才想到“距離”這個詞，明顯一開始是一個物理概念，後來引申義有人與人之間的心理距離，比如還有網絡空間距離，如果你我同在一個群裡則距離為“1”。荀：個人淺顯理解：1）理性和經驗不是對立的。理性的表達，可以在各個語言的不同層級，可以是範疇化也可以實例化，也可以是兩者結合，大數據支持下，可以給理性表達賦予概率和上下文。2）理性和經驗都是知識，理性表達一般認為是用人類已有知識和認識，但是機器使用隱式方式，採用了不為人所理解的方式，這樣的方式也是知識。3）經驗主義不管用什麼方法解決，結果總是要滿足人對事實的解釋。沒有理性引導的經驗主義是不存在的。4）經驗主義解決問題是有邊界的，解決復雜問題理性方法不能缺位的。詹：同意荀老師的觀點。Bu：宋老師，個人理解焦點問題是“知識是否必須是人能夠理解的”。理性主義是從“人理解的知識”出發建立模型。這個苦惱對于其他領域（尤其是物理學）更甚：物理學家一直想理解世界；用DNN之後，效果好了，但是無法理解了。宋：我們好奇宇宙是怎麼來的，生命是怎麼來的，語言是怎麼發生的；我們好奇為什麼盎格魯撒克遜人和漢人隔著萬裡之遙，會同樣發展出相近的句法體系，但詞法體系非常不同，文字體系和語音體系完全不同……Bu：宋老師的這個問題神經網絡不好解答。李：各位的討論非常有意思。宋老師說的理性主義，不是AI理性主義（符號主義），而是哲學理性主義，所問都是站得住的。喬姆斯基藐視機器學習和神經網絡，甚至譏笑它們，說裡面一點 science 都沒有，也是從理性主義探索的哲學角度說話，但看不出能真正為符號主義辯護。連接人工智能實踐與 理性主義探索的紐帶，迄今看來也只有符號主義了，雖然後者常常流于淺薄。的確，我們很容易知道 nmt 不是在理解層次上翻譯的。我們也可以針對這點，去巧妙地 “調戲” nmt 軟件，讓它出洋相，暴露出無知的本質。但這不影響它的翻譯能力超過人的平均水平。符號規則 mt 無論怎麼顯得 “理解” 了語言，“能力” 上就是不如 nmt。正是從這個意義上，我們也許可以承認 nmt “終結”了翻譯領域的理性主義。基本上就是宣告：哥們兒，這兒沒你什麼事兒了。不僅現在沒有，未來也看不出你啥價值來，你已經完全出局，還是退休吧。推而廣之，假如同樣的奇蹟在 mt 以外的 nlp 任務中發生，我們是以其理解不足而否認它的碾壓呢，還是承認 它 終結了 理性主義的應用價值？Bu：李老師的終極之問。李：當然，上面的假如，還的確是一個巨大的問號。大概最多需要三到五年可以水落石出。詹：一個NLP任務如果能重新定義為不需要理解，可以納入end-to-end的框架，神經網絡就能做好。也許可以換個比喻？規則系統（我不傾向于使用理性主義來描述符號方法）像是自行車，神經機器翻譯系統相當于汽車？不知這樣類比是否恰當？汽車的速度當然碾壓自行車，但是不是說自行車就要退休了，可能還可以再考慮？梁：@詹衛東 汽車自行車的比喻我喜歡。不是說有了汽車，自行車就退休了，進博物館了。李：作為快速達到目的地的旅行工具，自行車和騎馬一樣，其實是退休了。自行車後來成了休閒鍛鍊或臨時代步的工具，那是“發揮餘熱”，類似于給主流擦屁股。實際上，語音處理曾經是以符號規則為基礎的。現在還有人哪怕提一下語音需要理解/理性/符號嗎？phonology 是語言學的重要分支，它不是簡單的物理存在。但speech 的能力上，理性主義早已被終結了，到了甚至提起它，都像是個笑話。當年傷害語言學家、流毒最廣的名言：“我每開除一個語言學家，系統性能就上升”，說的就是語音。詹：說真的，我一直很好奇Jelinek真的這樣說過嗎？這不是明顯高估語言學家的能力嗎？語言學家建設的能力，和破壞的能力，都比較弱。我是這麼認為的。李：他說的是事實，不過用了政治不正確的方式。這個事實就是：理性主義在語音AI領域被終結了， terminated，period. 梁：這裡理性主義是指，與神經網絡對立的那一派嗎？ sorry I am a little lost.李：對，是窄義，AI 理性主義就是符號主義，因為AI中還貌似找不到不是符號邏輯的理性主義（體現）呢。廣義的哲學的理性主義，當然是永遠的。做了一輩子符號主義，說老實話，內心有點瞧不起它。不是它不好使、不管用、沒有內部機制和學問，

nba運彩分析

而是它就像玩家家似的，自己跟自己玩，哄自己高興，忽悠大眾，具有很大的“欺騙性”。它的所謂“可解釋性”，都是“編”出來的。這種“理解”，你要它多深刻， 它就多深刻，但與哲學上的人類理性，天壤之別。一個是裡子（“玩家家”的遊戲實質），一個是面子（可解釋的人工智能），我們往往為了面子，拼命維護它背後的裡子。也許金玉其外，敗絮其中呢，LOL當然，符號主義也不是那麼不堪。他有一個萬古長青的優越性，與生俱來的，不可動搖。就是它的可解釋性/系統透明性所帶來的定點糾錯能力（debuggability）。這個優勢怎麼強調都不過分，這在工程上很重要。NLP 落地應用的有效途徑，就是把它當成不斷迭代打磨的語言軟件工程。系統玩家家的好處是，人面對的不再是個黑箱 monster，而是個錯誤可追蹤、可重復、可定點修復的代碼。宋：“博士以後輾轉南下，機緣巧合……”（《寫在NLP小書出版之時》）其中“博士”是什麼句法角色、語義角色？白：@宋柔 是一個裡程碑。若幹個裡程碑構成一個隱性的序結構，達到了其中某一個，就處于序當中的一個位置。“……以後”是時間化了的方位詞。也可以說，時間只是在推理中出現，此處就是一個方位結構。表明在隱性序結構中的抽象“位置”關系。宋：@白碩 你在說我前面提的一個問題：“博士以後輾轉南下，

雷尼替丁

機緣巧合……”（李維《寫在NLP小書出版之時》）其中“博士”是什麼句法角色、語義角色？我覺得不一定存在一個序列。通常情況下，說“X以後”，X可以是表達一個事件的動詞短語或事件性名詞，如“發大水以後”“水災以後”。這裡是普通名詞被看作事件名詞，把“博士”看作意為“得到博士學位以後”的事件名詞。類似的，“宴會以後”。只不過這個例子作為最常見的解釋，“博士”指一個人，“以後”可以是時間詞，相當于“後來”，但此處不是這個意思。李：本來寫的是“博士後”。覺得不妥，改成了 “博士以後”。前者被詞典綁架了 不想讓讀者費力消歧（休眠喚醒 挺累的）只好再加一字。宋：還是沒逃出歧義。[Grin]李：對。其實是 “博士階段以後”，當時是個 abd （all but degree ） 而不是 phd，匆匆逃出來打工/創業，再回頭去答辯已經是好幾年後了。前後跨度七八年，到了學校規定的死期，再不搞定，學位就泡湯了。那種煎熬日子不好過，老覺得有個死刑幽靈在前面徘徊。當時的處境很尷尬，一邊廂科研創業做得紅紅火火，既拿到投資人錢，又拿到政府基金；另一邊論文導師非常難伺候，常常是不放行，但也沒反饋。走題了，打住。白：名詞以後，就暗含一個序了。詹：@宋柔 典型的事件名詞如“車禍、大雨”直接加“以後”常見。不過“博士”不是事件名詞，放在這個構式裡，是被“壓制（扭曲）”理解為一個事件。這應該是有一定條件的。“序列”是條件之一。小學、中學、大學（本科生）、研究生、博士，……是個序列。這個序列裡的詞，內部結構並不整齊。博士同時又可以指博士生。白：比如坐地鐵，“圓明園以後人就空了”意思是過了圓明園這站以後人就空了。詹：語言的生成和理解（編碼跟解碼）都有隱形的認知框架在起作用。白：各站的排列就是隱含的序結構詹：隱含的東西有的會在分布中顯現。數據夠多，也許能捕捉到。但我覺得，永遠也不可能靠數據去復原認知。工程上能靠大數據模擬復原一些，當然是很了不起的。絕對不應該譏笑，但也不值得大吹特吹。荀：目標是:基于大數據分布做高頻語言事實還原，並能參照人類知識做泛化，進行長尾計算。詹：理性主義就是講理。神經網絡在宏觀層面，當然是講理的。它的所謂不可解釋性，是微觀的處理過程層面，非線性模型，其“理”超出了人類的認知能力。白：少將以後就很難晉升了。背景序列是軍銜。當然“少將”除了泛指，還可能特指。這是個歧義。記得賈彥德講課把這類序結構歸于所謂“語義場”。語義場一般都是人類自己弄出來的，可窮盡。詹：語義場是李老師說的玩家家。可能從哲學層面看，要害正在玩家家。語言是可以“定義”的。定義就是玩家家。定義面向將來。數據只代表過去。我可以基于數據定義，我也可以憑空定義，

九天娛樂城

只要“你懂的”。荀：在工程上，定義語義場，也是標簽化的過程，人可以定義精致的標簽，也可以通過機器借助大數據。在分布意義下定義，不管哪種方式，能解決現場問題就是好的定義。 【相關】《寫在NLP小書出版之時》【語義計算：李白對話錄系列】【置頂：立委NLP博文一覽】《朝華午拾》總目錄【立委NLP頻道（liweinlp.com）】厄爾尼諾指數進入波動區間：2020年7月20日午報 楊學祥，楊冬紅 關鍵提示： 潮汐組合類型轉換具有13.6天週期，即雙週循環，01-2中都有明顯的表現。除此之外，兩週之內厄爾尼諾指數往往出現兩個峰值和兩個谷值，即次一級的7天週期。這一 週期在氣溫變化中也有明顯的表現（見圖）。 潮汐不僅有13.6天週期，而且存在7.1天和9.1天週期。1921年杜德生對月亮和太陽引潮力位進行了嚴格的調和級數展開，在展開中約有90項長週期成分。其中振幅超過這90項長週期振幅之和的0.5%的共有20個，在這20個中就有9天項和7天項（見圖1）。圖1 2020年7月19日12時厄爾尼諾指數為-0.018，比7月19日00時厄爾尼諾指數為-0.019，增速0.001，減速變增速，進入上升區間 。圖2 2020年7月19日18時厄爾尼諾指數為-0.019，比7月19日12時厄爾尼諾指數為-0.018，減a速0.001，增速變減速，進入波動區間 。6月29日00時厄爾尼諾指數-0.003進入峰值。2020年6月30日18時厄爾尼諾指數為+0.004進入峰值。7月3日12時厄爾尼諾指數+0.036進入峰值。7月5日00時厄爾尼諾指數-0.020進入谷值。7月11日12時厄爾尼諾指數為+0.227為峰值。7月15日18時厄爾尼諾指數為+0.051為谷值。7月18日18時厄爾尼諾指數為-0.020進入谷值。 2020年2月南極啊i海冰面積達到極小值，德雷克海峽通道擴大導致秘魯寒流減弱，厄爾尼諾指數處于較高值；此後南極海冰面積不斷增大，將在9月達到最大值，使厄爾尼諾指數快速下降。強潮汐加快了這一進程。圖3 南極海冰增加趨勢和白令海峽熱異常對比：2020年6月29日、7月18日（白色為海冰，紅色為熱異常）對比。2020年7月潮汐組合預報：弱潮汐時期已有 893 次閱讀 2020-1-7 08:42 |個人分類:潮汐預警|系統分類:論文交流| 潮汐組合錛 潮汐預警錛 月亮赤緯角錛 日月大潮錛 近地潮2020年7月潮汐組合預報：弱潮汐時期吉林大學:楊學祥錛楊冬紅 中科院國家天文台:韓延本錛馬利華 2020年2-5月、9-12月為強潮汐時期，1月、6-8月為弱潮汐時期。潮汐組合A： 7月5日為月亮赤緯角最大值南緯24.00335度，7月5日為日月大潮，兩者強疊加，潮汐強度大，地球扁率變小，地球自轉變快，有利于厄爾尼諾發展（強），

連江縣投注站

潮汐使赤道空氣向兩極流動，可激發地震火山活動和暖空氣活動，有利于低層偏南風的發展，帶來較多水汽，造成部分地方出現大霧天氣（強）。潮汐組合B：7月12日為月亮赤緯角最小值北緯0.0000度，7月13日為日月小潮，

德甲

7月13日為月亮遠地潮，三者強疊加，潮汐強度最小，地球扁率變大，地球自轉變慢，有利于拉尼娜發展（最弱），潮汐使兩極空氣向赤道流動，可激發地震火山活動和冷空氣活動（最弱）。潮汐組合C： 7月19日為月亮赤緯角最大值北緯24.0405度，

千樂電子遊戲場

7月21日為日月大潮，兩者強疊加，潮汐強度大，地球扁率變小，地球自轉變快，有利于厄爾尼諾發展（強），潮汐使赤道空氣向兩極流動，可激發地震火山活動和暖空氣活動，有利于低層偏南風的發展，帶來較多水汽，造成部分地方出現大霧天氣（強）。潮汐組合D： 7月26日為月亮赤緯角最大值北緯0.0000度，7月27日為日月小潮，7月25日為月亮近地潮，三者強疊加，潮汐強度小，地球扁率變大，自轉變慢，有利于拉尼娜發展（稍弱），潮汐使兩極空氣向赤道流動，可激發地震火山活動和冷空氣活動（稍弱）http://blog.sciencenet.cn/blog-2277-1213184.html 計算表明，日月大潮與月亮赤緯角最小值相遇（日、月、地在赤道面成一線）使地球扁率變大，地球自轉減慢，低緯度地區地球表面地殼緯向擴張，徑向收縮，有利于南北擠壓東西張裂的地震和火山噴發；日月大潮與月亮赤緯角最大值相遇使地球扁率變小，地球自轉變快，低緯度地區地球表面地殼緯向收縮，徑向擴張，有利于東西擠壓南北擴張的地震和火山噴發。這是不同地區不同類型的地震在不同的潮汐組合發生的原因。http://blog.sciencenet.cn/blog-2277-717618.htmlhttp://blog.sciencenet.cn/blog-2277-1236486.html，