哪些是與AI相關的前20篇論文（包括機器學習和符號），這樣我可以涵蓋基礎知識并為我的研究選擇一個利基市場？

啊，這是一個充滿挑戰的問題，我喜歡在舊金山灣區一個懶惰的周六早晨思考！我的職業生涯始于人工智能，是坎普爾印度理工學院的一名年輕碩士生，實際上是一名電子工程專業的學生，??但卻被Hofstadter的哥德爾，埃舍爾和巴赫的書迷住了，學習人工智能。那是1982年，所以我在過去的36年里一直在AI和ML工作。一路上，我已經閱讀了哦，很容易大約10,000篇論文，給予或采取幾百。所以，在這些成千上萬的論文中，現在，我必須選擇“前20篇論文”，這樣你，感興趣的Quora讀者，可以瞥見吸引像我這樣的人放棄一切追求這種可能理想化的東西。尋求使機器像人類和其他動物一樣聰明。現在，我無法抗拒的挑戰。

好吧，任何這樣的列表都會被我的個人選擇無望地偏見2）不完全代表現代人工智能。3）非常長的閱讀！請記住，我們很多在20世紀70年代末或80年代初進入人工智能的人確實做到了這一點，之前有任何商業上的希望，AI會得到回報。我們被AI的科學探索所吸引：如何建立一個解釋大腦是如何工作的理論，大腦是如何成為大腦的結果等等。我們都沒有任何線索，可以肯定地說，在早期21世紀，人工智能將成為一個非常有利可圖的企業。

但是，我現在要爭辯說，現在比以往任何時候都更重要的是，對于那些進入人工智能領域的人來說，理解這一點至關重要1）人工智能的想法來自哪里2）大腦的洞察力來自許多領域，來自神經科學從生物學到心理學和經濟學，從數學學習，所以我選擇的論文反映了這一點，我選擇了多個學術領域的論文。我也沒有回避那些批評你可能會深深相信的事情的論文（例如，統計機器學習解決潛在任何AI問題的力量）。

我也會嘗試用我討厭的評論來清理這個列表，所以它不會是那些太無聊的“這里有20個你應該知道的關于blah的事情”，這在網絡上經常是你看到的。但是，根據我的評論，這將是一個非常長的回復。我想讓你一瞥的是一群迷人的角色，他們構建了這個跨學科的探索，從科學和計算的角度來理解大腦，他們的背景多么多樣化，以及他們是多么驚人的成就。值得稱贊的是，人工智能已經盡快出現，距離它開始僅僅60年。如果沒有如此令人眼花繚亂的思想集合，我們可能需要更長時間才能取得任何實際進展。

該列表有點歷史，并盡可能按時間順序排列。我還試著記住，這個清單的重點在于，對于進入人工智能領域的新手來說應該是可以理解的，所以我想要包括一些重要的數學論文（我選擇了一些我已經收錄了一些非常復雜的高技術論文，因為你需要了解21世紀的人工智能。因此，這個前20名的可讀性差異很大：有些論文在周日下午很容易通過。其他 - 好吧，假設你有數學背景，那就說你需要幾周的集中閱讀才能取得進展。但是，后者并不多，所以不要擔心沒有合適的背景（還）。

正如他們所說，讓我們從一開始......

沃倫麥卡洛和沃爾特皮茨（芝加哥大學），第一卷的神經活動內在思想的邏輯演算。5，pp.115-133,1943。（HTTP：//www.cs.cmu.edu/~./epxing / ...）。這是現代計算神經科學的第一篇偉大論文，由兩位杰出的研究人員撰寫，其中一位是高級和杰出的（McCullough），另一位是匹茲，一位沒有任何教育的令人眼花繚亂的神童，但他一直在談論自己的位置。麥卡洛。皮茨在底特律市中心長大，因為他被比他年長的幫派成員無情地毆打，他在底特律公共圖書館避難。有傳言說他在幾天幾夜的馬拉松閱讀會上吞噬了所有1000多頁的Bertrand Russell和Alfred North Whitehead的Principia Mathematica。這不容易閱讀 - 它是現代數學大部分的密集邏輯總結。皮茨很勇敢，即使他剛剛上高中并沒有受過教育，大膽寫信給英格蘭的伯特蘭羅素，然后一位著名的文學人物將繼續獲得諾貝爾文學獎，以及一位偉大的數學家，指出了巨號中的一些錯誤和拼寫錯誤。這個年輕的男孩給拉塞爾留下了深刻的印象，后來他給沃林麥卡洛寫了一篇很棒的建議。因此誕生了一次偉大的合作，并且很快就轉移到麻省理工學院，在那里他們受到了Norbert Wiener的影響，他是發明術語“控制論”（人類和機器中的AI研究）的神童數學家。麥卡洛是一個比一天晚上工作的生活更大的角色，似乎依靠“愛爾蘭威士忌和冰淇淋”的飲食。皮茨在“三維神經網絡”上寫了一篇令人眼花繚亂的美麗博士論文，然后，就像一部悲劇性的意大利歌劇所說的那樣，一切都崩潰了。Wiener和McCullough吵了起來（這很小便是我不會在這里重復的原因），因此，McCullough不再與Pitt一起工作了，而且Pitt剛剛消失了，但遺憾的是，并沒有在燒掉唯一的副本之前在他辯護之前，他未發表的博士論文。尚未發現此項工作的副本。在這里閱讀悲慘的故事 - 警告：最后保留一盒面巾紙方便，你會哭！-試圖用邏輯拯救世界的人 - 問題21：信息 - 鸚鵡螺（另請閱讀經典論文“青蛙的眼睛告訴青蛙的大腦”HTTPS：//hearingbrain.org/docs/le ...由同一個二人組成。一篇偉大的現代論文是加州理工學院最近的生物學突破，其中用于靈長類大腦識別面部的面部代碼終于被破解 -靈長類大腦面部識別準則。- 顯示在一個狹窄的區域，我們可能知道人類的眼睛告訴人類的大腦，在麥卡洛和皮茨提出這個問題差不多60年后。
邁向人工智能的步驟，Marvin Minsky，IRE會議錄，1960年1月（HTTP：//worrydream.com/refs/Minsk ...）。許多人正式將AI開始正式發表在這篇文章中，這篇文章真正概述了人工智能在不同子領域中的劃分，其中許多子領域仍然存在，因此本文可以說是第一個將AI納入現代領域的人。目前的幌子。Minksy是一位在普林斯頓大學攻讀數學博士學位的神童（就像現在和過去人工智能中的許多其他人一樣），在哈佛大學作為研究員（他在機器人學領域做過早期工作）的一個令人眼花繚亂的博士后，開始了極具影響力的麻省理工學院人工智能實驗室，他主持了幾十年。他是一個比生命更重要的角色，那些認識他的人有很多關于他的故事。我聽到的最好的一個是他正在采訪一位教師候選人 - 一位相當緊張的年輕博士，他興奮地在黑板上解釋他的工作 - 當學生轉身時，他發現他獨自一人在辦公室。Minksy在他的解釋中失蹤了。這名學生感到很羞愧，但Minksy后來解釋說，學生告訴他的內容聽起來很有趣，以至于Minksy不得不走出去散步思考這些想法。明斯基是一個博學家，在理論計算機科學的家里寫了一些有影響力的論文和一本書，在心理學上，他是弗洛伊德的狂熱弟子，寫了一篇關于人工智能和笑話的文章及其對潛意識的意義，在教育中開創了新的教育學習技術和許多其他領域。
具有常識的程序，John McCarthy，Minsky，Semantic Information Processing，pp.403-418,1968。（HTTP：//www-formal.stanford.edu/j ...麥卡錫是人工智能的另一個主要創始人，他在麻省理工學院工作了一段時間后離開，找到了斯坦福人工智能實驗室，該實驗室在適當的時候被證明與其東海岸堂兄一樣具有影響力。麥卡錫首先堅信知識的力量，并且需要正式的知識表達。在這篇有影響力的論文中，他闡述了他對一個名為“Advice Taker”的軟件系統的想法，可以指示他使用提示來完成任務。Advice Taker也具有常識，可以從給出的建議中推斷出明顯的結論。例如，自動駕駛汽車可以獲得正式的道路規則，以及關于人類如何駕駛的一些建議（例如“一般來說，人類不遵循大多數高速公路的速度限制，但往往會駕駛5比速度限制高出-10英里“）。麥卡錫的概念化至關重要，讓神經網絡學習駕駛任務是不夠的。知識必須明確表示，以便可以進行推理。他在論文中說了一些深刻的東西，這可能會震驚大多數現代ML研究人員。他在第4頁用斜體（強調）說“為了使程序能夠學習某些東西，首先必須能夠被告知它”！根據這個定義，麥卡錫不會將大多數深度學習系統視為真正的“學習”（因為沒有一個深度學習系統可以被告知他們學到了什么）。McCarthy也因其在lambda演算方面的工作而聞名，他發明了編程語言LISP，然后使用它進行了大量的AI研究。我在人工智能方面的早期研究大部分是使用LISP完成的，包括我在20世紀90年代早期在IBM使用強化學習教授機器人的第一篇（也是引用最多的論文）。
為什么機器學習，由Herbert Simon，Michalski，Carbonell和Mitchell（編輯），機器學習，1983年（HTTP：//digitalcollections.librar ...）。Herb Simon是諾貝爾經濟學獎獲得者，他在卡內基理工學院（后來的卡內基梅隆大學）度過了他的整個學術生涯，為建立現在這所世界一流大學的光彩和聲望做了大量工作。他是真正的博學家之一，在家里有六個部門，從計算機科學到經濟學，再到工商管理和心理學，在所有這些部門中他都做出了基礎貢獻。他是個有天賦的演講者，我特別幸運能夠參加Simon在20世紀80年代中期的幾次演講，當時我在CMU度過了幾年。在這篇文章中，西蒙問了一個問題，即今天很少有人工智能研究人員在問：機器為什么要學習？根據西蒙的說法，為什么當可以更快更可靠的東西時，可以編程的機器會厭煩這種緩慢而繁瑣的知識獲取形式。你必須閱讀這篇文章才能找到他的答案，但是這篇文章對于給出機器學習領域的第一個科學定義很有價值，這個定義今天仍然有效。Simon在人工智能方面做出了許多其他的貢獻，包括他與CMU的另一位AI天才Allan Newell長達數十年的合作，他在提出正確問題方面的獨特能力使他成為一名真正有天賦的研究員。據傳，當Allan Newell在CMU CS公共休息室的一次談話中隨意提到國際象棋的分支因素并非難以在硬件中仿效時，計算機國際象棋栩栩如生，Hans Berliner對此提出了一個評論。第一個現代國際象棋選手，Deep Thought，取得成果（同樣的CMU團隊去了IBM，建立了Deep Blue，當然還擊敗了Kasparov）。
非合作博弈，博士論文，約翰納什，普林斯頓。（非合作游戲約翰·納什于1948年從卡內基理工學院作為一名20歲的數學家來到普林斯頓，一行推薦信：“這個人是個天才”。他的博士論文將充分肯定母校對其能力的評估。納什將馮·諾伊曼和摩根斯坦的零和游戲的工作帶入了一個全新的水平，其令人眼花繚亂的概括，幾十年后他將獲得諾貝爾獎。納什的大部分歷史都記錄在西爾維亞納薩爾的精彩傳記“美麗的心靈”（后來成為一部由拉塞爾·克勞主演的約翰·納什的電影中）。傳說馮·諾伊曼本人并沒有多想納什的作品，稱之為“另一個定點定理”。納什從頭到尾在不到一年的時間內完成了他的奠基論文。他于1948年9月抵達普林斯頓，1949年11月，著名數學家Solomon Lefschetz將納什論文的結果傳達給了美國國家科學院的會議。如今，數十億美元的產品（從無線蜂窩帶寬到石油潛在客戶）使用納什的博弈論思想進行交易。當今深度學習中最具影響力的模型是生成性對抗網絡（GAN），而研究GAN的關鍵問題是它們是否以及何時收斂于納什均衡。因此，在納什在普林斯頓為他的短期但諾貝爾獎獲獎論文辯護70年后，他的工作仍然對ML和AI產生巨大影響。納什的工作也成為研究進化動力學的一個廣泛使用的框架，從而產生了一個名為進化博弈論的新領域，約翰梅納德史密斯的先驅。博弈論不僅是人工智能的重要領域，也是CS的重要領域。有人說，“互聯網只是一種游戲。我們必須找到均衡解決方案“。算法博弈論是一個新興的研究領域，研究諸如“無政府狀態的價格”之類的事情，或者如何通過讓數百萬代理人做出本地自私的決定來解決硬優化問題的解決方案。納什在普林斯頓大學的博士生導師是塔克，納什稱之為“機器”。他的博士論文的第二位讀者是土耳其，他可以被稱為現代機器學習的先驅之一，因為他在普林斯頓發明了探索性數據分析（后來又發明了快速傅立葉變換）。
使用EM算法，Dempster，Laird和Rubin的不完整數據的最大可能性（皇家統計學會期刊，系列B，1977）（基于EM算法的不完全數據的最大似然）。在20世紀80年代中期，ML與人工智能一起急劇轉向概率和統計方法的廣泛使用。20世紀90年代最具影響力的機器學習模型之一是基于Fisher的最大似然估計概念。由于AI中大多數有趣的概率模型具有潛在的（未觀察到的）變量，因此無法直接應用最大似然。由三位哈佛大學統計學家推廣的EM算法得到了拯救。它可能是過去25年來ML中使用最廣泛的統計方法，值得了解。這篇論文在Google Scholar上被引用超過50,000次，需要一定程度的數學復雜性，但它代表了現代ML，現代ML的大部分大廈都是基于像EM這樣的想法。考慮EM的一種非常簡單的方法是“數據幻覺”。假設您要計算20個數字的平均值，但忘記測量最后5個數字。好吧，你可以只計算15個數字的平均值，或者你可以做一些聰明的事情，即對每個缺失的5個數字進行初步猜測。這導致了一個簡單的遞歸關系，讓您找到真正的意思。在一維情況下，這恰好與忽略最后5個數字相同，但在二維情況下，其中一個或另一個維度可能不同，EM找到不同的解決方案。
由Les Valiant撰寫的“可學習理論”，ACM通訊，1984年。（HTTPS：//people.mpi-inf.mpg.de/~m ...）。喬治奧威爾（George Orwell）寫了一部精彩的小說，關于所有知識淵博的政府的崛起，這些政府都盯著所有人好吧，在小說的同一年，哈佛大學杰出的計算機科學家Les Valiant證明，由于在多項式時間內可以從數據中學到什么的內在限制，奧威爾的恐懼無法完全實現。也就是說，即使政府可以監視個人，也有可能構建其身份可能被隱藏的功能，因為它需要難以計算的計算才能發現它們。Valiant的工作導致他在幾十年后贏得了圖靈獎，計算機科學版的諾貝爾獎。Valiant在這篇具有里程碑意義的論文中所做的是闡述了機器學習理論，它類似于計算的復雜性理論。他將PAC學習或可能近似正確的學習定義為從數據中獲取知識的模型，并展示了一類函數是PAC可學習的例子，并且還推測了不可學習的函數。Valiant在過去三十年的工作具有極大的影響力。例如，ML中最廣泛使用的集合方法稱為增強，并且是PAC學習的直接結果。還需要注意的是，使用PAC學習工具證明支持向量機或SVM是合理的。這是一篇簡短但寫得很好的論文，雖然不易閱讀，但是你理解和掌握這篇論文的能力將決定你是一名ML科學家還是一名ML程序員（不要對任何一個做出任何價值判斷），世界需要兩種類型的人！）。
沒有代表的情報，羅德尼布魯克斯，IJCAI 1987計算機和思想獎演講（HTTP：//www.fc.uaem.mx/~bruno/mat ...）。布魯克斯的觀點是建立在行為學上的“基于行為的機器人”，即對昆蟲行為的研究。道德學家發現，螞蟻，蜜蜂和許多其他昆蟲的行為非常復雜，建立了大型復雜的社會（蟻群，蜂箱），但他們的決策能力似乎是基于相當簡單的規則。布魯克斯把這種想法銘記于心，并對當時代表性的現代知識型人工智能設備發起了重大批評。他認為，使用基于知識的人工智能建立的機器人在現實世界中永遠不會運作得很好。在推理引擎做出決定之前，一輛穿過馬路的機器人看到一輛卡車并開始推理它應該做什么，它會被卡車弄平。根據布魯克斯的說法，這種失敗是由于對大腦如何產生行為的誤解。他認為，在動物中，行為是以分層的高度模塊化形式硬連接的，因此復雜性來自于許多簡單行為的交錯。他的早期博士生之一Jonathan Connell表示，你可以設計一個名為Herbert（Herb Simon之后）的復雜機器人，它可以完成一項復雜的任務，即在室內建筑物中搜索汽水罐并將它們撿起并扔進垃圾桶，一直沒有明確表示任務的任何地方。之后，在Jon Connell畢業后，他來到IBM Research工作，在那里他和我合作應用RL來教授基于行為的機器人新行為。布魯克斯是機器人技術的真正先驅，并在他的工作中插入了現實世界的重點，直到那時非常缺乏。他對如何將正確的工程設計應用于問題有著常識性的智慧，并且不喜歡使用花哨的數學來解決那些簡單易行的問題。現代自動駕駛系統的大部分成功都歸功于布魯克斯的想法。如果特定的車輛配備了基于行為的設計（這可以抵制糟糕的決定，例如優步車輛據稱制造的那個，將行人標記為行人），那么亞利桑那州涉及優步車輛的悲慘事故可能已被避免。假陽性）。
自然梯度在學習，阿馬里，神經計算，1989年有效地工作（HTTP：//citeseerx.ist.psu.edu/vie ...）。統計數據的傳奇之一是印度科學家C.R. Rao，他現在已經90多歲了，自從費舍爾建立現代統計大廈以來，他基本上做得最多。作為大學的年輕研究員，C。R. Rao發明了許多現代多變量統計數據。由于他研究了來自埃塞俄比亞的人體骨骼化石，英國劍橋。在20世紀20年代寫的經典論文中，C。R. Rao表明概率分布的空間是彎曲的，就像愛因斯坦的時空一樣，并且在其表面上的每個點處的切線空間上定義了黎曼內積。他后來展示了Fisher信息度量如何用于定義這種內在產品。Amari是日本的腦科學研究人員，他利用這種洞察力來定義自然梯度法，這是一種廣泛使用的訓練神經網絡的方法，其中在任何給定點修改權重的方向不是歐幾里德方向，而是方向這是基于分析潛在概率流形的曲線結構。Amari表明自然梯度通常效果更好，后來寫了一篇關于信息幾何的高度復雜的論文，擴展了他對自然梯度的研究。許多年后，在2013年，一群博士生和我表明，自然梯度方法實際上可以被視為由俄羅斯優化研究人員Nemirovksy和Yudin發明的一種稱為鏡像下降的強大的雙空間梯度方法的特殊情況。鏡像下降現在已成為深度學習中最廣泛使用的梯度方法之一的基礎，稱為Duchi（現在在斯坦福），Hazan（現在在普林斯頓）和Singer（現在在谷歌）的ADAGRAD。理解這些梯度下降方法的各種配方非常重要，這需要探索幾何和統計之間的一些美好的聯系。
學習通過時間差異的方法進行預測，作者：Richard Sutton，機器學習期刊，第9-44頁，1988年（HTTPS：//pdfs.semanticscholar.org ...）。TD學習仍然是最廣泛使用的強化學習方法，34年后由麻省大學博士生Richard Sutton與他的前博士生導師Andrew Barto合作發明，他們兩人都可以說是奠定了現代的基礎。RL的領域（最初形成Deep Mind公司的工作，然后由谷歌收購）。值得注意的是，亞瑟·塞繆爾在20世紀50年代嘗試了一種簡單的TD學習形式，并用它來教授IBM 701玩跳棋，這可以說是現代時代RL和ML的首次實現。但Rich Sutton將TD學習變為現實，如果你閱讀上面的論文，你會發現他為這項研究帶來的數學成熟程度遠遠超出了塞繆爾。TD學習現在遠遠超出了本文的范圍，如果你想看看它的現代變體在數學上是多么復雜，我將指出你的下一篇論文（它建立在我的一位博士生劉波的工作基礎上，他帶來了他的雙空間分析工作將梯度TD方法的研究提高到了一個新的水平。Janet Yu在現代版的漸變TD上寫了很長的（80多頁）密集的數學論文，你必須非常強大的數學才能完全理解（[1712.09652]關于一些基于梯度的非政策差異算法在非政策學習中的收斂性）。TD仍然是為數不多的ML方法之一，有證據表明它在生物學上是合理的。大腦似乎使用多巴胺神經遞質編碼TD錯誤。大腦中TD的研究是一個非常活躍的研究領域（見HTTP：//www.gatsby.ucl.ac.uk/~day ...）。
Atari的人類學習，Tsividis等，AAAI 2017（HTTP：//gershmanlab.webfactional ....）。深度強化學習在自然界的一篇聳人聽聞的論文中得到普及（通過深層強化學習進行人機控制）由一大群深入研究的研究人員，現在已經眾所周知，并且引用我抵制誘惑將其列入我的前20名（大多數人會把它放在那里）。它引發了大量關注論文，但其中許多似乎都錯過了一個相當明顯的事實，即人類學習Atari游戲的速度與使用卷積神經網絡的TD Q學習之間存在巨大鴻溝。這篇由麻省理工學院和哈佛大學認知科學家撰寫的精美論文表明，人類在實時游戲中只需幾分鐘即可學習許多Atari游戲，而深度RL方法則需要數千萬步（這可能需要幾個月的時間，也許甚至幾年！）。因此，深度RL不能成為Atari問題的最終解決方案，即使它目前可能是我們能做的最好的。這里的人與機器之間存在著巨大的性能差距，如果你是一名年輕的ML研究員，那么我將在下一步取得突破。在學習玩Atari時，人類似乎比深度RL做得更多。
通過乘法器的交替方向方法進行分布式優化和統計學習，Boyd等，機器學習的基礎和趨勢，2011（基于乘子交替方向的分布式優化與統計學習，也有MATLAB代碼）。21世紀已經到來，隨之而來的是云計算的曙光，機器學習有望利用這些大量基于云的計算結構。這篇由斯坦福大學優化專家Stephen Boyd及其同事撰寫的這篇非常長而精美的論文展示了如何使用稱為交替方向乘法器方法（或ADMM）的廣泛而強大的框架來設計基于云的ML算法。正如綠野仙蹤中所言，“我們不再在堪薩斯州，托托”。也就是說，通過這篇論文，我們現在正處于現代機器學習的土地上，在那里變得艱難（但是，正如俗話所說，“艱難的開始”）。這是一本數學上深度和強烈的紙張，超過100頁，所以它不是一個簡單的閱讀（除非，你是像沃爾特皮茨這樣的人！）。但是，您花費數周或數月閱讀它將極大地提高您查看如何利用現代優化知識來加速許多機器學習方法的能力。這里提供的是一個通用工具箱，您可以設計許多專門的變體（包括基于Hadoop的變體，如本文所示）。要理解本文，你需要理解二元理論，Boyd本人寫了一本關于凸優化的好書來幫助你彌合這個鴻溝。該論文被高度引用，有充分理由，因為它是一個清晰的模型。
通過Bengio，TR 1312，Univ。學習人工智能的深層架構。蒙特利爾（HTTPS：//www.iro.umontreal.ca/~li ...）（也是一篇發表在“機器學習的基礎和趨勢”雜志上的論文）。Bengio在普及深度學習方面做得比其他任何人都多，也是其主要創始人和創新者之一。在本文中，他提出了一個令人信服的愿景，為什么AI和ML系統需要結合深度學習的想法，雖然他說的許多細節由于過去幾年深度學習的快速進步而發生了變化，但本文是一個很好的經典。本文的寫作與當時流行的機器學習中淺層架構的方法相對應，例如內核方法。如果您有興趣參加會議或教程，Bengio將在7月即將在瑞典舉行的IJCAI會議上提供另一本關于深度學習的流行教程。我不必多說深度學習，因為它是近來一連串宣傳的主題。可以這么說，今天人工智能非常處于深度學習的范式（意味著一個框架，其中每個問題都被視為深度學習的問題，無論它是否是正確的方法！）。時間將證明深度學習在當前形式中的存在能力。人們開始擔心深度學習解決方案的穩健性（Imagenet架構似乎非常容易受到隨機噪聲的影響，人類甚至無法看到這些噪聲，讓人回應），樣本復雜性似乎仍然很強大。可伸縮性仍然是一個懸而未決的問題，但是深度學習已經在許多領域表現出色，包括計算機視覺（如果您下載最新版本的MATLAB R2018a，您可以使用帶有自己家中物體的網絡攝像頭運行演示圖像識別程序，并自己決定你認為深度學習在現實世界中的效果如何。
機器學習的理論障礙，來自因果革命的七個火花，作者：Judea Pearl，Arxiv 2018。（[1801.04016]機會學習的理論障礙與因果革命的七個火花）。在我看來珍珠是人工智能的艾薩克牛頓。他開發了廣泛的圖形模型概率框架，在20世紀90年代至2010年代主導了人工智能。他隨后對因果模型的研究走向了一個不同的方向，現在認為概率是“一種附帶現象”（或表面屬性，更深層次的因果關系）。Pearl在因果模型方面的工作尚未獲得與人工智能相同的牽引力，因為他早期的圖形模型工作（這是AI和ML的主要子領域）。很大程度上，原因與因果模型非常適合的應用程序有關。Pearl專注于醫療保健，教育，氣候變化，社會模式等領域，需要采取干預措施來改變現狀。在這些非常重要的實際應用中，他認為描述性統計不是最終目標，而是因果模型。他2009年的第二版因果關系仍然是該主題最明確的現代處理方式，非常值得收購。
前景理論：風險決策分析，Daniel Kahneman和Amos Tversky，Econometrica，第263-291頁，1979年.Daniel Kahneman與他的合作者Amos Tversky（他悲傷地死了，并且，無法分享獎品）。在這項開創性的工作中，他們問自己一個簡單的問題：人類如何在不確定的情況下做出決策？他們是否遵循最大化預期效用的標準經濟模型？如果我給你兩種結果之間的選擇：選擇門1，概率為50％，你就沒有現金獎勵，或者你得到300美元;或者，如果您選擇2號門，您將獲得100美元的保證獎金。許多人選擇2號門也許不會讓你感到驚訝，即使通過預期的效用理論顯示你應該選擇1號門（因為預期的效用是150美元，遠高于2號門）。這是怎么回事？那么，人類往往會厭惡風險。我們寧愿有100美元肯定，而不是冒險與門1沒什么關系。這篇美麗的論文被引用了超過50,000次，在一些美麗的簡單實驗中探討了這些問題，這些實驗在全世界都有重復，結果相似。好吧，這就是問題。人工智能中現代概率決策和強化學習的大部分理論都是基于最大化期望效用（馬爾可夫決策過程，Q學習等）。如果KT是正確的，那么現代人工智能的大部分都在咆哮錯誤的樹！如果您關心人類如何做出決定，您是否應繼續選擇不正確的方法？你的選擇。閱讀本文并做出決定。
面向永無止境的語言學習架構，Carlson等人，AAAI 2010.人類學習了幾十年，但大多數機器學習系統在更短的時間內學習，通常只是一項任務。由我的前博士生導師Thomas Mitchell領導的CMU工作探索了機器學習系統如何在很長一段時間內學習，通過探索網絡和學習數百萬有用的事實。您可以在線與實際的NELL系統進行交互卡內基·梅隆大學。NELL是一個有趣的例子，說明現代計算機技術的工具，即萬維網，如何能夠設計出可以永久運行的ML系統。NELL的壽命可能比我們任何人都長，而且不斷獲取事實。當然，最近爭議的核心問題是“假新聞”。NELL如何知道它所學到的是真的？網絡上充斥著虛假的斷言。NELL目前使用人工審查方法來決定它學到的哪些事實真的值得信任。類似的系統可以設計用于圖像標記，語言交互以及許多其他系統。
拓撲與數據，作者：Gunnar Carlson，美國數學學會通報，2009年4月（HTTP：//www.ams.org/images/carlss ...）。許多研究人員有興趣知道答案的問題是：ML將在未來十年內走向何方？這位著名的斯坦福大學數學家正在爭論使用更復雜的拓撲方法，這是一個研究形狀抽象屬性的發展良好的數學領域。拓撲是數學家用來決定咖啡杯（帶把手）和甜甜圈基本相同的東西，因為一個可以平滑地變形到另一個而不需要切割。拓撲具有很大的優勢：即使無法在ML中進行標準平滑度假設，它也可用于分析數據。毋庸置疑，這里所需的數學復雜程度非常高，但卡爾森不會深入研究技術主題，而是提供大部分高級實例，說明使用計算拓撲工具可以推斷出什么樣的結構。
2001年：“太空漫游”，亞瑟·C·克拉克的書，斯坦利·庫布里克的電影。我的下一個也是最后一個閱讀選擇 - 這已經持續了很長時間，你和我現在都有點累了 - 不是AI論文，而是電影和相關書籍。Kubrick的電影2001中的計算機HAL在我看來是基于AI的智能系統的最佳范例，很快就可以實現。2001年是在1968年發布的，恰好在50年后，它的成立50周年紀念日。我發現，我的許多學生和同事都沒有見過2001年。這確實是一種褻瀆神靈。如果你們都對AI或ML感興趣，那么你應該看看這部電影，或者閱讀這本書，最好是兩者兼顧。在我看來，它是有史以來制作的最聰明的科幻電影，它讓所有后來的電影都感到羞恥（不，這里沒有愚蠢的激光劍打架或假爆炸或達斯維達！）。相反，斯坦利·庫布里克（Stanley Kubrick）設計的這部電影與20世紀60年代的技術一樣逼真，即使在今天，這部電影仍具有驚人的現代感。HAL當然是他的聲音傳奇（“我很抱歉Dave”現在可以作為許多手機的鈴聲）。但是，HAL也是現代AI如何與人類合作的一個很好的例子，并且有助于協助許多功能。許多長途航行進入太空，例如火星或其他地方，不能用HAL來完成，因為人類將不得不睡覺或休眠以節省食物儲存等。有一本很好的書由Stork按場景進行電影中的HAL分析，人工智能處于21世紀。這本書也值得收購。