機器學(xué)習是關(guān)于計算機基于數據構建模型并運用模型來(lái)模擬人類(lèi)智能活動(dòng)的一門(mén)學(xué)科。隨著(zhù)計算機與網(wǎng)絡(luò )的飛速發(fā)展，機器學(xué)習在我們的生活與工作中起著(zhù)越來(lái)越大的作用，正在改變著(zhù)我們的生活和工作。
1．日常生活中的機器學(xué)習
我們在日常生活經(jīng)常使用數碼相機。你也許不知道，數碼相機上的人臉檢測技術(shù)是基于機器學(xué)習技術(shù)的！我認識的三位了不起的科學(xué)家與工程師：Robert Schapire,Paul Viola,勞世竑。他們的研究都與人臉檢測技術(shù)有關(guān)。Robert與Yoav Freund一起發(fā)明了非常有效的機器學(xué)習算法AdaBoost。Paul將AdaBoost算法成功地應用到人臉檢測。勞世竑和他領(lǐng)導的Omron團隊將AdaBoost人臉檢測算法做到了芯片上。據說(shuō)現在世界上有百分之六七十的數碼相機上的人臉檢測都是用Omron的芯片。
在我們的工作與生活中，這種例子曾出不窮?；ヂ?lián)網(wǎng)搜索、在線(xiàn)廣告、機器翻譯、手寫(xiě)識別、垃圾郵件過(guò)濾等等都是以機器學(xué)習為核心技術(shù)的。
不久以前，機器學(xué)習國際大會(huì )（International Conference on Machine Learning，ICML 2011）在美國華盛頓州的Bellevue市舉行。約有7百多位科研人員、教授、學(xué)生參加，創(chuàng )造了歷史最高紀錄。大會(huì )的三個(gè)主題演講分別介紹了機器學(xué)習在微軟的Kinect游戲機用戶(hù)感應系統、谷歌的Goggles圖片搜索系統、IBM的 Watson自動(dòng)問(wèn)答系統中的應用。這些事實(shí)讓人預感到機器學(xué)習被更廣泛應用的一個(gè)新時(shí)代的到來(lái)。
2．機器學(xué)習與人工智能
智能化是計算機發(fā)展的必然趨勢。人類(lèi)從事的各種智能性活動(dòng)，如數學(xué)、美術(shù)、語(yǔ)言、音樂(lè )、運動(dòng)、學(xué)習、游戲、設計、研究、教學(xué)等等，讓計算機做起來(lái)，現在還都是很困難的。這是幾十年來(lái)人工智能研究得到的結論。
人工智能研究中，人們曾嘗試過(guò)三條路。我將它們稱(chēng)之為外觀(guān)(extrospection)、內省(introspection)和模擬(simulation)。
所謂外觀(guān)，指的是觀(guān)察人的大腦工作情況，探求其原理，解明其機制，從而在計算機上“實(shí)現”人類(lèi)大腦的功能。比如，計算神經(jīng)學(xué)（computational neuroscience）的研究就是基于這個(gè)動(dòng)機的。然而，人腦的復雜信息處理過(guò)程很難觀(guān)測和模型化。就像我們僅僅觀(guān)測某個(gè)計算機內的信號傳輸過(guò)程，很難判斷它正在做什么樣的計算一樣。
內省就是反思自己的智能行為，將自己意識到的推理、知識等記錄到計算機上，從而“再現”人的智能，比如專(zhuān)家系統（expert system）的嘗試就屬于這一類(lèi)。內省的最大問(wèn)題是它很難泛化，也就是舉一反三。無(wú)論是在什么樣的圖片中，甚至是在抽象畫(huà)中，人們能夠輕而易舉地找出其中的人臉。這種能力稱(chēng)為泛化能力。通過(guò)內省的方法很難使計算機擁有泛化能力。自己的智能原理，對人類(lèi)來(lái)說(shuō)很有可能是不可知的（agnostic）?；\子里的老鼠可能認為觸動(dòng)把手是得到食物的“原因”，但它永遠也不能了解到整個(gè)籠子的食物投放機制。
模擬就是將人的智能化操作的輸入與輸出記錄下來(lái)，用模型來(lái)模擬，使模型對輸入輸出給出同人類(lèi)相似的表現，比如統計機器學(xué)習（statistical machine learning）。實(shí)踐表明，統計機器學(xué)習是實(shí)現計算機智能化這一目標的最有效手段。統計學(xué)習最大的優(yōu)點(diǎn)是它具有泛化能力；而缺點(diǎn)是它得到的永遠是統計意義下的最優(yōu)解（例如：人臉檢測）?，F在當人們提到機器學(xué)習時(shí)，通常是指統計機器學(xué)習或統計學(xué)習。
3．機器學(xué)習的優(yōu)缺點(diǎn)
下面看一個(gè)簡(jiǎn)單的例子。由這個(gè)例子可以說(shuō)明統計學(xué)習的基本原理，以及由此帶來(lái)的優(yōu)缺點(diǎn)。
假設我們觀(guān)測到一個(gè)系統的輸出是一系列的1和0，要預測它的下一個(gè)輸出是什么。如果觀(guān)測數據中1和0各占一半，那么我們只能以0.5的準確率做出預測。但是，如果我們同時(shí)觀(guān)測到這個(gè)系統有輸入，也是一系列的1和0，并且輸入是1時(shí)輸出是0的比例是0.9，輸入是0時(shí)輸出是1的比例也是0.9。這樣我們就可以從已給數據中學(xué)到“模型”，根據系統的輸入預測其輸出，并且把預測準確率從0.5提高到0.9。以上就是統計學(xué)習，特別是監督學(xué)習的基本想法。事實(shí)上，這是世界上最簡(jiǎn)單的統計機器學(xué)習模型！條件概率分布P(Y|X)，其中隨機變量X與Y表示輸入與輸出，取值1與0?？梢哉J為所有的監督學(xué)習模型都是這個(gè)簡(jiǎn)單模型的復雜版。我們用這個(gè)模型根據給定的輸入特征，預測可能的輸出。
統計學(xué)習最大的優(yōu)點(diǎn)是它具有泛化能力，對于任意給定的X，它都能預測相應的Y。Vapnik的統計學(xué)習理論還能對預測能力進(jìn)行分析，給出泛化上界。但從這個(gè)例子中也可以看到統計學(xué)習的預測準確率是不能保證100%的。比如，人臉檢測會(huì )出錯，漢語(yǔ)分詞會(huì )出錯。
統計學(xué)習是“鄉下人”的辦法。有個(gè)笑話(huà)。一個(gè)鄉下人進(jìn)城，到餐館吃飯，不知如何在餐館用餐，就模仿旁邊的人。別人做什么，他也就學(xué)著(zhù)做什么。鄰桌的一位故意戲弄他，將桌上的蠟燭卷在餅里，趁鄉下人不注意時(shí)把蠟燭扔到地上，然后咬了一口卷著(zhù)的餅。鄉下人也跟著(zhù)學(xué)，大咬了一口自己的餅。統計學(xué)習只是根據觀(guān)測的輸入與輸出，“模仿”人的智能行為。有時(shí)能夠顯得非常智能化。但它本質(zhì)上只是基于數據的，是統計平均意義下的“模仿”。如果觀(guān)測不到關(guān)鍵的特征，它就會(huì )去“咬卷著(zhù)蠟燭的餅”。
4．機器學(xué)習與互聯(lián)網(wǎng)搜索
我與同事們在從事互聯(lián)網(wǎng)搜索相關(guān)的研究。據調查，60%的互聯(lián)網(wǎng)用戶(hù)每天至少使用一次搜索引擎，90%的互聯(lián)網(wǎng)用戶(hù)每周至少使用一次搜索引擎。搜索引擎大大提高了人們工作、學(xué)習以及生活的質(zhì)量。而互聯(lián)網(wǎng)搜索的基本技術(shù)中，機器學(xué)習占據著(zhù)重要的位置。
人工智能挑戰：
規模優(yōu)勢：互聯(lián)網(wǎng)上有大量的內容數據，搜索引擎記錄了大量的用戶(hù)行為數據。這些數據能夠幫助我們找到看似很難找到的信息。比如，“紐約市的人口是多少”，“約市的人口是多少”,“春風(fēng)又綠江南岸作者是誰(shuí)”。注意這些數據都是遵循冪函數分布的。它們能幫助Head（高頻）需求，對 tail（低頻）需求往往是困難的。所以，對tail來(lái)說(shuō)人工智能的挑戰就更顯著(zhù)。
現在的互聯(lián)網(wǎng)搜索在一定程度上能夠滿(mǎn)足用戶(hù)信息訪(fǎng)問(wèn)的一些基本需求。這歸結于許多尖端技術(shù)包括機器學(xué)習技術(shù)的成功開(kāi)發(fā)與應用，比如排序學(xué)習算法、網(wǎng)頁(yè)重要度算法等等。這些機器學(xué)習算法在一定程度上能夠利用規模優(yōu)勢去應對人工智能挑戰。
但是、當今的互聯(lián)網(wǎng)搜索距離 “有問(wèn)必答，且準、快、全、好”這一理想還是有一定距離的。這就需要開(kāi)發(fā)出更多更好的機器學(xué)習技術(shù)解決人工智能的挑戰，特別是在tail中的挑戰。
展望未來(lái)，機器學(xué)習技術(shù)的研究與開(kāi)發(fā)會(huì )幫助我們讓明天更美好！
（本文圖片來(lái)源網(wǎng)絡(luò )，作者李航是微軟亞洲研究院互聯(lián)網(wǎng)搜索與挖掘組高級研究員及主任研究員，研究方向包括信息檢索，自然語(yǔ)言處理，統計機器學(xué)習，及數據挖掘）
