華先勝，IEEE Fellow，ACM杰出科學(xué)家，TR35獲得者，阿里巴巴研究員/資深總監。2015年加入阿里巴巴搜索事業(yè)部，負責大數據多媒體內容分析及圖像搜索算法團隊。在此之前先后在微軟中國研究院、微軟總部Bing搜索引擎以及微軟美國研究院任主管研究員、首席研發(fā)主管以及資深研究員。2001年北京大學(xué)博士畢業(yè)，一直從事圖像、視頻內容分析和搜索方面的研究和開(kāi)發(fā)工作。
驗證碼的學(xué)名叫做CAPTCHA，是Completely Automated Public Turing test to tell Computers and Humans Apart縮寫(xiě)，意為“全自動(dòng)區分計算機和人類(lèi)的公開(kāi)圖靈測試”，也就是一種用來(lái)區分人類(lèi)和計算機的方法。通常是由計算機生成一個(gè)對人類(lèi)而言很容易而對電腦而言非常困難的問(wèn)題，能回答者被判定為人[1]。
驗證碼測試其實(shí)不是標準的圖靈測試，因為標準圖靈測試是人類(lèi)來(lái)考計算機的。通常的人工智能研究者的目標是讓他們設計的系統通過(guò)圖靈測試，讓人類(lèi)無(wú)法區分對方是人還是機器，從而說(shuō)明人工智能能夠接近人類(lèi)的智慧。常用的圖靈測試是對話(huà)，當然不是面對面對話(huà)，而是“鍵盤(pán)對話(huà)”，不然當然知道對方是人是機器了。
通過(guò)這個(gè)測試當然并非易事。直到2014年6月份，英國雷丁大學(xué)宣布來(lái)自俄國的Eugene Goostman聊天機器人在倫敦皇家學(xué)會(huì )舉辦的2014年圖靈測試大賽中，首次通過(guò)圖靈測試，騙過(guò)人類(lèi)，讓人類(lèi)認為“他”是一個(gè)13歲的男孩[2]。其判斷標準是：5分鐘內的一連串鍵盤(pán)對話(huà)，讓30%的人認為它是真人。當然，圖靈測試還有其他的任務(wù)和方式，例如最近在《科學(xué)》上一篇論文討論如何讓計算機象人一樣從一個(gè)手寫(xiě)的字，“只看一眼”，就能學(xué)會(huì )象人一樣寫(xiě)這個(gè)字，而讓其他人無(wú)法區分是人寫(xiě)的還是計算機寫(xiě)的[3]。
與之相對，驗證碼是計算機出題來(lái)考人類(lèi)（當然，這個(gè)題目怎么出，也是由人來(lái)設計，然后計算機自動(dòng)產(chǎn)生的）。驗證碼的目的是不讓計算機通過(guò)驗證，從而阻止人們用計算機做其不應該做的事情。通常這些事情如果用計算機程序來(lái)做，可以做到數量很大，或者速度很快，或者兼而有之，從而破壞正常用戶(hù)的使用秩序。例如注冊大量免費電子郵箱來(lái)發(fā)廣告郵件，在微博等社會(huì )化媒體中注冊大量虛假用戶(hù)作為某人的“僵尸粉”，以及自動(dòng)搶票軟件，等等。
早期的驗證碼大多用扭曲的文字來(lái)實(shí)現，用以避開(kāi)OCR（自動(dòng)光學(xué)字符識別技術(shù)）的自動(dòng)識別，例如Yahoo早期的驗證碼版本EZ-Gimpy。后來(lái)，又有在扭曲字符上加曲線(xiàn)，以及將字符擁擠在一起，有時(shí)讓真人也難以識別。
圖1：不同的字符驗碼（Credit: Wikipedia）
一個(gè)好的驗證碼方案的特點(diǎn)很簡(jiǎn)單：人容易識別，而機器無(wú)法識別。嚴格來(lái)說(shuō)，如同密碼方案一樣，驗證碼產(chǎn)生的算法應該公開(kāi)，從而能夠公開(kāi)驗證算法的安全性，但在實(shí)際使用中一般鮮有這樣做的。在電子郵箱申請等這種典型的需要驗證碼的場(chǎng)景，還要求驗證碼的答案可能性（解空間）足夠大，從而讓猜測的成功率也極低。
例如，如果有哪怕1%甚至更小的幾率能猜對，也不能有效防止機器自動(dòng)注冊大量郵箱來(lái)發(fā)送垃圾廣告郵件。例如，一個(gè)四個(gè)數字的驗證碼，10000種可能的結果，在沒(méi)有任何智能的情況下，計算機能猜中的概率是0.01%，如果再加上一些智能，把猜中的幾率提升到1%，則不能有效防止機器自動(dòng)注冊電子郵箱。如果是16個(gè)英文字母，則解空間的大小是52的16次方，這時(shí)能猜中的概率就極低極低了。
當然，有些場(chǎng)景的驗證碼并不需要太大的解空間，特別是對實(shí)時(shí)性要求比較高和服務(wù)比較復雜的系統（例如在線(xiàn)交易），因為破解程序比較難以在短時(shí)間內產(chǎn)生高QPS的攻擊。不過(guò)，解空間太小，可能會(huì )被事先離線(xiàn)窮舉，而在線(xiàn)則通過(guò)匹配就可以找到答案。對此，我們后續再進(jìn)一步討論如何設計更好的驗證碼，我們先看看為何用圖像識別做驗證碼。
圖像識別驗證碼在十幾年前就有人嘗試了。圖像驗證碼的一個(gè)好處是不需要人鍵入識別出來(lái)的文字，只需要點(diǎn)擊對應的圖片就可以了。其關(guān)鍵還是要解空間足夠大，并且機器算法基本無(wú)法完成。例如，在2003年，微軟研究院提出一種利用人類(lèi)對人臉區域的敏感性，將人臉進(jìn)行變化，包括頭部的旋轉、變化的光線(xiàn)、復雜的背景等等，使得計算機人臉檢測算法會(huì )失敗，而人類(lèi)可以輕松的指出人臉的位置[4]。
圖2：人臉驗證碼（Credit: Yong Rui, etc.）
2009年，有一個(gè)叫做VidoopCAPTCHA的圖片驗證碼，與現在大家看到的圖像驗證碼類(lèi)似，其區別是每個(gè)圖片中有個(gè)字母，要求用戶(hù)按提示輸入與提示詞對應的圖片的字母。不過(guò)，當年就被哥倫比亞大學(xué)的一個(gè)學(xué)生破解了，現在已經(jīng)沒(méi)有人使用了，這個(gè)叫做Vidoop的公司也不存在了。2010年前后一個(gè)叫Confident Technologies的公司研發(fā)出了和現在流行的圖像驗證碼更為相似的驗證碼[5]。不同的是，它要求用戶(hù)進(jìn)行三次識別，每次只有一個(gè)答案是對的。目前互聯(lián)網(wǎng)上有139家網(wǎng)站使用的是這個(gè)技術(shù)。
圖3：Confident Technologies的圖片識別驗證碼
通常圖像驗證碼系統給的提示文字不想圖3中“flower”那么簡(jiǎn)單好認，而是變形了的文字，也就是說(shuō)，也是一個(gè)嵌入的文字識別驗證碼。換句話(huà)說(shuō)，圖像識別驗證碼中的提示文字是個(gè)文字識別“驗證碼”，盡管只需要人認出來(lái)而不需要人鍵入。文字識別驗證碼技術(shù)和可能的攻擊超出了本文范圍，因篇幅有限就不做討論了。
那么計算機自動(dòng)圖像識別技術(shù)到底能否破解這種驗證碼呢？如果可以，是如何實(shí)現的呢？在討論這個(gè)問(wèn)題之前，我們看一下圖像識別技術(shù)到底發(fā)展到了什么境地。
圖像識別在學(xué)術(shù)界已經(jīng)被研究了幾十年，從大約50年前就有人提出讓計算機外接相機來(lái)識別相機看到的東西（圖靈獎得主Marvin Minsky）。這個(gè)見(jiàn)地在今天似乎沒(méi)有什么，但是在50年前提出則相當不易 - 試想，如果讓我們預測50年后的技術(shù)，甚至5年后的技術(shù)都不太容易的。
圖像識別方法可以分為兩大類(lèi)，模型的方法和搜索的方法。模型的方法是在業(yè)界研究和使用最多的方法。模型的方法是試圖通過(guò)一些已知“標簽”（也就是這個(gè)圖像是什么，例如圖3中的第一幅圖的標簽是“小汽車(chē)”）的圖像，通過(guò)機器學(xué)習的各種方法來(lái)學(xué)習一個(gè)描述這些標簽的“模型”，從而，對于一個(gè)新的未知圖像，經(jīng)過(guò)這個(gè)模型判斷出其應該具有的標簽。
圖4：基于模型的圖像識別示意圖
基于搜索的方法是在大數據時(shí)代才出現的方法，其基礎是將已知標簽的圖像數據建成一個(gè)可以進(jìn)行高效率檢索的數據庫，稱(chēng)為圖像索引。通常需要大量的圖像來(lái)建索引，但圖像的標簽可以有少量的噪聲。那么，對一副待測圖像，我們到這個(gè)數據庫中去找與其相同或者相似的若干圖像，然后綜合這些圖像的標簽來(lái)預測待測圖像的標簽。
當然，這兩類(lèi)方法究其本質(zhì)并無(wú)差別，只是搜索的方法利用了大規模圖像索引的技術(shù)，不去建立模型，而是直接用這些數據來(lái)進(jìn)行匹配，所以我們可以認為這個(gè)大的索引就是一個(gè)特殊的模型。在大數據的時(shí)代，識別和搜索已經(jīng)密不可分，精準的搜索離不開(kāi)識別，廣泛的識別也離不開(kāi)搜索。筆者在很多報告中也經(jīng)常把識別和搜索放在一起來(lái)講。
比較靠譜的圖像識別方法是從上個(gè)世紀末SIFT圖像特征的提出開(kāi)始。在之后的十幾年里，研究者們大多是從特征和模型來(lái)進(jìn)攻這個(gè)難題。例如，特征上，SIFT和HOG等，模型上SVM，Boosting, DPM 等。2012年前后，深度卷積神經(jīng)網(wǎng)絡(luò )在圖像識別領(lǐng)域開(kāi)始應用，則是同時(shí)去解決模型和特征的問(wèn)題。也就是，既可以通過(guò)深度學(xué)習直接從圖像像素開(kāi)始訓練圖像識別模型，也可以通過(guò)同樣的訓練得到圖像的更有效的特征描述，然后采用傳統的機器學(xué)習模型來(lái)訓練識別模型?；旧?，深度學(xué)習的方法擊敗了所有傳統的方法，使得圖像識別的準確率向前邁了很大一步。
ImageNet圖像識別（分類(lèi)）是最有影響力的一個(gè)公開(kāi)PK圖像識別算法的比賽，其最基本的任務(wù)是訓練一個(gè)1000類(lèi)的圖像識別器。在深度學(xué)習方式使用之前，最好的識別“前5準確率”（也就是給待測圖像預測出的前5個(gè)標簽中有一個(gè)是對的）只有74%左右，而深度學(xué)習第一次就將這個(gè)結果提升了將近10個(gè)百分點(diǎn)，到達83.6%。而最新的2015年的最好結果達到了96.3%[6]。
但是對于一個(gè)希望能實(shí)際應用中使用的圖像識別系統，還有三個(gè)方面：數據、系統和用戶(hù)反饋。真實(shí)世界不只是1000類(lèi)圖像，如果每一類(lèi)都需要大量的標注圖像，這個(gè)工作量還是相當大的。例如，世界上大概有900多種不算很難見(jiàn)的花卉，有500種左右純種的狗，大約50000個(gè)城市，淘寶上有超過(guò)10000種實(shí)物商品。因此，也有研究者開(kāi)始著(zhù)手如何高效甚至自動(dòng)或半自動(dòng)創(chuàng )建數據集。而系統方面的要求，是保證模型的訓練在可控的時(shí)間內完成，并且圖像識別則可以在非?？斓臅r(shí)間（例如數十毫秒）內完成。用戶(hù)反饋的使用，則是一個(gè)識別系統在使用的過(guò)程中，不斷吸收用戶(hù)的使用行為數據來(lái)逐步改進(jìn)識別系統的準確率和覆蓋率。
總結起來(lái)，衡量一個(gè)圖像識別系統的性能可以從如下四個(gè)方面來(lái)看 （1）準確率：衡量是否能正確識別圖像中的內容，這也是多數人關(guān)注的目標，包括ImageNet比賽； （2）覆蓋率：衡量能識別多少種語(yǔ)義，這個(gè)在學(xué)術(shù)界比較少有人關(guān)注，卻對一個(gè)識別系統能否在真實(shí)場(chǎng)景中應用起著(zhù)很關(guān)鍵的作用。工業(yè)界，例如各大搜索引擎公司（微軟、谷歌和百度）提供的識別API則能識別更多的內容（大概在萬(wàn)這個(gè)量級上）； （3）效率：主要是衡量多快能夠識別出結果，也包括多快能夠訓練或更新一個(gè)識別器； （4）用戶(hù)體驗：在產(chǎn)品和用戶(hù)界面上的考慮，如何彌補識別的準確率、覆蓋率或效率的不足。 舉個(gè)例子：筆者一年前曾經(jīng)研發(fā)了一個(gè)稱(chēng)為Prajna的系統[7]，用自動(dòng)訓練數據獲取和清洗的方法，自動(dòng)快速訓練過(guò)很多的圖像識別器，包括狗的品種，花卉，植物，地標，食物等等。其自動(dòng)數據獲取的方法比較有利于解決覆蓋率的問(wèn)題，而不需人來(lái)標注數據，使得產(chǎn)生一個(gè)新的識別器的周期變得很短，只要數小時(shí)到兩三天的時(shí)間。 有一次，筆者去參加朋友家里的一個(gè)聚會(huì )，主人家里有一株很漂亮的花，參與聚會(huì )的朋友們這都想知道花的名字，可惜主人也忘了。于是，我啟動(dòng)我研發(fā)的花卉識別器，成功地識別出了這株花（見(jiàn)下圖）。當時(shí)很多圖像識別程序只能識別出其為一種花，而不能知道其具體名稱(chēng)。這個(gè)也說(shuō)明了實(shí)際應用系統中，“覆蓋率”是相當重要的。 圖5：筆者的圖像識別系統Prajna識別出這是“Amaryllis（孤挺花）” 那么，有了這些圖像識別領(lǐng)域的最新進(jìn)展，是不是就能破解現今一些網(wǎng)站的圖像識別驗證碼呢？在討論這個(gè)問(wèn)題之前，我們看看圖像識別除了可能可以破解驗證碼，以及在某些場(chǎng)合能夠識別人不能識別的物種，還能干什么更有意義的事情呢？ 筆者在圖像識別和搜索領(lǐng)域摸爬滾打近二十年，以此經(jīng)驗，筆者認為目前最有實(shí)際用戶(hù)需求的圖像識別應用之一應該是商品的識別和搜索（如前所述，如今識別和搜索常常是密不可分）。其中典型的應用場(chǎng)景就是通過(guò)拍照的方式尋找需要的商品，例如亞馬遜的FireFly和阿里巴巴的拍立淘。筆者是拍立淘算法的研發(fā)主管，在此簡(jiǎn)要介紹一下圖像識別在拍照商品搜索中的應用。限于篇幅，只能非常簡(jiǎn)略地介紹一下，希望有機會(huì )另文介紹圖像搜索技術(shù)的前世今生，以及拍立淘中的前沿技術(shù)和有趣應用(在[8]中可以先窺其一斑)。 在拍立淘中，對于用戶(hù)拍的商品照片，我們首先要識別其大概的類(lèi)別，例如，是上裝，還是褲子，還是箱包，還是零食，等等。然后我們需要知道用戶(hù)關(guān)注的商品在圖像中的位置，通常稱(chēng)為“主體檢測”。再然后，就是產(chǎn)生一個(gè)該主體的描述，也就是特征，通常是一個(gè)高位向量。這個(gè)向量的產(chǎn)生方法則是通過(guò)訓練一個(gè)多類(lèi)商品的識別器來(lái)實(shí)現的。最后，我們用這個(gè)特征到一個(gè)建好索引的大商品庫中去找與此相同或相似的產(chǎn)品，返回給用戶(hù)。這些關(guān)鍵步驟，包括商品識別，主題檢測，和特征提取，都是基于深度學(xué)習的方法來(lái)完成的。 為什么說(shuō)這個(gè)應用場(chǎng)景是個(gè)“剛需”場(chǎng)景呢？一方面，確實(shí)有很多情況下，用戶(hù)用文字無(wú)法描述心中所需，只能通過(guò)樣例的方式來(lái)查找；另一方面，這個(gè)仍在不斷改進(jìn)中的產(chǎn)品每天已經(jīng)有數百萬(wàn)的活躍用戶(hù)，每天在之上產(chǎn)生的交易量近千萬(wàn)。 圖6：拍立淘商品搜索一例。左：用戶(hù)拍的商品和自動(dòng)框出的商品區域；右：識別結果（箱包）和搜索結果。 什么叫破解呢？是不是完全能識別所有的圖片才能叫破解呢？其實(shí)不需要，如果能使識別準確率達到一定的數值就可以了，例如對于郵箱注冊，一個(gè)很低的準確率就足以構成威脅，例如10%，甚至更低。對于在線(xiàn)購票系統來(lái)說(shuō)，大概10%左右也能構成很大威脅了（有網(wǎng)站統計表明，對于目前流行的圖像識別驗證碼，真人的一次識別成功率只有8%）。 目前流行的圖像識別驗證碼的解空間有多大呢？通常見(jiàn)到的是識別8個(gè)圖片，通常是1個(gè)到3個(gè)答案是對的（不知道有沒(méi)有4個(gè)的），那么可能的答案組合一共只有種可能，如果任意回答，由1/92（1.1%）的概率能答對（如果增加到1到4個(gè)答案可能對，則此概率降為0.06%）。也就是說(shuō)，如果破解程序沒(méi)有任何智能，92次中才能有一次機會(huì )通過(guò)認證。當然這種概率如果用來(lái)防止郵箱注冊大概不太有效，但對于在線(xiàn)交易等一些秒殺場(chǎng)景，還是有效的。 如果有自動(dòng)識別程序幫助呢？如果類(lèi)目數不是太多（例如只有幾百個(gè)），我們找到這些可能的物體類(lèi)別后，訓練一個(gè)對于圖像的自動(dòng)識別器并不是不可能（在此就不詳述方法了）。當然，前提是能自動(dòng)識別提示文字，不過(guò)這個(gè)問(wèn)題通常比圖像識別相對容易些，雖然提示文字也有些變形（如前述，字符驗證碼的技術(shù)不在本文討論之列）。假定我們的“前1識別率”（就是第一個(gè)識別出來(lái)的物體名稱(chēng)就是對的）是30%，那么3到4次就有一次能識別對，這個(gè)成功率足以對驗證碼系統造成威脅。用谷歌、百度或微軟的識別API，也是一種方法，但這些API并沒(méi)有優(yōu)化到這些類(lèi)別上，應該不會(huì )有專(zhuān)門(mén)為這些類(lèi)別訓練的識別器準確率高。 有人提到過(guò)用圖像比較的方法破解，也就是通過(guò)多次試用，將驗證碼后臺的所有或大多數物體圖像爬下來(lái)，人工標注，然后在線(xiàn)驗證時(shí)直接比對這種方法也是不錯的思路，但也是需要由圖像檢索的專(zhuān)業(yè)人士才能真正實(shí)現，因為這里涉及到兩件事情，一是合適圖像的特征描述（如果直接用圖像像素，圖像加噪聲后，比對方法就失效了），二是索引技術(shù)，以保證快速的查找（如果后臺圖像不太多，則此步可免）。 那么，圖像驗證碼就沒(méi)有出路了嗎？當然，上面提到的方法只是對理想情況下的破解思路，一個(gè)驗證碼系統可以增加很多變數和限制，使得破解更為困難。不過(guò)，增加題目難度的方法是違背驗證碼初衷的，試想如果普通人也難以識別的東西如何用來(lái)區分計算機和人呢？ 筆者憑經(jīng)驗給圖像識別驗證碼支些招，基本的思路仍然是：（1）題目對人容易，對機器難；（2）解空間足夠大；（3）當前的圖像識別方法不能很好解決?？赡艿姆椒ㄓ?p> （1）將待識別小圖加復雜背景，并融合成一張無(wú)縫的圖； （2）多用識別算法容易混淆的相似物品； （3）不斷改變背景的模式和拼圖的方法； （4）物品前景加一些干擾； （5）增加一些細分物體類(lèi)別； （6）除物品識別外，引入屬性識別要素； 相信如果驗證碼采用上述幾個(gè)大招，破解的難度會(huì )增加很多倍，即使是圖像自動(dòng)識別專(zhuān)家也要費一番周折才能解決，或者一段時(shí)間內根本無(wú)法解決，也就沒(méi)有去攻關(guān)解決的價(jià)值。等技術(shù)進(jìn)步了，就再更新?lián)Q代，讓破解者跟不上出題人的步伐。舉個(gè)例子，只使用其中部分方法，大家可以看看，如果驗證碼長(cháng)成下圖這樣，人應該還能識別（我找我8歲的兒子測試，大概2秒鐘都能正確識別），反正機器大概是不容易搞定了（當然不是只是這一個(gè)情形，而是類(lèi)似的大量情形） :) 圖7：驗證碼點(diǎn)擊坐著(zhù)的人的紅色上衣。什么，不夠難？那就點(diǎn)擊圖中看起來(lái)最小的那個(gè)水杯。 其實(shí)還有一個(gè)簡(jiǎn)單的大招，就是充分利用這個(gè)驗證碼系統，快速地增加和迭代系統的數據，使得破解者望塵莫及（筆者就賣(mài)個(gè)關(guān)子不詳述方法了，內行者讀到這里自能知曉）。 我們再回到圖像識別的正向使用上來(lái)。雖然圖像識別有了很大的進(jìn)展，但是真實(shí)世界的圖像識別仍然有很多困難。如前所述，在相對不大的集合上（例如ImageNet一千類(lèi)識別），經(jīng)過(guò)幾年的努力，其識別準確率提升很快。但是，真實(shí)世界是很復雜的，在更多的場(chǎng)合下需要識別的覆蓋率、準確率都要高，而且速度要快。筆者以為，只靠模型和特征的方法是不能完全解決的，未來(lái)的解決方法應該是模型、特征、數據、系統以及用戶(hù)反饋這五個(gè)要素的綜合作用，才能逐步達到理想的識別效果。 [1] Wikipedia. https://en.wikipedia.org/wiki/CAPTCHA [2] Wikipedia. https://en.wikipedia.org/wiki/Eugene_Goostman [3] BM Lake, et al. Human-level concept learning through probabilistic program induction. Science. Vol 350, no 6266, pp 1332-1338.Dec 11 2015. [4] Yong Rui, Zicheng Liu. Excuse me, but are you human? ACM Mulitmedia 2003 [5] Confident CAPTCHA. http://confidenttechnologies.com/confident-captcha [6] Large Scale Visual Recognition Challenge 2015. http://image-net.org/challenges/LSVRC/2015/results [7] Xian-Sheng Hua, Jin Li. Prajna: Towards Recognizing Whatever You Want from Images without Image Labeling. AAAI 2015. [8] http://i.wshang.com/Post/Default/Index/pid/41859.html 更多干貨內容，敬請關(guān)注InfoQ［id：infoqchina］微信公眾號 2015年，你不愿錯過(guò)的10篇技術(shù)好文 Q新聞丨Oracle確認Java 9跳票！微軟發(fā)布Azure備份服務(wù)器…… 案例丨詳解當當網(wǎng)的分布式作業(yè)框架elastic-job 錘子手機發(fā)布會(huì )提到的OpenResty是什么？
聯(lián)系客服
