近日，在百大人物峰會(huì )上，創(chuàng )新工場(chǎng)創(chuàng )始人李開(kāi)復談及數據隱私保護和監管問(wèn)題時(shí)，表示：“人們不應該只將人工智能帶來(lái)的隱私問(wèn)題視為一個(gè)監管問(wèn)題，可嘗試用‘以子之矛攻己之盾’——用更好的技術(shù)解決技術(shù)帶來(lái)的挑戰，例如同態(tài)加密、聯(lián)邦學(xué)習等技術(shù)?！?/p>
那么最近備受關(guān)注、被越來(lái)越多提及的聯(lián)邦學(xué)習是什么？如何解決人工智能應用中數據隱私保護帶來(lái)的挑戰？
▌“聯(lián)邦學(xué)習”到底是什么？能解決什么問(wèn)題？
在回答 “聯(lián)邦學(xué)習” 是什么之前，我們需要了解為什么會(huì )有這樣的技術(shù)出現，它的出現是為了解決什么問(wèn)題。
近年來(lái)，隨著(zhù)人工智能技術(shù)的發(fā)展和更廣泛的應用，數據隱私保護也被越來(lái)越多地關(guān)注，歐盟出臺了首個(gè)關(guān)于數據隱私保護的法案《通用數據保護條例》（General Data Protection Regulation, GDPR），明確了對數據隱私保護的若干規定，中國在 2017 年起實(shí)施的《中華人民共和國網(wǎng)絡(luò )安全法》和《中華人民共和國民法總則》中也指出 “網(wǎng)絡(luò )運營(yíng)者不得泄露、篡改、毀壞其收集的個(gè)人信息，并且與第三方進(jìn)行數據交易時(shí)需確保擬定的合同明確約定擬交易數據的范圍和數據保護義務(wù)?！?這意味著(zhù)對于用戶(hù)數據的收集必須公開(kāi)、透明，企業(yè)、機構之間在沒(méi)有用戶(hù)授權的情況下數據不能交換。
這給人工智能應用給機器學(xué)習帶來(lái)的挑戰是：如果機構之間的數據無(wú)法互通，一家企業(yè)一家機構數據量有限，或者是少數巨頭公司壟斷大量數據，而小公司很難獲得數據，形成大大小小的“數據孤島”。在這種沒(méi)有權限獲得足夠多的用戶(hù)數據的情況下，各個(gè)公司尤其是小公司，如何建模？
在這種情況下，“聯(lián)邦學(xué)習”的概念應運而生。所謂 “聯(lián)邦學(xué)習”，首先是一個(gè)“聯(lián)邦”。不同于企業(yè)之前的“各自為政”，擁有獨立的數據和獨立的模型，聯(lián)邦學(xué)習通過(guò)將企業(yè)、機構納入“一個(gè)國家、一個(gè)聯(lián)邦政府” 之下，將不同的企業(yè)看作是這個(gè)國家里的 “州”，彼此又保持一定的獨立自主，在數據不共享的情況下共同建模，提升模型效果。所以“聯(lián)邦學(xué)習” 實(shí)際上是一種加密的分布式機器學(xué)習技術(shù)，參與各方可以在不披露底層數據和底層數據的加密（混淆）形態(tài)的前提下共建模型。
Google 公司率先提出了基于個(gè)人終端設備的“橫向聯(lián)邦學(xué)習”（Horizontal Federated Learning），其核心是，手機在本地進(jìn)行模型訓練，然后僅將模型更新的部分加密上傳到云端，并與其他用戶(hù)的進(jìn)行整合。目前該方法已在 Google 輸入法中進(jìn)行實(shí)驗。一些研究者也提出了 CryptoDL 深度學(xué)習框架、可擴展的加密深度方法、針對于邏輯回歸方法的隱私保護等。但是，它們或只能針對于特定模型，或無(wú)法處理不同分布數據，均存在一定的弊端。
在國內，聯(lián)邦技術(shù)的研究由微眾銀行首席人工智能官（CAIO）楊強教授帶領(lǐng)微眾銀行 AI 團隊主導，并且首次提出了基于 “聯(lián)邦學(xué)習” 的系統性的通用解決方案，強調在任何數據分布、任何實(shí)體上，均可以進(jìn)行協(xié)同建模學(xué)習，解決個(gè)人 (to C) 和公司間 (to B) 聯(lián)合建模的問(wèn)題，開(kāi)啟了將聯(lián)邦學(xué)習技術(shù)進(jìn)行商用，建立聯(lián)邦行業(yè)生態(tài)的探索。
▌如何在保護數據隱私前提下打破數據孤島？
因為孤島數據具有不同的分布特點(diǎn)，所以在聯(lián)邦學(xué)習的技術(shù)方案中，也大致分為：橫向聯(lián)邦學(xué)習、縱向聯(lián)邦學(xué)習、聯(lián)邦遷移學(xué)習三種方案。
考慮有多個(gè)數據擁有方，每個(gè)數據擁有方各自所持有的數據集 Di 可以用一個(gè)矩陣來(lái)表示。矩陣的每一行代表一個(gè)用戶(hù)，每一列代表一種用戶(hù)特征。同時(shí)，某些數據集可能還包含標簽數據。如果要對用戶(hù)行為建立預測模型，就必須要有標簽數據?？梢园延脩?hù)特征定義為 X，把標簽特征定義為 Y。
比如，在金融領(lǐng)域，用戶(hù)的信用是需要被預測的標簽 Y；在營(yíng)銷(xiāo)領(lǐng)域，標簽是用戶(hù)的購買(mǎi)愿望 Y；在教育領(lǐng)域，則是學(xué)生掌握知識的程度等。用戶(hù)特征 X 加標簽 Y 構成了完整的訓練數據（X，Y）。但是，在現實(shí)中，往往會(huì )遇到這樣的情況：各個(gè)數據集的用戶(hù)不完全相同，或用戶(hù)特征不完全相同。具體而言，以包含兩個(gè)數據擁有方的聯(lián)邦學(xué)習為例，數據分布可以分為以下三種情況：兩個(gè)數據集的用戶(hù)特征（X1,X2,…）重疊部分較大，而用戶(hù) (U1,U2…) 重疊部分較??；兩個(gè)數據集的用戶(hù) (U1,U2…) 重疊部分較大，而用戶(hù)特征（X1,X2,…）重疊部分較??；兩個(gè)數據集的用戶(hù) (U1,U2…) 與用戶(hù)特征重疊（X1,X2,…）部分都比較小。
可以看出，聯(lián)邦遷移學(xué)習解決了不同樣本（數據集）、不同特征維度之前聯(lián)合建模的問(wèn)題，第一次讓不同領(lǐng)域的企業(yè)之間在保護彼此數據隱私的前提下實(shí)現跨領(lǐng)域創(chuàng )造價(jià)值。例如，銀行擁有用戶(hù)購買(mǎi)能力的特征，社交平臺擁有用戶(hù)個(gè)人偏好特征，而電商平臺則擁有產(chǎn)品特點(diǎn)的特征，傳統的機器學(xué)習模型無(wú)法直接在異構數據上進(jìn)行學(xué)習，聯(lián)邦學(xué)習卻能在保護三方數據隱私的基礎上進(jìn)行聯(lián)合建模，從而打破數據壁壘，構建跨領(lǐng)域合作。
為了更加清楚方案背后的邏輯，以包含兩個(gè)數據擁有方（即企業(yè) A 和 B）的場(chǎng)景為例來(lái)介紹聯(lián)邦學(xué)習的系統構架，這個(gè)架構可以拓展延伸到包含多個(gè)數據擁有方的場(chǎng)景。
假設企業(yè) A 和 B 想聯(lián)合訓練一個(gè)機器學(xué)習模型，它們的業(yè)務(wù)系統分別擁有各自用戶(hù)的相關(guān)數據。此外，企業(yè) B 還擁有模型需要預測的標簽數據。出于數據隱私和安全考慮，A 和 B 無(wú)法直接進(jìn)行數據交換。此時(shí)，可使用聯(lián)邦學(xué)習系統建立模型，系統構架由兩部分構成，如圖 a 所示。
圖：聯(lián)邦學(xué)習系統構架
第一部分：加密樣本對齊。由于兩家企業(yè)的用戶(hù)群體并非完全重合，系統利用基于加密的用戶(hù)樣本對齊技術(shù)，在 A 和 B 不公開(kāi)各自數據的前提下確認雙方的共有用戶(hù)，并且不暴露不互相重疊的用戶(hù)。以便聯(lián)合這些用戶(hù)的特征進(jìn)行建模。
第二部分：加密模型訓練。在確定共有用戶(hù)群體后，就可以利用這些數據訓練機器學(xué)習模型。為了保證訓練過(guò)程中數據的保密性，需要借助第三方協(xié)作者 C 進(jìn)行加密訓練。以線(xiàn)性回歸模型為例，訓練過(guò)程可分為以下 4 步（如圖 b 所示）：第①步：協(xié)作者 C 把公鑰分發(fā)給 A 和 B，用以對訓練過(guò)程中需要交換的數據進(jìn)行加密；第②步：A 和 B 之間以加密形式交互用于計算梯度的中間結果；第③步：A 和 B 分別基于加密的梯度值進(jìn)行計算，同時(shí) B 根據其標簽數據計算損失，并把這些結果匯總給 C。C 通過(guò)匯總結果計算總梯度并將其解密。第④步：C 將解密后的梯度分別回傳給 A 和 B；A 和 B 根據梯度更新各自模型的參數。
迭代上述步驟直至損失函數收斂，這樣就完成了整個(gè)訓練過(guò)程。在樣本對齊及模型訓練過(guò)程中，A 和 B 各自的數據均保留在本地，且訓練中的數據交互也不會(huì )導致數據隱私泄露。因此，雙方在聯(lián)邦學(xué)習的幫助下得以實(shí)現合作訓練模型。
第三部分：效果激勵。聯(lián)邦學(xué)習的一大特點(diǎn)就是它解決了為什么不同機構要加入聯(lián)邦共同建模的問(wèn)題，即建立模型以后模型的效果會(huì )在實(shí)際應用中表現出來(lái)，并記錄在永久數據記錄機制（如區塊鏈）上。提供的數據多的機構會(huì )看到模型的效果也更好，這體現在對自己機構的貢獻和對他人的貢獻。這些模型對他人效果在聯(lián)邦機制上以分給各個(gè)機構反饋，并繼續激勵更多機構加入這一數據聯(lián)邦。以上三個(gè)步驟的實(shí)施，既考慮了在多個(gè)機構間共同建模的隱私保護和效果，又考慮了如何獎勵貢獻數據多的機構，以一個(gè)共識機制來(lái)實(shí)現。所以，聯(lián)邦學(xué)習是一個(gè) “閉環(huán)” 的學(xué)習機制。
由此我們也可以看出聯(lián)邦學(xué)習的幾個(gè)顯著(zhù)特征：
一、各方數據都保留在本地，不泄露隱私也不違反法規；
二、多個(gè)參與者聯(lián)合數據建立虛擬的共有模型，實(shí)現各自的使用目的、共同獲益；
三、在聯(lián)邦學(xué)習的體系下，各個(gè)參與者的身份和地位相同；
四、聯(lián)邦學(xué)習的建模效果和傳統深度學(xué)習算法的建模效果相差不大；
五、“聯(lián)邦”就是數據聯(lián)盟，不同的聯(lián)邦有著(zhù)不同的運算框架，服務(wù)于不同的運算目的。如金融行業(yè)和醫療行業(yè)就會(huì )形成不同的聯(lián)盟。
▌聯(lián)邦學(xué)習目前進(jìn)展
說(shuō)了那么多，聯(lián)邦學(xué)習目前到底有哪些技術(shù)進(jìn)展呢？
最新消息顯示，Google 推出了首個(gè)產(chǎn)品級的聯(lián)邦學(xué)習系統并發(fā)布論文 “Towards Federated Learning at Scale：System Design”，介紹了聯(lián)邦學(xué)習系統的設計理念和現存挑戰并提出了自己的解決方案。國內方面，微眾 AI 團隊對外開(kāi)源了自研的 “聯(lián)邦學(xué)習 FATE（Federated AI Technology Enabler)” 學(xué)習框架，目前在信貸風(fēng)控、客戶(hù)權益定價(jià)、監管科技等領(lǐng)域已經(jīng)推出了相應的商用方案。
在系統框架之外，圍繞聯(lián)邦學(xué)習的技術(shù)標準也在陸續推進(jìn)中。今年 2 月份，IEEE P3652.1（聯(lián)邦學(xué)習基礎架構與應用）標準工作組第一次會(huì )議在深圳召開(kāi)，作為國際上首個(gè)針對人工智能協(xié)同技術(shù)框架訂立的標準，不僅明確了聯(lián)邦學(xué)習在數據合規、行業(yè)應用等方面的重要意義，還為立法機構在涉及隱私保護的問(wèn)題時(shí)提供技術(shù)參考。
總而言之，無(wú)論是技術(shù)理論的探索還是統一標準的制定，在全球范圍內對聯(lián)邦學(xué)習的落地探索都會(huì )繼續，聯(lián)邦學(xué)習作為一個(gè)新興的人工智能基礎技術(shù)，還有很長(cháng)的路要走。我們也有理由期待，隨著(zhù)聯(lián)邦學(xué)習理論、應用體系的逐漸豐富，隱私保護問(wèn)題所帶來(lái)的技術(shù)挑戰將得到有效解決。
（本文為投稿文章，轉載請微信聯(lián)系原作者）
聯(lián)系客服
