今天，英特爾發(fā)布了一個(gè)新的開(kāi)源增強學(xué)習框架 Coach。該框架利用多核 CPU 處理能力，用于訓練和評估增強學(xué)習 Agent。Coach 包含一些領(lǐng)先的增強學(xué)習算法的多線(xiàn)程實(shí)現，適用于各種游戲和機器人環(huán)境。它能夠在臺式計算機上高效地訓練強化學(xué)習 Agent，而無(wú)需任何額外的硬件。
自從 2016 年推出用于深層加強學(xué)習的異步方法以來(lái)，許多算法通過(guò)在許多 CPU 內核中并行運行多個(gè)實(shí)例，能夠更快地實(shí)現更好的策略。到目前為止，這些算法包括 A3C 、DDPG、PPO、DFP 和 NAF，而 Coach 不僅包括上述等最新算法的實(shí)現，更可以幫助用戶(hù)現場(chǎng)搭建使用。
要使用 Coach 首先需要定義想要解決的問(wèn)題，或選擇一個(gè)現有問(wèn)題，然后選擇一套強化學(xué)習算法來(lái)解決問(wèn)題。Coazh 可以使用現有算法進(jìn)行簡(jiǎn)單的實(shí)驗，并用作沙盒（雷鋒網(wǎng)注：沙盒是在受限的安全環(huán)境中運行應用程序的一種做法，這種做法是要限制授予應用程序的代碼訪(fǎng)問(wèn)權限，便于在開(kāi)發(fā)測試中的調試）以簡(jiǎn)化新算法的開(kāi)發(fā)?？蚣芏x了一組用于強化學(xué)習的 API 和關(guān)鍵組件，使用戶(hù)能夠輕松地重用組件，并在現有的組件之上構建新的算法。
Coach 可與如 OpenAI Gym、Roboschool 和 ViZDoom 等頂級環(huán)境進(jìn)行集成，同時(shí)它還提供了可視化培訓過(guò)程和了解代理的基本機制的各種技術(shù)，所有的算法都是使用英特爾優(yōu)化的 TensorFlow 來(lái)實(shí)現的，也可以通過(guò) Intel 的 neon?框架來(lái)實(shí)現。
Agent
Coach 包含許多 Agent 類(lèi)型的實(shí)現，包括從單線(xiàn)程實(shí)現到多線(xiàn)程實(shí)現的無(wú)縫轉換。Agent 以模塊化方式實(shí)現，以允許重用不同的構建塊來(lái)構建新的和更復雜的代理。此外，Coach 可以在單個(gè)任務(wù)的基礎上編寫(xiě)新的 Agent，并切換到同步或異步的多任務(wù)實(shí)現，并進(jìn)行最少的更改。
在 Coach 中集成了過(guò)去幾年引入的各種 Agent 類(lèi)型的實(shí)現方式，這讓用戶(hù)解決具有不同需求和與代理交互的方式的環(huán)境，例如連續和離散的動(dòng)作空間，視覺(jué)觀(guān)察空間或僅包括原始測量的觀(guān)察空間。
環(huán)境
Coach 使用 OpenAI Gym 作為與不同環(huán)境進(jìn)行交互的主要工具。它還支持 Gym 的外部擴展，包括 Roboschool， gym-extensions 和 PyBullet, 其環(huán)境封裝器可以添加更多的自定義環(huán)境，以解決更廣泛的學(xué)習問(wèn)題。
可視化
Intel 還發(fā)布了 Coach Dashboard 作為可視化和調試的補充工具。Dashboard 是 Coach 的一個(gè)圖形用戶(hù)界面，通過(guò)展示訓練過(guò)程中的不同信號，可以讓用戶(hù)以簡(jiǎn)單易懂的方式比較不同方式運行的訓練質(zhì)量。在訓練期間，Coach 可跟蹤任何有意義的內部信息并存儲，以便在執行期間和完成后可視化進(jìn)度。
Coach 還支持其他調試和可視化方法，例如存儲最佳場(chǎng)景的 GIF 動(dòng)畫(huà)，在游戲過(guò)程中顯示動(dòng)作值，等等。
使用
為方便用戶(hù)使用 Coach，Intel 已經(jīng)開(kāi)放了 GitHub 信息庫，然后按照的機器上安裝 Coach 的說(shuō)明進(jìn)行操作即可。Intel 還提供了友好的幫助文件，在 GitHub 存儲庫 README 文檔中有幾個(gè)簡(jiǎn)單的例子，同時(shí)在官網(wǎng)還有一個(gè)更全面的使用和實(shí)現文檔。
Coach 已經(jīng)準備了超過(guò) 60 個(gè)預定義的預設、不同的代理和可用的環(huán)境。這些預設已經(jīng)用于訓練數百名 Agent，并經(jīng)過(guò)驗證以獲得良好的業(yè)績(jì)。但是，使用這些預設并不是強制性的，并且創(chuàng )建新的預設與選擇現有代理和現有環(huán)境一樣容易。
下一步，Intel 計劃在未來(lái)的版本中增加更多算法和環(huán)境，如果你有任何建議和評論，可以在 Github 上進(jìn)行互動(dòng)。
雷鋒網(wǎng)發(fā)現，目前不少巨頭均推出了自己的深度學(xué)習框架，如 Google 的 TensorFlow、Amazon 的 MxNet、Facebook 的 Caffe 2 等。這些深度學(xué)習框架的流行降低了深度學(xué)習的門(mén)檻，讓越來(lái)越多人開(kāi)始參與到深度學(xué)習當中，但在降低門(mén)檻后如何提高訓練的效率也成為了差異化的關(guān)鍵因素，這也是是多線(xiàn)程并行計算、多機器上的水平擴展甚至定制硬件最近開(kāi)始得勢的原因。
聯(lián)系客服
