今年6月，由ElonMusk、ReidHoffman和PeterThiel等業界巨頭支持的非營利機構、總部位于舊金山的人工智能' target='_blank'>人工智能研究公司OpenAI宣布，其最新版本的Dota2-playAI——被稱為OpenAIFive——成功擊敗了業余玩家，成為頭條新聞。今天，它又推出了另一款能夠像人類一樣靈巧地操縱物體的機器人系統。 　　OpenAI的研究人員在即將發表的一篇論文《靈巧的手工操作》中描述了一個系統，該系統使用了一個強化模型，在這個模型中，人工智能通過嘗試和錯誤來學習，指導機器人用最先進的精度抓取和操作物體。更讓人印象深刻的是，它是完全數字化的，在一個計算機模擬中訓練的，沒有提供任何人類演示來學習。 　　研究小組寫道:雖然靈巧地操縱物體對人類來說是一項基本的日常任務，但對于自主機器人來說，這仍是一項挑戰。現代機器人通常是為特定任務而設計的，在受限的環境中，它們在很大程度上無法使用復雜的末端執行器……在這項工作中，我們演示了訓練控制策略的方法，這些策略執行手控操作，并將它們部署在一個物理機器人上。 　　那么他們是怎么做到的呢？ 　　研究人員使用MuJoCo物理引擎模擬一個真實的機器人可能在其中工作的物理環境，并用Unity渲染圖像，訓練計算機視覺模型識別姿勢。但是這個方法有它的局限性，團隊寫道——這個模擬僅僅是物理設置的一個粗略的近似，這使得它不太可能產生能夠很好地轉化為現實世界的系統。 　　他們的解決方案是隨機化環境的各個方面，比如物理(摩擦、重力、關節極限、物體尺寸等等)和視覺外觀(燈光條件、手和物體的姿態、材料和紋理)。這既降低了過度擬合的可能性——當神經網絡學習訓練數據中的噪聲，對其性能產生負面影響時，就會出現這種現象——也增加了產生一種算法的機會，該算法可以根據真實世界的指尖位置和目標姿態成功地選擇動作。 　　接下來，研究人員用384臺機器(每個機器有16個CPU內核)訓練了這個模型——一個周期性的神經網絡，讓它們每小時產生大約兩年的模擬體驗。在8臺GPU電腦上進行優化后，他們進入了下一個步驟：訓練一個卷積神經網絡，該神經網絡可以從三個模擬相機圖像中預測機器人手中的物體位置和方向。 　　一旦模型被訓練，它就進入了驗證測試。研究人員使用了一只影子靈巧手，這是一只機械手，有五個手指，總共有24個自由度。與此同時，兩套相機——運動捕捉相機和RGB相機——作為系統的眼睛，允許它跟蹤物體的旋轉和方向。(雖然這只影子靈巧手有觸覺傳感器，但研究小組只選擇了它的關節感應能力，用于控制手指的位置。) 　　在兩個測試中的第一個，算法的任務是重新定位一個標有字母的塊。團隊選擇了一個隨機的目標，每次人工智能完成時，他們都選擇了一個新的目標，直到機器人(1)放棄了塊，(2)花了一分鐘多的時間來操作塊，或者(3)達到了50個成功的旋轉。在第二次測試中，該塊用八角形棱鏡交換。 　　結果呢？這些模型不僅展示了前所未有的表現，而且還自然地發現了在人類身上觀察到的各種抓握類型，如三腳架(用拇指、食指和中指的一種抓握)、棱柱式抓握(用拇指和手指相對的一種抓握)和指尖夾握。他們還學習了如何旋轉和滑動機器人的手指，以及如何利用重力、平移和扭轉力將物體放置到想要的位置。 　　他們寫道:我們的系統不僅能重新發現人類身上已經發現的，還能讓它們更好地適應自身的局限和能力。 　　這并不是說這是一個完美的系統。它沒有被明確訓練來處理多個對象——它很難旋轉一個球形的第三個物體。在第二次測試中，仿真與真實機器人之間存在可測量的性能差異。 　　但最終，研究結果證明了當代深度學習算法的潛力，研究人員總結道:(這些)算法可以應用于解決復雜的現實世界機器人問題，而這些問題是現有的非基于學習的方法無法解決的。