本文作者林子鈞。
DeepMind 開發出的 RT-2（Robotic Transformer 2）模型，讓機器人能夠透過語言指令，進行邏輯推理，並藉由影像辨識的方式完成指令，這將在人類培訓機器人的路上，踏出了一個新的里程碑。
過去要讓一個機器人能正確運轉，我們需要先訓練機器人分辨每個物體，其後才能開始訓練，而這件事並不是做了就一勞永逸，而是你必須要根據每個機器人的特化功能，去設計不同的培訓內容，進而使它能正確的執行任務。
不過 RT-2 演算法不同，它的核心競爭力就在於透過網路來的大量數據和影像，讓機器人能理解語言指令，辨識出不同的物體，並嘗試找出執行的方法。不單單是簡單的指令，它甚至可以自己進行一些推理，例如：找手邊的東西當作槌子使用。這代表 RT-2 能展示出更強的指令理解能力，並具有一定的正確性，為機器人的自我學習建立了一種新的可能性。
DeepMind 舉了幾個實例，例如：RT-2 可以在未經訓練的狀況下，就辨識出桌面的哪個物體屬於垃圾，並把它丟進垃圾桶；又或者是，請他找出桌上物體中的滅絕動物，它可以從各種奇怪的物體中準確的挑出恐龍。在不是指名恐龍或垃圾，但卻能精準辨識出的過程，證明了 RT-2 具備的基礎邏輯推理能力，而這相對於過去的機器人訓練，實現了非常大的革新。
DeepMind 是怎麼做到的？RT-2 裡面有幾個主要的構成要素：視覺語言模型（VLMs）、還有機器人。
視覺語言模型的部分，DeepMind 透過大量的網路數據訓練，能夠輸入單個或多個圖像，並生成一系列的標記，讓後續模型可以做到視覺問答、圖像說明或物體識別等任務。視覺語言模型的根基來自於過去 Google 發表的自然語言模型 PaLM-E，以及語言圖像模型 PaLI-X。
而要控制機器人，它必續被訓練收到指令後要如何動作，DeepMind 採用的作法是把動作拆解為自然語言模型可以理解的字符，來讓機器人理解針對不同的指令要如何運作。
這種字符串的示例可以是機器人動作標記編號的序列，例如“1 128 91 241 5 101 127 217”。
語言模型生成的字串，會以一個指令是否繼續或終止當前情節的標記，然後是更改末端執行器的位置和旋轉的命令，以及機器手臂的所需延伸距離。
這部分根基於過往 DeepMind 的 RT-1 實驗，並採用了相同的動作版本，讓在機器人身上訓練模型成為了可能。
Photo Credit: DeepMind
不只是執行命令，RT-2 是個會自己思考的機器人開頭我們說過，RT-2 代表的其實是對於機器人長期訓練的重要里程盃。
DeepMind 在 RT-2 的目標設計上，認為其需要具備三個主要的目標，包含理解指令、推理和人類識別。
為了讓 RT-2 在後續的發展性更強，DeepMind 讓 RT-2 模型接觸了諸多任務，而這些任務中存在它並不在之前的訓練中見過的物體、環境，並出了一些邏輯題，檢測 RT-2 演算法是否能正確理解，這其中包含了非常多情境，例如下圖這個將番茄醬移到藍色立方體旁邊，在這個實驗中，除了藍色立方體以外，其他物體 RT-2 都沒見過，但最後他能正確的找到番茄醬，並將其移到藍色立方體旁邊完成任務。
Photo Credit: DeepMind
可能有人會懷疑番茄醬瓶子上有寫字，是不是作弊？可能就是怕別人這樣想，所以 DeepMind 要求 RT2 證明自己，例如下圖這張示意，問機器手臂：「我需要釘釘子，在這個情況中那些東西有用？」
最後他能成功地找出石頭作為答案。
Photo Credit: DeepMind
在 RT-2 目前為止的實驗結果中，相較於之前類似功能的演算法，其泛用性能顯著提高了三倍以上，優於過去的 RT-1 版本，實現了性能的突破性飛升。這或許也代表，後續不管在智慧工廠或是家用情境上，未來的幾年，我們都能期待多功能的機器人讓我們的生活變得更方便了。
最後放上 DeepMind 花式訓練 RT-2 的任務集，沒想到還有 Talor Swift 和金塊隊，機器人懂得可能比某些人類還要多呢。
Photo Credit: DeepMind
參考資料：
RT-2: New model translates vision and language into actionNew DeepMind AI model can control robotic actions it was never trained to do責任編輯：Mia
核稿編輯：Chris
加入 INSIDE 會員，獨享 INSIDE 最精采每日趨勢電子報，未來還有會員專屬內容。 點擊立刻成為會員！
延伸閱讀：
AI 重寫排序算法，速度快 70%！DeepMind AlphaDev 突破人類的十年瓶頸DeepMind CEO 發豪語：下一代 AI 系統將超越 ChatGPT Google DeepMind 推新模型，用訓練 AI 的方式教機器人丟垃圾