固然可以像人类一样灵敏处置问题的“机器人”远没有呈现，天辰注册但AI技术的加速开展让我们比以往任何时分都更接近这一愿景。今年9月份的一篇论文中，谷歌公司的一支科学家团队应用机械手臂停止测试，旨在以最少的锻炼数据学会破解魔方；在今年6月份的一次计算机视觉会议上，麻省理工学院也展现了一套AI模型，仅凭视觉数据片段可以预测物理对象的触觉感受。
往常，OpenAI（由伊隆-马斯克牵头创建的AI研讨公司，得到LinkedIn结合开创人里德-霍夫曼以及Y Combinator总裁萨姆-奥特曼等人的支持，总部位于旧金山）表示，正在着力处理机器人技术与AI系统范畴的一大重要应战：破解魔方。不同于加州大学欧文分校等其他区域性团队所获得的原有打破（采用定制化机器快速支配魔方体），OpenAI研讨人员的根本思绪在于：运用常规五指人形机械手臂，经过13000年经历积聚的锻炼量数据，所打造的AI模型，担任提供指挥。值得一提的是，这套模型此前曾被用于操作Dota游戏，当时的锻炼量积聚相当于人类选手40000年的经历程度。
这套模型基于今年早些时分由腾讯公司以及香港中文大学展开的实验，详细包括：一款乖巧的人形机械手，一套AI软件模型（用于辨认魔方体的最佳挪动序列），以及一个魔方操作器（最多可控制五根手指）。该团队报告称，基于模型与无模型的两大规划工具组合之后，该计划在1400次实验中完成了90.3%的均匀胜利率。而在对AI组件停止30000次操作锻炼之后，其均匀胜利率进一步提升至95.2%。
自主
不过腾讯的计划是在严厉的仿真环境中停止的，并采用了Roboti提供的多关节接触动力学（Mujoco）技术。Mutjoco是一套专为机器人和生物力学的研讨与开发场景所设计的物理引擎。OpenAI同样应用模仿场景锻炼了本人的AI模型，但其胜利地在不牺牲精确性或鲁棒性的前提下，将处置才能迁移到了真实机器手臂当中。
OpenAI机器人团队技术成员Matthias Plappert表示，“我们之所以对魔方任务抱有浓重兴味，是由于它请求机器手的矫捷性接近于人类程度。从某种意义上讲，这是一项高度复杂的任务，必需真正准确地控制手指，才干精确翻转魔方的各个面。我们希望经过这次实验看看去年发布的这套AI模型可以走多远。”
设置工作
据OpenAI在论文中引见，思索到魔方状态评价的复杂性，以及破解魔方所需求的准确操作，在这项任务中仅凭模仿数据操作魔方比操作一个立方体要难得多。
魔方由26个经过铰链与弹簧衔接的小立方体组成，内部至少包含6种自在旋转方位，且六个面都能独立完成旋转，而在魔方被打乱之后，只要将六个面都恢复为同一颜色，才算真正破解胜利。
该团队采用的处理计划是一种被称为“自动域随机化（ADR，automatic domain randomization）”的算法。这种算法会自动生成用于锻炼强化学习模型的散布以及可经过视觉估量对象姿势的模块，即一个基于视觉的姿势估量器，凭仗着由奖励与惩罚机制反复完成的温习与强化学习过程，AI系统将一步步朝着正确的目的完成自主学习。
依据世界魔方协会的官方指南，研讨人员运用了一种魔方置乱技术停止ADR部署，将大约20步挪动到一个已解出的魔方上停止置乱/规范化加扰。尔后，他们将未加扰任务拆分为多个子目的，例如旋转（顺时针或逆时针旋转一个立方面子90度），以及翻转（将一个特定立方体的某个面旋转至顶部）。由于旋转顶面通常比旋转其他面简单，因而研讨人员将翻转与顶面旋转与其他子目的按次第组合在一同。而关于魔方的实践求解办法，他们采用了现有的软件库，比方Kociemba求解器等，用于生成子目的处理计划的操作序列。
硬件
担任支配魔方的机器手是Shadow Dextrous E系列产品，他的中指与无名指各有3个驱动关节和1个欠驱动关节，小指与拇指各有5个驱动关节，腕部有2个驱动关节。多年以来，它不断是OpenAI机器人平台的中心组成局部，它匹配了三台用于视觉姿势估量与一台配有PhaseSpace动作捕捉系统的摄像机。这套系统被装置在一个配有滑轨的计算机框体当中。
该团队指出，他们与机器手臂制造商Shadow Robot公司树立协作关系，以进步某些机器人组件的巩固性与牢靠性。详细而言，他们增加了机器手在与物体交互时的抓握力，同时减小了肌腱应力，并调整了与之交互的软件堆栈以尽可能消弭扭矩限制。
至于魔方，它不是普通的模型，而是特别定制版本。它是一个小米的Giiker立方体，它搭载了可感知方向的蓝牙和运动传感器。市面上在售版本的Giiker立方体模型的面角分辨率为90度，但该团队修正了它们的模型，使面角跟踪精度到达约5度。
模仿
与腾讯团队一样，OpenAI的研讨人员也应用Mujoco来模仿环境、机器手以及物体，同时采用ORRB（以游戏引擎Unity为根底的远程渲染后端）停止图像渲染，从而锻炼基于视觉的姿势估量器。模仿环境下的魔方由26个1.9厘米边长的立方体组成，其中6个具有单一铰链接头，另外20个具有三个铰链接头，有效旋转自在度为66度。如此一来，模仿环境即可表达43百万的立方个立方体朝向配置，以及介于这些朝向配置之间的一切过渡状态。
指导Shadow Hand机器手的AI战略，还必需同时思索到魔方，与魔方内铰链接点根底压力，以及Giiker魔方的材质特征等一系列要素。例如，向单一立方体施加力通常足以使得单面旋转，由于力是经过接触力在相邻元素之间传播的。但是，每个立方体有六个面，而且并非一切立方体都可以同时旋转。另外，垂直面必需卡入至恰当位置才干旋转，否则未能严厉对齐将招致整个魔方“全面瘫痪”。
这时分就要靠ADR处理难题了。依据研讨人员们的解释，这项技术可以随时间随机分配某些特定要素（例如多维数据集中的视觉外观或手部动态），从而在模仿环境中生成散布。初始散布集中在单一环境中，但它逐渐扩展为综合数据，这些数据可用于评价恣意模型的性能。
从实质上讲，经过ADR锻炼的模型将经过内部学习算法来调整本身行为以完成目的。该团队猜想，当散布太大，致使于模型无法记住某些专用处理计划时（由于容量有限），就会触发这种内部调整。而只需模型的精度不低于预定义的阈值，ADR就会继续持续锻炼周期。
那么，在每种环境下详细要对哪些特征停止随机分配？除了模仿环境的物理特性（例如几何外形、摩擦系数与重力等）之外，还有模仿器并未归入的自定义物理效果（例如电机反冲）。另外还有一些视觉元素，比方摄像机位置与角度、照明条件，物体的材质与外观、背景纹理乃至渲染图像后的处置效果等等，都需求被思索进来。
“这也正是我们这套计划的主要优势之一——一旦弄分明如何在模仿环境中锻炼这些模型，即可高效获取无量无尽的实验数据。”Plappert解释道，“接下来，一旦明白怎样将模型迁移到机器人当中，就能够在理想世界停止实践应用了。”
奖励机制
如前文所述，由于这套计划运用了强化学习办法，因而必然触及奖励机制。OpenAI团队在实验中定义了三项条件，分别为：（1）系统与目的间的原有间隔与当前间隔之间的差异；（2）达成目的时给予奖励；（3）魔方掉落时触发惩罚。在锻炼过程中还会产生随机目的，当AI模型连续50次胜利、且在试图达成下一目的时超时，或者魔方掉落，则视为当前锻炼轮完毕。
研讨人员在锻炼中还运用了Rapid框架。这套框架由一组rollout工作节点与优化节点组成，担任在多块显卡之间执行同步梯度降落（机器学习中的必要步骤）。随着rollout工作节点不时积聚经历，得出的见解将被托付至优化节点；与此同时，还有另一组工作节点担任比拟锻炼完成的AI模型与参考代理的性能程度。
整套系统共运用64块英伟达V100显卡+920台各自包含32个处置器中心的工作节点设备，在长达数月的周期内对模型停止锻炼。在此期间，研讨人员则担任研讨模仿保真度、ADR算法、超参数调整以及网络架构等变量。其中，仅优化器节点就运用8块V100显卡以及64个处置器中心；而担任渲染视觉姿势估量器的图像渲染节点，则运用一块英伟达V100显卡外加8个处置器中心。
通常，视觉数据配合Giiker魔方内置的传感器，状态估量器最终学会了预算立方体六个面的角度以及魔方多维数据集中的位置与方向信息。该研讨小组指出，由于魔方各个面的贴纸具有旋转对称性，因而单凭视觉无法完成操作，他们希望将来可以开发出一套可反复运用的模型，从而只依托摄像机捕捉到的图像肯定魔方形态。
转向真实场景
接下来，该团队尝试将锻炼完成的AI模型迁移至真正的Shadow Hand当中。他们评价了随机化性能，完成了约两个星期的随机锻炼，应用ADR算法停止约两周的战略锻炼，然后又在四个月时间中先后停止连续锻炼与战略更新，旨在确保战略可以在实体机器手上正常起效。在随后的10次实验（每项战略反复10次）中，研讨人员首先提供一个初始状态的魔方，请求机器手先学会将其打乱。
在这些实验中，研讨人员定义了两项阈值：至少胜利完成半数加扰操作（即22次胜利），以及至少胜利完整全部加扰操作（即43次胜利）。表现最好的模型在10次实验中的均匀胜利了26.8次，其中半数胜利率为60%，完整胜利率则为20%。位列第二的模型均匀取得17.8次胜利，半数据胜利率为30%，完整胜利率为10%。
固然成果似乎不算太好，但需求强调的是，一切模型都自行学会了史无前例的微扰恢复技术，包括将多根机器手指绑在一同、在手上穿戴皮质手套、用手帕遮住局部魔方、以及在魔方旁边放上毛绒玩具与钢笔等等。当机器手偶然旋转错误时，成果最好的AI模型可以立刻反向操作撤销这一错误。另外，当机器手旋转操作过程中不慎招致魔方掉落时，AI模型可以重新分配抓握力，然后再次尝试直到最终胜利。
Plappert指出，“我们在这里运用的算法与我们之前用于锻炼其他机器人的算法完整相同。这种特殊的办法具有强大的通用性，可用于处置大家想得到的各种问题，以至无需停止额外修正。固然我们目前专注于处理魔方多维数据集任务，但相关成果也能够应用于多种同类系统的测试场景当中。”
OpenAI机器人团队研讨科学家Lilian Weng表示，他们的最终目的是完成完整通用，天辰注册这一点也与OpenAI提出的“在多个范畴中树立起“平安”的人类级AI”目的相吻合。大多数专家以为，机器人技术的通用化还有很长的道路要走——包括Aeolus在内的当前最先进模型，也需求几分钟才干完成将渣滓捡起并扔进废纸篓这样的简单任务。但是Weng、Plappert及其同事们置信，他们的工作将成为开展的奠基石，并最终成就真正具有自主才能、简直能够完成一切任务的通用型智能机器。
Weng总结道，“最终，我们希望将来的人工智能能够将某种价值传送到理想当中。以机器人为例，机器人的优势在于协助人们关注某些事物或者从事一局部高危工作……但完成这些目的的前提，就是机器人必需有才能与理想世界互动。而这，正是我们当下努力的意义。”