雷锋网 AI 研习社按,日前,deepmind 开源其虚拟实验室 Psychlab,通过 Psychlab,大家可以直接应用认知心理学等领域的方法,来研究智能体在受控环境中的行为。雷锋网 AI 研习社将内容编译整理如下:
当你在商店购物时,如果漏了购物清单里的某样东西,这可以告知我们哪些大脑功能呢?这可能表示,当你在搜寻购物清单里列出来的物品时,可能很难将注意力从一个物体转移到另一个物体,也可能表明记住购物单上的物品很难,不过也或许和你同时在做两件事有关。
看似单一的任务实际上依赖于多种认知能力。在人工智能研究领域,我们也面临着类似的问题。为了让智能体成功完成一个复杂的任务,需要将任务分解成多个单一的技能,而这通常很难。不过理解智能体的特定认知技能可能会对提高整体性能有所助益。
为了解决人类的这种问题,心理学家在过去的 150 年里一直在设计严格控制的实验,一次验证一个特定的认知能力。
例如,他们可能会使用两个独立的测试来分析超市中的那种场景——包括「视觉搜索」测试,要求受试者对特定的形状进行定位,用来探测注意力,同时他们可能会让受试的人回忆看过列表的中的条目,来测试他们的记忆力。
我们相信,用类似的实验方法能更好地理解 AI 智能体的行为。
这是我们开发 Psychlab 的原因。Psychlab 是基于 DeepMind Lab建立的一个平台,通过这个平台,我们可以直接应用认知心理学等领域的方法,来研究智能体在受控环境中的行为。
今天开源这个平台,所有人都可以使用。
Psychlab 在 DeepMind Lab 虚拟实验室环境中再现了人类心理实验中常用的设置。在人类实验中,通常是受试者坐在电脑显示器前,点击鼠标来完成屏幕上出现的任务。类似,我们的环境允许虚拟受试者在虚拟计算机显示器上执行任务,通过其凝视的方向来响应。
这使得我们可以对人类和智能体进行相同的测试,从而将实验的差异最小化。此外,这样的实验使得我们更易建立起与认知心理学之间的联系,我们可以从相关文献中汲取见解。
伴随 Psychlab 的开源,我们还建立了一系列经典的实验任务,这些任务都是通过虚拟计算机显示器来运行的。这里有灵活易学的 API,其他人可以轻松构建自己的任务。
视觉搜索(Visual search)——测试目标搜寻大量物品的能力
持续识别(Continuous recognition)——测试记住不断增长的物品的能力
视觉运动映射(Arbitrary visuomotor mapping)——测试对刺激反应的回忆能力
变化检测(Change detection)——测试检测出变化的能力:检测一系列对象在经过延迟后再次出现时是否发生改变
视觉灵敏度和对比灵敏度(Visual acuity and contrast sensitivity)——识别较小、对比度较低的刺激物
全局模式检测(Glass pattern detection)——测试全局形状认知能力
辨别随机点动作(Random dot motion discrimination)——测试对关联动作的认知能力
多物体跟踪(Multiple object tracking)——测试对移动对象的追踪能力
每一项任务都经过验证,人类结果与认知心理学文献中的标准结果是一样的。
以「视觉搜索」任务为例。在复杂的刺激源中定位物体,就像在超市货架上找物品一样,已经被用于研究人类选择性注意力。
当要求人们在水平条状物里找出垂直方向的条状物,并在多种颜色的条状物里选出粉红色的,他们的反应时间不会随着屏幕上物体数量的变化而变化。换句话说,它们的反应时间是独立于设定数目的。然而,当任务是在不同形状和不同颜色的条状物中寻找粉红色的条状物时,每增加一个条状物,反应时间会增加大约 50 毫秒。
当人们在 Psychlab 上做这项任务时,结果也一样。
人类和智能体在 Psychlab 上进行视觉搜索任务时反应时间的差异
当我们在最先进的智能体上做同样的测试时,我们发现,虽然它可以执行这个任务,但它的反应时间与人类存在差异。在这三种情况下,智能体的反应时间相同。对于人类,反应时间的差异性体现了 parallel attention和 serial attention的差异。而智能体似乎只有并行机制。认识到人类和智能体之间的这种差异,有助于我们改进未来智能体的设计。
我们设计 Psychlab 的目的是把它作为连接认知心理学、神经科学和人工智能之间的桥梁。通过开源,我们希望更广泛的研究团体能够在自己的研究中使用这个工具,并帮助我们塑造未来。
via:deepmind
论文地址:https://arxiv.org/abs/1801.08116
GitHub地址:https://github.com/deepmind/lab/tree/master/game_scripts/levels/contributed/psychlab
雷锋网 AI 研习社编译整理。
,