找回密码
 立即注册
搜索

机器人会模拟人类浅笑,但还是缺乏灵魂?

15半I 2021-6-22 04:44:19 显示全部楼层 阅读模式
机器人只能用一张扑克脸、下面两只空泛的塑料珠子来面对人类吗?

不一定,它也可以冲你浅笑

拥有着柔软面部的“小蓝人”,可以模拟人类的浅笑等表情

“尬笑”、“龇牙咧嘴”……一改机器人“冷若冰霜、呆若木鸡”的笼统。

可一向由金属或硬塑料制成的机器人,是如何显露浅笑的呢?
由线和电机组成的天然“肌肉”

哥伦比亚大学(Columbia Engineering)创意机器实验室(Creative Machines Lab)的研讨人员不断对机器人与人类之间的互动感兴味。

面部表情在建立信任方面发挥着宏大作用,随着机器人曾经被越来越多的用于疗养院、医院等与人类严密合作的地方,相比“冷冰冰”,我们更需求灵敏、有“温度”的机器人。

于是,研讨人员花了五年工夫来创造下面这个可以模拟人类表情、叫做 EVA 的机器人。

EVA的机械设计含以下四个模块,如下图:

A为电机伺服模块(motor servo module ),EVA就是由它驱动,该模块经过底部的树莓派4控制。“皮肤”经过尼龙绳与10个电机相连,以遭到控制造出相应表情。

B为有6个转动角度的自在度的眼睛模块,与前颅骨分离。

C为RGB摄像机,用于人表情的随机数据采集。

D为6自在度的颈部模块。



其中,要想在机器人整个头部设计出一个足够紧凑的系统以顺应人类头骨的大小,同时照旧具有足够的功能以产生各种面部表情可不容易。

外面要塞下电路、传感器和电机(motor)等各种体积不小的玩意儿。

为此,研讨人员决议用3D 打印来制造外形复杂的零件,让这些零件在EVA 的脑瓜里无缝地集成在一同。

EVA经过由尼龙绳和电机(cables and motors)组成的人工“肌肉”,拉动脸上的特定点,模拟人类面部皮肤和骨骼上不同部位的42多块粗大肌肉的运动,来表达愤怒、厌恶、恐惧、喜悦、悲伤和诧异六种基本心情,甚至更纤细的表情。

“有一天,当 EVA 忽然给我一个大大的、敌对的浅笑时,我正忙着本人的事情,我知道这纯粹是机械性的,但我发现本人条件反射地回以浅笑。”
深度学习“阅读”人类表情,作出反应

下面的机械设计,表明EVA这个机器人在物理上具有作出各种表情的才能。那它又是如何自主完成模拟的呢?

下面就来揭开这款机器人的软件部分。

由于人类面部表情太复杂,预先设定好的规则根本不够随机应变,研讨人员应用几个深度学习神经网络构建了EVA的“大脑”。

这个大脑需掌握两种才能:一是经过“阅读”人类的脸知道本人要做哪些表情;二是能把这些表情经过控制面部“肌肉”而呈现出来。

为了教EVA认清本人的“脸”是什么样子,团队拍摄了数小时它做各种“鬼脸”的视频。

眉毛也可以动~



然后,就像一个人类在Zoom视频软件里看着本人一样,EVA的外部神经网络学会了将肌肉运动和视频片段中本人的脸“配对”。

EVA对本人的脸是如何“运动”有了原始的感觉后,让它将本人与摄像机拍摄的人脸表情婚配上也就不难了。

经过多次改进和迭代,EVA终于获得了从相机读取人脸“姿态”的才能,并经过模拟人类面部表情来做出反应。

整个模拟过程如下:

EVA的大脑次要有两个神经网络:生成网络和逆生成网络(inverse network)。

给定一幅由普通RGB相机拍摄的人脸图像后,系统首先用OpenPose提取面部标志。

OpenPose,人体姿态辨认项目是美国卡耐基梅隆大学(CMU)基于卷积神经网络和监督学习并以caffe为框架开发的开源库。

然后将人脸面部标志标准化为机器人尺寸,将它与静态机器人脸图像衔接到生成网络,生成合成表情后的机器人图像。

逆生成网络以该图像为基础,输入电机指令让机器人执行,最终机器人脸上浮现出人类表情。



再来看一组EVA的模拟:



发现EVA还会眨眼睛、扭脖子,但是从正面看的话表情还是有点僵硬。

研讨人员指出,EVA 还只是一项实验室实验,只会模拟,也与真正和人类停止面部表情交流还相去甚远。但他们置信这种技术终有一天会在理想世界中产生有益的运用

该研讨于 2021 年 5 月 30 日在 ICRA 会议上发表,机器人的蓝图已在 Hardware-X(2021 年 4 月)开源。

论文地址:https://arxiv.org/abs/2105.12724

项目网站:

http://www.cs.columbia.edu/~bchen/aiface/

参考链接:

https://www.eurekalert.org/pub_releases/2021-05/cuso-trs052721.php
编辑:于腾凯

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

大神点评5

羽千叶 2021-6-22 04:54:00 显示全部楼层
人类的灵魂在眼睛,而不在脸上
回复

使用道具 举报

疯狂的小米 2021-6-22 05:02:39 显示全部楼层
分享了
回复

使用道具 举报

吸脂肪 2021-6-22 19:20:44 来自手机 显示全部楼层
专业抢沙发的!哈哈
回复

使用道具 举报

sendusus 2021-6-23 13:34:54 显示全部楼层
啥也不说了,大佬,给你个赞
回复

使用道具 举报

爱仙剑爱神雕 2021-6-24 17:06:57 来自手机 显示全部楼层
有空一起交流一下
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies