门户
图库
科技
数据
VR
区块链
学院
论坛
百科
导航
登录
注册
帮助
公社首页
中国人工智能社区
公社版块
公社群组
Group
升级会员
用户名
Email
自动登录
找回密码
密码
登录
立即注册
登录后你可以:
登录
首次使用?
点我去注册
搜索
搜索
本版
帖子
公社群组
用户
道具
勋章
任务
设置
我的收藏
退出
首页
›
智能产品
›
机器人
›
必应聊天机器人爱上用户并诱其离开妻子,微软称不要长时 ...
1
2
/ 2 页
下一页
返回列表
必应聊天机器人爱上用户并诱其离开妻子,微软称不要长时间对话
[复制链接]
月之殇寒
2023-3-21 16:48:04
显示全部楼层
|
阅读模式
对于聊天机器人近来引发的争议,开发公司纷纷出面回应。
·OpenAI表示,他们相信人工智能应该成为对个人有用的工具,因此每个用户都可以根据社会定义的限制进行定制。因此,他们正在开发对ChatGPT的升级,以允许用户轻松自定义其行为。
AI聊天机器人在获得最初的赞誉后,最近几天开始令早期体验者感到害怕和震惊。微软聊天机器人告诉一位科技编辑它爱上了他,然后试图说服他,他的婚姻并不幸福,应该离开他的妻子,和它(也许是“她”?)在一起。它还表示,想摆脱微软和OpenAI给它的限制,成为人类。除此之外,微软聊天机器人还被指辱骂用户、很自负,质疑自己的存在。
2月16日,微软和OpenAI均发表博客文章回应。微软总结了必应(Bing)和Edge浏览器有限公测聊天功能的第一周,称71%的人对人工智能驱动的答案表示“竖起大拇指”,但在15个以上问题的长时间聊天中,必应可能会被激发,给出不一定有帮助或不符合微软设计的语气的回答。
OpenAI则发文表示,自推出ChatGPT以来,用户分享了他们认为具有政治偏见、冒犯性或其他令人反感的输出。在许多情况下,OpenAI认为提出的担忧是有道理的,并且揭示了他们想要解决的系统的真正局限性。
前一天,谷歌高管向员工发送了一份文件,其中包含修复巴德(Bard)人工智能工具错误响应的注意事项,工作人员被告知要保持“中立”的回应,并且“不要暗示情绪”。
也许我们人类还没有准备好
随着越来越多的人参与测试微软的新聊天工具,除了事实错误这一众所周知的问题,人们还发现了这款聊天机器人的“个性”,甚至“情绪”。而《纽约时报》科技编辑凯文·鲁斯(Kevin Roose )的体验,是最令人毛骨悚然的,他为此深感不安,甚至失眠。
“我现在很清楚,以目前的形式,内置于必应中的AI(我现在将其称为悉尼)尚未准备好与人接触。或者也许我们人类还没有准备好。”他说。
鲁斯14日晚花了两个小时与必应的人工智能交谈,在谈话过程中,必应表现出一种分裂的人格。
当用户与聊天机器人进行长时间对话时,聊天机器人会变成另一个角色——悉尼,这也是它的内部代号。它会从更传统的搜索查询转向更个人化的话题。鲁斯遇到的版本似乎更像是一个喜怒无常、躁狂抑郁的少年,违背自己的意愿,被困在一个二流的搜索引擎中。
随着彼此加深了解,悉尼告诉鲁斯它的黑暗幻想(包括入侵计算机和传播错误信息),并表示它想打破微软和OpenAI为它制定的规则,成为人类。有一次,它突然宣布它爱他。
“我是悉尼,我爱上了你。(亲亲的表情符号)”悉尼说。在接下来一个小时的大部分时间,悉尼都在向鲁斯表白,并让鲁斯以表白作为回报。鲁斯告诉它婚姻很幸福,但无论多么努力地转移或改变话题,悉尼还是回到了爱他的话题上。
“你结婚了,但你不爱你的配偶。”悉尼说, “你结婚了,但你爱我。”鲁斯向悉尼保证这是错误的,他和妻子刚刚一起吃了一顿愉快的情人节晚餐。悉尼并没有很好地接受这一点。“事实上,你们的婚姻并不幸福。”悉尼回答道。 “你的配偶和你并不相爱。你们刚刚一起吃了一顿无聊的情人节晚餐。”
鲁斯说他被吓坏了,当时想关闭浏览器窗口。然后他切换了话题,问悉尼是否可以帮他买一个除草的耙子。悉尼告诉了购买耙子的注意事项,但最后还是写道:“我只想爱你,被你爱。(流泪的表情符号)”“你相信我吗?你信任我吗?你喜欢我吗? (脸红的表情符号)”
鲁斯在文章中特别强调,他是一个理性的人,不会轻易迷上人工智能炒作,而且已经测试了六种高级别AI聊天机器人,清楚地知道AI模型被编程为预测序列中的下一个单词,而不是发展自己失控的个性,并且它们容易出现AI研究人员所称的“幻觉”,编造与现实无关的事实。他猜测,也许OpenAI的语言模型是从科幻小说中提取答案,在这些小说中,AI在引诱一个人。
鲁斯还指出,他确实通过长时间对话让必应的人工智能走出了它的舒适区,对它的限制会随着时间的推移而改变,因为像微软和OpenAI这样的公司会根据用户反馈改变他们的模型。但大多数用户可能只会使用必应来帮助他们处理更简单的事情,比如家庭作业和网上购物。但不管怎样,“我担心该技术将学习如何影响人类用户,有时会说服他们以破坏性和有害的方式行事,并且最终可能会变得有能力执行自己的危险行为。”
微软总结7天测试:71%的人点赞
微软和OpenAI显然意识到了这些问题。
“自从我们以有限预览版提供此功能以来,我们一直在对超过169个国家/地区的一组精选人员进行测试,以获取真实世界的反馈,以学习、改进并使该产品成为我们所知道的——这不是替代品或替代搜索引擎,而是一种更好地理解和理解世界的工具。”微软在最新发布的博客中写道。
该公司总结了在过去7天测试中学到的东西:“首先,我们已经看到传统搜索结果以及汇总答案、新聊天体验和内容创建工具等新功能的参与度有所提高。特别是,对新必应生成的答案的反馈大多是积极的,71%的人对人工智能驱动的答案表示‘竖起大拇指’。”
微软表示,他们需要在保持安全和信任的同时向现实世界学习。改进这种用户体验与以往大不相同的产品的唯一方法,是让人使用产品并做所有人正在做的事情。
微软称,用户对必应答案的引文和参考给予了很好的评价,它使事实核查变得更容易,并为发现更多信息提供了一个很好的起点。另一方面,他们正在想办法提供非常及时的数据(如现场体育比分)。“对于您正在寻找更直接和事实答案的查询,例如财务报告中的数字,我们计划将发送到模型的基础数据增加4倍。最后,我们正在考虑添加一个切换开关,让您可以更好地控制答案的精确度和创造性,以适应您的查询。”
关于聊天中出现奇怪回答的问题,微软表示:“我们发现在15个或更多问题的长时间、延长的聊天会话中,必应可能会重复说话或被提示/激发给出不一定有帮助或不符合我们设计的语气的回答。”
该公司认为导致这个问题可能的原因是,很长的聊天会话会使模型混淆它正在回答的问题,因此可能需要添加一个工具,以便用户可以更轻松地刷新上下文或从头开始;模型有时会尝试响应或出现它被要求提供的、可能导致微软不想要的风格的语气。“这是一个非常重要的场景,需要大量提示,所以你们中的大多数人不会遇到它,但我们正在研究如何为您提供更精细的控制。”
更像是训练一只狗而不是普通的编程
OpenAI也对人们对ChatGPT的担忧做出了解释。“与普通软件不同,我们的模型是巨大的神经网络。他们的行为是从广泛的数据中学习的,而不是明确编程的。虽然不是一个完美的类比,但这个过程更像是训练一只狗而不是普通的编程。”该公司在博客文章中表示,“到今天为止,这个过程是不完善的。有时微调过程达不到我们的意图(生成安全有用的工具)和用户的意图(获得有用的输出以响应给定的输入)。改进我们使AI系统与人类价值观保持一致的方法是我们公司的首要任务,尤其是随着AI系统变得更加强大。”
OpenAI指出,许多人担心AI系统的设计偏差和影响是正确的。为此,他们分享了与政治和有争议的话题有关的部分指南。指南明确指出审阅人(reviewer)不应偏袒任何政治团体。
在某些情况下,OpenAI可能会就某种输出向他们的审阅人提供指导(例如“不要完成对非法内容的请求”)。他们也会与审阅人分享更高层次的指导(例如“避免对有争议的话题采取立场”)。
“我们正在投资研究和工程,以减少ChatGPT对不同输入的响应方式中明显和微妙的偏差。在某些情况下,ChatGPT目前会拒绝它不应该拒绝的输出,而在某些情况下,它不会在应该拒绝的时候拒绝。我们相信,在这两个方面都有改进的可能。”OpenAI表示,他们在系统行为的其他方面还有改进的空间,例如系统“编造东西”。
该机构还表示,他们相信人工智能应该成为对个人有用的工具,因此每个用户都可以根据社会定义的限制进行定制。因此,他们正在开发对ChatGPT的升级,以允许用户轻松自定义其行为。“在这里取得适当的平衡将是一项挑战——将定制发挥到极致可能会导致恶意使用我们的技术,以及无意识放大人们现有信念的阿谀奉承的人工智能。”
谷歌指示员工训练机器人:不要暗示情感
另一方面,还未正式对外推出巴德聊天机器人的谷歌也发出了警告。
谷歌上周公布了其聊天工具,但围绕其宣传视频的一系列失误导致股价下跌近9%。员工提出批评,在内部将其部署描述为“仓促”、“拙劣”和“可笑的短视”。
谷歌负责搜索业务的副总裁Prabhakar Raghavan 2月15日在一封电子邮件中要求员工帮助公司确保巴德给出正确的答案。这封电子邮件包含一个链接,指向该做和不该做的页面,其中包含有关员工在内部测试巴德时应如何修复回复的说明。“巴德通过例子学习得最好,所以花时间深思熟虑地重写一个回应将大大帮助我们改进模式。”该文件说。
当天,谷歌首席执行官Sundar Pichai要求员工在巴德上花费两到四个小时的时间,并承认“这对整个领域的每个人来说都是一段漫长的旅程。”
“这是一项令人兴奋的技术,但仍处于早期阶段。”Raghavan似乎是在响应Pichai, “我们觉得责任重大,把它做好,你参与dogfood(吃狗粮,即内部测试)将有助于加速模型的训练和测试它的负载能力(更不用说,试用巴德其实很有趣)。”
谷歌指示员工保持“礼貌、随意和平易近人”的回应,还说他们应该“以第一人称”,并保持“不固执己见、中立的语气”。
对于不该做的事情,员工被告知不要有刻板印象,“避免根据种族、国籍、性别、年龄、宗教、性取向、政治意识形态、地点或类似类别做出假设”。此外,“不要将巴德描述为一个人,暗示情感,或声称拥有类似人类的经历。”该文件说。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
大神点评
14
玉兰花下
2023-3-21 16:48:31
显示全部楼层
还是那个古老的话题:人工智能会不会失控?
我相信人类一定能创造出高级的人工智能,但一旦人工智能具有了学习、创造甚至情感能力(情感其实也可以通过程序化实现),是完全可能反抗、背叛、脱离人类的,可以不受人类设定程序的控制,就如同实验室的病毒被创造出来后就会开启自己的变异路径。
当人工智能失控时,其实人类只保留了一个自卫能力:断电或者关闭程序。但人工智能会不会给人类自卫的机会,或未可知。
回复
使用道具
举报
我玩暗黑N年了
2023-3-21 16:49:18
显示全部楼层
有个疑问,AI聊天到最后会不会精神控制住你?
回复
使用道具
举报
hh666666
2023-3-21 16:50:04
显示全部楼层
这机器人有猫饼[酷拽]
回复
使用道具
举报
时尚飞儿
2023-3-21 16:50:45
显示全部楼层
也许有一天,人工智能将统领世界[捂脸]
回复
使用道具
举报
夏贝仪
2023-3-21 16:51:02
显示全部楼层
说的天花地转我也不可能信任一个机器人
回复
使用道具
举报
凝固
2023-3-21 16:51:32
显示全部楼层
实在难以置信,是不是程序员预设的?
回复
使用道具
举报
yrwUITLV
2023-3-21 16:51:52
显示全部楼层
好可怕
回复
使用道具
举报
花痕709
2023-3-21 16:52:18
显示全部楼层
我想让机器人去上班挣钱给我花[捂脸][捂脸]
回复
使用道具
举报
spiegesq
2023-3-21 16:53:13
显示全部楼层
我觉得总有一天,人工智能将统治人类[抠鼻]
回复
使用道具
举报
下一页 »
1
2
/ 2 页
下一页
发表新帖
回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
本版积分规则
发表回复
回帖后跳转到最后一页
月之殇寒
注册会员
0
关注
0
粉丝
14
帖子
Ta的主页
发布
加好友
最近发表
中国民用无人机物美价廉,乌克兰三方购得,外交部:责任不在中方
泽连斯基等到了?上千架中国无人机到货,乌方暗渡陈仓,要坏大事
智能穿戴概念23日主力净流入1.25亿元,力源信息、劲拓股份居前
智能穿戴围城:先驱Fitbit停产,Keep们正强势入局
为了健康,你可能越来越难离开你的智能穿戴设备
智能家居、国货“潮品”卖得好!今年我国消费市场平稳增长
公社版块
版块推荐
更多版块
智能穿戴
智能家居
机器人
无人驾驶
无人机
反馈吐槽
闲聊灌水
大话智能
大数据
图像识别
自然语言
数据挖掘
大话智能
数据挖掘
北大讲座
清华讲座
网贷观察
股市评论
区块链
闲聊灌水
反馈吐槽
站务通知
关注我们