观察｜无人机初次自主杀人，机器杀人的“潘多拉魔盒”打开？

澎湃旧事特约撰稿 兰顺正

近日，结合国披露的一份关于2020年3月利比亚军事冲突中的报告称，土耳其STM公司消费的“卡古-2”(kargu)型四旋翼无人攻击机被编程为在不依托操作员的状况下自主攻击了撤离的哈夫塔尔指挥的“利比亚国民军”，并很有能够形成了一名国民军相关成员的死亡。

这是有史以来第一例记录在案的无人机在没有人为命令的状况下向人发动攻击的案例，引发了各界关于人工智能与自主武器的关注。

“卡古-2”(kargu)型四旋翼无人攻击机。

机器自主杀人的担忧

随着技术的提高，人工智能曾经得到了越来越广泛的运用，可随之而来就是与之相关成绩的争论。如从长远角度思索，不少人担心，有朝一日人工智能经过不断的学习，其“心智”程度越来越高，有能够萌生脱离人类控制、独立自主的倾向，再往后会与人类发生冲突甚至奴役或者灭绝人类。在各类科幻大片中，人工智能造反不断是经久不衰的主题。此前早已有很多学者提出并表达过这样的忧虑，如英国实际物理学家霍金就表示，将来 100 年内人工智能将比人类更为聪明，机器人将控制人类。2013年霍金还与特斯拉 CEO 伊隆·马斯克共同发表公开信，以为人工智能的发展应该遭到控制。

而就近期来说，人工智能在军事范畴大显身手的同时也是毁誉参半。目前军用人工智能的发展次要集中在三个方面：

自主情报分析：机器算法的疾速、准确、无疲劳等特点，可以高速展开目的辨认和数据分析，提取有效情报，将海量的数据转换为有价值的信息。

自主指挥控制系统：人工智能可以根据战场状况和作战需求的变化发展，动态生成作战指挥命令，疾速完成作战形状的自我聚合与分解，为作战指挥提供史无前例的自治性和灵敏性。

“卡古-2”(kargu)型四旋翼无人攻击机可自主作战。

自主武器：对于自主武器系统概念的界定，根据美国国防部2012年的定义，自主武器系统是“一种激活后就无需操作人员进一步干涉，可以自主选择和攻击目的的武器系统”。国际红十字委员会（ICRC）2014 年将自主武器系统定义为“可以独立选择和攻击目的的武器，即在获取、跟踪、选择和攻击目的等‘关键功能’方面具有自主权”。

前两类军用人工智能虽然会参与作战举动的策划与指挥，但毕竟没有“亲身手动”，而自主武器系统的最大特点是可以在不依赖外界指令和设备支持的状况下，在复杂作战环境中依托人工智能系统独立做出开战决议，让“机器杀人”成为理想，因此争论的焦点更多集中在了自主武器上。

虽然目前绝大部分无人武器平台的开战权照旧掌握在远程控制中心的操控员手中，但从技术角度出发全自主武器早就可行了。一些国家曾经末尾研制开发具有自主开战形式的完全自主武器。譬如英国军方研发的“硫磺石”导弹，就具有“发射后不管”的极高自主性，操作人员只需为“硫磺石”导弹设置一个大致的“杀伤范围”（Kill Box），它就会向该区域内的敌方目的发起自主攻击，即每枚导弹可自行决议攻击哪辆坦克或其他作战车辆。而韩国军方部署在野韩边境的SGR-A1武装机器人“哨兵”，不但可以经过运用形式辨认软件和弱光摄像头辨认、锁定“越境者”，并在必要的时分也会自主掌握攻击权限。

俄罗斯研制的“平台”-M履带式无人战车。

“两面开刃”的自主武器

如今争论的核心是：自主武器该不该被运用。对于运用自主武器的后果，各方存在较大的分歧。一方面，美俄等国从巩固其技术先发优势的立场出发，提出自主武器系统具有人类战士无与伦比的优越性。有人以为，智能化自主武器系统不只可以使人与武器实理想质性分离，使实践伤亡率有限趋近于0，而且自主武器系统无需思索本身安全，不受客观心情左右，具有“感性优势”，加上更快的信息处理速度，武器的运用效率和不同武器之间的协作也将大大提升，可以最大限制地获得战场自动权。因此将来具有人工智能的“无人军团”必将成为大国的“标配”，进一步拉大国与国之间的军力差距，甚至出现单方面“碾压”。

在2018 年 3 月，美国在向结合国政府专家组会议提交的文件中就指出，“致命性自主武器系统范畴的新兴技术可以提高国家运用武力时降低平民伤亡风险的才能……较之压制或制止致命性自主武器系统范畴新兴技术的做法，美国选择鼓励相关范畴技术创新”。而就在几天前，俄罗斯国防部长谢尔盖·绍伊古宣布 ：“作战机器人的批量消费曾经末尾。如今出现的机器人不只仅是实验性的，而是真的像科幻电影中所显示的那样，是能独立战役的（智能）机器人”。

美国海军“海上猎人”无人艇。

另一方面，结合国、国际红十字会和一些技术后发国家基于潜在的安全风险指出，摆脱人类控制的自主武器系统将使得和平愈加冷血，在战场上被授予了“自在开战权”人工智能能够会自作主张，滥杀无辜，将和平变成一场场无法“重启”的游戏。有分析以为，从道义角度出发，假如让机器来决议人类生死，就会从根本上抹去兽性在战场上的存在感，使人类缺乏对屠戮行为的道德负担，其结果必然使屠戮变得毫无兽性。同时，在战场上作出“开战”的决议，是综合衡量大量复杂要素的结果，但目前的机器算法存在区分目的的盲区，无法牢靠地区分合法与非法目的。如军服、武器装备等一系列明白标识可以设置区分规则，但假如对手采取假装等手腕，就会导致军事目的缺乏分明的视觉标识；而且根据和平法则，在战役中不得射杀伤兵、医护兵、跳伞飞行员、投诚者及俘虏等人员；这些都会给自主武器系统执行区分义务带来宏大应战。有人担心，得到人类控制的自主武器系统一旦运用于和平，能够导致攻击范围、工夫和毁伤程度等方面的诸多不确定性，进而加剧危机不测迸发和晋级的风险。

另外，即便自主武器在“客观”上并不想与人类为敌，但由于受控于计算机软件，就一定有出错的能够。如在2007年10月，美军第3机步师下属部队携带3台“利剑”机器人防御一个反美武装据点，由于没有及时更新软件，其中1台“利剑”竟把枪口对准美军操作人员，即便在操作人员发出“举动取消”的指令后，失控的“利剑”依然不听指挥，直到另一名美军上尉用火箭筒把它炸翻才化险为夷。而异样是2007 年 10 月美军在南非举行的一场军事演习中，具有高度自主性的防空系统忽然出现缺点，从而导致美军参演防空火炮全体失控，即便该防空系统的操控员多次尝试关闭火炮自动发射安装，但由于火炮曾经被计算机系统接管而形成关闭指令失效，只能等待防空火炮系统中装弹机内的炮弹自行发射终了，该不测事故也形成美军多名参演官兵死伤。

正是鉴于以上自主武器的潜在风险，2018年7月，超过2400名AI范畴迷信家发表 《致命性自主武器系统宣言》，承诺“将不参与也不支持致命性自动武器的开发、制造、贸易或运用”，并呼吁各国政府和政府指导人“应用弱小的国际规范、法规和法律打击致命性自动武器”。

本文扫尾提到的“卡古-2”无人机由土耳其研制，是“卡古”无人机的晋级版。“卡古-2”重约6.8千克，最高时速约145公里，续航工夫约30分钟，可携带1.36千克重的武器，还拥有面部辨认才能，可以寻觅特定的个人。而当被设定为“高效的自主形式”时，无需操作员的指令，“卡古-2”就可瞄准目的自爆。此次结合国专家在报告中指出，这是一次真正的“发射后不管”，也是第一次在利比亚发现运用这种无人机，这违犯了结合国第1970号决议第9条。 “卡古-2”在利比亚的表现打开了机器自主向人类攻击的“魔盒”，各方对此必须予以高度注重。

（作者系远望智库特约研讨员，察哈尔学会研讨员）

责任编辑：谢瑞强

校正：张艳

拔掉电源啊

人心静上去可以止战，人身静上去可以安全，科技静上去才有希望！静的价值和静的力气可以将人类的命运化险为夷！

将来的机器人能够会本人运算，然后在原有程序的基础上，停止更新晋级和变异，也就是说出现智能机器人碾压人类的能够性越来越大……

机器人三准绳是机器人设计、消费、运用环节里永远不要跨越的红线。一旦跨越了就仿佛溃坝的洪水一样不可收拾啦。不要等到出现科幻片里那种机器人有了自主思想，末尾违抗人类意志，甚至以人类为敌的状况出现就悔之晚矣啦!

当前都是智能化，不用人了，会不会像电影终结者的事情出现哈[呲牙][呲牙]

大势所趋。躲不掉的。

你不能打开了潘多拉的盒子又要求潘多拉残忍

万物皆有破定

从实际上讲宇宙的运转与万物的生灭是有序的，不能够正转三圈倒转两圈随意运转。机器人作为宇宙的一份子，它也逃不脱这个范畴。那就是无论是不是与人类相反的生命体？它的一举一动都必须遵照逻辑。既然机器人的运转也像人一样必须遵照逻辑，那它就不可怕，即便它的智能超过人类一万倍也是值得信任的。就像我们的孩子，就像我们养的狗，它恼火时也会攻击你，但它也会心存忌惮。由于它也爱我们。担心智能机器人攻击人类真实是庸人自扰！