kai云体育app官方下载 无人机首次自主杀人 机器杀人的“潘多拉魔盒”打开？

近日，联合国披露的一份关于 2020 年 3 月利比亚军事冲突的报告称，土耳其 STM 公司生产的“kargu”四轴飞行器无人攻击机被编程为在不依赖操作员的情况下自主攻击哈夫塔尔指挥的撤退的“利比亚国民军”，并可能导致国家军队相关成员的死亡。

这是有记录的首例无人机在没有人类指挥的情况下攻击人类的案例，它引发了人们对人工智能和自主武器的关注。

四轴飞行器无人攻击机 “Kagu-2” （Kargu）。

对机器自主杀戮的担忧

随着技术的进步，人工智能的应用越来越广泛，但随之而来的是关于相关问题的争论。从长远来看，很多人担心有一天人工智能会通过不断的学习变得越来越“心智”，可能会发展出脱离人类控制而独立的倾向，进而与人类发生冲突，甚至在未来奴役或灭绝人类。在各种科幻大片中，AI 叛逆一直是一个经久不衰的主题。之前有很多学者提出和表达过这样的担忧，比如英国理论物理学家史蒂芬霍金说，未来 100 年人工智能将比人类更聪明云开·全站APPkaiyun官网，机器人将控制人类。2013 年，霍金还与特斯拉首席执行官埃隆·伊隆 ·马斯克认为人工智能的发展应该受到控制。

在短期内，人工智能在军事领域的使用也褒贬不一。目前，军事人工智能的发展主要集中在三个方面：

自主智能分析：机器算法快速、准确、无疲劳，可以高速进行目标识别和数据分析，提取有效情报kaiyun官方网站下载app下载，将海量数据转化为有价值的信息。

自主指挥控制系统：人工智能可以根据战场条件和作战需求的变化发展，动态生成作战指挥命令，快速实现作战形态的自聚合和分解，为作战指挥提供前所未有的自主性和灵活性。

“Kargu-2”四旋翼无人攻击机可以自主运行。

自主武器：美国国防部在 2012 年将自主武器系统的概念定义为“一种武器系统，一旦激活，无需进一步的操作员干预即可自主选择和攻击目标”。红十字国际委员会 （ICRC） 在 2014 年将自主武器系统定义为“能够独立选择和攻击目标的武器，即在'关键功能'（如获取、跟踪、选择和攻击目标）中具有自主权的武器”。

虽然前两类军事人工智能会参与作战行动的规划和指挥，但毕竟没有“个人手册”，自主武器系统最大的特点是可以依靠人工智能系统在复杂的作战环境中独立做出射击决策，而无需依赖外部指挥和设备支持， 因此，“机器杀戮”成为现实，因此辩论的焦点更多地集中在自主武器上。

尽管大多数无人武器平台的射击权仍然掌握在远程控制中心控制器手中，但从技术角度来看，全自主武器早已是可行的。一些国家已经开始开发具有自主射击模式的全自主武器。例如，英国军方研制的硫磺导弹具有高度的“发射即忘”自主性，操作者只需要为硫磺导弹设置一个粗略的“杀伤箱”，它就会对区域内的敌方目标发起自主攻击，即每枚导弹都可以决定攻击哪辆坦克或其他战车。韩国军方部署在朝韩边境的 SGR-A1 武装机器人“哨兵”不仅可以通过使用模式识别软件和低光摄像头来识别和锁定“越境者”，还可以在必要时独立控制攻击当局。

俄罗斯开发的“平台”——M 履带式无人战车。

带有“双面刀片”的自主武器。

争论的核心是是否应该使用自主武器。对于使用自主武器的后果存在相当大的分歧。一方面，美国、俄罗斯和其他国家从巩固其技术先发优势的角度提出，自主武器系统比人类战士具有无与伦比的优势。有些人认为，智能自主武器系统不仅可以实现人与武器的实质性分离，使实际伤亡率无限接近于零，而且自主武器系统不需要考虑自身的安全，不受主观情绪的影响，具有“理性优势”，再加上更快的信息处理速度， 武器的使用效率和不同武器之间的配合也将大大提高，可以最大程度地获得战场上的主动权。因此，未来，拥有人工智能的“无人军”必将成为大国的“标配”kaiyun888注册，进一步拉大大国之间的军事实力差距，甚至单方面“碾压”。

2018 年 3 月，美国在向联合国政府专家组提交的一份文件中指出，“致命自主武器系统领域的新兴技术可以提高各国在使用武力时降低平民伤亡风险的能力......美国没有压制或禁止致命自主武器系统中的新兴技术，而是选择鼓励相关领域的技术创新。就在几天前，俄罗斯国防部长谢尔盖 ·绍伊古宣布：“战斗机器人的大规模生产已经开始。现在出现的机器人不仅仅是实验性的，而是真正的（智能）机器人，可以独立战斗，就像科幻电影中所展示的那样。

美国海军“Sea Hunter”无人艇。

另一方面，联合国、红十字国际委员会和一些技术先进的国家根据潜在的安全风险指出，不受人类控制的自主武器系统将使战争更加冷血，而被授予战场“自由射击权”的人工智能， 可能会自己做决定，不分青红皂白地杀害无辜，将战争变成无法“重启”的游戏。有分析人士认为，从道德角度来看，如果让机器来决定人类的生死存亡，将从根本上抹去战场上人性的存在感，使人类缺乏杀戮的道德包袱，其结果必然使杀戮变得不人道。同时，在战场上“开火”的决定是综合测量了大量复杂因素的结果，但目前的机器算法在区分目标方面存在盲点，无法可靠地区分合法和非法目标。例如，军服、武器装备等一系列清晰标志可以设定区分规则，但如果对方采用伪装等手段，则会导致军事目标缺乏明显的视觉识别;此外，根据战争法，禁止射击受伤的士兵、降落伞飞行员、投降者、囚犯等。所有这些都对自主武器系统执行其区分任务构成了重大挑战。有人担心，使用在战争中失去人类控制的自主武器系统可能会导致损害的范围、时间和程度的不确定性，这反过来又可能增加危机意外爆发和升级的风险。

此外，即使自主武器并不“主观上”想与人类为敌，它们也受到计算机软件的控制，因此有可能出错。例如，2007 年 10 月，美军第 3 机械化步兵师下属的一支部队用三台“利剑”机器人袭击了一个反美武装据点，由于软件没有及时更新，其中一台“利剑”竟然将枪口对准了美军操作员。同样在 2007 年 10 月，美军在南非举行了一次军事演习，高度自主的防空系统突然失效，导致美军参与防空炮兵的全面失控，尽管防空系统的控制员多次试图关闭自动炮兵发射装置， 但因为火炮已经被计算机系统接管，关机指令失败，只能等待防空炮兵系统中的炮弹自行开火，这次事故也造成了许多美军官兵的死伤。

鉴于自主武器的潜在风险，2018 年 7 月，人工智能领域的 2,400 多名科学家发表了《致命自主武器系统宣言》，承诺“不参与或支持开发、制造、贸易或使用致命自主武器”，并呼吁政府和政府领导人“使用强有力的国际规范， 法规和打击致命自动武器的法律。

这

本文开头提到的 Kagu-2 无人机是由土耳其开发的，是 Kagu 无人机的升级版。Kagu-2 重约 6.8 公斤，最高时速约为 145 公里，飞行时间约为 30 分钟，可以携带重达 1.36 公斤的武器，还具有面部识别功能，可以找到特定的个体。当设置为“高效自主模式”时，“Kagu-2”可以在没有操作员命令的情况下瞄准目标并自爆。联合国专家在他们的报告中指出，这是一次真正的“发射后忘记”，也是首次在利比亚发现使用此类无人机的行为，这违反了联合国第 1970 号决议第 9 条。Kagu-2 在利比亚的表现打开了机器自主攻击人类的“魔盒”，各方必须对此高度重视。

（作者是远望智库特约研究员、察哈尔研究所研究员）