美国率先提出军用人工智能伦理原则

　　原标题：美国率先提出军用人工智能伦理原则

　　随着人工智能技术的巨大成功并开始在军事领域广泛应用，人们担心它会导致“机器杀人”的惨剧出现。著名天体物理学家斯蒂芬·霍金对人工智能充满期待，同时也对它的开发应用满怀担忧：“有益的人工智能可以扩大人类的能力和可能性，但失控的人工智能很难被阻止。所以，在开发人工智能时必须保证符合道德伦理与安全措施的要求。”10月31日，美国国防创新委员会率先推出《人工智能原则：国防部人工智能应用伦理的若干建议》，这是对军事人工智能应用所导致伦理问题的首次回应。

　　美国国防创新委员会的这份报告为美国国防部在战斗和非战斗场景中设计、开发和应用人工智能技术，提出了“负责、公平、可追踪、可靠、可控”五大原则。

　　“负责”原则的主要含义是，人工智能是人的产物，人是能动的、具有个人价值观和情感好恶的责任主体。人工智能技术的决策者和开发专家，必然要体现人的主体作用，他们理所当然应该为自己的决定和行为造成的结果负责。在军事应用中，因为造成的后果可能具有毁灭性，所以，“负责”成为第一原则。

　　“公平”原则是指，对人而言，不同领域、不同职级的所有人在人工智能面前是平等的，不应有区别对待。人工智能系统应无差别地向人机界面提供它的处理结果，依据结果作出判断、采取行动，机会也是公平的。

　　“可追踪”原则的含义是，不管是纯技术过程还是人机交互过程，人工智能系统都必须是可追溯和可审计的。人工智能系统要如实记录生成决定的整个过程和系统所作的决定，包括数据收集、数据标记以及所用算法等，不仅要确保其数据和系统的透明度，而且要确保其数学模型的透明度。

　　“可靠”原则指的是，人工智能系统在使用过程中对使用者而言是安全、可靠和不作恶的。

　　“可控”原则要求，不管人工智能系统的功能如何强大、技术如何发展，它的作用和能力应该永远置于人的控制之下。美军在伊拉克战场上使用的智能机器人就有失控向己方开火的先例。落实“可控”原则，就要严格限定对人工智能的授权，同时要加强对技术失误的警惕、督查和检验。

　　为了贯彻以上军用人工智能伦理原则，美国国防创新委员会提出了若干条建议，可以归纳为以下4个方面的举措。

　　一是通过国防部官方渠道将这些原则正式化。《人工智能原则：国防部人工智能应用伦理的若干建议》是全球第一个完整描述军事人工智能伦理原则的文件。美国国防创新委员会是一个独立的联邦顾问委员会，成员包括来自谷歌、脸书、微软等科技企业的高管和专家。这一组织虽然在形式上是一个民间组织，但其功能是为国防部高层领导提供建议。其提出的军用人工智能原则，虽然并不自动成为美国国防部的原则，但成为美国国防部认可标准的概率是很大的。

　　二是建立一个为国防部服务的人工智能指导委员会。美军之前开展的“利用受监管的自主能力开展城市侦察”项目，需要收集复杂城市作战环境中的人员信息，使自主系统能够在监视和操控下探测敌人，帮助作战人员甄别真正的威胁，防止向友军发射火力以及造成平民伤亡。为此，美军在进行技术研发之始，就成立了相关的伦理咨询委员会。目前，美国国防创新委员会是一个功能涵盖较宽的组织，在其中成立专门的人工智能指导委员会有其必要性。

　　三是确保人工智能伦理原则的正确执行。为达成这一目标，需要相关各方在原则条款和内涵理解上都达成共识。与此同时，必须在军用人工智能开发应用的各个领域，制定明确的、可操作的执行细则和标准规范，这是人工智能伦理原则得到正确执行的基础。

　　四是召开有关人工智能安全的年度会议。由于人们对人工智能伦理问题的认识还处于初级阶段，已经制定的原则是否合理有效也有待检验。因此，召开人工智能安全年会必不可少，这样可以对伦理原则执行情况进行督查，并根据效果分析不断改进。

　　新美国安全中心的“技术和国家安全计划”主任保罗·斯查瑞是“利用受监管的自主能力开展城市侦察”项目伦理咨询委员会的成员。他认为，制定人工智能伦理原则，可使各方面专家在智能系统研发之初就法律、道德和伦理问题进行早期沟通，对于推动技术发展和结果可靠具有关键意义。

　　如果不受限制地将人工智能应用于军事领域，后果可能是人类难以承受的。美国率先制定军用人工智能伦理原则，客观上成为这一问题的权威发言者，有利于其占据道德制高点并掌控相关话语权，这也方便美国在大力发展人工智能军事应用的同时，以伦理道德为借口，遏制其他国家军队在相关领域的发展。

　　由于军事人工智能所展示的现实能力和巨大潜力，人们普遍认为人工智能技术将重塑未来战争形态。在此重要关头，美国率先推出军用人工智能伦理原则，无疑同样具有争夺智能化战争定义权的用意。达成这样的目标，将使美国在军用人工智能发展上获得主导权和领先优势。

　　(作者：吴敏文 国防科技大学信息通信学院)