新兴生物技术与其危险性：严控谬用

作者简介

内容简介

1. 概论
　　摘要 本章主要对当前创新领域为何如此吸引科学家、决策者以及公众注意力的原因进行了介绍，并重点对新兴领域技术创新扩散和军事化应用等现象所引发的担忧展开了阐述。新兴技术及其危险性作为近年来人们持续关注的热点话题，其引发的担忧也从侧面反映了目前科学技术、国家及国际社会三者之间的复杂关系。本章的中心论点是，我们有必要针对当代科技领域的应用范围、具体发展方向和相关管理政策的顶层设计等方面展开新的思考。然而，值得注意的是，对这一领域的政策制定会涉及许多不同但又相互关联的问题，包括如何界定创新者的伦理责任、如何预测新兴创新领域可能带来的社会影响、如何减轻这些领域已造成的社会影响，以及如何管控其在国际层面可能引发的军备竞赛。
　　关键词 核武器裁减；创新；专业知识；新兴科技
　　近年来，大众媒体上时常会出现关于新兴科学技术一旦被恐怖组织、犯罪团伙或政府滥用可能导致怎样严重危害的话题讨论。通常，公众普遍认为虽然技术滥用可能会带来严重后果，但这也是随着社会发展进程不断推进而必然发生的负面结果。当然，也有人认为，公众过分夸大了技术滥用的后果，实属杞人忧天。然而，值得注意的是，有时技术滥用并不完全来源于社会发展进程，也可能归咎于创新者本身对科学技术的错误探索。这就引出了一些需要我们认真思考的问题，例如，人类在追求国家或全球安全的愿景时，应该如何引导技术创新走向，如何看待道德底线应置于人类科学研究之上这一说法，以及技术与人性之间最基本的关系是什么。回答这些问题，或者更确切地说是用当代的方法来回答这些问题是本书的核心。本书不仅着重强调了技术革新本身给我们带来的挑战，还着重强调了我们在为防范这些技术被滥用而建立合理的监管体系时可能面临的挑战。值得注意的是，这些问题与挑战通常非常复杂，如正在进行的关于人工智能（artificialintelligence，AI）军事应用潜力的激烈讨论一样，这些问题往往本身就具有争议性，通常很难得出一个准确且合适的答案。
　　最近，谷歌的程序员（以及谷歌的公关团队）正就他们是否应该参与军事项目一事展开激烈讨论。此事源于谷歌曾与美国国防部（US Department of Defence，DOD）签订了一份关于参与由美国情报机构牵头的Maven计划的部分工作的合同（该计划主要聚焦于对不断壮大的美国人工智能行业进行技术整合）。该项目中，美军情报部门面临的一个重要挑战是如何整理无人机收集到的海量视频图像资料，而Google作为项目参与者的任务则是开发出一款可对图像资料进行自动化分析的软件。2017年7月，海军陆战队上校德鲁 库克在项目进展汇报中指出：
　　“你不能像买弹药一样去购买人工智能，因为弹药可以通过流水线批量生产，人工智能则需要审慎且独特的开发过程。而政府则是通过快速授予我们收购权，这让我们在开展该项目的过程中（约36个月）充分认识到政府是如何在最大程度上与企业合作从而更好地为纳税人和军队服务，最终确保其核心工作效率最大化。”
　　谷歌参与Maven 计划的消息引起了员工的不安。尽管谷歌领导层早前保证，该计划不会开发直接涉及针对性杀戮的技术，但仍有许多人辞职以示抗议。2017年4月，约3000名谷歌员工联名签署了一封请愿信，要求谷歌公司取消该合同，并公开承诺不会开发战争科技。作为回应，谷歌公司制定了一项行为准则，阐明他们不会继续与军方合作开展直接针对民众的武器项目，也不会从事违反公认的国际法和人权原则的工作。
　　虽然本次事件中，技术人员对科技用于战争的强烈反对使得美国国防部与谷歌公司间的合作被迫中止，但在当前激烈的市场竞争背景下，该项目后续技术收购也不存在太大难题。然而，本次事件也让那些在这一领域内工作，且原则上并不反对从事武器项目研究的程序员们左右为难。许多美国技术专家可能认为，他们有责任为确保美国国家安全出力，并帮助保护那些参与全球性军事行动的美国军人。然而，当技术人员自己都可以预见其工作成果可能会被他们所效力的国家或他人滥用时，则需优先从伦理道德层面进行考量。即使技术研发活动本身并未违反任何法律条文，但这并不意味着为国家或军队开展技术研发时可以凌驾于伦理道德之上。
　　在上述事件中，如果谷歌员工读过《自然》杂志上的一篇文章，他们的顾虑可能会减少。该文章认为科学家们需要继续与美国军方合作，以进一步确保美国的国家安全，间接地促进国际安全。该文指出，在人工智能领域，美国与俄罗斯和中国之间的竞争仍在继续。即使美国的程序员拒绝为政府的国防项目工作，民用技术最终也可能被开发应用于军事领域，**的区别就是，它将通过更加迂回的方式进入武器技术领域。文章作者还指出，如今已被大规模生产的遥控无人机的开发者，应该没有预想到这项技术最终会被用于军事，也未曾预想到这项技术会在世界各地的战场上遭到黑客的攻击。
　　文章指出，当前科技开发和推广的巨轮已无法暂停，美国的人工智能技术应继续运用到美国军方，并鼓励政府以“合乎伦理”的方式来使用这些正在开发的技术。此外，文章认为应当由开发人员根据具体情况来决定与谁合作，以及在哪些项目上展开合作。正如文章所指出的：
　　“有些项目提案是有悖伦理的，有些是愚蠢的，更有甚者同时具备上述两个特点。当看到这样的项目提案时，研究人员应该坚决提出反对意见。”
　　这就把创新者和他们对世界的担忧放在了“如何看待无所不能的技术所带来的挑战”的中心位置。谷歌公司后续公开表示：
　　谷歌不会将对人类社会造成（或可能造成）整体危害的技术考虑列为投资项目。当项目存在重大危害风险时，我们只会在确信收益远超过风险的情况下进行，并采取适当的安全约束机制。
　　这是一个美好的愿望，但也仅仅是一个愿望，毕竟不同人对同一事件的想法往往都相差甚远。即便是事后再进行评价，社会上许多人仍然对科技发明所产生的社会影响持不同意见，从汽车到塑料，乃至核武器莫不如此。随着新兴技术的不断出现，更多的不确定性和模糊性接踵而至。这时如果我们仅仅根据单个发明者、科研团队或企业的潜在担忧和相关伦理责任来界定技术创新是否具有风险以及可能存在何种潜在利益与危害，可能过于武断。同时，这样也可能导致我们忽略投资项目筛选和技术创新监管的重要性。
　　尽管如此，在思考技术管控问题时，我们的目光依然常常被那些致力于前沿科技的创新者所吸引。这在一定程度上可能是基于对个人主义的崇拜（尤其是在西方文化中）。这一现象也反映出人们对创新者与其发明成果之间相互关系的普遍认知，即创新者拥有其创新成果，正如当前许多知识产权归属条例中明确规定，创新成果所有权归发明人所属，这些权利在全球范围内日益占据着主导地位。这也说明科学家往往是新兴技术的早期倡导者，有时也是技术管控的重要支持者。
　　事实上，很多创新者的人物传记已经脱离了实际，他们的故事被赋予了新的生命和活力，成为英雄史诗，也成为启发众多发明者如何克服傲慢和贪婪、遵守道德准则的寓言故事。尤其是对于那些参与了通用机枪计划或曼哈顿计划中武器研发项目的科研人员来说，这些故事呼吁的口号想必更加深刻。与此同时，我们也看到有科学家带头抵制武器项目的研发，他们不仅试图禁止核武器的研，还曾为全面禁用生物武器、化学武器不断努力。如今，与他们的前辈们一样，关注于人工智能武器化相关伦理问题的科学家们也正面临着同样的困境，做着一样的斗争。
　　回顾谷歌参与军事项目研究的问题，我们注意到一个奇怪的抗议请求。一名即将辞职的谷歌员工提议将谷歌的会议室以克拉拉 伊梅瓦尔博士的名字重新命名。克拉拉 伊梅瓦尔是二十世纪的化学家，她的丈夫弗里茨 哈伯因在氨的工业生产方面做出了突出贡献获得了诺贝尔奖。然而，伊梅瓦尔却为抗议她的丈夫参与德军化学战争，用哈伯的军用左轮手枪自尽了。多年来这个故事被反复转载，但就谷歌事件而言，我们很清楚地知道提及这个故事的寓意是什么。
　　不可否认，许多科学家因为遵守“原则”承担了很大的风险，也失去了很多东西。在这些英雄主义行为中有着一定的浪漫主义色彩，还有着普罗米修斯式的恐惧和创新者浮士德式的契约。围绕此类问题展开的思考和阐述广泛存在。例如，在病毒学领域，人们对禽流感病毒等具有引起全球大流行潜力的某些病毒的研究活动深感担忧。这些研究尤其侧重于创造出更为致命、更难以治疗的实验室重组病毒，以期赶在病毒发生自然进化之前，深入揭示其潜在致病机制。这引起了人们对公共安全和病毒扩散风险的担忧，以及关于这些工作是否模糊了和平研究与进攻性研究之间界限的思考。关于此类研究工作的伦理问题已成为当前国际上争论的焦点，有关科学家的伦理责任问题也已被摆在了问题的首位和中心。
　　这意味着，人们特别容易忽视，科技创新所带来的伦理问题往往不受创新者及其所在的研究机构控制，科技创新成果是否产生负面影响通常是由这些科技创新在社会中的作用和价值所决定的。这需要我们在防御性军事战略与进攻性军事战略之间寻求平衡，在经济发展与科研探索之间寻求平衡。而理解这些问题的方式以及寻求平衡的策略，因创新研究所在的领域和国家背景的不同而有所不同。
　　与现有领域相比，在新兴科技创新领域内，这些问题更为常见。从某种角度上讲，这似乎源于对新兴技术的新奇感。这种新奇感体现在以下的两个方面：一方面，关于新兴领域层出不穷的言论强调了新兴领域内蕴含着强大的发展变革潜力。因此，新兴领域被认为有可能会改变我们生活的方方面面。另一方面，鉴于新兴领域具有的这种无限发展潜力，想要预知并阻止某一技术领域所附带产生的负面影响是几乎不可能的。这似乎源于这样一个事实：在某一科学技术领域发展的早期，其组织机构、发展目标及其在某一专业技能方面所拥有的潜力，与现有领域相比，都更容易在社会上引起广泛的辩论和讨论。许多国家仍有大量科学家信奉“纯科学”，其捍卫者认为新兴领域是尚未被政治因素统治和腐化的一片处女地。有时，更像是科技创新的发展唤醒了其潜在的政治因素。例如，随着美国前任总统特朗普宣布组建新的“太空部队”，不仅仅使科学家们面临伦理问题，也使得“科学机构在为国家安全服务中应扮演何种角色”这一古老的辩题再度重燃。这种争论不一定意味着政治变革的开始，但却为政治变革的启动埋下了伏笔。在这种背景下，国际社会试图在偏执和狂妄之间找到一条出路，并确保他们选择推动发展的技术能够为公众利益服务、为社会提供所需要的资源，且能够与其在国际上所秉持和宣传的价值观保持一致。然而，相应的管理制度却不断地受到挑战。我们的监管机构和伦理审查机构似乎正在努力追赶千变万化的分配制度和创新经济体系、有组织的暴力行为的转型以及国际体系结构的演变。
　　简易爆炸装置和无人机技术为我们充分理解“矛盾既是创新发展的源泉，又是创新所产生的必然结果”这一理论提供了优秀的研究案例。特别是基于大规模社会网络的并行处理使新兴技术融入并改变了有组织的暴力行为的实施方式。其实，这样的情况之前就已存在，战士们在战场上使用社交媒体和民用软件的现象越来越多，而且使用的方式也越来越巧妙。例如，乌克兰炮兵部队曾在2016年遭到一种新型黑客攻击，这一新闻被媒体广泛报道。该报道称，一名乌克兰军官曾开发并使用了一款基于安卓系统的应用程序，可在战场上协助部队进行火炮射击瞄准。该软件通过一个在线论坛向乌克兰军方人员进行推广，其访问权限由软件的开发者进行控制。然而不知在什么时候，俄罗斯的网络黑客组织“奇幻熊”（Fancy Bear）发布了这个软件的破解版，并在同一个在线论坛上进行了共享。据称，该破解版能让俄罗斯军队追踪并摧毁乌克兰炮兵部队。
　　当今社会越来越清晰地认识到科技是国家安全乃至国际安全发展变革的强大驱动力，与此同时，科技发展可能带来的安全隐患也越来越让人忧虑，例如，新兴科技改变未来战争模式以及新兴科技可被用于突破大规模杀伤性恐怖主义技术壁垒。然而，公众对于科技发展可能带来安全隐患的忧虑往往最终都会转变为对相关领域和专家的要求和挑战，例如，要求专家个人、科研团体和科研机构不仅具有相关领域的专业知识和技能，还要从根源上对其研发的技术可能带来的安全隐患进行预判