2017年4月13日，由中国科学院科技战略咨询研究院和腾讯研究院共同主办的“2017′人工智能：技术、伦理与法律”研讨会在北京召开。会议围绕人机关系、机器权利、AI优雅、AI治理等四个议题展开研讨，着重解读了当前国内外人工智能领域前沿的技术水平、伦理问题和法律现状，剖析了人工智能领域面对的技术、伦理和法律挑战，探讨了解决技术瓶颈、伦理困境和法律滞后的对策。来自全国三十余家高校和研究机构的专家学者、十几家国内外著名人工智能公司的代表、国内外相关领域技术专家、人文社科专家、法律专家、以及媒体人员共八十余位与会者，共同进行了充分而深入的交流讨论。

中国科学院科技战略咨询研究院院长潘教峰为会议致辞，他强调了组织召开“人工智能：技术、伦理和法律”研讨会的及时性和重大意义，指出以人工智能为代表的新科技将深刻地改变我们的生活、生产和工作方式，既带来了无尽的方便和快捷，又为人类社会的发展带来不确定性。具体而言，人工智能不断模糊着物理世界和个人的界限，延伸出复杂的伦理、法律和安全问题，例如，人工智能在决策过程中产生的无意识的歧视会导致特定人群受到不公正的待遇，人工智能还会产生法律层面的问题和挑战，种种问题警示着我们在发展科技的同时要始终不忘初心，不忘科技发展最终也是为了造福人类，要防止技术的滥用和异化，避免损害生命、环境和人的尊严。最后，潘教峰院长介绍了中国科学院科技战略咨询研究院作为国家高端智库的优势、集合了强大的中科院学部院士资源以及综合的研究平台和研究人员配置，拥有在人工智能技术、伦理和法律方面的悠久传统和强大的研究团队。腾讯研究院院长司晓提到，随着AlphaGo和最近的德州扑克人机大战中AI非常抢眼的表现，使得AI技术已经成为整个60年中话题的新热点。一方面，从技术角度来看，“弱”人工智能领域出现种种突破，将会出现新一轮的人机大战；另一方面，自然科学领域有助于我们发现规律和发明新技术和工具，但如何使用好这个技术和工具值得深思。科学家在“强”人工智能领域提出的种种担忧，就是确保它是往人类发展有利的方向，而不是有害的方向去使用，这也是个具有交叉学科研究特征的话题。近一年来，美、英等国家均出台了人工智能发展的战略政策报告，欧盟也在呼吁加强机器人相关的立法。与此同时，IEEE也牵头发布了人工智能合伦理设计指南，引起了国际上相关同仁的重视。这波人工智能技术的发展与大数据的应用息息相关，中国有海量的用户，在应用端的发展是非常靠前的，应利用本次的优势和机遇大力发展，赶超国外发达国家。

人工智能深深影响着我们生活的方方面面，如何看待人和机器的关系、人和人工智能的关系、未来的发展方向，这些问题都需要我们密切跟踪和研究。与会专家就这些问题开展了热烈的讨论。Intel中国研究院闫守孟研究员分享了在家庭机器人或服务机器人安全方面的一些成果，目前的一些服务机器人原型除了定位、导航、陪伴等简单技能之外，在技术上已经可以做到“表达它的情绪，与人类做感情上的交流。”但是市场上的一些所谓陪伴机器人会不会自己发怒或被恶势力控制之后，伤害到人类？如何控制机器人为人类服务而且不伤害到人类？他假设机器人可以仿照人的行为准则和决策过程，让机器人也具有基于这种准则的决策过程。即给机器人构造一些所谓的安全政策(safety polices)，机器人在执行命令之前根据具体的场景下要预先分析该情境下的安全政策。该安全政策必须保证机器人能理解的场景是真实的、不能被篡改或者跳过的。复旦大学肖仰华副教授则以基于语言认知的智能验证码为例来探讨区分人机，他认为在大数据时代人工智能技术的发展使得机器感知能力达到甚至超越人类，基于感知能力的人机验证已然失效，传统验证码已经不再安全可靠。但当前的人工智能仍具有缺乏常识、推理能力有限等特点，机器的认知能力特别是语言认知能力，在未来一段时间内还难以企及人类水平，因此他提出了一种基于语言认知的人机区分，将取代传统的验证码来区分人机，基于此，他们做了一个基于知识图谱的智能验证码SuperV。上海交通大学江晓原教授从宏观上探讨了人工智能特殊的技术与社会发展的关系，将人工智能的威胁分为三个层次：近期威胁是大批失业、军事化；中期的威胁是人工智能的反叛和失控；远期的威胁是消解人类生存的根本意义，他认为应该以技术自治为主体结合政府的管制对人工智能进行引导和规范。

中国社会科学院段伟文研究员提出了将智能机器人视作为泛主体，并从人身关系和行为关系两个方面来讨论人类主体和泛智能机器主体之间的关系。他从表观性智能、功能性智能和体验性智能三个维度讨论了泛智能主体的愿景，反思具有自我意识和主体意识的超人类智能机器的可能性，解读了智能机器人的制造过程会通过人机互动来增进对人的自我理解。他研究了智能机器的伦理地位和道德能力，认为机器人不可能比人更有道德，并提出将伦理原则嵌入在智能机器设计之中。中国科学院大学副教授刘朝对特斯拉致死事件和机器人作品的版权问题等案例做了详细分析，引出了英国《机器人和机器系统的伦理设计和应用指南》和日本政策保护机器人创作权等国外人工智能法律规制，认为中国虽然在人工智能的数据上和商业应用场景上具有一定优势，但是由于对人工智能的实践认知和社会认知等缺乏法律的理性，目前可能还不会做出立法框架协议，但法律仍需继续追踪技术的发展。中科图灵世纪刘锋博士将生物进化方向与AI伦理规则制定结合起来，从制定主体、站在谁的立场制定、制定依据的原则、制定后使用对象以及AI与人的关系等5个方面来考虑AI伦理的规则制定。

对于人工智能的伦理和法律问题，与会专家不仅提出了一些问题和担忧，也共同探讨了治理原则和实践经验。法国儒勒-凡尔纳大学柳渝副教授通过解读“阿西洛马人工智能原则”，展开人工智能平台上的伦理学基础理论问题，实际上是从人机之间的技术关系提升到人机的伦理关系高度，以人、机伦理关系初探为讨论焦点，从智能哲学的角度结合波普的“世界3”来考察人机伦理关系，这种关系可以追溯到对人的意义、价值和地位的理解。最后对全球视野下的人工智能伦理学问题进行分析，得出Beneficial AI实质不是机器的道德和伦理，而是人在研究、发展AI和机器人中的伦理原则，这种伦理原则能否赋予机器是个复杂的不确定性问题。我们要坚守人类的伦理底线，保持人性的忧患意识，以开放的心态面对人工智能伦理学问题的研究。中国科学院科技战略咨询研究院吴焦苏提出了Graceful AI并将Graceful AI视为目前大众的AI或者民主化AI的升级版，考虑AI的责任以及AI的技术、伦理和法律之间的界限，是要释放人们对AI的恐惧，希望道德机器能够给人类一个美好的未来。他认为Graceful AI以网络行为学的策略相关性原理(SCP)为基本模型，其策略相关系数的上界是图博弈矩阵的最小特征值的倒数，下界是图博弈矩阵的最大特征值的倒数，Graceful AI要求机器人遵循在这个上界和和这个下界之间的亚里士多德的Golden Mean原则和孔子的中庸之道进行亲人类行为。如果超过这个上限，是道德过载(Moral Overload)；如果要低于这个阈值，反过来就是道德负担不足(Moral Underload)。如若低于这个阈值太多，就进入法律管辖的范围。

IEEE标准协会高级顾问、“Ethically Aligned Design”起草委员会委员王亮迪博士从在IEEE的工作实践出发，从做什么、为什么做和怎么做来打开IEEE制定“以伦理为基准的设计”和“IEEE全球人工智能与伦理倡议”的黑盒子。她提到，IEEE的工作核心是将价值标准和伦理思考嵌套在智能系统设计之中，首先有哲学思考，再做原则，再做标准。IEEE要列出需要的价值标准，并保证互不冲突，经过不同行业、不同国家、不同性别和宗教信仰的人员进行选择和排除，得出一个普遍认同的价值观和伦理要求，再告知系统设计人员如何对价值进行排序和选择。这对中国构建人工智能伦理规则有着重要的借鉴意义。腾讯研究院法律研究中心首席研究员蔡雄山为了确保人工智能朝着普惠(broadly shared)和有益(beneficial)的方向发展，在借鉴了IEEE《人工智能以伦理为基准的设计指南》和阿西洛马23条人工智能原则的基础上，提出了中国人自己的人工智能(AI)发展六大原则，涵盖自由、正义、福祉、伦理、安全和责任六大层面，六大原则优先级由高到底，前三个更多涉及人工智能的发展方面，后三个原则更多涉及人工智能的治理方面。

在谈到全球AI伦理原则和中国治理时，李真真研究员首先肯定了国际IEEE协会发布《以伦理为基准的设计指南》的工作实践，IEEE从体现人权、优先考虑人类和自然环境好处的最大化、消弱人工智能的风险和负面影响为出发点，发展为人类利益、责任、透明、教育和意识的四个基本原则，将伦理规则嵌入到AI系统分为识别特定的规范和价值、嵌入AI系统、评估与现有人类规范价值的一致性和兼容性等三步走。她认为可以从应用伦理学的径路来解决如何将人类的规范和价值嵌入到AI系统的问题，通过对话和协商，解决社会生活中涌现的伦理冲突与道德悖论，进而形成道德共识。为此，她结合了中国的人工智能发展现状，即人工智能技术与世界同步发展，但相应的伦理法律严重滞后，提出了构建对话平台和合作平台，加强科学技术与人文社科之间、政企学媒民各界之间的对话，加强技术、伦理和法律间的研究合作。

与会专家围绕会议议题，进行了热烈而深入的讨论。针对当前的人机关系，奇虎360副总裁兼首席安全官谭晓生认为，人工智能的发展难以被限制，而且发展速度会加快，甚至导致失控。他赞成机器将替代人类导致大量人员失业、机器智能可能会威胁到人类存在等问题，但是认为世界是有一定的制衡机制的，无须对人工智能过于顾虑。上海市科学学研究所李辉副研究员通过分析国外定量的研究和中国的特殊情况研究从人工智能对就业的影响，进而考虑人工智能对经济社会的影响。中国发展研究基金会郝景芳围绕人工智能与人的思维之间的差别进行讨论，她认为人工智能虽在某些方面要强于人类，比如计算、记忆等功能，但不具有人类的思考和决策和判断能力，这源于人类面向的未来很多是具有不确定性的，而人工智能是以已有事实的大数据作为基础。此外，她还比较了机器学习方式和小孩子人脑学习的差异方式：机器基于大数据的学习，人脑是基于小数据的学习；机器是程序学习，人脑是依恋学习。

在机器权利上，阿里云研究中心田丰主任认为机器权利背后实质就是人的权利，由于涉及到的责任权利主体较多而难以确认。一方面，他提出计算驱动、商业驱动和政府驱动是促进人工智能发展的主要动力，当前需要一些创新型的政策以吸引人才和资金的投入来促进技术竞争力和相关产业的发展；另一方面，他从技术未来的可能失控和机器代替人类进行决策优缺点的角度表达了对AI的担忧。华东师范大学张桂戌教授认为目前与人工智能有关的研究以技术为主，伦理和法律层面的问题探讨较少，呼吁应该建立对话平台和合作平台，加强技术专家、伦理专家、法律专家之间的对话和交流，促进人工智能的长远和健康发展。腾讯研究院曹建峰研究员探讨了机器和人工智能在做自然人和法人代理时的法律权利和责任义务，以历史上奴隶、女性和动物的道德主体地位的演化为例，考虑以整个社会关系的稳定性为目标，未来对具有自主进化和自我意识的机器的道德主体地位进行相应的调整。会上一些专家在定位AI机器的法律主体地位时，考虑参照对宠物或者婴儿的定位，政府、企业、媒体、公众对监管机器权利有不同的分工。

谈及AI优雅时，司晓院长从企业发展人工智能前沿技术的视角，将人工智能的战略地位提高到与工业时代电力和蒸汽机的同等高度上，但人工智能取得了种种技术突破的同时要保证其为人类有利的方向发展。他认为人机关系不仅是技术关系，而且涉及到伦理关系，其核心问题是人工智能可能要代替人做决策，但无论是图像识别还是强人工智能做的决策是否与人一样，这就是伦理需要考虑和解决的问题。因此人工智能的发展必须要规则现行，需要设定AI行业的统一规则，才能保证AI行业的健康和长远发展。华为智慧工程部武志辉表示，在用人工智能当中，在工程方面应用层面，首先要有特征，再有一个标准，再有一个行为，这就是我们必须对遵守伦理和法律的框架下面去做能够真正使用户能够体验达到最大化的手机，这是我们的愿景。Smale研究院宣晓华博士认为，现在的人工智能还很初级，没有到真正威胁人类的真正意义上的智能。但是也出现了一系列问题，对这样的问题数学研究本身也可以推动让我们来制定法律，然后相应地在各个行业里来看最后AI到底是怎么样一个Graceful AI也好，有没有造成非常大的破坏性。Smale研究院本身研究的问题可能相对比较可定义，实际上也是帮助人们能够真正理解人工智能是什么，基于更好更技术的理解也可以推动更多的伦理学家和政治家更好地利用人工智能。

涉及到AI治理时，中国科学院自然科学史研究所高璐副研究员以生物技术的治理和负责任研究概念的出现为例，阐述了科学技术与社会的关系是个不断改善的过程，不同的利益相关者在发展过程对社会产生不同影响。涉及到相关的治理问题，她认为伦理治理不只是一套规则，而是一个持续的调和过程，并且要考虑地方性和特殊性，将这种地方性融入到对中国人工智能领域的治理。《今日头条》智库执行总监贺佳认为无论是政府层面还是行业组织层面都在积极探索制定AI领域的规则，其中企业在发展人工智能的时候具有不可推卸的社会责任，如何将地方性的价值观延伸到普世的价值观嵌入到App或者人工智能系统中，这是人工智能企业必须要解决的问题。腾讯研究院孙那研究员结合了法律的地域性和滞后性等特点认为法律在当前人工智能的治理上具有局限性，需建立一套能跨域种族和国家的具有普适性的伦理原则，成为各国在发展人工智能技术普遍遵守或共同认可的原则。

最后，李真真研究员代表战略咨询院倡议共同建立AITEL联盟和联合实验室，构建对话和合作平台，推动AI技术与伦理、商业和企业的发展，该倡议得到了与会人员的积极响应和赞同。司晓院长代表腾讯研究院充分肯定了本次研讨会的研究成果，希望与战略咨询院加大合作，推动我国人工智能的技术、伦理与法律研究。