季卫东：人工智能时代的治理与法制创新

作者：季卫东  来源：中美印象

人工智能时代的治理与法制创新

(根据纽约聊斋第12期云沙龙记录整理，2020年8月29日)

主讲人：上海交通大学中国法与社会研究院季卫东教授

与谈人：康奈爾大學法學院於興中教授

點評人：美国纽约福坦莫大学教授洪朝辉、北京大學法學院教授沈巋

季卫东教授：很高兴有机会到纽约聊斋来与各界朋友交流。这个名称以及“聊斋志异”的故事似乎暗示我在这里应该讲点什么类似鬼狐仙灵的奇异主题。恰巧新闻报道马斯克的最新发明是把人工智能的芯片嵌入动物乃至人的大脑中，通过脑机接口和算法来让动物或人能够随心所欲。近些年人工智能成为社会热点，在各方面的应用以及相关产业的发展日新月异，给人类带来很多冲击、兴奋以及不安。与此同时，人工智能也已经渗透到日常生活世界，就像狐狸精悄悄溜进人们的书斋、琴房以及市井。所以，我决定选择关于数字化、数据驱动、人工智能的治理以及法制创新的话题。这也是我这些年关注的一个研究方向。上海交通大学人工智能研究院携手中国法与社会研究院成立全国第一个“人工智能治理与法律研究中心”，今年7月10日在世界人工智能大会法治论坛上举行了揭牌仪式，由我担任负责人，也想借此机会介绍一下我们的问题意识和发展目标。

（季卫东教授）

从自己的专业法社会学以及数字化的信息沟通技术（ICT）导致的法律制度创新的角度切入，我在这里简单论述以下四个问题：1.人工智能引起的法与社会变迁；2.自动驾驶的权利、责任以及伦理；3.数据里的经济价值和人格尊严；4.智能网络的平台治理与代码支配。

（一）人工智能引起的法与社会变迁

日常生活各方面的数字覆盖：特别是在2016年AlphaGo击败人类职业围棋顶尖选手之后，人工智能开始引起社会的广泛关注。机器学习、深度学习使人工智能发生质变，进化后的人工智能又使人类社会发生质变。人工智能引起的社会变化主要有哪些方面？我认为最主要的是数字覆盖，使世界具有实体和虚拟双重结构，使我们越来越普遍地生活在电脑空间里。

在中国，日常生活各方面的数字化速度非常快，覆盖面也非常广。到现在大部分日本人还是倾向于用现金在实体店购买商品。2009年我回国后才知道中国的年轻人那时已经很习惯在淘宝网购物，价格实惠，也很省事和节约时间。在淘宝网购物使用支付宝，是数字货币的一种形态。后来又有微信支付，现在上海的地下车库都采取支付宝或微信支付的方式扫码付费。在餐厅、早点摊位以及农贸市场人们也广泛采取移动支付方式。快递和外卖也特别流行，尤其在新冠疫情防控期间，有利于在保持社交距离的状态下满足日常生活需求。还有交通一卡通，包括车辆电子保险的普及等等。从这些现象可以看到，中国的日常生活越来越数字化，几乎被数字全覆盖了。

这次疫情更进一步地加强了这个数字覆盖过程，如群体的体温检测、健康码、人脸识别验证，结果导致整个社会被数字化技术全面覆盖。这是一个非常重要的变化。数字全覆盖的社会使得我们的日常生活世界产生了电子复制版，所有的活动痕迹可以记录下来，转变成大数据。这样就可以在非常广泛的领域采用人工智能对大数据进行分析，进行预测。在这里，数据的规模越大、质量越好，人工智能的功能也就越强、可预测程度也就越高。总之，这就是当今社会、尤其是中国发生的一种非常本质性的变化：无所不在的数字覆盖和智能跃进。

经济活动的重点对象从资源到数据：在数字覆盖和智能跃进的背景下，数据的经济价值就会越来越明显地呈现出来。例如淘宝网，可以根据消费场景的行踪，分析购买人的经济状况、行为方式、目前的需求、偏好，再根据这些信息和演算结果推送出相应的商品广告、确定生产计划以及营销模式。也就是说，在数字覆盖的背景下，企业可以通过人工智能对大数据的分析和预测揭示个人的隐私、推断社会的发展趋势，获得竞争的优势以及盈利的机遇。在这个意义上可以说，数据是有经济价值的。马云曾经说过：数据就是21世纪的石油。数据就是人工智能社会的生产资料。数字化的经济就是由大数据和人工智能来驱动的。人工智能系统的联结、交错、互动，会构成智能网络化社会。通过智能技术收集数据、应用大数据进行分析和预测，从而决定社会运作方式，我们的整个社会已经变成了一个数据驱动的社会。

在这里，数据不仅具有经济价值，甚至还成为沟通的媒介、交易的通货。显而易见，中国在数据的收集和利用方面是具有独特优势的。在中国，大约70%的优质数据由国家掌握，没有很强的隐私意识和排他性的权利设置来构成数据的壁垒，这就使各个领域的数据更容易汇集到一起进行处理。也就是说，数据空间没有被过于强势的数据主体格局、没有形成小国寡民的碎片化状态。在这样的状况下，数据规模与人工智能功能的正比例关系法则就会更加强有力。数据的数量越多、质量越高，人工智能的算法和算力就会越发达，数据的经济价值也就越高。所以，中国的数字经济增长的速度和效益是非常惊人的。当然，在这里我们必须指出，还是不能忽视个人信息安全和隐私保护不足等问题。应该找到一种兼顾数字经济发展与个人信息和隐私保护的制度安排。

为了保护个人信息安全、隐私以及数据权利，为了促进网络交易平台的发展，欧盟曾经做过一个很有代表性的尝试。在1996年，欧盟制定了一个严格保护数据库权利的规定，试图赋予数据以排他性的所有权，试图通过绝对所有权的观念来确保数据的收集和利用限定在法治的轨道上，防止滥用数据的事态发生。但是，这个法律规定的实施效果并不理想；在欧盟，迄今为止还没有出现像中国BAT(百度、阿里巴巴、腾讯)、美国GAFAM（谷歌、亚马逊、脸书、苹果、微软）那样的数字科技交易平台巨头。因为数据或者信息本身具有流动性，如果赋予排他性的数据库权利以及数据所有权，就会牺牲流动性，压抑数字经济以及网络交易平台的发展。但是，我们也不能把隐私和个人信息安全作为大数据和人工智能时代经济发展的牺牲品，因为这样会摧毁自由的基础。关键是如何在功利主义与个人自由之间找到适当的平衡点，防止或减少我们为数字覆盖付出的隐私代价。

市场交易的形态从物品到服务：市场交易的形态也发生了非常大的变化。比如之前的影碟、光盘，是影视和音乐发烧友的重要财产，大家都会设法通过购买来收藏。但到了现在，可以直接在网上下载收看和收听，只需临时购买网络服务，而不需要拥有实体的产品。还有轿车，也曾经是个人的重要财产乃至身份的象征，但是现在网约车盛行，是否拥有一辆漂亮的轿车并不那么重要了。在这个意义上，出行的座驾也由实体的物件转化成临时购买的交通服务形态。既有的现代法律体系都强调所有权，强调以物品为基础的个人权利的保障。在智能网络化社会，当市场交易的主要形态从物品转向服务时，光碟就消失了，人们觉得买车不如租车，消费者对物品的占有欲望势必减弱。与此相应，以物权为基础的法律体系也势必发生非常大的变化，商场监管的方式同样也会与过去大不相同。例如阿里巴巴的平台战略促使大量厂商、供应商都到这个巨型平台上来营销，这就会带来法律规制的新问题。为了避免阿里巴巴自己的商誉被透支、滥用，为了保障服务的规格和质量，杜绝假冒伪劣商品，这个平台就必须肩负起监管的职责。在某种意义上也可以说，交易平台在相当程度上已经代替政府发挥监管的作用，这也是行政服务民营化、市场化的一种方式。当然，与此同时政府还要对巨型的交易平台进行监督和管理，防止垄断和不正当竞争。

社会系统变化的三个基本特征：由于物联网（特别是5G物联网）的发达、人工智能广泛的应用，导致了不同人工智能系统之间发生密切的关系，互相作用，导致了智能网络化的趋势。人工智能系统各自的目标不同，有可能会发生冲突，它们的互动关系有可能导致的出乎意料的后果。本来人工智能是要进行预测的，但是在人工智能网络化、人工智能可以深度学习的情况下，不可预测性、不可解释性的问题反倒频繁发生。在有些场合，人工智能越发达，复杂化程度越高，达到的结果精确性越强，人们反倒很难准确地说明这到底是怎样实现的。这就是所谓算法黑箱化。从人工智能治理的角度来看，我们当然希望算法是透明的、可以解释的，但实际上却很难解释清楚算法的原理和机制，因果关系无法验证。这就使得问责原则很难落实。所以算法黑箱化是我们要关注的社会系统实质性变化的第二个方面。深度学习使得人工智能超出人类预设的计划和程序，能够自己归纳出新的行为模式，并根据这样的模式进行运作。在这里，自然而然会导致对人工智能发展的发展的一个忧虑，即失控。也就是说，人工智能系统的观察、学习、思考、判断、行动能力提高之后，就有可能产生自我意识和独立性，机器自主化了，人类无法对人工智能进行有效的控制。机器人还有可能造反，转而伤害人们。社会系统的上述三种变化，都会影响到制度安排，对法律体系构成严峻的挑战。

在很多方面似乎代码取代法律：在人工智能时代，技术规格往往具有非常重要的意义。有时候，代码可能使法律中现有的权利不能按规定实施，要进行改变。代码的框架有可能使得原来的法律制度安排不得不发生一些变化。在有些场合，事实已经先行，使得法律与现实脱节的问题凸显出来。人工智能在越来越多地渗透到社会当中去的时候，算法本身就决定了很多事物的运行方式。有一种说法叫做算法独裁，就是指人工智能的算法、软件、代码框架支配一切的事态。在这样的情况下，法律体系确实面临着严峻的挑战。包括区块链对密码资产通过网络共识的方法进行管理，这也是与过去所设想的法律支配是不一样的。

经济和社会全面的数字化迫使法律采取应对举措：目前中国及其他国家，人工智能应用系统发展的速度非常快，数字经济似乎处于野蛮生长的阶段。然而如果过早地进行法律规制，采取强制性措施管理大数据产业和人工智能开发，就有可能压制科技以及数字经济。另一方面，人们也会抱有深深的忧虑，因为人工智能的高歌猛进，很有可能把人类社会锁进一个特定的路径相关，将来想退也退不出来，或者退出时花费的成本太大。因此，我们应该及时对物联网、大数据以及人工智能的治理和制度设计进行思考和讨论，采取软硬兼施的适当对策。其中一个非常重要的应对方式就是强调人工智能开发的伦理、原则、政策以及法律的综合治理。如果片面采取法律的规制措施，有可能限制人工智能技术以及相关数字经济的发展，所以我们认为在现阶段软法比硬法更重要。我认为，只有通过这种方式，才能更好地适应目前既要保护人工智能发展，又要对其进行适当限制、防止野蛮生长的社会需要。上海交通大学人工智能治理与法律研究中心聚焦算料（大数据）、算法以及算力中的伦理与法理关系问题，试图构建相应的知识图谱，推动人工智能时代的制度创新。国内法学界以及相关业界都非常关注这方面的进展。最近上海的商汤智能产业研究院和北京的旷视科技有限公司等来与我们洽谈在人工智能的治理和数据法律等方面开展合作。另外，人工智能技术也广泛应用到法律适用的过程之中，特别在司法领域推进迅猛，包括电子法院、智慧司法、基于大数据的文书自动生成等等。人工智能作为法律决策辅助系统的尝试各国都在积极行动。人工智能直接用于法律决策的情况更复杂一些，涉及很多技术上、价值上的障碍，目前还处于初级阶段，还在摸索之中。

（二）自动驾驶的权利、责任以及伦理

在上述背景下，我们再来探讨一些具体的问题，先看自动驾驶。今年6月27日，上海开始启动滴滴自动驾驶网约车的服务。之前长沙试行自动驾驶网约车遭到出租车司机的集体抵制，美国亚利桑那州的自动驾驶车辆引起人身事故后各国的态度变得更加慎重。无论如何，自动驾驶普及之前还有很多法律问题有待解决。首先要考虑共享乘车服务提供者的资质和信用。目前BAT都在提供自动驾驶领域的服务，它们的战略会影响到自动驾驶的服务状况，也会影响权利义务的设置。其次，现有的《道路交通安全法》第19条规定驾驶者的资格要件，人工智能是否也需要获得驾驶执照？第三，如何界定自动驾驶车辆的智能化级别与法律的关系？一旦导入人工智能，开始只是发挥辅助性作用，或者部分操作自动化；但到了附条件自动驾驶或者完全自动驾驶，软件系统本身就成为责任主体。如果出了问题，是找汽车厂商、程序开发商，还是数据提供商追究赔偿责任？这个责任如何认定？如何分配？第四，人工智能的利用者具有不同的类型，但无论是消费利用还是商务利用，就法律而言，似乎都应该采取利用者免责的原则。

对于自动驾驶而言，利用者基于合同接受服务。这时交易的对象不是车辆，而是移动服务，车辆只是人们移动而提供的一种服务形态。自动驾驶汽车的主要特征是使用了人工智能软件。如果车辆在抵达目的地前抛锚了，意味着服务终结还是换乘其他出租车？在交易对象是车辆时由买主承担后来的风险，但在交易对象是服务时是不是由卖主永远承担后续风险？法律上缺乏明文规定。按理应该把硬件和软件相区分。如果问题出在软件，你就不能追究汽车厂商的产品责任。但是，嵌入车辆的软件的更新责任又在谁呢？是汽车厂商、还是软件供应商？在车辆故障或因自动驾驶软件瑕疵引起的事故时，会引起一系列复杂的新问题。还有，自动驾驶的人类监控和介入如何进行？如果发生紧急情况，突然由自动改为手动时也会出现混乱，在这种场合责任如何追究？既然上海已经有自动驾驶网约车上路了，这些问题就会迫在眉睫，需要有关机关及时调研和立法，制定自动驾驶的交通安全制度的设计方案。

（三）数据里的经济价值和人格尊严

再看数据的法律问题光谱带。不言而喻，人工智能离不开数据。人工智能的应用、进一步发展、预测能力的提高都有赖于数据。数据和人工智能之间存在一种正比例的关系。数据的法律问题光谱带包括两端：一端涉及财产权（数据的经济价值、数据处理模型和算法等等的知识产权），另一端涉及个人信息安全、隐私的保障。在现阶段的中国，人口规模大约十四亿、网民人数大约八亿，每天都会产生大约900兆字节的海量数据。

根据2018年的统计，中国大数据产业相关人才的规模全球第一，占比59.5%，比第二位的美国高出37.1个百分点。更值得留意的是，中国数据的公有化程度极高，大约70%以上的优质数据资源由国家掌控。这种状况有利于打破各种局部疆界充分调动数据资源来发展产业经济，也势必促进人工智能在国家治理和法律制度运作方面的广泛应用，但也把个人数据安全和隐私保护问题以更加尖锐的形式呈现出来。物联网、大数据以及人工智能的“铁三角”，在某些场合很可能剥夺公民对个人信息的自我处分权（隐私权）、人格尊严以及法律面前平等的权利。例如常见的电商和网络平外把个人消费信息作为学习数据使用，分析行为样式并发布对标广告，这是否已经构成对隐私权的侵犯是需要认真考虑的。特别是遗传信息包含那些与生俱来的特性，一旦由人工智能进行解读和外泄就很容易影响个人入学、就业以及加入商业保险，大幅度减少某些公民的人生机遇和选择空间。

在上述两端之间，还存在着数据经济价值的实现和利益分配问题。巨型的网络交易平台利用数据产生利润，但数据主体是谁？因数据而产生的利润的分配是否公正？这些都是非常复杂的法律问题。关于人工智能引起收入悬殊的问题，有人建议通过向机器人征税，但中国更强调的是通过财政部门来实施合理的、精准的社会二次分配。在这里，制度设计不得不面对某种两难困境：注重个人信息和隐私的保护就有可能妨碍数据以及人工智能方面的产业发展，注重数据驱动的经济效益却又容易侵害个人尊严和隐私，甚至引发信息安全问题。要兼顾这两个方面，就需要认真对待制度设计问题。

值得深入探讨的一种对策是：中国应该考虑设立数据托管机构，对寄存个人数据的主体给予适当的积分奖励。数据托管机构对数据进行匿名化处理，企业可以在通过资质审查后采取缴纳使用费的方式来获得和处理数据，而数据主体也可以适当分享数据产业的利益。在日本，已经出现了设立复数信息银行的构想，个人可以像存款那样把信息储蓄到银行，企业向信息银行借贷个人信息。在中国，也许公共性质的数据托管机构更适合国情。

（四）智能网络的平台治理与代码支配

美国学者劳伦斯·莱斯格教授在1999年提出一个命题：Code is law,代码就是法律。如今这样的例子很多。比如，为了保护电视节目的著作权，规定所有的DVD制作按某个技术标准只能复制一次，不能再复制到其他DVD上，以防不法者盈利。但这样也会妨害正常的学习和欣赏。无论如何，这种现象说明技术规格在相当程度上取代了法律来决定人们的行为方式。目前上海实行的“一网管通”上有政府机关的几乎所有服务项目，健康码成为一个非常方便的应用场景。然而有关信息收集、数据处理的权限和程序却并没有明确，所依据的法律根据也不清楚，并且可以瞬间改变。实际上，通过网络平台进行数字化治理以及经济活动，各种服务关系很难用法律来明确界定权利、义务关系。由此可见，人工智能的技术规格和数据的安全分级标准的制定工作已经迫在眉睫，立法也必须及时跟上。在这种背景下，也许将出现“代码与法律并行”的局面。中国存在“礼法并行”的文化传统，还有现代的“法律与政策并行”实践经验，对于代码与法律并行的治理方式也许不会产生抵触。正是在这里，我们可以找到治理方式创新的契机或者切入点。

众所周知，现代法治特别强调的是自由、个人权利的保障。在这里，自由是以隐私和个人财产权为基础。为此需要分权制衡的机制设计，对权力行使进行监督和限制。由于人工智能的高效性，我们要通过人工来对人工智能进行制衡是有困难的。当人工智能广泛应用于政治决策和法律决策，当算法黑箱化，对权力的监控和问责就会变得比较困难。在这样的情况下，用人工智能来对人工智能进行制衡，用技术来对技术进行制衡也许就是一个合理的选项，这样的分权制衡机制或许今后将变得非常重要。在这里，值得特别注意的数字化信息沟通技术是区块链。区块链最初是与比特币、数字通货联系在一起的。在这次疫情防控中，中国已经把区块链协议用于社区治理，包括信息登记、体温检测、口罩发放等。从人工智能时代防止对个人隐私的侵犯、通过制衡机制设计解决法律问题的角度来看，区块链可能会发挥关键的作用。简单来说，区块链协议的本质在于使隐私黑箱化，并使系统中枢工作完全自动化。通过挖矿方式，为人们利用区块链提供诱因，并通过区块链达成网络共识。在这个过程中通过具体的智能合约方式，明确各自的权利和义务。人工智能技术的算法黑箱化，区块链技术的隐私黑箱化，两者形成相反相成的关系，这是一种非常有趣的格局，会对今后的社会治理和法律秩序产生深刻的影响。

（五）结论

总而言之，人工智能是一个规则嵌入系统，它可促使法律的规范严格执行，形成硬法。但是，在智能网络化的情况下，不同人工智能系统之间的互动关系非常频繁而复杂，单凭硬法不免有些简单粗暴，必须借助软法来补充和协调，需要加强沟通和程序公正。另外，在算法黑箱化的情况下，人工智能系统越复杂出现操作失误的可能性就越大，问责也变得越困难。如果让人工智能系统的开发者、制造者为算法失误承担无限的连带责任，就会妨碍人工智能的发展。为了使这种责任有限化，为了确保智能合约的违约责任能够依法追究，有必要承认机器人的主体资格。实际上，只有当机器人有主体资格时，以人工智能来制衡人工智能的构想才能落到实处。

最后，再梳理一下与人工智能相关的法律问题，可以分为装置、网络、数据、算法、服务等五个方面进行探讨。在这样的背景下，人工智能引起的法律范式创新有什么呢？一是从物权到服务评价的权利观念变化；二是从法律到代码的规范形态变化；三是承认机器人权，以便追究智能合同的违约责任并使人工智能开发者、生产者的责任有限化。显然，我们面对的法律体系与过去大不相同的。进入2020年以来，我们在不断见证历史的巨变。让我们也一同见证人工智能时代的法制巨变吧。谢谢！

（於兴中教授）

於兴中教授：季教授的讲座题目叫做“人工智能时代的治理与法制创新”。我的理解是，我们现在所处的时代是一个大变革的时代。这个时代可以有不同的描述：人工智能时代，数字时代、算法或者数据的时代等等。季教授的讲座大致涵盖了这些不同的说法。这里的治理，我的理解有两层意思：一是利用人工智能来治理社会、治理国家；二是人工智能本身也需要治理。这两层意思都包含在季教授的演讲之中。我很喜欢季教授用的词“法制”，而不是“法治”。他的讲座从宏观把握，高屋建瓴讲了四个问题，实际上也是四个领域，是人工智能要研究的几个主要的领域，这几个领域与法律也有很大的关系。季教授在很短的时间内，给我们做了一个提纲挈领的阐释，理论结合实际，内容翔实，信息量非常大。提出了很多问题，也作出了回答，重点强调人工智能对法制创新的重要作用和可能性。

我就这几个领域中存在的一些问题，跟大家汇报一下自己的看法。

第一个问题， 关于人工智能。人工智能对法律制度会有多大的影响，取决于人工智能能走多远。人工智能是人的智能的一种表现形式，不是外来的东西，是人本身的智能显现投射出来的。想要了解人工智能，首先要了解人的智能。什么是人的智能就成为一个关键问题。但是到现在为止，人们在这个问题上还是没有达成一致。有些人退而求其次，不去定义人工智能到底是什么，只是对其进行分类。哈佛大学教育研究院的Gardner教授，提出过一种“多元的智能理论”，也就是一种复合性的智能理论。他把智能分为8类，如语言的智能、数理逻辑的智能、空间的智能、肢体感觉的智能、音乐的智能、内心的智能等等。还有更多其他的可能分类。从现在人工智能的发展情况来看，好像只是反映出了数理和逻辑的概念，至于肢体感觉的智能、空间的智能、音乐的智能、内心的智能还是比较复杂、比较难的，人工智能还没有达到这种程度。从这个意义来说，人工智能还有很大的局限性，往前走，走到什么程度，现在还不好预测，也许在某个节点上面，就会停下来。而且据我的观察，最近一段时间，人工智能可能又会像以前一样进入另一个冬天，那就是说目前在人工智能基础研究方面、深度学习方面好像没有太大的进展，而现在炒得比较红火的，基本上还是在应用方面。未来人工智能到底对法制产生多大的影响、发挥什么样的作用？现在可能还比较难说。这是我要谈的第一个问题。

第二个问题，我想讲的是，自动驾驶和自动驾驶车的权利和义务。目前来看，有三种办法来对待它。一种是产品责任法，这个用的比较多。车是一个产品，出了问题按照产品责任法分配责任。第二个是侵权法，这两种比较容易以现有的法律来衡量。第三种比较麻烦，就是，对机器人或自动驾驶车辆赋予人格的权利，这可以分为独立和非独立两类，就像成年人和小孩。这种做法会有很多问题：道德上的难题，哲学上的难题，以及如何理解生命，如何理解权利主体等等。有一种说法是，机器人或自动驾驶汽车可能会产生自己的意识。这个说法的可信度如何，意识出现后会不会出现自由意志，能不能依照自己的自由意志来做决定，承担一定的责任，这些都是很多人关心的问题。有学者著书立说，专门探讨人工智能的意识问题，指出要想了解人工智能会不会有意识，首先必须了解人的意识。但截至目前，我们对人的意识问题一筹莫展。甚至连人的意识到底在mind, brain还是在heart里，我们自己还没搞清楚。侈谈人工智能的意识，就更困难了。比较乐观的人会说，我们现在已经到了一个新的时代，即后人类中心主义时代。在这个时代，我们的权利观、对生命、对世界万物的看法都发生了很大的变化，我们的看法不一样了，我们给动物、山川草木赋予权利，我们也可以给机器人赋予权利。这是现在比较流行的后人类中心主义时代的说法。

第三个问题，如何对待数据。数据一面是人权，另一面是财产权，他们之间是一个矛盾。从人权的角度看，数据是不能买卖的，但从财产的角度看，则可以。可能有些人觉得财产权也是人权，但在人权研究领域里，一般不包括财产权。欧盟对数据的态度很有意思。在欧盟的《通用数据保护条例》（GDPR）里，规定了所谓数据的主体权（data subject rights）。这个概念包含执行权、访问权、更正权、删除权、不受自动化抉择的权利等等，主要是一种人权。2020年2月，欧盟委员会公布了新的欧洲数据处理的策略，采取了截然不同的态度。新政策认为数据是一种重要的、可以共享的资产，而且共享数据是公民的义务。从保护个人隐私，到促进数据共享成为公民义务，反映了数据的两重性在欧盟的法律中的体现。如何对待数据是一个很大的问题，季教授在讲座中提到了信托的办法。欧盟现在采取了信托的办法，有些国家在试用，信托的办法有可能会成功。

第四个问题，法律与代码问题。自从莱斯各（Lawrence Lessig）1999年写了Code and other laws这本书以后，法律与代码的问题日渐引起人们注意。但是，代码在何种程度上可以成为法律，法律在何种意义上可以被看做代码，是需要仔细探讨的。 很有可能，代码并不像莱斯各说的那么重要。2006年，Code2.0这本书出版后，书名中的“and other laws”被删掉了。这大概也反映一种认识上的变化。现在代码虽然已经在有些领域广泛使用，比如在区块链、便捷合约（smart contract），加密货币，以及自我规制、程式等方面，但从这还看不出代码的重要性及分量。而季教授指出的代码在技术治理方面的作用，显然更加重要。用科技的手段进一步去执行法律，此时，科技手段就是一种代码。比如，可以把知识产权法规定的法律条文直接变成代码，运用于监管场景。算法监管也是属于技术治理的内容之一。在这个意义上来说，代码是不可小觑的，代码就是法律； 法律就是代码。但代码是否能够取代法律还需要进一步思考。不过，季教授最后指出的，对于中国人来说，法律和代码这两种规范并存并不难接受，因为中国治理文化中就有“礼法结合”的传统。我赞成这种观点，我之前将这种做法称之为规范二元论，即法律与道德这两种规范系统并存，双管齐下。当然，法律与代码并存的意义可能在形式上更重要。

（洪朝辉教授）

洪朝辉教授：我想侧重分析一下人工智能对人我们人类思想的挑战。

第一，人工智能有可能抑制和弱化人的思想。AI不仅不能代替人的思想，有可能抑制思想。首先，AI有可能弱化人的三种行为：情、意、灵，有感情、会意念、出灵感的能力。其次，机器无法取代人的三大皇道：主观审美力（Aesthetic）；思想创造力（Creation)；道德同理心（Empathy)；ACE:皇道。再次，机器像人不可怕，可怕的是人像机器，但更可怕的是人分不清机器人与自然人的区别；人机趋同。

第二，长期使用和依赖AI，可能导致人的思想功能退化、异化。直立行走，是猿变人的关键；如今，人类低头、埋首电子产品，很少站立仰望，是否可能再度退化到猿人的视野和境界？成为新一代的变相“类人猿”？

第三，AI有可能控制人类思想、解构社会。当初智人能够战胜强大的尼安德特人之一大原因是智人善于合作的威力，因为智人善于制造想象的事实、虚无的承诺和法律的虚拟(legal fiction)。他们主要善于讲故事，尤其是使人相信的故事。这样，只要改变故事的内容，就能改变人类合作的内容和方式。如今，AI能够更有效地改写故事和理想，因为现代人类的合作意愿和能力日益退化。过去

人类主要靠“三师” （巫师、牧师、导师）来建立理想、取得合作，但如今人类已经很难相信被无数事实证伪的理想、故事、宗教、领袖和主义，巫师、牧师、导师的“三师”效用急剧递减。於是，为了重建信任，强化合作，需要借助机器，而AI就更善于帮助“三师”虚构理想、发展想象、重讲故事。这样，AI就能更有效地改变人类的合作模式，控制人类的行为。

第四，AI有可能促使人类更不平等。首先，数字的落差将导致新的阶级分化，目前全世界70亿人口，至少一半没有互联网，这样，更多人群将成为数字的新奴隶，数字贫困将导致经济贫困（poverty of data、poverty of information, poverty of access)。另外，AI设计出来的教育产品，可能忽略少数弱势群体的需求。不是说MOOC的主人不能满足多元需求，而是满足这些弱小、个别、穷困的受众，不值得。尤其是，大数据模型存在种族偏见、经济剥削、弱势歧视。Cathy O’Neil的Weapons of Math Destruction对此现象作了触目惊心地描写。

第五，AI有助于科技创新，但难以推动、甚至阻碍科学发现。科学是发现，科技是发明（Technological Innovation Vs. Scientific Discovery）。AI只是一种科技，而不是科学，这是一种术与学、器与道的区别。“李约瑟之谜”指出：中国自汉朝以来，出现了不少伟大的科技，但少有传世的科学。中国的四大发明不是科学发现，而是科技创新而已。多数中国人善于掌握已知的能力强，但探索未知能力和兴趣比较弱。

第六，危机可能变转机。首先，AI可能导致重大社会危机，因为人类正在面临“六失”：安全失控、法律失准、道德失范、伦理失常、隐私失密、思想失却。可怕的是，人类将在AI时代出现新的“双人记”（自然人VS智能人），类似《双城记》的悲剧：A Tale of Two “Men”（双人记）。

但是，AI也有正面的人文效用。让AI的风暴来得更猛烈一些吧！因为当AI主导人类生活之时，将是文史哲再度复兴、再度辉煌之日。届时，人类将负责思想、人文、情感和灵感，AI则负责运算、模仿和执行。未来的人类将更多地在精神世界寻找满足、探索更深层的生命寄托和意义。必须记住，未来的时代，生产力不再是第一生产力，只有思想才是第一生产力。

（沈岿教授）

沈岿教授：我想补充的是，从法理层面看，无论历史上对“法律是什么”有多少个不同的学说，目前主导和影响我们人类思维的关于法律的观念，把法律和主权国家紧密联系在一起。因此，讨论AI或智能网络时代对法律的影响，也可以从主权国家角度切入。我们通常认为，主权国家有三个非常重要的构成要素：领土、人民和政权。但是，在AI或智能网络时代，这三个方面都有极大变化。

首先，领土在网络世界中是不存在的。在网络世界中，我们是站在云上，不是站在领土上；我们是站在数据流上，不是站在土地上。这就是我们现在所感受到的跨国界。与主权国家对应的是“公民”概念（citizen），而与网络世界对应的则是“网民”概念（netizen）。我们在进行这样的讲座的时候，不再是公民，而是网民。我们很大程度上不再受中国、美国或者其他国家法律非常直接的影响，更多地是受到交流媒介平台（Zoom等）的规则限制。领土也与实体世界紧密相关。过去，我们更多地是生活在实体世界里，在古代或近代以前由于交通的不便，由于其他方面的限制，人们虽然可能知道有不同于自己生活的世界的其他实体世界的存在，但很难真正生活在多维世界中。现在，我们不仅可以时不时地在多维实体世界里穿行，还能经常穿行于实体世界和虚拟世界中。这就带来一系列问题：约束我们行为的法律或规则的制定者是谁？国家还是网络平台还是算法设计者？法律还只是主权者的意志，由主权国家的强制力实施的“硬法”？还是会更多地包括季老师所说的“软法”？我们在不同世界中接受的法律或规则发生冲突会怎么办？

其次，关于人，我对未来世界的人口结构有一种担忧。我认为存在一种人格的非人化趋势。人格这一概念原来是建立在自然人的基础上，不是建立在机器人或智能人的基础上的，但当我们试图把人格赋予机器人、智能人的时候，不管是洪教授所说的“双人记”还是於教授所说的把人格赋予机器人，我觉得就是把本来的人格概念变得非人化了。这会带来什么样的问题呢，尤其是法律问题？我同意前面几位老师的基本观点。在此基础上，我再补充一点。有些问题也许是我们以前想都不会想的。比如说，我们的确对AI的深度学习能力了解不多，对算法的未来发展也了解不多，但是，一种可能的想象是：对某些人来说，他们非常希望智能人成为他们的伴侣，他们会爱上智能人，还会希望跟智能人结婚，因为他们觉得同一个复杂的自然人相处、结婚是很难受的。也许，他们还会想，同智能人结婚以后再领养一个人，不管领养的是自然人还是智能人。这就会导致家庭的整个结构的剧烈变化，而家庭是伦理、道德、法律体系的基本单位，难免会形成连锁的法律难题。进而，是不是要满足这部分自然人的需求，又会涉及到人权观念。未来会变得很复杂、很具有挑战性。

第三，涉及到政权，如果我们在一个没有领土的网络里，政权看上去对我们的影响就弱了很多，但是，实际上，我们会面临更多的权威以及更多的全能权威。未来会面临智能权威化和权威全能化的情况。培根说的Knowledge is power，过去一种常见的翻译是，知识就是力量。但是，这同样可以翻译为知识就是权力。随着AI的发展，享有或者控制智能的个人或组织的权威会变得越来越大。比如，强大如淘宝、亚马逊等平台对数以亿计的商家和消费者的治理，就是建立在代码和智能的基础上。这些新的权威正在宣告和展示他们对某些多维世界的主宰。同时，我们传统的政权也会利用这种智能，增强其能力。我们以前总说，没有一个政府是万能的，没有一个像万能上帝存在的政府。然而，如果马斯克的芯片可以植入到猪脑、人脑，进入到人脑以后又能感受到人的活动神经。又如果政府可以利用诸如此类我们现在想象不到、但未来完全可能出现的AI技术，那么，政府对人民的控制就似乎会变得无所不能，就会比哈维尔笔下的老大哥更为全能。未来的法律必须要很好地应对“多权威”的存在以及“全能权威”的存在。总之，与法律有着密切关联的主权国家三个基本要素——领土、人口、政权——都会发生巨大变化，法律体系也必然会随之面临巨大挑战和变化。

（听众问答略）

来源时间：2020/9/8   发布时间：2020/9/8

旧文章ID：22913