下载掌阅APP，畅读海量书库
立即打开
［德］沃尔夫冈·霍夫曼-里姆（Wolfgang Hoffmann-Riem） 撰
韩旭至 译
导论由人工智能的应用领域及其对社会的不同影响引入，关注人工智能对法律制定、法律应用所带来的挑战，尤其是在法律规则中如何把握人工智能的机遇的同时避免或至少最小化潜在风险。对此，法律须旨在保障数字善治，既包括一般的算法系统开发，也包括特定的人工智能应用。尤为困难的是规制以机器学习为例的学习算法。其中，一个巨大的困难即保障透明度、可问责性、有责性、可修正性，以及防止隐性歧视。导论探讨了现有制度及规制的类型。同时，通过研究企业的自主规制发现，仅仅信任使用人工智能的企业会遵守道德准则是不够的，法律规则的补充必不可少。最后，导论强调了跨国协议和机构的重要性。
正在进行的数字化转型
部分是通过使用人工智能来完成的。人工智能是一种跨学科技术，旨在使用大数据集（大数据）、合适的计算能力以及特定的分析决策程序，使计算机能够在特定领域内完成近似甚至超越人类能力的任务。
1
人工智能被运用于各个领域之中，如搜索引擎、通信平台、机器人（参见本书科伦克的文章）、智能交通控制系统、自动化行政或司法决策系统（参见本书布赫霍尔茨、杰斐尔、赫姆斯特鲁维尔的文章）、自动驾驶辅助系统、医学诊疗（参见本书贾布里、莫尔纳尔-盖布尔的文章）、智能家居、网络物理生产系统（工业4.0）以及军事领域。与人工智能协同运作的算法分析和决策系统的扩张也催生了新的监控和行为控制形式（参见本书拉德马赫的文章），
同时也产生了新型犯罪活动。
2
目前，机器学习技术在人工智能中占主导地位。机器学习指能够从过去的行为记录中学习的计算机程序。
机器学习被用于模式识别、图像分类和评估、文本语言翻译以及自动生成粗略的音频和视频剪辑（如“机器人记者”）。人工智能也可能有更高级的应用，有时被称为“深度学习”。
“深度学习”与信息技术系统有关，通过使用神经网络，信息技术系统能够自己学习如何增强人类创建的数字程序，从而独立于人类编程进行进化。
3
人工智能能力及其应用的扩张同时伴随着机遇与挑战。下面我们来审视人工智能给法律与规制所带来的挑战。
4
鉴于数字化在社会中的普遍性，若在单一方面局限地探讨法律作用和规制选择，如仅限于人工智能内部或其自身进行探讨，将过于狭隘。人工智能是与智能信息技术系统使用相关的多种元素之一。其重要性可因处理类型和对操作的影响而异。因此，法律制度的每个领域都面临着不同的挑战，这些挑战不仅要求制定总体规则，而且在许多情况下要求针对特定领域采取相应的应对措施。
5
人工智能的法律应对必须克服认为人工智能主要与监控相联系的主流观点。这同样适用于长期关注数字交互规制的数据保护法。该法优先处理个人信息问题，以及尤其关注隐私保护。
诚然，就人工智能处理个人信息而言，数据保护非常重要。然而，人工智能还利用其他各类数据，包括通过匿名化而去除相关性的信息，以及在过去或目前均缺乏任何个体相关性的数据，如工业4.0领域中由机器生成的数据。
除了数据保护法外，许多其他法律领域在应对人工智能及其多方面的利用方式上可能也很重要，如电信法、竞争法（参见本书亨内曼的文章）、知识产权法和责任法（参见本书施默的文章），尤其是产品责任法。同样重要的是针对相关应用领域的法律，如医疗法（参见本书贾布里的文章）、金融市场法（参见本书斯凯梅尔的文章）和道路交通法。
6
与在社会各个领域使用复杂信息技术系统的能力相关的影响，对实现个人和公共利益尤其重要。因此，对人工智能及其应用相关的风险和机遇需要进行广泛的分析。在这个过程中，不应将视角局限于使用人工智能数字技术直接提供的服务（即输出）。同样重要的是，复杂信息技术系统的使用对决策者或受第三方的影响（即作为冲击的微观影响）。此外，还应当确定对社会有关领域或整个社会的深远、长期的影响，并确定这种影响对法律制度的重要程度（即作为结果的宏观影响）。
7
这一点可以从以下事实得到说明：一些基于数字的新服务不仅对服务对象产生影响，而且影响着第三方，以及社会子系统的活力。例如，数字化和人工智能的使用具有影响生活方式、体验、文化取向、关注点和公民价值观的强大能力，并对私人生活、教育系统、公共舆论的发展以及政治决策过程产生潜在影响（参见本书科伦克的文章）。
8
此外，特定（长远）的影响可以在社会的各个子领域中被观察到。例如，机器人技术正被用于提高生产效率和节约生产成本，可以极大地改变工作条件，乃至改变劳动力市场。在法律服务领域中，日益增长的法律科技使用亦是如此（参见本书布赫霍尔茨的文章）。在新的销售渠道中，消费者可以在亚马逊等平台上购买商品。这也会改变市场，如零售市场便会面临改变，同时也可能会对企业和服务商在城市的实用性产生影响，从而影响社会互动的本质（参见本书亨内曼的文章）。通过爱彼迎（Airbnb）预定住宿，不仅影响了长期住宅的可获得性，也影响了酒店业。对金融市场交易的算法控制可能导致不可预测的发展，如崩盘或价格暴涨等（参见本书斯凯梅尔的文章）。
9
当信息技术系统采用最先进的基础设施和最新的技术，包括高度发达的人工智能，被用于广泛的社会工程或控制经济、国家秩序、个人和社会行为时，对上述三个作用层次（输出、结果和冲击）而言，均具有特别深远的意义。这是当前中国的发展趋势。主要但不限于商业化企业，如市场主导的信息技术企业，阿里巴巴集团（尤其是其各种交易平台和流行的支付宝在线支付系统）或腾讯控股（尤其是其社交网络、新闻服务、在线游戏）广泛收集数据，并进行各类分析。其目的在于优化市场活动，使人们的社会行为与特定价值相一致（如诚实、可靠、正直、清洁、遵守法律、家庭责任等），并确保国家和社会的稳定。中国正在发展一个综合的社会评分体系/社会信用体系（目前正在试点，很快将推广应用）。
从“监视”和“压制”的角度来分析这一制度的发展是短视的。它的目标要广泛得多。
10
此导论之目的不能且不应是考察和评价中国的社会信用制度。导论提到这点，只是为了说明利用信息技术的新机会所能释放的潜力。导论仅限于讨论在当前德国和欧盟的一般情况下，法律制度所面临的挑战。
11
从伦理、社会或经济的角度来看，包括人工智能在内的数字技术可能会产生理想或不理想的影响。根据该判断，一个重要的问题是，创造和/或使用人工智能是否需要一个法律框架，特别是规制边界，以促进个人和公共利益并保护其不受消极影响。
12
毋庸置疑，在使用数字技术时，受影响领域的所有相关规范都是普遍适用的，如德国民法、刑法、公法及其相关领域的规范，以及包括欧盟法在内的跨国法、国际法规范。这些法律不需要与数字化有任何明确的联系，其仍可适用。但需要思考的是，这些主要与“模拟世界”（analog world）
相关的法律是否满足以及在何种程度上符合数字化，尤其是人工智能的要求，或者是否需要修改和补充。
13
另一个问题是，那些与数字化直接或间接相关的新法是否应被放置于法律体系的整体框架内。众所周知，个别的法律规范系统地与法律体系的其他部分相联。此外，在许多情况下，它们都嵌入复杂的法律架构之中。
在德文中，法律架构通常被称为“Regelungsstrukturen”，该术语包括用于解决问题的相关规范和专门人员安排，以及可用于制定法律和法律实施的正式与非正式的互动程序。同样相关的是组织中可用的资源（例如时间、金钱和专业知识）和行动形式，以及在必要时公共和私营部门之间进行协作和联网的机会和措施。这种法律架构在欧盟的多层次系统中可能表现出极大的复杂性。
14
法律的制定，特别是公共机关监管措施的制定，必须根据特定情况下为解决问题而选择的模式进行调整（“治理模式”包括市场、竞争、商谈、网络、合同和数字控制的问题）。
这些模式及其特定结构如何帮助实现理想的社会目标并避免不理想的影响呢？为了判断什么是理想的，需要确立合适的标准，尤其是基本的宪法价值（包括民主、法治和社会正义，参见《德国基本法》（German Basic Law, Grundgesetz, GG）第20条），
保护经济、文化、政治法治自由，防止操纵和歧视，等等。同样重要的是，蕴含于《欧盟条约》（Treaty on European Union）和《欧盟基本权利宪章》（Charter of Fundamental Rights of the European Union）及其他欧盟立法中的原则、目标和价值。
15
在算法系统的发展及算法系统的应用中确保善治，即“治理算法”
与“通过算法进行治理”
形成了一个挑战。卢西亚诺·弗洛里迪（Luciano Floridi）将“数字的治理”描绘如下：
16
数字治理是建立和实施适当开发、使用和管理信息圈
（infosphere）
的政策、程序和标准的实践。这也是一个惯例和良好协作的问题，有时既谈不上道德与否，亦谈不上合法与否。例如，透过数字治理，政府或公司可以：（1）决定及控制数据管理者及保管者所使用的程序及方法，以改善其服务的数据质量、可靠性、可获取性、安全性及可用性；（2）设计有效的决策程序，并确定数据相关流程的责任。
善治还包括遵守道德要求和确保合规。
17
配置人工智能的重要标准的示例之一，是欧盟委员会的欧洲科学与新技术伦理小组在《关于人工智能、机器人和“自主”系统的伦理声明》（Statement on Ethics of Artificial Intelligence, Robotics and “Autonomous” Systems）中列出的创建的清单：（1）人的尊严；（2）自主性；（3）责任；（4）公正、公平和团结；（5）民主；（6）法治和问责制；（7）安全、保障和身心健康；（8）数据保护和隐私；（9）可持续。
尽管该小组将此类标准纳入了道德领域，但这并没有改变它们也具有实质法律意义的事实。这突出了法律与道德之间经常发生的交互作用。法律也具有道德基础，道德原则在某种程度上又是通过法律来塑造的（参见第八部分）。
18
确保善治有多种方式。许多方式并不需要采取书面规则的形式。例如技术设计的选择等技术方法也同样重要（参见下一部分第4点）。
19
然而，善治并不是单独产生的。不仅需要把重点和关键主要放在法律上，而且应注意到法律以外的要求（如伦理或道德），以及那些被要求的人的反馈，如他们是否愿意遵守这些要求。国家的任务包括制定或修改法律，以促进和刺激善治。
20
在这方面，数字化转型面临着私法和公法关系的重新调整。作为去监管与私有化措施的结果，这一调整实则早已经开始。在最近几十年里，尤其是在电信和信息技术及相关服务领域中，私营部门的责任发生了重大转变。这些相关服务领域包括了以全球五大企业谷歌（Alphabet/Google）、脸书（Facebook）、亚马逊（Amazon）、微软（Microsoft）和苹果（Apple）为代表的大型信息技术企业的业务领域。它们主要根据自主创造的指引规范进行活动。这些指引规范在大多数情况下都是单方面制定和执行的，即便与第三方有关时，如与其服务的使用者相关时，亦是如此。
21
然而，私主体的自主建设与自主规制（参见第七部分）并不能改变国家有责任保护个人和公共利益的事实。但是，责任的错位改变了国家施加影响的基本条件、可利用的手段以及成功的前景。
22
虽然私营部门基于基本权利而受到保护，它们在规范和追求利益方面通常不受限制，但这并未完全免除其注意他人利益和公共利益的义务。国家的角色是集中精力刺激和鼓励私人去追求公共利益，从而使他们能够提供以前由国家所管理的公共服务，而国家又不完全放弃过程监管的责任。
公共与私营的合作关系已被引入一些领域的标准制定和监督中，且均要求复杂的和前所未有的法律框架。
随着公共权力机关角色的改变，德国的许多作者开始将国家称为“监管型国家”（Gewährleistungsstaat）。在英语世界中，贡纳尔·福尔克·舒珀特（Gunnar Folke Schuppert，2003）称之为“保障型国家”（ensuring state），其他人则称之为“赋权型国家”（enabling state）。他们强调国家的“保证责任”（Gewährleistungsverantwortung），即确保有足够的法律及非法律手段以保护公共利益的责任。
下文将国家的这种“保证责任”称之为“赋权型责任”。
23
必要时，国家有积极的义务建立一个保护性框架，首要保障政治、经济、社会、文化和其他基本权利的行使。国家的积极义务不仅在德国法律制度中得到承认，而且在《欧盟基本权利宪章》《欧洲人权公约》（European Convention on Human Rights）以及若干国际协定中也日益得到承认。
履行积极义务的规范要求不仅体现在基本权利中，而且体现在有关宪法原则（如《德国基本法》第20条）和基本价值（如《欧盟条约》第2条）的条款中。
24
数字化转型是由私营部门塑造的，就此而言，赋权型国家的任务就是保护个人和公共利益，其中即包括了法律手段的运用。国家有能力也有义务建立适当的架构，为行为提供规范方向，并划定必要的界限。由于变化发生得如此之快，必须进一步持续监测数字化的发展，以便在出现问题时采取行动。
25
因此，应通过对现行法的解释，修订或制定新法来明确具体要求，以应对数字化中的技术和社会变化。
26
在判例法中，也可找到有关法律如何对非法律变化作出回应的案例。例如德国联邦宪法法院在基本权利领域所作出的几项与信息技术有关的创新。早在1983年，德国联邦宪法法院对作为基本权利的信息自决权进行了法律续造，以应对数字化中新型的隐私权保护风险。
2008年，德国联邦宪法法院采取创新措施，将基本权利的保护范围扩大到“保障信息技术系统的保密性和完整性的基本权利”之中。
尽管受案争事由的限制，该判决针对的是个人计算机的在线搜索，但在2016年的另一起案件中，德国联邦宪法法院裁定，对信息技术系统的保护不仅涵盖个人使用的计算机，而且还包括计算机之间的联网，如在云上存储的数据。
同时它还强调，存储在外部服务器上的数据，在具有保密的合理期待时，同样应受到保护。以及当用户在互联网上的活动被追踪时，亦受到保护。因此，与之相关的人工智能运用也可能落入基本权利保护的范畴。
27
与信息自决的基本权利一样，法院已经理解这一在文献中经常被称为“信息技术基本权利”的权利，其赋予宪法保障人的尊严和保护人格自由发展以更大特色（《德国基本法》第1条第1款及第2条第2款）。
《德国基本法》第1条和第2条及其他基本权利规范，不仅使国家有义务避免对个人权利施加限制，还要求国家保证个人免受他人的侵害，并采取积极措施维护人权。后者的授权也被称为基本权利的“第三人效力”或“水平效力”。
然而，为了实现这一保证，必须有针对性的法律规范。例如数据保护法及信息技术安全法。处理人工智能及确保与之相关的创新责任也应受此观念约束。
28
上述信息技术基本权利涉及对信息技术系统的保护，即系统保护。该权利规定，公共机关必须保护信息技术系统的完整性，不仅要防止国家的无理干涉，而且还要防止第三方的干预。宪法要求国家采取措施来保障信息技术系统的生命力，或者至少要有这么做的可能性；此要求也可基于其他基本权利（尤其是《德国基本法》第3、5、6、10、13、14条），
以及宪法原则和基本价值的条款（参见上文第1点）：随着个人和公众利益日益受到数字技术、商业模式、行为模式以及专门针对这些技术的基础设施的影响，国家保障实现这些目标的责任变得更加紧迫。这一责任最终意味着确保一个可行的民主，以执行遵循法治的要求，基于社会正义实现保护，采取措施防止可预见的及尚未预见的风险（如对人工智能进一步发展和利用所带来的风险），以及维护以市场为代表的重要体系的能力。特别重要的是确保信息技术系统的质量，如采取措施保护网络安全。
29
由于作为用户的个人实际上无法影响系统的配置，也不再能够识别威胁，因此信息技术业中的系统保护尤为重要。也就是说，用户并没有能力保护其自身。此外，如果采用保护措施完全取决于个人的自主行动和结果，并据此采取渐进行动，那么对重要社会领域的保护注定失败。对整个社会而言，这是一项重要的任务，整个社会也必须借助法律在整体上应对它。其中，系统保护便是一个重要的起点。
30
系统性的保护并不同于系统保护，它指的是使用相关的技术以构建技术系统，独立地维护受保护的利益，尤其是第三方的利益。
这里的目标是通过技术设计来保护利益，
包括通过默认值的设定来增强保护。
该类型的系统性保护早已被用作数据保护的手段之一。例如欧盟《通用数据保护条例》第25条即明确规定了通过设计与默认设置的数据保护。《通用数据保护条例》第32条也包括了附加的要求。
然而，通过设计保护隐私可被相当广泛地应用，也可包括人工智能的使用。讨论的重点亦是在通过技术设计能确保（或至少促进）基本法律原则及作为补充的基本道德原则的有效性。
31
行使国家的赋权责任（尤其是通过立法机关、政府部门及公共行政机关），要获得参与开发和利用智能信息技术系统的私主体的支持。这不仅需要澄清目标，还需要澄清战略和实现它们的理念。这可以通过制定有针对性的指导方针来实现。就此而言，导论将在借鉴托马斯·威施迈耶指南
的基础上进行补充：
32
（1）揭示智能系统的规制作用；
（2）智能系统的适当质量水平；
（3）不受智能系统的歧视；
（4）与使用智能系统有关的数据保护和信息安全；
（5）使用与问题相称的智能系统；
（6）保证与使用智能系统有关的透明度；
（7）明确与使用智能系统有关的责任和义务；
（8）能够对智能系统进行民主和宪法控制；
（9）防止智能系统对代际生活水准造成持续性伤害；
（10）智能系统中错误的敏感性和修正的开放性。
此列表可以扩展，此处仅用于说明规制的多层次。
鉴于使用人工智能的领域众多，导论显然不可能描述所有可能对人工智能的发展和应用产生法律影响的规制工具。相反，导论将针对几个例子进行评述。本书之后各章（特别是本书第二部分）也提出了具体领域中法律进路的建议。
33
上文提出的命题是，在许多情况下，为人工智能制定规则是不够的（参见导论第二部分）。这些规则脱离于所适用领域的具体语境，以及脱离于被应用的具体方式。
同样可以想象的是适用于许多领域的规则。在这方面，数据保护法所适用的各类规范提供了一个出发点（参见本书马奇的文章）。当以人工智能处理个人数据时，这些规范便会被适用。
此外，这些规范在某种程度上可被用作规则范本，保护隐私以外的其他法益。
34
在几乎所有使用人工智能的领域都可以使用的一种工具即影响评估（参见《通用数据保护条例》第35条）。此外，也可通过公共或政府认证进行规制（参见《通用数据保护条例》第42、43条）。
例如对特别高风险的人工智能的发展与应用，即可采取此方式。在通常情况下，认证是自愿的（参见《通用数据保护条例》第42条第3款），需要为认证的实施创造激励，如采取豁免或责任限制。将机器人致害置于产品责任法下即是如此。然而，在敏感领域中，认证也可由法律强制要求。
35
未来发展和软件变化的速度通常是不可预测的，在学习算法系统中更是如此。因此还需要进行持续监控，通过自主监控和/或外部监控进行的回顾性影响评估亦是如此。在机器学习系统与智能训练程序中，明确记录软件及软件变化的职责，将有助于监控（参见本书威施迈耶文章的第15、48段）。此外，要求对被使用的数据进行标识，保留应用及使用培训程序的电子日志，以及报告和通知的职责，均言之有理。
36
特别是在智能信息技术系统中，尤其难以制定措施来确保适当的透明度、可问责性、有责性，及在适当情况下进行修正的可能（参见第六部分第3点）。
还必须采取措施确保趋势评估标准的持续发展，例如面对新兴的应用领域和风险，尤其是在识别和控制后果相关的限制方面适应道德要求。
37
此外，强制性法律（命令和控制）可能是不可或缺的。如防止歧视（参见本书蒂斯比克的文章）和确保网络安全的强制规范于未来而言尤为重要。
亦可设想对特定应用的禁止或限制。在某些情形中，德国法已经提供此类限制，例如对公共机关自动决策的相关规定。
但是，可以预见的是，随着电子政务变得越来越普遍，该应用领域将大为扩展。同时，最重要的是，新的实践经验又将对该应用产生限制。
38
鉴于人工智能所涉及的风险和机遇远远超出个人数据处理的范畴，因此有必要思考，把监控的责任赋予目前的数据保护机构是否合理。若将规制人工智能的责任赋予数据保护机构，其权力将不得不扩大，且将需要更多具有相应专业知识的职员。然而，在理想情况下，应在德国联邦层面或欧盟层面创建一个专门（但不限于）监控人工智能的机构，如数字代理处。在美国，安德鲁·塔特（Andrew Tutt，2017）即提出建立一个类似于食品药品管理局的权力机构。除监控外，
还应委托一个机构制订标准（包括执行标准、设计标准、责任标准），或至少参与相关标准的制订。
39
导论所讨论的行使国家赋权责任的可能性主要仅是方法论上的描绘，并不是测试人工智能的使用是否会在特定应用领域导致不可接受的风险的标准。这些标准必须符合宪法和跨国法的要求，且应符合伦理原则（参见第四部分和第八部分）。
40
与法律工具应用有关的技术困难必须在此搁置。但是，就规制工具进一步创新的需要而言，还应考虑法律驱动下的“创新强迫”。
这意味着利用法律来制定目标或标准。虽然这些目标或标准目前尚不能达到，但具有实现的可能性。对此，法律规定了实施期限。当到期且未延长期限时，若仍未能按相关规定执行，则必须停止发展和使用有关类型的人工智能。
41
信息技术的一些具体领域及其商业模式，可能造成有效规制的困境。此处针对其中的部分问题进行探讨。
42
鉴于速度迅猛的技术变迁，新兴活动领域与商业模式的发展，及其相应的社会变化，在许多情况下，法律的实施将具有极大的不确定性。
由于知识匮乏与发展的不可预测性，法律措施可能无效或产生不良后果。一方面，法律规则必须适应创新，避免阻碍数字化的机遇，但又不能过于灵活，以致不适合规避或最小化风险。另一方面，法律系统必须能够在无法达到法律目标和/或发生无法预见的消极后果时改变方向（可逆性措施）。就此而言，有自主学习功能的信息技术系统具重大风险，特别是在没有被注意到的情况下，学习进程将导致预期外或甚至不可逆的结果。
43
如今，关于人工智能使用的风险警告已越来越多地浮现，同时规制保护的要求也被提出，那些致力于人工智能发展事业并在商业上广泛地使用人工智能的人亦提出了相关主张。如贝宝（PayPal）联合创始人和特斯拉（Tesla）的所有者伊隆·马斯克（Elon Musk），微软（Microsoft）联合创始人比尔·盖茨（Bill Gates），苹果（Apple）联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）均是如此。
这可能并不是一个巧合。杰出的学者斯蒂芬·霍金（Stephen Hawking）也有同样的担忧。在承认人工智能的巨大潜力的同时，他呼吁加强对人工智能安全问题的关注。
关于人工智能后果的警示常常不仅与特定的应用有关，还与人工智能可能违抗人类控制、发展出毁灭人类的可能性的基本风险有关。
44
关于风险的例证之一即如何处理人工智能脑机接口和其他神经装置的问题。
相关未来风险的讨论，不仅集中在人类发展的主要伦理后果、人类智能的概念及其运作方式，人们还担心出现新的网络犯罪形式，如黑客攻击心脏起搏器和其他人工智能控制的植入物。加松（Gasson）和科普（Koops）即指出：
45
与典型的网络犯罪相比，攻击人体植入物对人类生命和健康的影响要大得多。此外，随着植入技术的进一步发展，人体与技术之间的界限越来越模糊，攻击不仅影响计算机及其数据的保密性、完整性和可用性，还会影响人体本身的完整性。网络技术与人体的结合，很可能构成网络犯罪演进的阶段，从而在新一代网络犯罪中通过植入物攻击他人。
法律调整复杂信息技术系统的困境，亦源于技术打破多方面界限或要求在无边界的领域内活动。
例如，在数字技术使用中，基础设施和商业模式不受任何边界的限制。只在特殊情况下，存在有限的区域边界，例如国界。它们往往是跨国的，特别是全球性的。这同样适用于数字化技术提供的服务及其效果。同理，人工智能的使用通常亦无边界。大型或全球性信息技术企业对尽可能地在全球或跨国的统一架构下运营尤感兴趣。对于这些企业来说，不同国家法律体系的法律法规各不相同，构成了阻碍其商业模式运用的因素之一。因此，它们寻找和利用机会来反对或规避相关规定。
46
然而，当跨国公司在一国领土上经营，并不意味着有地域限制的法律法规就无法适用。最近的例证是《通用数据保护条例》第3条第1款，明确规定“适用于营业场所设在欧盟境内的数据控制者和处理者进行的个人数据处理活动，而不论该处理行为是否发生在欧盟境内”。对此，新的《德国联邦数据保护法》（German Federal Data Protection Act, Bundesdatenschutzgesetz, BDSG）第1节进行了补充规定。
47
边界相对的无意义还涉及其他维度。例如，在信息技术领域，硬件和软件之间的界限正变得模糊不清，某些问题既可以通过硬件也可以通过软件来解决。同时，私人沟通和公共传播也日益混同。
随着物联网的发展，线上和线下的交流越来越紧密地交织在一起，这意味着一个新型的世界，即所谓的“网络世界”，正在成为一种常态。
48
边界的无意义不仅对法律规制产生影响，数字化影响着生活的方方面面已经成为事实。这意味着可以甚至可能不得不对跨界的人工智能利用进行规范，在必要时也需要对各个专门领域中人工智能的使用进行规范。
49
在一定程度上，自主学习算法系统可增强软件的独立性，应对新问题并开发解决方案，这些系统超越了初始编程所设定的应用领域或解决问题能力的限制。
50
尽管数字转型为生产、抓取与利用那些从前基本不可访问的信息创造了新的空间，但是技术设计和其他保密措施又阻止了对相关方法和结果的访问。
缺乏透明性也可能基于各类程序组件的开发与硬件制作的协同作用。对于来自其他参与者的“构建模块”以及这些组件是如何工作的知识储备不足时更是如此。在使用学习算法的地方，即使参与创建算法的程序员对被自动学习修改后的程序也不甚了解。虽然有可能克服信息技术系统的黑箱特性，
例如使用反向工程，但这通常需要高水平的专门知识和使用复杂的程序，其障碍是巨大的（参见本书威施迈耶的文章）。
51
透明度的法律障碍包括，算法被认定为商业秘密
或国家机密［《德国税收通则》（Fiscal Code—Abgabenordnung）第32条第a款第2项，参见本书布劳恩·宾德的文章］。
52
对用户、监管机关和公众来说，重点是包括人工智能使用在内的数字技术手段是普遍可理解和可控的。在这方面，充分的透明度不仅是建立信任与可问责性的先决条件，某些情况下，也是明确法律责任的先决条件。
53
此外，由于信息技术领域中的权力集中，法律实施及其结果的实现变得更为困难。
在这方面，人工智能的发展正日益被大型信息技术企业和与之相关的专业企业所主导。强大的信息技术企业设法让软件和互联网服务的开发及其产出在很大程度上保持不受监管。虽然反垄断法通常用于限制经济权力，适用于经营信息技术业务的企业，
但德国与欧盟的反垄断法在地域适用和实质性影响方面都是有限的。覆盖信息技术行业的全球反垄断法并不存在。
54
此外，反垄断法是一种确保市场生存能力的工具。尤其是从经济角度看，意味着它的效用是有限的。更实质性的担忧则涉及个人与公共利益，如保护隐私、免受操纵、公平获取信息以及防止歧视，均可能受权力不对称和权力滥用的损害。然而，对这些关切的广泛保护通常不属于反垄断法的范围，也不能自动或充分地通过反垄断措施得到保障。因此，可能需要补充性的法规，并使之与传统的法规相协调。
55
只要国内法或跨国法可适用于信息技术部门，相关跨国或全球性企业就经常试图规避法律的约束（参见上文第2点）。
法律如果可以被规避、忽视或不加以执行，公共权力机关的强制力被架空，法律将会失去效力。
56
通过针对性地选择公司注册地或转移业务活动到集团的其他部分，当其所受的法律约束更弱，或该国并不实施相关法律要求，违法也不会受到处罚时，便可以避免法律的严格约束。此外，企业还可以通过一般业务条款和条件，利用剩余的法律空间，如在使用服务的一般条款和条件中排除责任。
57
上述困境与其他困难并不意味着信息技术部门是一个无规则的区域。除了国家设立的特定于信息技术的法规外（尽管这些法规为数不多），法律制度在整体上也适用于此（前文已述）。此外，还有各种形式的私人规则和规制措施，包括那些国家机关可行使其赋权责任，从规制立场去影响的内容。为了说明规制的可能类型多种多样，下文将就信息技术部分所适用的几种制度与规则类型进行阐述。尽管这些规制措施并不是针对人工智能的风险与机遇发展而来的，但也可以检视其在多大程度上可被应用于人工智能的特定问题，或者是否可以重新配置，以帮助管理与人工智能的创造和使用相关的规制需求（确保机会，防范风险，采取措施以最小化损害）。
58
法律法规的规制范围并不包括行为人为了实现自主确定的目标而不受规则约束的自主行为。通过自主建构的方式，企业自身可以对数字算法的开发和使用以及与此相关的人工智能应用进行管理。这同样也适用于购买外部开发软件的决策。类似地，信息技术企业开发的业务模型也适用自主构建。这些业务模型的实现通常涉及人工智能的使用，从而在很大程度上也需要构建其中的用户关系。同理，审计和监控措施，其他初步的协调控制以及合规的手段，可以在企业各部门自主构建的过程中产生。此外，自主构建措施还包括企业制定的管理自身行为的准则。例如，德国电信（Deutsche Telekom）的《人工智能使用指南》（2018）和谷歌（Google）的《人工智能：我们的原则》（2018）。
59
自主行动还包括一些企业自愿遵守尚无约束力的行为准则，这些准则经集体制定或至少在包括人工智能在内的信息技术领域得到认可。导论称之为“自主施加的规则”，其在数字化领域已经存在了一段时间。它们包括非正式的礼仪规则（就像互联网早期的“网络礼仪”），以及管理软件协作开发的规则（如开源或开放内容）。值得注意的还有以道德或伦理为基础的非约束性行为准则和其他行为规范。同样相关的是，一家公司开发的技术标准，对第三方没有法律约束力，其他公司亦可以采用。
60
尽管它们没有法律约束力、不受法律制裁，但在社会意义上，自主施加的规则也可能具有制裁力，可体现为名誉受损、被社会排斥等。
61
导论用此术语描述一类规则，这些规则旨在追求一个超越个案并具法律约束力的规制目标。就这些规则是企业在没有公共机关参与的情况下创建的而言，导论称之为“企业的自主规制”。这与行业或商业团体通过的行为准则有关，特别是那些由章程要求会员遵循其规定的协会制定的行为准则。同时，技术标准也属于“企业的自主规制”，包括那些虽然是由一家企业开发的，但在市场上获得认可，基本上具有约束力的标准。例如，相关标准控制着有关产品责任问题的决定（标准就像是一种关于科技的艺术表达）。
62
“规制自主规制”
指的是，公共机关将问题的解决方案委托给社会成员，尤其是企业，（相对）自主地进行规制；同时鼓励其遵守某些目标，如实现公共利益；也可以通过实体法或程序法中具有约束力的要求，采用法律规定的激励措施或以规制方式。此种激励可通过不同形式进行，不仅可采取行为激励的形式（如采购指示），而且还可以通过建立公私主体协作的架构或机构进行。
63
在规制自主规制中，可使用的规制工具包括对私人或被认可的主体进行认证与审计的法律要求。
这些工具在数据保护方面有着悠久的历史，也可能在其他维度上适用于智能信息技术系统。在这方面，这种形式的措施不一定需要具有作为强制性的法而具有法律约束力。相反，公共机关也可以创造采用这些措施的激励，例如提出在遵循相关要求情形时的责任限制（参见第五部分第6点）。
64
例如，《通用数据保护条例》即有赖于规制自主规制的可能性。该法鼓励协会或其他机构制定行为准则，以促进其适当和有效的技术应用（《通用数据保护条例》第77、98条），也可包括人工智能的应用。《通用数据保护条例》第40条第2款即列举了几个可被规范的主题。
这些具体建议旨在成为行为准则的规制指引。然而，协会和其他机构既没有义务颁布这些规范，也没有义务根据该法第40条第5款的建议，在相关行为准则有可能获得批准时，向监管机构提交相关草案。欧盟委员会可以通过实施性法令的方式，决定适用于若干成员国的行为守则在欧盟内具有普遍效力（《通用数据保护条例》第40条第9款）。根据《通用数据保护条例》第41条，也可由适当机构进行认证，以便监测行为准则的遵守情况。同时，鼓励各成员国建立数据保护认证机制以及数据保护标识和标志（《通用数据保护条例》第42条）。也可以在《通用数据保护条例》范围之外，包括在人工智能的使用中，制定相应的法律措施。
65
同属规制自主规制范畴的实例是在私营部门中获得认可的特定标准（如技术标准）在公共机关制定的法律规范中被用作控制工具，以评估某种行为是否合法，如用以评估自动驾驶领域的责任问题。通过这种方式，它们同时转化为法律。另一个例子是由德国信息技术工作组制定的信息技术安全标准。
尽管仅仅是建议性质的，但却可能会产生法律后果，例如被用于对与产品生产有关的过失进行评估。
66
此外，司法权也可以助益于规制自主规制。一个虽与人工智能无关的例子是，欧盟法院在“谷歌—西班牙案”中的决定。
法院判令谷歌采取措施，在其搜索引擎操作过程中保护所谓的“被遗忘权”。根据现已失效的欧盟《数据保护指令》（Data Protection Directive, 95/46/EC），谷歌有义务从其搜索引擎中删除受影响第三方在特定条件下反对的位于欧盟的链接（目前，《通用数据保护条例》第17条已对此进行了进一步扩展）。
这使得访问相关信息变得困难（但是相关信息不会被删除）。谷歌拥有独断的权力来决定是否删除链接。
其成立了一个由欧洲各国专家组成的咨询委员会，该委员会已就自主规制的实践提出了建议。
67
“混合规制”是指当企业以自主规制方式制定规则时，国家机构参与其中，共同制定规则或确定规则的相关性。这同样涉及上文第4点所述的几个例子。
68
更多的例证可见于信息技术安全法之中。由德国联邦信息安全办公室编制并约每6个月更新一次的《信息技术基准保护目录》（IT Baseline Protection Catalogs）
并不具有法律约束力，但可以用作认证的基础。认证可作为企业已采取适当措施的证据，例如与使用人工智能有关的保障措施，以保护其信息技术系统免受安全威胁。
69
信息技术安全法的主要目的是防止和避免网络犯罪和网络破坏造成的威胁。这些威胁虽然有时会使用人工智能，但也可以通过使用人工智能来避免。尤其是对于所谓的“关键基础设施”，有关企业有义务创造适当的技术和组织措施，以防止信息技术系统可用性、完整性、真实性和保密性的中断（《德国联邦信息安全办公室法案》，Gesetz über das Bundesamt für Sicherheit in der Informationstechnik第8a条第1款）。这些企业及其协会可就安全标准提出建议（《德国联邦信息安全办公室法案》第8a条第2款）。根据要求，联邦办公室将确定这些标准是否足以满足安全要求，也可以进行安全审计和认证（《德国联邦信息安全办公室法案》第8a条第3款）。
70
这一术语包括公共机关制定的准则，这些准则直接拘束相对人的行为，无须通过自我规制进行进一步干预。例如，《通用数据保护条例》中规定的合法数据处理、通知和查阅个人数据、更正和删除个数据，以及禁止歧视和不当数据使用的义务。此外，具有拘束力的要求还包括，在高风险数据的处理情况下进行影响评估的义务（参见《通用数据保护条例》第35条和第36条）。
71
特别是强制性的设定界限的法律，将落入公共机关规制的范畴。如涉及信息技术安全或打击歧视的规制领域中，将可能与使用人工智能相关。
就预防和规避威胁而言，强制性法律必不可少。对自动驾驶汽车的设计和软件的要求便是如此。
72
使用强制性的法律来限制与人工智能使用相关的风险，亦绝无法穷尽所有的可能性。但也不应忽视的是，在创新领域行为人需具有创造性且愿意合作。如果适用强制性法律不必要地阻碍了创新空间，则可能适得其反。人工智能的创新发展需要空间。尽管如此，使用法律手段确保一个适合创新的环境不应成为唯一的目标，还需要明确伴随创新而来的责任。
73
在每一个受影响的法律领域中，正式和非正式行动形式均可被用于执行规范要求。本章仅顺带提及此点。但应将相关内容添入前文所述的数字化时代、数字算法作为决策者，即“通过算法进行治理”（参见第四部分）之中。“法律科技”即被用于描述通过数字化来制定和适用法律，以及代替人类决策的算法，其中即包括人工智能的使用。
与之相关的风险和基于并不能在此深入展开。（参见本书布赫霍尔茨的文章）。
74
前文提到，通常来说道德和法律要求是紧密相连的，数字化与人工智能的使用亦是如此（参见第四部分）。配置人工智能开发和使用的挑战即包括，明确在多大程度上保护措施应仅基于道德标准，抑或同时应由法律支持，特别是通过约束性规则进行规范。
75
近期，众多机构一直在处理数字伦理的相关问题，包括人工智能方面的问题，
还有一些机构仍在研究这些问题。例如，欧盟委员会已经建立了一个“人工智能高级专家组”。
同样地，德国联邦政府已经为人工智能战略奠定了基础。
它还成立了数据伦理委员会，并赋予其解决某些核心问题的任务；2019年10月该委员会已发布了相关意见。
德国联邦议会成立了一个关于人工智能的调查委员会，该委员会也计划处理相关道德问题。
值得注意的是，个别企业也已设立了道德指引或相关原则，如上文所提到的谷歌和德国电信。和学术界一样，
一般公众也对道德的作用及其与法律规则的关系进行了激烈的讨论。
76
人工智能领域中法律规制和实施相关的一般困难，包括了在跨国法律框架上达成协议的困境。跨国法律框架讨论的风险即，如果讨论达成结果，该结果将最终在很大程度上是不具拘束力的，并且通常只制定模糊的道德原则。无论如何，可以预期的是，大多数信息技术企业，特别是那些占市场支配地位的公司，将更愿意采取道德原则而非法律约束，同时他们将试图尽可能地阻碍法律和处罚措施的制定，以保留维护其自身利益的空间。
77
完全寄托于道德原则将与国家的赋权责任相悖。鉴于数字化普遍存在的风险，尤其是人工智能的使用，由国家机关制定法律，或至少在法律制定中发挥作用，并提供制裁方案，无疑必不可少。对道德原则的口头承认不能作为免除法律约束的托辞。
78
由于地域的分割是使用人工智能的典型情形（参见第六部分第2点），国内的举措，包括一国的法律规则，往往不足以解决相关问题。因此，也需要跨国的和全球有效的工具。这些工具最好能以相应的跨国和国际协定为基础，至少应是旨在采取法律的形式。这包括跨国治理中新的理念、协议和机构。
其中，公共部门与利益相关者进行合作，即与数字经济中的协会和企业合作，也与非政府组织和代表市民社会利益的其他实体合作。
为了产生持续性影响，这种跨国协定需要国家机关制定的法律，或至少是国家机关在制定中发挥作用的规制，并辅之以执行措施。
79
1. Bafin（2018）Big Data trifft auf künstliche Intelligenz, Herausforderungen und Implikationen für Aufsicht und Regulierung von Finanzdienstleistungen. www.bafin.de/SharedDocs/Downloads/DE/dl_bdai_studie.html.
2. Baumgartner U, Gausling T（2017）Datenschutz durch Technikgestaltung und datenschutzfreundliche Voreinstellungen. Zeitschrift für Datenschutz:308—313.
3. Benz A, Dose N（eds）（2010）Governance—Regierung in komplexen Regelsystemen, 2nd edn. VS Verlag für Sozialwissenschaften, Wiesbaden.
4. Beucher K, Utzerath J（2013）Cybersicherheit—Nationale und internationale Regulierungsinitiativen: Folgen für die IT-Compliance und die Haftungsmaßstäbe. MultiMedia und Recht:362—367.
5. Bishop CM（2008）Pattern recognition and machine learning. Springer-Verlag, Berlin.
6. BITKOM（2017）Künstliche Intelligenz verstehen als Automation des Entscheidens. Leitfaden. www.bitkom.org/sites/default/files/file/import/Bitkom-Leitfaden-KI-verstehen-als-Automation-des-Entscheidens-2-Mai-2017.pdf.
7. BITKOM, DIN（ed）（2014）Kompass der IT-Sicherheitsstandards—Auszüge zum Thema Elektronische Identitäten. www.bitkom.org/sites/default/files/file/import/140311-Kompassder-IT-Sicherheitsstandards.pdf.
8. Boehme-Neßler V（2017）Die Macht der Algorithmen und die Ohnmacht des Rechts. Wie die Digitalisierung das Recht relativiert. Neue Juristische Wochenschrift 70:3031—3037.
9. Bostrom N（2014）Superintelligence. Paths, dangers, strategies. Oxford University Press, Oxford.
10. Bozdag A（2013）Bias in algorithmic filtering and personalization. Ethics Inf Technol 15:209—227.
11. Breidenbach S, Glatz F（eds）（2018）Rechtshandbuch Legal Tech. Beck, München.
12. Britz G（2007）Freie Entfaltung durch Selbstdarstellung. Mohr Siebeck, Tübingen.
13. Buchholtz G（2017）Legal Tech. Chancen und Risiken der digitalen Rechtsanwendung. Juristische Schulung:955—960.
14. Bundesministerium des Innern, für Bau und Heimat/Bundesministerium der Justiz und für Verbraucherschutz（2018）Leitfragen der Bundesregierung an die Datenethikkommission vom 5. Juni 2018. https://www.bmjv.de/SharedDocs/Downloads/DE/Ministerium/ForschungUndWissenschaft/DEK_Leitfragen.pdf.
15. Bundesnetzagentur（2017）Digitale Transformation in den Netzsektoren. Aktuelle Entwicklungen und regulatorische Herausforderungen. www.bundesnetzagentur.de/SharedDocs/Downloads/DE/Allgemeines/Bundesnetzagentur/Publikationen/Berichte/2017/Digitalisierung.pdf.
16. Bundesregierung（2018）Eckpunkte der Bundesregierung für eine Strategie künstlicher Intelligenz. www.bmbf.de/files/180718%20Eckpunkte_KI-Strategie%20final%20Layout.pdf.
17. Callies C（2006）Schutzpflichten § 44, in: Merten D/Papier H-J, Handbuch der Grundrechte in Deutschland und Europa, Band II, Auflage, Heidelberg: 963—991. § 44.
18. Castilla A, Elman J（2017）Artificial intelligence and the law. TechCrunch, Bay Area. techcrunch.com/2017/01/28/artificial-intelligence-and-the-law/.
19. Cath C（2018）Governing artificial intelligence: ethical, legal and technical opportunities and challenges. Philos Trans Royal Soc A 376:20180080. https://doi.org/10.1098/rsta.2018.0080.
20. Chen Y, Cheung ASY（2017）The transparent self under big data profiling: privacy and Chinese Legislation on the Social Credit System. J Comp Law 12:356—378.
21. Cole T（2017）Digitale transformation, 2nd edn. Franz Vahlen, München.
22. Cornils M（2017）Entterritorialisierung im Kommunikationsrecht. Veröffentlichungen der Vereinigung der Deutschen Staatsrechtslehrer 76:391—437.
23. Creemers R（2018）China's social credit system: an evolving practice of control. ssrn.com/abstract¼3175792 or https://doi.org/10.2139/ssrn.3175792.
24. Data Ethics Commission（2019）Opinion—executive summary of Oct 23:2019. https://www.bmjv.de/DE/Themen/FokusThemen/Datenethikkommission/Datenethikkommission_EN_node.html.
25. Dai X（2018）Toward a reputation state: the social credit system project of China. ssrn.com/abstract¼3193577.
26. Deutsche Telekom（2018）Die neun Leitlinien der Telekom zum Einsatz von künstlicher Intelligenz. www.telekom.com/de/konzern/digitale-verantwortung/details/ki-leitlinien-dertelekom-523904.
27. Djeffal C（2018）Normative Leitlinien für künstliche Intelligenz in Regierung und öffentlicher Verwaltung. In: Kar MR et al（eds）（Un-）Berechenbar? Algorithmen und Automatisierung in Staat und Gesellschaft. Fraunhofer-Institut für Offene Kommunikationssysteme, Berlin, pp.493—515.
28. Dolderer M（2000）Objektive Grundrechtsgehalte. Duncker & Humblot, Berlin.
29. Ehmann E, Selmayer M（2018）Datenschutz-Grundverordnung, 2nd edn. Beck, München.
30. Eidenmüller H（2017）The rise of robots and the law of humans. ZEuP 25:765—777.
31. Eifert M（2001）Regulierte Selbstregulierung und die lernende Verwaltung. Die Verwaltung, Beiheft 4:137—157.
32. Enquête-Kommission（2018）Künstliche Intelligenz—Gesellschaftliche Verantwortung und wirtschaftliche, soziale und ökologische Potenziale. www.bundestag.de/blob/574748/7c0ecbc8a847bb8019f2045401c1d919/kuenstliche_intelligenz_1-data.pdf.
33. European Commission（2018）Press Release concerning the appointment of a “High-Level Expert Group on Artificial Intelligence” of Dec 17, 2018. ec.europa.eu/digital-single-market/en/highlevel-expert-group-artificial-intelligence.
34. European Group on Ethics in Science and New Technologies（2018）Statement on artificial intelligence, robotics and “Autonomous” systems. ec.europa.eu/research/ege/pdf/ege_ai_statement_2018.pdf.
35. Fischer-Lescano A（2014）Der Kampf um die Internetverfassung: Rechtsfragen des Schutzes globaler Kommunikationsstrukturen von Überwachungsmaßnahmen. JuristenZeitung 69:965—974.
36. Floridi L（ed）（2015）The Onlife Manifesto. Being human in a hyperconnected World. Springer, Cham.
37. Floridi L（2018）Soft Ethics, the governance of the digital and the General Data Protection Regulation. Philos Trans Royal Soc A 376:20180081. https://doi.org/10.1098/rsta.2018.0081.
38. Franzius C（2009）Gewährleistung im Recht: Grundlagen eines europäischen Regelungsmodells öffentlicher Dienstleistungen. Mohr Siebeck, Tübingen.
39. Gasson MN, Koops B-J（2013）Attacking human implants: a new generation of cybercrime. Law Innov Technol 5:248—277.
40. Goodfellow I et al（2016）Deep Learning. MIT Press, Cambridge.
41. Google（2015）The Advisory Council to Google on the right to be forgotten. drive.google.com/file/d/0B1UgZshetMd4cEI3SjlvV0hNbDA/view?pli¼1.
42. Google（2018）AI at Google: Our Principles. blog.google/technology/ai/ai-principles/.
43. Harris D et al（eds）（2018）Law of the European Convention on human rights. Oxford University Press, Oxford.
44. Hartung M, Bues M-M, Halbleib G（eds）（2018）Legal Tech: die Digitalisierung des Rechtsmarkts.Beck, München.
45. Hauser M（2015）Das IT-Grundrecht. Schnittfelder und Auswirkung. Duncker & Humblot, Berlin.
46. Hawking S（2018）Kurze Antworten auf große Fragen. Klett-Cotta, Stuttgart.
47. Hildebrandt M（2015）Smart technologies and the End（s）of Law. Novel entanglements of law and technology. Edward Elgar, Cheltenham.
48. Hildebrandt M（2017）Saved by design? The case of legal protection by design. Nanoethics 11:307—311.
49. Himma KW, Tavani HT（eds）（2008）The handbook of information and computer ethics. John Wiley & Sons, Hoboken.
50. Hoeren T, Niehoff M（2018）KI und Datenschutz—Begründungserfordernisse automatisierter Entscheidungen. Rechtswissenschaft 9:47—66.
51. Hoffmann-Riem W（2016）Innovation und Recht—Recht und Innovation. Mohr, Tübingen.
52. Hoffmann-Riem W（2017）Verhaltenssteuerung durch Algorithmen—eine Herausforderung für das Recht. Archiv des öffentlichen Rechts 142:1—43.
53. Hoffmann-Riem W（2018）Rechtliche Rahmenbedingungen für und regulative Herausforderungen durch Big Data. In: Hoffmann-Riem W（ed）Big Data—Regulative Herausforderungen. Nomos, Baden-Baden, pp.11—78.
54. Jakobs J（2016）Vernetzte Gesellschaft. Vernetzte Bedrohungen. Wie uns die künstliche Intelligenz herausfordert. Cividale, Berlin.
55. Just N, Latzer M（2016）Governance by algorithms: reality construction by algorithmic selection on the Internet. Media Cult Soc:1—21.
56. Kaplan J（2016）Artificial intelligence. Oxford University Press, New York.
57. Knebel SV（2018）Die Drittwirkung der Grundrechte und -freiheiten gegenüber Privaten. Regulierungsmöglichkeiten sozialer Netzwerke. Nomos, Baden-Baden.
58. Kolany-Raiser B, Heil R, Orwat C, Hoeren T（2018）Big Data und Gesellschaft. Eine multidisziplinäre Annäherung. Springer, Wiesbaden.
59. Körber T（2017）Konzeptionelle Erfassung digitaler Plattformen und adequate Regulierungsstrategien. Zeitschrift für Urheber- und Medienrecht 61:93—101.
60. Kroll J（2018）The fallacy of inscrutability. Philos Trans Royal Soc A 376:20180084. https://doi.org/10.1098/rsta.2018.0084.
61. Kulwin N（2018）The Internet Apologizes ... Even those who designed our digital world are aghast at what they created. A breakdown of what went wrong—from the architects who built it. nymag.com/intelligencer/2018/04/an-apology-for-the-internet-from-the-people-who-built-it.html.
62. LatzerMet al（2016）The economics of algorithmic selection of the internet. In: Bauer JM et al（eds）Handbook on the economics of the internet. Edward Elgar Publishing, Cheltenham, pp.395—425.
63. Leisterer H（2018）Internetsicherheit in Europa. Mohr Siebeck, Tübingen.
64. Lenzen M（2018）Künstliche Intelligenz. Was sie kann & was uns erwartet. Beck, München.
65. Leonelli S（2016）Locating ethics in data science: responsibility and accountability in global and distributed knowledge production systems. Philos Trans Royal Soc A 374:20160122. https://doi.org/10.1098/rsta.2016.0122.
66. Leopoldina（2018）Nationale Akademie der Wissenschaften, acatech. In: Union der deutschen Akademien der Wissenschaften（ed）Stellungnahme: Privatheit in Zeiten der Digitalisierung. Köthen, Berlin.
67. Luch AD（2011）Das neue “IT_Grundrecht”—Grundbedingung einer “Online-Handlungsfreiheit”. MMR 14:75—79.
68. Marauhn T（2015）Sicherung grund- und menschenrechtlicher Standards gegenüber neuen Gefährdungen durch private und ausländische Akteure. Veröffentlichungen der Vereinigungder Deutschen Staatsrechtslehrer 74:373—400.
69. Marsch N（2018）Das europäische Datenschutzgrundrecht. Grundlagen—Dimensionen—Verflechtungen. Mohr Siebeck, Tübingen.
70. Martini M, Nink D（2017）Wenn Maschinen entscheiden. NVwZ Extra 10（2017）:1—14.
71. Misselhorn C（2018）Grundfragen der Maschinenethik. Reclam, Ditzingen.
72. Müller AC, Guido S（2017）Einführung in Machine Learning mit Python. O'Reilly, Heidelberg.
73. Nemitz P（2018）Constitutional democracy and technology in the age of artificial intelligence.Philos Trans Royal Soc A 376:20180089. https://doi.org/10.1098/rsta.2018.0089.
74. NETmundial（2014）NETmundial Multistakeholder Statement. www.alainet.org/images/NETmundial-Multistakeholder-Document.pdf.
75. Otto P, Gräf E（eds）（2018）3TH1CS. Die Ethik der digitalen Zeit. Bundeszentrale für politische Bildung, Bonn.
76. Pagallo U（2016）Even angels need the rules. ECAI 285:209—215.
77. Pfliegl R, Seibt C（2017）Die digitale Transformation findet statt. e&i 134:334—339.
78. Pieper F-U（2018）Künstliche Intelligenz: Im Spannungsfeld von Recht und Technik. Zeitschrift zum Innovations- und Technikrecht:9—15.
79. Precht RD（2018）Jäger, Hirten, Kritiker. Eine Utopie für die digitale Gesellschaft, 3rd edn.Goldmann, München.
80. Rath M, Krotz F, Karmasin M（2018）Maschinenethik. Normative Grenzen autonomer Systeme. Springer VS, Wiesbaden.
81. Rolf A（2018）Weltmacht Vereinigte Daten. Die Digitalisierung und Big Data verstehen. Metropolis-Verlag, Marburg.
82. Roßnagel A（2003）Handbuch Datenschutzrecht. Beck, München.
83. Roßnagel A（2017）Das neue Datenschutzrecht. Beck, München.
84. Ruge R（2004）Die Gewährleistungsverantwortung des Staates und der Regulatory State. Duncker & Humblot, Berlin.
85. Russell S, Norvig P（2012）Künstliche Intelligenz. Ein moderner Ansatz, 3rd edn. Pearson, Hallbergmoos.
86. Sattler A（2017）Schutz von maschinengenerierten Daten. In: Sassenberg T, Faber T（eds）Rechtshandbuch Industrie 4.0 und Internet of Things. Beck, München.
87. Saurwein F et al（2015）Governance of algorithms: options and limitations. info 17（6）:35—49.
88. Scherer M（2016）Regulating artificial intelligence systems: risks, challenges, competencies, and Strategies. Harv J Law Technol 29:354—400.
89. Schliesky U et al（2014）Schutzpflichten und Drittwirkungen im Internet: Das Grundgesetz im digitalen Zeitalter. Nomos, Baden-Baden.
90. Schmidt J-H（2017）Social media, 2nd edn. Springer SV, Wiesbaden.
91. Schneider I（2018）Bringing the state back in: big data-based capitalism, disruption, and novel regulatory approaches in Europe. In: Saetnan AR et al（eds）The politics of big data. Routledge, London, pp.129—175.
92. Schulze-Fielitz H（2012）Grundmodi der Aufgabenwahrnehmung. In: Hoffmann-Riem W et al（eds）Grundlagen des Verwaltungsrechts. Col.1, 2nd edn. Beck, München, § 10.
93. Schuppert GF（2003）The Ensuring State. In: Giddens R（ed）The progressive manifesto. New ideas for the centre-left. Polity Press, Cambridge, p.54 et seq.
94. Schuppert GF（2011）Alles Governance oder was? Nomos, Baden-Baden.
95. Simitis S, Hornung G, Spiecker genannt Döhmann I（eds）（2019）Datenschutzrecht. Nomos, Baden Baden.
96. Smith B（2017）The need for a Digital Geneva Convention（posted Feb. 14, 2017）. blogs.microsoft.com/on-the-issues/2017/02/14/need-digital-geneva-convention/.
97. Spiecker genannt Döhmann I（2016）Zur Zukunft systemischer Digitalisierung—Erste Gedanken zur Haftungs- und Verantwortungszuschreibung bei informationstechnischen Systemen. CR32:698—704.
98. Stetter F, Heukrodt-Bauer S（2017）IT-Grundschutzkataloge des BSI—Last oder Mehrwert? Wirtschaftsinformatik & Management 9（4）:62—66.
99. Surden H（2014）Machine learning and law. Washington Law Rev 89:87—114.
100. Tegmark M（2017）Lie 3.0: being a human in the age of artificial intelligence. Knopf, New York.
101. Tutt A（2017）An FDA for algorithms. Adm Law Rev 69:83—123.
102. Van den Hoven et al（eds）（2015）Handbook of ethics, values, and technological design. Springer Reference, Wiesbaden.
103. Veale M, Binns R, Edwards L（2018）Algorithms that remember: model inversion attacks and data protection law. Philos Trans Royal Soc A 376:20180083. https://doi.org/10.1098/rsta.2018.0083.
104. Vesting T（2017）Digitale Entgrenzung. In: Lomfeld B（ed）Die Fälle der Gesellschaft. Eine neue Praxis soziologischer Jurisprudenz. Mohr Siebeck, Tübingen, p.81 et seq.
105. Voßkuhle A, Wischmeyer T（2017）The “Neue Verwaltungsrechtswissenschaft” Against the Backdrop of Traditional Administrative Law Scholarship in Germany. In: Rose-Ackerman S, Lindseth PL（eds）Comparative administrative law, 2nd edn. Edward Elgar Publishing, Cheltenham, p.85 et seq.
106. Wehage J-C（2013）Das Grundrecht auf Gewährleistung der Vertraulichkeit und Integrität informationstechnischer Systeme und seine Auswirkungen auf das bürgerliche Recht. Universitätsverlag Göttingen, Göttingen.
107. Welfens JJ et al（2010）Internetwirtschaft 2010. Perspektiven und Auswirkungen. Physica-Verlag, Heidelberg.
108. Winfield AFT, Jirotka M（2018）Ethical governance is essential to building trust in robotics and artificial intelligence systems. Philos Trans Royal Soc A 376:2018008085. https://doi.org/10.1098/rsta.2018.0085.
109. Wischmeyer T（2017）Informationssicherheitsrecht. IT-Sicherheitsgesetzgesetz und NIS-Richtlinie als Elemente eines Ordnungsrechts für die Informationsgesellschaft. Die Verwaltung 50:155—188.
110. Wischmeyer T（2018）Regulierung intelligenter Systeme. Archiv des öffentlichen Rechts 143:1—66.
111. Wu SS, Goodman M（2013）Neural implants and their legal implications. GPSolo 30:68—69.
112. Yeung K（2008）Towards an understanding of regulating by design. In: Brownsword R, Yeung K（eds）Regulating technologies: legal futures, regulation, frames and technological fixes. Hard Publishing, London.
113. Yeung K（2017）Algorithmic regulation: a critical interrogation. Regul Gov 12:505—523.