下载掌阅APP，畅读海量书库
立即打开
［德］克里斯蒂安·恩斯特（Christian Ernst） 撰
韩旭至 译
自动（决策）系统的使用在日常生活中越来越普遍。例如，通过产出定制化决定或个性化建议，这些制度有意或无意地、公开或秘密地逐渐渗透到长期以来为个人自决所保留的领域。随着日常生活数字化的推进和这类系统的日益普及，受影响的人越来越难以认识到这些系统的影响或避免其影响。本章阐述了这种制度可能给个人自决带来的风险和可能的出路。
数字革命和人工智能的发展正以各种方式考验着人类与机器之间的关系。机器取代人类的恐惧偶被提及的，有时甚至是末日论式的。幸运的是，这些恐惧尚未成为现实。然而，这并不是放松的理由。当今，自动系统可对个人塑造其生活方式产生巨大影响已经十分显著，然而这时常又被推定是以一种善意和微妙的方式发生。
1
世界各地保险公司所提供的不同版本的活力健康计划（“Vitality” programme）就是一个例证。虽然活力健康计划是独立于保险公司运作的，但其参与者的表现会影响保险公司的承保条件。活力健康计划由南非探索保险公司（Discovery）于1997年开发，后来被其他公司采用。
在德国，忠利集团（Generali Group）自2016年7月开始提供活力健康计划。
该计划通过各种测试分析保险客户的初始健康状况。在此基础上，向其会员提出某些目标。为了实现这些目标，会员可以获得活力积分。会员还可以通过如完成进一步的测试和检查、到健身房运动或从健身追踪器中传输数据的方式收集积分。积分越多，会员的活力值越高。活力值越高，就越有可能在相关保险关系的框架内对所支付的保费或所参与分配的利润产生影响。此外，会员还可以从数家合作伙伴公司处获得经济利益。
2
美国保险人约翰·汉考克（John Hancock）于2018年秋季推出的“活力模式”（Vitality model）甚至被更为广泛地运用。
只有在保险客户同时加入活力计划且同意使用健康追踪器的情况下，才能购买该公司的个人健康险。
该追踪器收集的数据必须转交给保险公司，这些数据可能包括睡眠习惯、每天走的步数、是否锻炼或一天内脉搏波动等。这些数据被用以设计具体保险费率与活力计划中的其他利益。如果表现不尽如人意或未达成健康目标，约翰·汉考克的保险公司甚至可能要求保险客户为其最初以折扣价购买的健康追踪器支付后续费用。在保险关系框架内通过自动数据处理和决策系统收集和评估健康数据，可以对个人起到积极的激励作用，但也可能被视为一种消极的胁迫和压力。无论如何，它影响了个体的自主决策。
3
在人寿保险或健康保险的案例中，与健康数据的联系是非常容易理解的，而且通常可以识别出那些受影响的人。这可能与商业交易中的评分不同。评分是一种方法，通过计算一个人未来的行为概率，以支持作出建立或终止合同关系的决定。
通常情况下，在决定贷款申请或其他长期合同关系（如租赁）时，需要量化一个人的信用度。一个自动系统使用特定标准与相关人信息来计算信用度。它不仅考察往日的商业行为，而且还可能考察居住地点。甚至有报道说，相关人的姓名也具有影响。
4
通过广泛使用机器学习系统和大数据，传统的评分程序正在进一步发展。如德国初创企业“信用科技”（Kreditech）这样的公司，其并不主要关注过去的行为，而是扩大了评估因素的范围，将社交图谱包括在内，如社交网络中的联系和活动、设备数据或填写问卷的具体过程等。
信用科技公司甚至认为它们已经发现，那些不偿还贷款的人会在他们的电脑上使用一种特定的字体——据说那是一种只在赌场和扑克游戏中使用的字体。
因此，对个人行为的评价越来越多地利用与评价对象没有直接联系的信息来源。对那些受到影响的人而言，所存在的危险即对其行为的评估变得不透明和难以理解。
5
在上述事例中，始终存在使用评价程序的具体情形，如被用于确定保险或贷款的条件。然而，在未来这将可能会进一步发展。从中国来看，社会信用体系目前正在一些城市进行自愿性的试点。如果将这些机制扩展到日常生活的各个方面，就能让人了解其运作机理。
从2020年起，该制度将在北京等地全面强制执行。
该制度旨在通过综合监控提高社会诚信水平，明确以社会诚信、商业诚信、司法诚信和政务诚信为目标。
为实现这一目标，与公民个人有关的政府和个人数据将被合并。这包含了金融信用，犯罪记录信息以及来自私营公司的个人行为数据、偏好数据和人际关系数据等其他数据。
这些数据决定了个人评分的增减，可对人们的日常生活产生巨大的影响。据报道，它影响着就业机会、子女入学、预订机票高铁票或上网速度。
对于公司而言，其同样也被评分，国家补贴、政府采购或信贷条款可能取决于相关评分。
除了这些直接的结果外，个人评分也将深度影响社会交往。社会声望和地位将变得可量化、可衡量且对所有人可见。
6
自动系统可以通过多种方式对个人的法律地位施加压力。
7
自动系统将个人自决置于压力之下。
从功能的角度看，自动化（决策）系统深度细致地识别和分析人类行为模式尤为重要。这在以前是不可能实现的，现在自动系统不仅能够实现识别和分析，而且能够利用这些模式。
个人自决已经岌岌可危，正由于对他人有意识或无意识行为的破译不断增强，以及第三方在（法律）关系中公开或隐蔽地使用这些知识以提高其地位，如在商品、服务或信息交易时评估个人。这一直是商业和社会关系的一个目标，但在数字化的条件下，这一过程正呈现出一种新的特性。自动系统提供了处理大量迥然不同的数据的可能性，可识别数据之间的相关性，并从一个以往通常不能为人所察觉的领域获取新的信息。对他人行为的认识已达到了一个新的水平。由于使用了自动系统，信贷机构已经识别了电脑上使用的字体与金融信用之间的联系（尽管关于这种联系是否可靠或是否应被加以考虑的问题暂未被解答）。
这一过程的新特性还来自这样一个事实，即自动系统能够以一种人类无法实现的方式被系统地使用。因此，受到影响的个人不能习惯性地无视这些系统的后果。例如，向健康保险公司传输心率数据不仅是提供了有关脉搏和心脏状况的信息，结合有关运动的数据和受影响者的日常生活，还可以生产关于其一般健康状况和生活方式的更多信息。自动系统的使用者有时可能比一个人更了解他/她自己，并且可以在相对人没能意识到的情况下使用这些知识。
8
由于实际应用的多样性，自动系统及其影响的研究是复杂的。本章主要讨论私主体对自动系统的使用。公共机构对这类系统的使用具有另外的要求，在此不作分析。
9
自动系统对个人自决构成的风险很大程度上源于系统细粒度的显著增加。
对实际生活环境的分析，关注于个人和环境的特征及其相关性，存在前所未有的影响力。
10
同时，可以使用自动系统来详细评估一个人的个性，如关于性格和认知特征或其他个人属性。
这些数据允许特定需求和目标可以呈现、建议或披露给个人。在没有这种影响力时，个人并不会考虑这些需求和目标。
因为自动系统影响了需求和目标的来源，所以当这些需求和目标变得重要时，问题就变得尤其严重。在这种情况下，正因为有利于其他人，个人目标才被引导、塑造并成为一个目标。由此，自主变成了他律，自我形象也被他人印象所取代。
11
这种影响可以基于多种运作方式并且通过不同的技术来实现。例如，影响他人可以旨在改变其自动直觉的行为或目标意识和反思性的决策结构，从而使得相关影响能被辨认或变得不透明。
从助推（nudging）
的角度来看，这其中存在明显的重叠，只在“系统1助推”（system 1 nudges）与“系统2助推”（system 2 nudges）之间存在区别。
因为使用自动系统的目的可能是影响他人，但影响他人也可能是无意间发生的，所以抽象分析自动系统对人的可能影响会变得更加复杂。
后一种情形可能经常出现在数字化领域，比方说，数据主体已不再能够估算关于他们自己的哪些信息和数据被其他人知悉，以及这些信息和数据又是怎样被使用的。
12
具体的影响机制有众多类型，这里只能进行举例说明。
例如，受影响的人有可能通过自动系统收到关于其表现的反馈，而处理数据对其表现的描述又将影响其未来的行为。这是可穿戴设备和健康数据的一项基本功能。对一个人生活方式的聚焦和看似客观的展现之间的矛盾将导致行为上的改变。
这些数据还可以与其他人员的表现进行关联。人类寻求与他人比较、不吸引负面注意或与他人竞争的冲动可以被利用。
关于表现的用户画像也可以转让给第三方以供其控制他人，如上级或合作伙伴可利用这些用户画像施加影响。最后，自动系统可以个别地、公开地要求特定行为上的改变，或者根据以前的表现，单独地为个人定义新的任务和目标。
13
若存在对其积极影响的可能，一个人将倾向于否认个人自决的风险。事实上，许多实际应用具有这样的效果，并追求有益的改变。然而，在这一点上，使用自动系统对当事人产生了积极的还是消极的结果并不重要，重要的是由谁来决定系统的使用、它的决策体系架构、数据的生成和使用及其可能后果。使用自动系统有积极的影响，并不代表不存在风险。只有当这种积极的影响是以一种自主决定的方式实现时，才能消除风险。例如，在这种情况下，一个自动系统可以对个人的不当行为作出有意义的指示，否则这些不当行为就不会引起她/他的注意。这样的系统还可以根据用户自定义的指导方针提供有价值的建议，如为风险厌恶型用户提供风险规避决策。然而，这样做的前提是，用户在任何时候以及在每个基本内容上都自主决定是否使用系统。
14
自动系统的潜在影响通常与内容相关。随着自动决策的泛滥，存在标准化的风险，以致大量人员的个人行为将被校准且变得更加一致。一方面，这可能基于这样一个事实，即系统操作者（或系统本身自动地）可以通过自动系统设置标准，随后这些标准可以被统一和有效地应用于各种情况。
因此，这些标准可被广泛应用。若缺乏数字化规模管理的方法，这几乎不可能实现。
15
另一方面，自动系统的决策可能产生自我强化效应。合作伙伴或用户自己之前的决定，往往是决定特定决策内容的关键因素。人们倾向于使自己的行为与他人保持一致。
对于个人来说，大众的赞同可以使决策的选择显得可信，但也会造成无法偏离的干扰。因此，在过去看似获得广泛接受的决定，在未来将继续越来越多地由自动系统加以考虑。往日的赞同孕育了将来被接受的期待。此外，这些基于以往行为的决定本身也具有影响将来决策的可能性，从而进一步加强了这种效应。
16
如果一个自动系统主要建议和推荐一个特定的决策，那么其他的选择将变得不那么显眼。在探索可行性时，就更有可能选择当下的可能性。然而，如果一个人作了另一种选择，就有可能导致更高的成本或需要更大的努力。因此，这些备选方案往往不会被进一步采用。
17
在这种近似化和标准化进程中可能发展出大不相同的架构。如果个人基于社会行为或群体行为作出决策选择，则可以在社会或根据特定标准定制的群体之中进行校准。这通常会影响个案与模式之间的关系，并影响个别情况与决策执行的可能性。
近似化和标准化的过程甚至可以只涉及特定个人的行为，由此只有该人的决策选择和行为范围被限缩。后者表明，近似化不仅会发生在决策内容上，而且会随着时间的移转而发生。尤其是使用旧数据时，个人自决的发展也会受到其先前行为的压力。自动系统的操作模式对校准过程的架构至关重要。
18
基于人工智能系统的设计，可能会出现行为模式的集中和个体的趋同。可给予个人的选择可能会减少，并聚焦于主流的行为和决定。个性的实现需要更大的努力和更高的成本，甚至会导致脱离社会。
19
在此应单独考察另一种伴随且加强这些危险的情形。在当前的自动系统使用中，该情形已经显现。
20
自动系统越来越善于识别、评估和链接不同标准，并从而比较不同的状况。通过这种方式，自动系统可以在从前并不为人所知的深度和细节上，判断个体的特征、倾向、目标和意图，并据此计算预测其未来的行为。
人类的认知能力无法跟上这一步，因此人类真正解读自动系统具体决策过程的能力达到了极限。自动系统也会未经反思地使用以往的数据，这些数据缺失了其原有的语境，或者不能反映出个人最近的发展，这一事实又加剧了自动系统缺乏可理解性的问题。
如果一个自动系统基于所识别的特定语境作出决策，那么人类就不再能轻易理解这个自动化过程。即使人类观察者无法理解自动系统所识别的具体联系，该结果也可能是正确的，只是到目前为止还不能为人类所辨识罢了。如果一个人总是不确定自动系统使用的是哪种标准，那么其个人自决的可能性就会受到损害。
21
因此，当事人常常无法充分理解自动系统的决策、规范或建议是如何产生的。相关决定所依据的标准和因素仍不清楚。
个人几乎不知道在类似情形中其他人的状况。这可能会降低同意声明的价值，从法律以外的角度来看也是如此。
由于缺乏基于自动系统操作而发展行为选择的知识，使得个人更加难以偏离系统的选择。
22
在这一过程背后可能存在着一种特殊的信息不对称。
传统的信息不对称通常基于与获利者自己的领域有关的信息优势，如获利者对其所提供的合同客体特性的额外知识。然而，在使用自动系统导致信息不对称的情况下，一个人的优势恰恰来自关于和针对另一个人的信息。
此处的优势知识指向的是潜在商业伙伴的领域和人员。无论她/他是否意识到自己的需求和目标，自动系统的使用使得评估相关人员已经具有的或可被提供的个人需求和目标成为了可能。
23
个人自决的基本权利是实现人格的基本条件。
24
在德国法中，个人自决是《德国基本法》第2条第1款、第1条第1款所规定的一般人格权的表现。考虑到人的个性特征，个人的人格自由发展及其独立的生活方式受到保护。
一方面，此处指的是一种内在的自由，以确保决策可以不受他人的影响。
自动系统对个人自主的损害绝不能导致由第三方控制取代基本权利保护的自决。
这还应包括个人使其行动适应第三方的行为并影响其自身命运的可能性。
25
另一方面，个人自决进一步保护了人们按照自己的决定行事的能力，从而使人们能够感知到实际的外部影响。
在严格的自由意义上，这也包括犯错的自由。这是真实性的一种形式，即确保一个人将自己视为其行为的主体。
然而，如果一个人不能确定哪些标准和因素塑造了其日常生活，就将难以确定其自身的位置。从法律、社会和个人的角度来说均是如此。
但是，这种自我评价是至关重要的，它是自主决策的基础之一。只有对自己的地位和可能性有广泛的认识，才有可能以自主决定的方式塑造自己的生活。
26
可以说，自主决定还包括屈从于外部和外来的决定。这种以基本权利为基础的路径，主要证明要求法律制度接受和尊重个人服从他人的意志的选择。这就导致了处理个人自决的一个基本问题。个人可能从自动系统中获得便利和好处，这是否会导致个人主地放弃自决？这里出现的问题是，是否可以把捍卫自主的任务留给个人。事实上，即使采用积极的外部控制，也可能出现不利结果。
27
这就引出了一个问题：谁来决定什么对个人是最好的。
对此，本章在助推的正当性和可问责性的框架内也进行了探讨。例如，重点可以放在诱导的决策是否更为有益，相关人是否根据他们自己的标准被引导作出更好的决定，或者他们最初的行为是否有偏见和缺陷。
从家父式的内容控制或社会的角度来看，交由第三方来决定什么对人最有利可能会比较容易。然而，从尊重个人自决的观点来看，这个决定主要应留给相关的人自己去作出。因此，旨在影响意识和反思性决策结构的“系统2助推”，可能会比旨在利用直观常规认知和敏感自动性的“系统1助推”获得更广泛的接受。
28
类似的情况出现在初步/首先决定放弃自主权并服从他人影响之时。特别是，使用人工智能系统往往导致有利于使用者的信息不对称，从而使得人工智能使用者和有关个人之间出现不平衡。
在这种情况下，放弃进行自主决定也是可能的；但总是存在这样一种危险，即放弃自决时并不完全了解所有有关情况，以及这种放弃不是基于一项自主明智的决策。因此，必须确保以自主决定的方式放弃自决。
29
此处所述的关于风险的法律回应可分为具有直接影响的手段与具有间接影响的手段。
30
具有直接影响的法律手段主要关注人工智能系统影响他人的潜力。
31
这里的基本问题是确定这种潜在影响在什么时候具有法律意义。法律制度何时必须将它视为对个人自决的一种威胁？至少当相关人的决定与自动系统所建议的不同，并因此造成直接的法律后果或重要的实际结果，如影响了法律交易的具体形式时，法律相关性似乎成立。
32
然而，对于所有可能的潜在影响，既不能一概而论地肯定，也不能抽象地加以确定。原因有二：第一，实际上个人无论如何都无法逃脱现实的影响。考虑到对人的影响是通过信息施加的时候，这一点就变得显而易见。信息可以被理解为一个事实，它可以被接受者所感知，且能够影响接受者的状况或行为。
而接受者是否打算获取某一事实的问题则在此无关紧要。就像其他因素一样，当存在信息导致行为的改变且并未被接受者忽略的可能性时，该种因素才能产生影响。
结果，任何信息都可影响个人的行为，而不仅限于自动系统之中。因此，某些学者所提出的助推“数据库”，
是难以实现的。
33
第二，影响潜力的强度只能单独判断。改变行为的压力体验受到个人经历的显著影响且难以类型化。接受者认为一个自动化的系统为她/他提供了更优的、知识性的或个人的信息，这可能会增加影响的可能性，但不能一般性地暗示满足了法律相关性的阈值。
并不是自动系统对人类行为的每一个影响都普遍具有法律意义，这样国家规制的可能性才得以展开或甚至被要求。虽然，潜在影响的个体性和准确性可以提高法律风险的质量，但同时，数据主体知悉被提供给他们的关于其自身的数据与其他人的数据进行了比对，这本身并没有理由将这一过程归类为与法律有关。然而，与他人进行这种比较可能会增加影响的可能性，压力的增加也会导致法律干预更为可能。这尤其适用于关于数据主体的数据亦可供第三方查阅，而又缺乏匿名的情形。
34
根据欧盟《不公平商业行为指令》第2条第j款、第5条第4款、第8条以及第9条，一般不允许使用自动系统来影响他人。根据这些规则，国家立法者必须禁止不公平的商业行为。
不公平的商业行为，特别包括侵略性的商业行为，将被假定属于不正当影响。该指令第2条第j款规定，不正当影响是利用与消费者有关的权势地位以施加压力，即使不使用或不威胁使用武力，在很大程度上限制了消费者作出明智决定的能力。根据该指令第8条，不正当影响必然导致普通消费者可能受到不应有的引诱，从而作出其原本并不会作出的交易决定。
35
“施加压力”是使用自动系统的决定性障碍。消费者必须有这样一种印象，即如果其偏离了向其建议的决策选择，她／他会受到目的交易之外的不利因素的威胁，将无法完成交易。
这里的利益聚合当然是可能的，但不能一概而论。
尽管自动系统的使用者通常具有特殊的权力地位，但自动系统的建议具有信息的性质。自动系统影响的特殊效果是在无意识地、操纵地以及基于个性解码的基础上发展而来的，无需使用可被感知的压力。但是，并不能低估对决策自由和行为自由形成的威胁。因此，立法者应根据利用个人信息不对称的多种类型来补充不公平商业行为的范围。应以“控制效果”取代“施加压力”来建立标准。
36
或者，也可以考虑依据《不公平商业行为指令》第5条第2款的一般条款进行禁止。据此，当一个商业行为是针对特定消费者群体时，若它实质性地扭曲或可能实质性地扭曲经济行为，且该经济行为与普通消费者能获得或收到的产品有关或与普通群体成员的产品有关，则该商业行为是不公平且被禁止的。但这需要将普通消费者考虑在内。根据欧盟法院的判例和该指令的规定，普通消费者是在合理范围内明智的、善于观察的和小心谨慎的。
而自动系统的运作机制则属于另一个层次。
在面对自动系统时，通常足以为商业生活提供服务的可用消费者信息，便成为了信息不对称问题的一个组成部分。即便是对普通消费者的关键注意，也常常不如对隐藏影响机制的关注。造成问题的不仅是普通消费者，还有该指令所要求的对经济行为的实质性扭曲。根据该指令第2条第e款，当商业行为明显损害了消费者作出明智决定的能力，从而导致消费者作出原本不会作出的交易决定时，就会实质性地扭曲经济行为。影响同伴是日常商业生活中不可分割的一部分，因此这本身并非不可接受的。
然而，由于评估系统和获取个人数据的能力持续增加，可能会出现特殊的情形。自动系统越多地利用个人信息去影响行为，就将越不透明，且它们对无意识和非理性的认知或有意的人类处理的影响越大，就越有可能是该指令第5条第2款所禁止的行为。
37
这些法律禁止也可能会阻止在个别情况下使用自动系统。随机出现的标准可以证成对自动系统影响个人自决的禁止。这一标准被自动系统用于决策之中，与决策内容和目的没有任何明显的联系。因此，只有考虑相关决策的目的时，才是有可能对这种随机出现的标准进行评价。
38
此观点是基于自动系统与人类相比具有扩展知识的可能性和偏离决策的结构。如前所述，自动系统在决策中识别并考虑的联系可能是人类所无法理解的。
这就提出了在法律评价中应采取哪个基准的问题。虽然自动决策的不可理解性可能触及人类的认知极限，但由于法律体系总是以人类的能力和决策结构为基础，因此这一事实的发现并不能转移到法律情形之中。在此意义上，自动系统的使用（仍然）总是可归因于自然人或法人。
人类标准对于人工智能系统的过程也是决定性的，所以人工智能系统的合法性并不取决于其算法的必要性。
39
因此，在评估随机作用的决策标准时，必须考察一个明智第三人的知识视野及其期待。根据自动系统的目的，从明智第三人的角度来看，一个标准越是出乎意料、难以理解、存在巧合，它的使用越有可能是不可接受的。所以，不允许使用根据当前人类期望范围无法预测和理解的标准。这是通过宪法保障的一般人格权对普通法律的影响来实现的。
40
如果智能第三人的知识视野构成了影响的基础，那么并不一定能够在一个可被理解的事实语境标准与无法被理解的事实语境标准之间划清界限。
前者也被称为事实决策标准。其假设还必须建立在明智第三人的知识视野与期待的基础之上，这相当于随机作用的决策标准。
41
然而，存在一个事实标准并不必然意味着总是允许使用这种标准。使用事实标准也会严重损害个人自决。使用事实标准时，也会产生相关人所难以理解的各种后果。如果后果是可以被理解的，便出现了另一个影响：如果认为巧合造成了相关人不安全感的扩散，是因为他们并不清楚关于他们的信息哪些是可用的且哪些又已经被使用；那么可理解性加剧服从的压力，就是因为相关人更难拒绝合理的结论和改变行为的压力。
42
虽然，上述情形通常是获得相关人同意的。但是，在日常生活实践中，同意的手段给人留下了效果不佳的印象。
这可能有多种原因，如个人无法理解将数据与算法结合使用的各种后果，或者个人无暇斟酌相关条款。因此，必须在基本权利保护的框架内升级有关的宪法立场。同意的效力取决于当事人之间的权力是否取得适当的平衡。根据基本权利，如果当事人之间的权利不再平衡，则强制性法律规定可以排除同意，且据此不再肯定关于单方自身（法律）关系的独立设计。
德国联邦宪法法院关于商事代理协议、保证、婚约或继承条款的早期判决可以为此提供示范。
43
《通用数据保护条例》第22条为受影响的人提供了进一步的保护，该条款包含了关于用户画像的规定。在此意义上，用户画像要求完全基于自动处理的决定在法律上影响一个人，或者以类似的方式使人受到损害。根据《通用数据保护条例》第4条第4款，用户画像是指对个人数据采取的任何自动化处理的方式，包括评估某个自然人特定方面的情况，尤其是为了分析或预测该自然人的工作表现、经济状况、健康、个人喜好、兴趣、可信度、行为举止、地理位置或行踪轨迹。虽然这种用户画像在此处的讨论范围中经常发生，但是用户画像本身及其所依托的自动系统的影响，都不太可能总是导致一个具有法律影响或类似事实影响的决定。相反，它仅仅是鼓励相关人去作出特定决策。
44
鉴于个人自决的风险，似乎应该解除数据保护法中出现的用户画像、决定和法律影响之间的关联。而应该从用户画像在实践中的程序性作用的角度进行考察。若在数据保护法中删去“具有法律影响的决定”的要求，并据此扩展《通用数据保护条例》第22条，鉴于自动决策过程的多样性和普遍性，这将可能会使该规定变得实际上不可能执行。更明智的做法是，不仅要考虑用户画像与数据保护法的关联，还要考虑其与不公平的商业行为的相关性。在这个意义上，根据《不公平商业行为指令》第2条第j款，也可考察用户画像的“不正当影响”。“不正当影响”目前需要具有施加压力的权势地位，基于用户画像，具体信息上权势地位的情形确实存在。使用自动化用户画像同样也可作为商业行为的一个附加类型，这可能对《不公平商业行为指令》第2条第e款中的消费者经济行为产生重大影响。
45
这说明了当前一个根本性的立法挑战。目前，似乎仍然难以通过客观和功能适当的方式将具体规制手段安排至特定立法领域。
此外，《通用数据保护条例》第22条的核心条款并没有严格追求数据保护的目的。该规则并不关心使用何种数据的问题，而是关注以何种方式作出决策。尽管实际的数字化进程在不断发展，但目前还没有适当的监管环境来应对这类问题。
尽管这一条款的数据保护内容有限，但由于缺乏替代方案，相关内容只能依托于数据保护法。
46
此外，可以使用间接的机制来对抗人工智能系统带来的风险。这些间接手段旨在使人工智能系统的运作透明化，如对相关人披露规则或指引。
其目的在于加强个人自决的能力。此外，至少同样重要的是，其目的还在于激活民主进程，以便就自动系统的应用领域和许可可能达成社会共识。因此，这些机制主要是为了解决缺乏和谐化、标准化以及可理解性的问题。
47
为了在自动（决策）系统中实现该目标，可以适用《通用数据保护条例》第14条第2款第g项和第13条第2款第f项。根据这些规定，使用者应向数据主体告知自动决策的存在的信息，包括有关所涉逻辑的有意义的信息、范围和预期的影响。从受影响的法律地位视角，有必要以这样一种方式来解释“与所涉逻辑有关的信息”，即至少应披露自动系统所使用的决策和评估标准。考虑到这种评估和决策结构的复杂性，似乎没有必要，实际上也几乎不可能列出每一项标准。相反，关键在于为决策标准形成抽象的通用条款，如基于《通用数据保护条例》第9条第1款分类的条款。
最重要的是，通过相关评价标准，数据主体获得一个恰当的描述和印象。这是他们有效维护自身权益的唯一途径。
48
为了对人工智能系统的使用进行必要的公开讨论，系统操作者应进一步履行信息义务。在自动提出决策选择的情况下，应考虑以其他人或群体的待遇为基础提出备选方案。还可以考虑强制性地纳入一项决策选项，在其中并不考虑个人标准，且对所有相关人而言都是相同的，以代表一种“通常情况”。根据决策结构，也可以考虑采取随机化方式。
49
1. Bachmeier R（1995）EG-Datenschutzrichtlinie—Rechtliche Konsequenzen für die Datenschutzpraxis. RDV 11:49—52.
2. Basedow J（2019）§ 305c BGB. In: Säcker FJ et al（eds）Münchener Kommentar zum Bürgerlichen Gesetzbuch, 8th edn. C.H. Beck, München.
3. Botsman R（2017）Big data meets Big Brother as China moves to rate its citizens. WIRED. 21 October 2017. www.wired.co.uk/article/chinese-government-social-credit-score-privacyinvasion.
4. Britz G（2007）Freie Entfaltung durch Selbstdarstellung. Mohr Siebeck, Tübingen Broemel R, Trute H-H（2016）Alles nur Datenschutz? Zur rechtlichen Regulierun algorithmenbasierter Wissensgenerierung. Berliner Debatte Initial 27（4）:50—65.
5. Buchner B（2018）§ 31 BDSG. In: Kühling J, Buchner B（eds）DS-GVO, 2nd edn. C.H. Beck, München.
6. Calo R（2014）Digital Market Manipulation. George Wash Law Rev 82:995—1051.
7. Crawford K et al（2015）Our metrics, ourselves: a hundred years of self-tracking from the weightscale to the wrist wearable device. Eur J Cult Stud 18:479—496.
8. Di Fabio U（2001）Art. 2（1）GG. In: Maunz T et al（eds）Grundgesetz. Kommentar, 39th edn.C.H. Beck, München.
9. Druey JN（1995）Information als Gegenstand des Rechts. Schulthess, Zürich.
10. Duttweiler S, Passoth J-H（2016）Self-Tracking als Optimierungsprojekt? In: Duttweiler S et al（eds）Leben nach Zahlen: Self-Tracking als Optimierungsprojekt?, pp.9—42.
11. Ebers M（2018）Beeinflussung und Manipulation von Kunden durch Behavioral Microtargeting—Verhaltenssteuerung durch Algorithmen aus der Sicht des Zivilrechts. MMR 21:423—428.
12. Ernst C（2017a）Algorithmische Entscheidungsfindung und personenbezogene Daten.JuristenZeitung 72:1026—1036.
13. Ernst C（2017b）Die Gefährdung der individuellen Selbstentfaltung durch den privaten Einsatz von Algorithmen. In: Klafki A et al（eds）Digitalisierung und Recht. Bucerius Law School Press, Hamburg, pp.63—81.
14. Götting H-P（2016）4a UWG. In: Götting H-P, Nordemann A（eds）UWG. Kommentar, 3rd edn. Nomos, Baden-Baden.
15. Hansen PG, Jespersen AM（2013）Nudge and the manipulation of choice: a framework for theresponsible use of the nudge approach to behaviour change in public policy. Eur J Risk Reg 4:3—28.
16. Hartlmaier B（2018）Überwachung: Umfassendes Social Scoring wie in China ist auch bei uns möglich. WIRED. 9 November 2018. www.wired.de/article/ueberwachung-umfassendessocial-scoring-wie-in-china-ist-auch-bei-uns-moeglich.
17. Hermstrüwer Y（2016）Informationelle Selbstgefährdung. Zur rechtsfunktionalen,spieltheoretischen und empirischen Rationalität der datenschutzrechtlichen Einwilligung und des Rechts auf informationelle Selbstbestimmung. Mohr Siebeck, Tübingen.
18. Hockling S（2013）Manche Namen senken Scorewert für Kreditwürdigkeit. Die Welt. 23 March 2013. www.welt.de/finanzen/verbraucher/article114709366/Manche-Namen-senken-Scorewert-fuer-Kreditwuerdigkeit.html.
19. Holland M（2018）“Social Scoring”: Ab 2020 Punktesystem für vorbildliches Verhalten in Peking.heise online. 23 November 2018. www.heise.de/newsticker/meldung/Social-Scoring-Ab-2020-Punktesystem-fuer-vorbildliches-Verhalten-in-Peking-4231644.html.
20. Huster S（2015）Selbstbestimmung, Gerechtigkeit und Gesundheit. Nomos, Baden-Baden.
21. Jandt S（2016）Smart Health. Wird die DSGVO den dynamischen Herausforderungen gerecht? DuD 40:571—574.
22. Kamlah W（2013）§ 6a BDSG. In: Plath K-U（ed）BDSG. Kommentar, 2nd edn. Dr. Otto Schmidt, Köln.
23. Kloepfer M（2002）Informationsrecht. C.H. Beck, München.
24. Köhler H（2019）§ 4a UWG. In: Köhler H et al（eds）Gesetz gegen den unlauteren Wettbewerb. Kommentar, 39th edn. C.H. Beck, München.
25. Krämer W（2018）§ 31 BDSG. In: Wolff HA, Brink S（eds）BeckOK Datenschutzrecht, 25th edn. C.H. Beck, München.
26. Krohn P, Linder R（2018）Lebensversicherer verlangt, dass Kunden Fitness-Tracker nutzen. FAZ.20 September 2018. www.faz.net/aktuell/wirtschaft/diginomics/lebensversicherung-bei-johnhancock-nur-mit-fitness-tracker-15798146.html.
27. Lindstrom L（2014）So, when is it legitimate to nudge? The Swedish Nudging Network.5 November 2014, theswedishnudgingnetwork.com/2014/11/05/so-when-is-it-legitimate-tonudge.
28. Martini M（2014）Big Data als Herausforderung für den Persönlichkeitsschutz und das Datenschutzrecht. DVBl 129:1481—1489.
29. Meissner M（2017）Chinas gesellschaftliches Bonitätssystem. www.merics.org/sites/default/files/2017-09/China%20Monitor_39_SOCS_DE.pdf.
30. Moos F, Rothkegel T（2016）Nutzung von Scoring-Diensten im Online-Versandhandel. ZD9:561—567.
31. O'Neil C（2016）Weapons of math destruction. Allen Lane, Penguin, London.
32. Petrlic R（2016）Das vermessene Selbst. Von der Selbst-Überwachung zur Fremd-Bestimmung. DuD 40:94—97.
33. Picht P（2016）§ 4a UWG. In: Harte-Bavendamm H, Henning-Bodewig F（eds）Gesetz gegen den unlauteren Wettbewerb（UWG）. Kommentar, 4th edn. C.H. Beck, München.
34. Pötters S（2018）Art. 1 DS-GVO. In: Gola P（ed）DS-GVO, 2nd edn. C.H. Beck, München.
35. Purnhagen K, Reisch L（2016）“Nudging Germany”? Herausforderungen für eine verhaltensbasierte Regulierung in Deutschland. ZEuP 24:629—655.
36. Radlanski P（2016）Das Konzept der Einwilligung in der datenschutzrechtlichen Realität. Mohr Siebeck, Tübingen.
37. Sachverständigenrat für Verbraucherfragen（2018）Verbrauchergerechtes Scoring. Berlin 2018.
38. Schantz P（2018）Art. 1 DSGVO. In: Wolff HA, Brink S（eds）, BeckOK Datenschutzrecht, 25th edn. C.H. Beck, München.
39. Schultz PW et al（2007）The constructive, destructive, and reconstructive power of social norms. Psychol Sci 18:429—434.
40. Schulz S（2018）Art. 22 DS-GVO. In: Gola P（ed）Datenschutz-Grundverordnung. Kommentar, 2nd edn. C.H. Beck, München.
41. Seckelmann M, Lamping W（2016）Verhaltensökonomischer Experimentalismus im Politik-Labor. DÖV 69:189—200.
42. Seibel K（2015）Gegen Kreditech ist die Schufa ein Schuljunge. Die Welt. 17 April 2015. www.welt.de/finanzen/verbraucher/article139671014/Gegen-Kreditech-ist-die-Schufa-ein-Schuljunge.html.
43. Selmayr M, Ehmann E（2018）Einführung. In: Selmayr M, Ehmann E（eds）DS-GVO, Kommentar, 2nd edn. C.H. Beck, München.
44. Sosnitza O（2016）§ 4a UWG. In: Ohly A, Sosnitza O（eds）Gesetz gegen den unlauteren Wettbewerb. Kommentar, 7th edn. C.H. Beck, München.
45. State Council（2014）Planning Outline for the Construction of a Social Credit System（2014—2020）.http://chinacopyrightandmedia.wordpress.com/2014/06/14/planning-outline-for-the-construction-of-a-social-credit-system-2014-2020.
46. State Council（2016）State Council Guiding Opinions concerning Establishing and Perfecting Incentives for Promise-keeping and Joint Punishment Systems for Trust-Breaking, and Accelerating the Construction of Social Sincerity. http://chinacopyrightandmedia.wordpress.com/2016/05/30/state-council-guiding-opinions-concerning-establishing-and-perfecting-incentivesfor-promise-keeping-and-joint-punishment-systems-for-trust-breaking-and-accelerating-theconstruction-of-social-sincer.
47. Sunstein C（2016）People prefer System 2 nudges（kind of）. Duke Law J 66:121—168.
48. Thaler RH, Sunstein C（2009）Nudge: improving decisions about health, wealth and happiness. Penguin Books, London.
49. Vesting T（2001）Die Bedeutung von Information und Kommunikation für die verwaltungsrechtliche Systembildung. In: Hoffmann-Riem W et al.（eds）. Grundlagen des Verwaltungsrechts, Band. 2, Informationsordnung—Verwaltungsverfahren—Handlungsformen, 2nd edn. C.H. Beck, München.
50. Viseu A, Suchman L（2010）Wearable augmentations: imaginaries of the informed body. In:Edwards J, Penny H, Wade P（eds）Technologized images, technologized bodies. Berghahn, New York, pp.161—184.
51. von Grafenstein M et al.（2018）Nudging—Regulierung durch Big Data und Verhaltenswissenschaften, ABIDA Gutachten. Berlin, 2018.
52. Weber F, Schäfer H-B（2017）“Nudging”, Ein Spross der Verhaltensökonomie. Der Staat 56:561—592.
53. Wolff J（2015）Eine Annäherung an das Nudge-Konzept. Rechtswissenschaft 6:194—222.
54. Wuermeling U（1996）Umsetzung der Europäischen Datenschutzrichtlinie, DB 49:663—671.
55. Zillien N et al（2015）Zahlenkörper. Digitale Selbstvermessung als Verdinglichung des Körpers. In: Hahn K, Stempfhuber M（eds）Präsenzen 2.0. Medienkulturen im digitalen Zeitalter. Springer, Wiesbaden, pp.77—94.