下载掌阅APP，畅读海量书库
立即打开
终端设备通常是指位于网络末端的设备节点 [2] ，承担着连接物理世界与信息世界的重要作用，物理世界中的信息由终端设备采集和处理进入信息世界。近年来，随着电子技术与通信技术的迅猛发展，以智能手机、无人平台、物联网设备为典型代表的终端设备得到广泛部署应用。根据爱立信公司预测，到2027年，终端设备所产生的网络数据将占全球网络数据总和的51％ [3] ，智能手机、物联网设备等终端设备将成为信息世界的主要入口节点，海量原始数据正由终端设备不断产生，处理这些原始数据的需求也在同时快速增长。
同时，随着人工智能理论与方法的跨越式发展和进步，先进智能模型与算法突破了传统机器学习方法的众多性能极限。为提高终端信息处理的质量，采用深度学习等先进的模型与算法进行终端智能信息处理，已成为终端设备信息处理的重要需求之一 [4] 。面向终端智能信息处理的新需求，本书将围绕智能计算的两个主要过程，即智能模型的学习训练与部署运行 [5] ，开展研究和论述。在学习训练阶段，终端智能信息处理的主要任务是使用终端设备产生的大量训练数据，通过一定的训练算法对深度神经网络等智能模型的结构、参数等进行学习训练；在部署运行阶段，终端智能信息处理的主要任务是将训练后的智能模型部署于平台上，将终端设备产生的数据输入模型，通过计算、运行该模型来向用户反馈结果。
在现有的计算模式下，信息处理任务通常由云计算中心等大规模计算平台完成，以提高信息处理的质量。伴随技术的成熟与发展，智能化终端设备正加速渗透人们工作生活的方方面面。国务院发布的《新一代人工智能发展规划》明确指出，要加快发展智能终端核心技术，统筹建立终端与云端协同的人工智能云服务平台 [6] 。向终端设备提供智能服务，在最靠近应用场景与用户的地方进行智能信息处理的需求正不断凸显。
（1）智能化处理需求。随着终端设备应用场景与模式的不断扩展，智能交通、智能家居乃至智能作战已逐步成为现实，人们对终端设备的需求已不再停留于简单的信息采集与存储，诸如智能手机、智能家电、无人平台等新产品的出现，要求终端设备在采集、存储数据的同时，自身具备智能信息处理、向用户提供智能服务的能力。
（2）快速实时性需求。以智能交通为例，日益增多的汽车厂商在使用人工智能实现无人驾驶或辅助安全驾驶。如果将实时采集的数据发送到云端进行信息处理，所产生的延迟会使车载控制系统无法及时对突发事件做出反应，造成事故。为增加智能服务的实时性，必须在车载端进行智能信息处理，提高智能交通系统的安全性。
（3）稳定可靠性需求。以智能作战为例，分队/单兵信息终端、无人作战平台等武器装备系统正广泛采用人工智能提高战斗力水平。然而，战场复杂电磁环境使武器装备系统的通信条件极其恶劣，会频繁面临断网失联等情况，依托云端提供信息处理服务无法保证其可靠性，必须在武器装备系统本地进行信息处理，以保证作战过程中信息服务稳定可靠。
（4）隐私安全性需求。以智能家居为例，家用电器、家居用品正逐步采用智能化理念，通过采集分析用户生活习惯和居家环境等数据，来增强家用品的服务体验，使家居生活更舒适、便捷。然而，生活习惯和居家环境包含高度私密的个人信息，若上传云端处理，可能导致个人隐私泄露，甚至为不法分子所利用。因此，需要在家庭本地对数据进行处理，以满足用户隐私安全性需求。
区别于云计算中心等传统的、大规模的信息处理平台，终端设备具有鲜明的自身特点。首先，从设备性能来看，终端设备受尺寸、重量、价格等因素影响，无法配载高性能计算设备、通信设备和大容量储能设备，难以支持高算力、高能耗要求的信息处理任务。其次，从使用环境来看，终端设备通常需要在开放环境下广泛部署，依赖无线网络进行通信，信道状态不稳定且任何人都可能接触到终端设备或介入设备通信中。最后，从应用场景来看，终端设备性能高度异构，且由于广泛部署，因此信息处理需求的差异也较大。虽然将智能信息处理任务从云计算中心推向终端设备有着紧迫的现实需求，但是终端设备的上述特点给终端智能信息处理带来了极大的挑战。
（1）通信条件复杂恶劣。终端设备所处的无线网络环境可能出现通信延迟和带宽受限等问题，导致某些情况下终端设备之间、终端设备与远端中心之间通信困难。特别是在战场或灾害环境下，通信设施缺失，终端设备面临的通信条件更为复杂恶劣。
（2）计算性能要求过高。随着对智能信息处理要求的不断提高，所采用的信息智能处理算法日趋复杂，以深度神经网络模型为代表的先进模型通常极其复杂庞大，包含上百万个甚至上千万个参数，学习训练和部署运行模型都需要大量运算，对计算性能要求过高，远超终端设备的算力与能耗限制，会造成难以接受的处理延时与计算能耗。
（3）终端设备规模庞大。在物联网、无人集群等应用场景下，终端设备规模庞大，且往往是集中部署。一方面，庞大的设备规模增加了终端信息处理时个体之间协同的难度，对协同方法的设计提出了严峻的挑战；另一方面，大量终端设备集中部署可能同时产生同类资源需求，大大增加了资源调配的压力，如大量终端设备同时向后方中心回传数据，导致数据传输出现拥塞。
（4）信息处理需求多样。由于终端设备的性能高度异构，所面对的应用场景复杂多样，导致各类终端设备的信息处理能力和所需完成的信息处理任务存在差异。这一方面使得多终端协同信息处理的难度增加；另一方面考虑现阶段智能处理算法远未达到通用智能的程度，使针对具体业务场景提供差异化、个性化的信息服务更具挑战。
（5）隐私安全存在隐患。由于终端设备在开放环境下广泛部署的特点，必须将数据的安全隐私性纳入考虑。在信息处理及智能模型训练过程中，所涉及的数据可能高度敏感或法律禁止公开，传统的信息处理和模型训练方法会导致数据直接暴露或极易被恶意用户获取，危害数据隐私安全。
上述5个方面的挑战加剧了终端智能信息处理的难度。相对广泛运用于云计算中心的传统信息处理方法，终端信息处理所面临的情况更为复杂，对信息处理的安全与效率的要求更为苛刻，传统的信息处理技术无法很好地解决上述挑战。因此，迫切需要开展适用于终端设备的智能信息处理技术研究，以提升终端侧信息处理的质量与效益，实现对终端设备的AI赋能。
智能信息处理的基础在于计算，而终端设备固有的载重、能耗、价格等限制导致其无法完成高性能的计算任务，成为在终端设备上进行智能信息处理的瓶颈问题。智能模型学习训练通常要依托高性能计算集群，远远超出单台终端设备的算力条件。仅考虑智能模型的部署运行，一个复杂的智能模型需要进行大量浮点运算，这对终端设备的算力与续航力提出了严苛的要求。通过一种高效的信息处理框架，拓展终端设备的算力，为终端设备提供高效的计算服务，是实现终端智能信息处理的基础性问题。
纵观计算模式的发展，呈现出集中式和分布式轮回变化的态势 [7] 。云计算自2006年首次被提出以来，成为信息技术产业发展的战略重点。通过将大规模计算资源集中起来，按需、灵活地提供计算服务，云计算在各行各业得到大规模应用。近年来，随着终端设备的普及，催生了终端信息处理的需求。受限于终端设备有限的性能，学术界与工业界尝试将终端设备与云计算中心相结合，根据终端设备性能、应用场景和用户要求等条件，在线、动态地在云中心和终端之间分配计算和数据，实现云中心和终端上各类计算资源、数据资源、应用资源乃至用户资源的按需配给。将云计算的中心模式拓展为云与终端相融合的模式日益得到广泛关注 [8] 。
然而，云计算中心通常远离终端设备，云与终端的直接融合不可避免地面临着高延时、低效率等问题。随着通信技术的跨代发展，一种在网络边缘执行计算的新型计算范式——边缘计算，应运而生。相较云计算技术，边缘计算以近终端、低延时、更高效的优势，构建了离数据源更近的计算基础设施 [9] 。边缘计算最早可以追溯到内容分发网络中功能缓存的概念 [10] 。2009年，卡内基梅隆大学提出微云（Cloudlet）的概念 [11] ，在网络边缘部署可信的服务器，将云服务器的功能下沉到边缘，具备了边缘计算的部分雏形。随后，在万物互联的背景下，边缘计算得到快速发展，并逐渐在核心概念上达成共识：边缘是指从数据源到云计算中心路径之间的任意计算和网络资源，计算对象包括来自云服务的下行数据和来自万物互联服务的上行数据 [12] 。至此，云边端三层计算模式基本成型。
云边端融合计算模式为拓展终端设备算力、优化终端设备计算服务能力提供了一种可行框架。终端设备在进行职能信息处理的过程中，需要执行类别、要求不同的各类智能计算任务，根据不同任务类型与应用场景条件，可以选择不同的云边端协同计算服务模式。例如，复杂智能模型的学习训练任务，计算量极其庞大，需要依托高性能计算集群长时间进行运算，可以将它们配置在云计算中心执行。再如，智能模型的精调任务，算力要求大大降低，可配置在边缘设备或协同多台终端设备执行，减少数据在云计算中心与其他设备之间的传输。因此，系统可基于云边端融合计算服务框架，针对智能信息处理任务的特征、设备资源状况与网络环境状况，在终端设备、边缘设备、云计算中心或协同多设备灵活配置、优化计算服务，为终端智能服务提供稳定、高效的基础计算服务支撑。
我们认为，围绕终端智能信息处理的现实需求，采用云边端融合计算模式为终端设备提供基本计算服务是一种可行的解决方案。我们提出一种云边端融合的终端智能信息处理框架，如图1.1所示。
图1.1 云边端融合的终端智能信息处理框架
该框架主要包括应用业务层、终端设备层、微云/边缘层、云中心层4个主要部分。其中，云中心层主要包含各大型云中心，它们通常具有最强的计算、存储能力，计算与存储的单位成本低廉，但通常与信息处理业务发生地距离较远，对带宽有着较高的要求。微云/边缘层的边缘计算设施在距业务发生较近的位置，可为各终端系统提供计算、存储服务。微云/边缘层计算设施能够有效缓解向云中心层请求服务带来的带宽压力，降低数据传输成本，并提高响应速率，但它们的资源与云中心层设施资源相比通常是有限的。应用业务层和终端设备层直接面向用户。终端设备层根据应用业务的不同调用不同的智能信息处理服务，在考虑应用业务特征的基础上，可进一步综合使用微云/边缘层、云中心层设施资源为各智能信息处理提供有效的计算保障。
在智能计算的学习训练阶段，通常依赖云中心层强大的计算、存储能力进行大型智能模型的训练，而后将训练好的智能模型下发至边缘节点和终端设备。在微云/边缘层和终端设备层，可利用距离信息处理业务发生地较近的优势，利用信息处理过程中实时产生的数据进行智能模型的精调训练，使云中心层训练得到的智能模型更适合终端智能信息处理业务需求，这些精调训练任务可在微云/边缘层完成，也可利用联邦学习 [13] 等新兴方法，由终端设备层、微云/边缘层协同完成。在智能计算的部署运行阶段，智能模型通常被部署到距离信息处理业务发生地最近的终端设备上，直接面向用户提供服务。然而，先进智能模型日趋复杂，运行阶段对计算性能的要求提高，超出了终端设备的算力与能耗限制。此时，终端设备可根据业务需求，将部分智能计算任务包括模型、数据等卸载至云中心或边缘设备中，终端设备仅进行简单计算，甚至仅用于反馈计算结果，以大幅度降低终端设备本地的算力开销，此种计算任务卸载是云端协同智能信息处理的主要形式之一。
上述智能信息处理业务在云边端三层的协同依赖于三层间的数据传输。终端设备可根据信息处理任务的算力要求、时效要求，由本地单独处理或卸载至友邻终端设备、边缘设备或云中心协同处理。当计算任务算力要求较低时，计算任务可由终端设备本地处理，以最小化延时。当计算任务算力要求较高时，如智能模型训练、复杂模型运行，可根据通信条件，选择近距离传输至友邻终端设备处理或卸载至微云/边缘层处理。当计算任务算力要求很高且与云中心链路通畅时，甚至可将计算任务直接传输至云中心处理，以降低本地负担。
我们认为，围绕终端智能信息处理的现实需求，采用云边端融合计算模式为终端设备提供基本计算服务是一种可行的解决方案。同时，由于终端设备区别于其他设备平台的鲜明特征，使得实现高效终端智能信息处理颇具挑战，从数据传输优化到数据隐私安全，再到模型高效部署与模型持续优化，整个周期上均面临若干瓶颈性挑战，直接影响终端智能信息处理的实际应用效果。
1. 数据传输优化问题
在大量终端设备、边缘设备和云计算中心之上建立一个整体融合的信息处理框架的基础在于终端-边缘-云三层之间能实现高效的数据传输。终端设备上有大量数据和计算任务需要上传至边缘设备或云中心进行处理；云中心和边缘设备同样有大量数据和计算模型需要下发至各终端设备。考虑终端设备规模的庞大性及无线通信网络的复杂性，实现终端-边缘-云三层之间高效的数据传输是一个颇具挑战性的问题。首先，中心节点对大规模终端设备集中优化的方式需要频繁交互和大规模计算，无法满足抢险救灾、战场等环境下抗单点失效的要求，需要采用分布式协同方法优化终端数据传输。其次，在无线网络环境下终端设备往往难以及时共享各自的状态信息和传输需求，这大大增加了分布式协同优化的难度。最后，无线网络环境的不确定性导致优化条件高度动态且难以预测，无法通过离线优化方法精确求解，需要动态、实时的优化方法。
2. 数据隐私安全问题
在学习训练阶段，以深度学习为例，一个性能卓越的智能模型通常需要使用大量数据来训练，其中可能包含涉及用户隐私的敏感数据，甚至可能包含法律禁止公开的数据。已有大量研究表明，在获得智能模型后，可通过生成对抗网络等方法从模型中反推得到训练数据的信息。然而，终端智能信息处理的特点决定了智能模型会随终端设备在公开环境下广泛部署，包括恶意用户在内，所有用户均可接触智能模型，这使训练数据的隐私安全难以保证。在部署运行阶段，终端设备在卸载过程中会将相关计算数据从终端设备传输至云中心或边缘设备中，这在复杂的通信环境下，会给终端设备数据和系统安全带来严重的隐患。传统的数据加密方法虽然可以保护数据安全，但是会引入大量额外的计算开销，增加计算任务所需时间，占用终端设备更多的算力，难以保持计算任务卸载降低计算负担的初衷。
3. 模型高效部署问题
在智能模型的部署运行阶段，模型推理计算对终端设备的算力和续航力提出了严苛的要求，这在算力能耗受限、价格敏感的终端设备上往往难以被满足。正如上文所说，计算任务卸载是云边端融合计算模式下实现高效部署智能模型的途径之一。需研究模型分割方法，实现将复杂推断等大负载计算任务均卸载至云中心执行的目标。然而，计算任务卸载的方式依赖终端设备与云中心或边缘设备之间网络的通畅，在终端设备所处的无线网络环境中，并不能随时确保传输链路连通，也不能保证终端用户具有卸载计算任务和数据的意愿，当无法向云中心或边缘设备传输数据时，终端设备仅能依靠自身算力完成计算任务。针对此挑战，需研究智能模型压缩方法，在可接受的性能折损范围内，显著压缩智能模型大小，降低模型存储要求和计算要求，满足在终端设备上独立部署运行的性能要求。
4. 模型持续优化问题
终端设备广泛部署的特点决定它所面对的场景和用户复杂多样，导致终端智能信息处理需求也存在一定差异。但是，当前人工智能技术的发展水平远未实现普适、通用智能，在部署云侧集中训练得到的模型后，往往难以满足具体应用场景下用户的个性化需求，这将严重影响终端智能信息处理的用户体验，制约终端智能信息处理的广泛应用。在云边端融合计算模式下，可以在更靠近用户和应用的终端侧、边缘侧，利用终端设备系统运行过程中产生的新的、面向应用的数据，对智能模型进行持续、个性化改进升级，提升模型在特定应用场景下的性能。综合减轻上行链路负担和保护用户隐私等考虑，上述过程通常应在边缘侧和终端侧进行，在边缘环境下，数据分布不均衡、终端设备算力受限、无线网络状态不稳定，如何解决这些问题，实现有效的面向应用的持续学习训练是提升终端智能信息处理质量的关键。
本书紧紧围绕云边端融合计算模式下终端智能信息处理展开研究，从云、边、端三层之间的数据传输，以及智能计算的学习训练和部署运行两个过程入手，根据云边端融合计算模式面临的挑战，总结出其中的具体问题，进而针对这些问题，研究提出提升终端智能信息处理能力的方法。
在云边端融合计算过程中，终端设备一方面需要云中心、边缘设备进行数据传输，以满足上传数据、下载智能模型与计算结果、智能计算任务卸载等通信需求；另一方面需要利用邻近终端设备间数据链路稳定、延时小的特点，在各终端设备间共享备份数据、卸载计算任务等。根据云边端融合计算模式下的这两个需求，我们认为终端智能信息处理在数据传输过程中存在以下两个具体问题。
（1）链路选择问题。云边端融合计算模式下，终端设备与云中心、边缘设备之间存在大量数据传输。但是，在一些应用场景中，如人员密集场所、无人平台集群等，在一片区域内存在大量终端设备，而无线网络环境的各数据链路状态不同且带宽有限，若大量终端设备选择同一个数据链路进行数据传输，则必然会导致拥塞等现象，降低数据传输质量。因此，大量终端设备如何在上行、下行等多个数据链路中自主选择合适的链路，以优化整体的云边端协同效率，成了一个关键问题。
（2）传输决策问题。各终端设备在智能信息处理过程中需将数据传输至云中心实现计算任务卸载。由于不同终端设备在邻近区域可能采集到相同数据及终端设备间数据共享等，因此各终端设备可能存储了相同的数据，上传这些相同的数据往往不能带来额外的效益，反而会浪费终端设备有限的能量、占用网络有限的链路资源。因此，各终端设备如何根据分配到的链路状态，进行是否传输及传输哪些数据的决策是优化云边端间数据传输的一个关键问题。
采用深度学习等高性能智能模型进行信息处理可显著提升终端智能信息处理效果。然而，这些智能模型对终端设备的计算能力提出了严苛的挑战。在智能模型部署运行过程中，终端设备需要采用多种方式降低终端本地计算开销。同时，由于网络通信环境变化及上述两个问题中的传输优化等，因此终端设备与云中心、边缘设备之间的数据传输状态会不断发生变化。针对数据传输状态的不同，在部署运行过程中，终端智能信息处理分别存在以下两个具体问题。
（1）运行任务卸载问题。当终端设备与云中心、边缘设备之间的数据链路通畅时，终端设备可采用计算任务卸载的方法将部分计算任务卸载至边缘设备或云中心执行。如何实现深度神经网络模型在终端设备与云中心或边缘设备间的协同部署运行，并同时保证数据在卸载过程中的安全隐私性，成了一个关键问题。
（2）本地高效运行问题。当终端设备与云中心、边缘设备之间的数据链路断开时，终端设备仅能依靠自身的算力执行计算任务。基于深度神经网络等先进方法的智能模型庞大、复杂，终端设备难以依靠自身的算力进行计算，因此，如何实现数据链路断开时终端本地高效部署运行，成为另一个关键问题。
在智能模型学习训练过程，智能模型通常依托云中心进行训练而后下发至终端设备。但训练完成的、单一不变的智能模型往往难以满足各类终端设备的不同信息处理需求，终端设备需要利用运行过程中实时产生的面向信息处理具体业务的数据持续训练、优化智能模型。根据终端设备可否与云中心、边缘设备进行数据传输，在学习训练过程中，终端智能信息处理分别存在以下两个具体问题。
（1）高效联邦学习问题。近年来，新兴的联邦学习技术为云中心可达情况下边缘设备智能模型持续训练提供了可行方案。然而，在传统的联邦学习方法下，终端设备与云中心之间通信开销大且在出现丢包时难以收敛，这难以满足终端设备所处的带宽受限、动态变化的无线网络环境。通过云边端融合计算模式提升联邦学习效率成为一个关键问题。
（2）终端间联合学习问题。当终端设备与云中心、边缘设备之间不可达时，联邦学习技术无法实现利用终端设备进行智能模型学习训练。需研究一种在终端设备层利用邻近的终端设备相互协作完成智能模型学习训练的方法。但在终端设备层，网络的动态变化性更高、设备的算力约束更严苛，针对这些挑战，研究提出终端间完全分布式的联合学习方法成为另一个关键问题。
本书围绕上述6个具体问题分别开展针对性研究，以期提高终端智能信息处理能力。本书研究内容框架如图1.2所示。
图1.2 本书研究内容框架
首先，在云边端协同数据传输方面，研究内容包括：①终端设备数据传输链路自主协同选择方法，优化终端设备链路选择，避免出现链路拥塞，优化数据传输链路利用率；②多终端设备协同数据传输方法，实现各终端设备自主决策是否进行数据传输、传输哪些数据，提高数据传输效用。
接着，围绕智能计算的两个主要过程，考虑终端设备与云中心、边缘设备通联与否，在智能模型的部署运行过程，研究内容包括：①云端分层的智能模型分割部署方法，基于云边端融合计算模式，将智能模型分层部署于终端设备与云中心或边缘设备中，实现终端上复杂计算任务的卸载，降低终端本地算力开销；②基于知识萃取的智能模型压缩方法，将复杂的智能模型在可接受的性能折损内压缩为精简的小模型，使终端设备仅依靠自身算力便能运行该模型。
最后，在智能模型的学习训练过程中，同样考虑终端设备与后端通联与否，研究内容包括：①云边端分层的联邦学习方法，利用终端实时产生的新数据，在后端可达的情况下，实现智能模型的持续学习训练；②多终端设备联合学习方法，利用邻近终端设备的算力和数据联合学习，实现无后端支撑条件下的智能模型学习训练。
在对上述6项研究内容开展研究的过程中，本书做出了以下6点创新。
1. 轻量级、分布式的终端设备数据传输链路自主协同选择方法（第2 章介绍）
针对终端设备数据传输链路选择问题，本书将该问题建模为一个链路选择博弈，通过严格的分析证明该博弈是一个广义序贯势博弈。在此基础上，设计了一种基于虚拟博弈的分布式链路选择算法，实现各终端设备可独立进行链路选择决策，生成链路选择博弈的纳什均衡解。与传统的虚拟博弈算法不同，本书所设计的算法为了适应终端设备的网络环境特征、解决终端设备算力有限等问题，重点实现了避免使用其他终端设备实时信息、降低算法计算复杂度、降低算法存储需求等方面的要求。同时，针对无线网络通信环境的特征，将信息不完全等情况也考虑在内，保证在该情况下算法的收敛性。实验表明，该方法可有效优化大量终端设备进行数据传输时的链路选择，避免链路阻塞，提高传输效用。
2. 分布式终端设备数据上传的多元决策方法（第3 章介绍）
针对在各终端设备间存在冗余数据的情况下，如何协同上传数据的问题，本书综合考虑数据链路状态、数据重要性及信息饱和等因素，将该问题建模为能耗约束的信息效用最大化问题。为了解决该问题，提出了一种面向长期性能最优的分布式优化方法，实现了各终端设备不依赖未来信息、独立进行长期优化的目标，通过严格的理论分析证明该方法可无限接近最优解。区别于现有随机网络优化方法仅能实现二元决策，所提出的上传决策优化方法解决了是否传输数据、传输哪些数据的多元决策问题，灵活性、自适应性更强。实验表明，通过采用本书所提出的分布式上传决策方法，各终端设备可独立地根据自有的可观测信息进行上传决策，性能表现显著优于现有随机网络优化方法。
3. 基于深度神经网络分割的模型分层部署方法（第4 章介绍）
为实现在数据链路通畅的情况下，终端设备与云中心协同完成基于深度学习的信息处理任务，本书提出了一种基于深度神经网络分割的模型分层部署方法。在终端设备上仅部署一个预置的浅层神经网络，复杂、大型的上层神经网络均部署于云中心内，从而将包括模型训练、复杂推断在内的高算力要求的计算任务卸载至云中心执行，终端设备仅承担简单的数据转换计算任务。为了消除向云中心传输数据时带来的数据安全与隐私隐患，同时避免使用复杂加密算法引入额外计算开销，本书设计了一种新的满足差分隐私准则的扰动方法，该方法相比现有扰动方法更灵活、更适应神经网络的层级结构。为了降低数据保护扰动对云中心后续推断产生的不利影响，本书提出了一种新的噪声训练方法来训练云中心网络，以增强云中心网络对噪声的健壮性。噪声训练方法在训练集中加入精心设计的噪声样本，在纯净样本、噪声样本、被扰动的噪声样本上联合最小化相应的损失函数，大大增强了云中心网络对含扰动数据的推断能力，在数据安全和隐私可保证的前提下，提高了智能信息处理性能。
4. 基于知识萃取的智能模型安全压缩方法（第5 章介绍）
针对终端设备与外界连接中断的情况，本书设计了一种基于知识萃取的深度学习模型安全压缩方法，压缩得到一个可直接部署于终端设备的精简、高效的深度学习智能模型，使终端设备可依靠自身算力进行深度学习信息处理。该方法遵循教师-学生训练模式，将嵌入复杂、庞大的教师模型中的知识分阶段地萃取并转移到学生模型中，以此优化学生模型的性能。同时，为了保护云中心中训练数据的安全与隐私，本书设计了一种新的满足差分隐私准则的扰动机制，与现有的逐样本扰动方法不同，本书所设计的方法以批为单位，对教师模型进行询问，对从教师模型反馈的批损失（Batch Loss）进行扰动、添加随机噪声，达到保护训练数据安全与隐私的目的。此外，为了进一步增强数据安全与隐私保护性能，本书尝试控制学生模型对教师模型的访问，减少在知识萃取过程中使用到的样本数量，创新性地提出了一种查询样本选取方法，从完整公共数据集中选取一部分子集咨询教师模型，达到使用子集的查询效果与使用完整公共数据集的效果相仿的目标。
5. 自适应压缩的分层联邦学习方法（第6 章介绍）
联邦学习为后端可达情况下的终端智能模型持续提升提供了一个可行的解决方案。然而，在终端设备所处的环境下，不可靠网络条件、动态变化的带宽等因素使联邦学习应用过程中存在巨大的通信瓶颈。针对该问题，本书在云边端融合计算模式的基础上，提出了一种自适应压缩的分层联邦学习方法。与传统联邦学习方法相比，本书将终端-中心的两层学习架构改进为云边端多级模型缓存的联合学习架构，通过减少传输距离和将整个模型划分为多个块来减轻通信延迟和信息丢失对联邦学习性能的影响，能够更好地适应网络不可靠和动态带宽，具有良好的健壮性。此外，该方法可根据模型大小和特点，按照通信链路状况，自适应地进行梯度压缩，从而在确保联邦学习性能不显著降低的情况下，大大降低终端设备的通信需求，实现高效的智能模型学习训练。在考虑终端设备网络不可靠的前提下，通过严格的理论分析表明，所提出的方法可以在任意数据分布上实现学习训练的收敛。
6. 基于gossip 协议的多终端完全分布式联合学习方法（第7 章介绍）
针对云中心、边缘设备等后端不可达情况下的智能模型学习训练问题，本书基于gossip分布式通信协议，提出了一种多终端完全分布式联合学习框架。该框架通过可靠终端设备之间交换模型参数来实现在不可靠的网络上训练终端智能模型的目标，同时降低恶意参与者加入学习训练过程的概率。同时，考虑终端设备的资源限制和无线网络环境的不可靠性，本书提出了一种与完全分布式联合学习框架相适应的动态控制算法，通过自适应调整gossip协议中的可靠性阈值来控制终端设备的资源使用和邻近终端设备的选择，以最大限度地利用可用资源。实验表明，本书提出的方法可在后端不可达的情况下有效实现终端智能模型的学习训练。