基于上述思路,中国科学院过程工程研究所成功研发了流化床虚拟过程工程平台。这个平台由计算、实验和显示控制三部分组成,如图1.13所示。计算部分负责实时计算指定条件下设备内的运行情况;实验部分负责装置运行和有效测量,并在线传输给计算部分进行校正。实验与计算两部分紧密衔接,并通过显示控制部分清晰地演示设备内的动态运行信息,可由工程师进行实时操作控制。
虚拟过程工程: 化工反应器的传统设计依赖于逐级放大试验,具有周期长、费用高、风险大等缺点。针对这一问题,虚拟过程工程的设计理念是:构建集计算机模拟、在线控制、同步测量、数据处理和显示于一体的虚拟平台,致力于实现复杂反应器的多尺度动态实时模拟,并与工业应用紧密结合,为化工反应器的设计与优化提供指导。
图1.13 虚拟过程工程平台系统结构图 [12]
图1.14展示了流化床虚拟过程工程平台的实景图,流化床高度达到6 m以上。实验为计算提供流化床原型以及实验参数信息;计算将实验原型虚拟化、数字化,通过求解数学模型,对于系统行为进行定量预测;显示控制部分由桌面机和液晶屏幕构成,可实时演示设备内的运行状况,将实时模拟和过程控制有机地结合在一起。
图1.14 流化床虚拟过程工程平台实景图 [12]
图1.15展示了流化床的多尺度模拟具体的工作流程。首先根据设备操作条件(例如进入反应器的气体速度、催化剂颗粒数量等),由稳态宏尺度模型(EMMS模型)给出整个设备内部的颗粒分布,这可以在数秒内完成;再以前述局部分布作为初始和边界条件,由动态宏尺度模型(双流体模型)模拟全回路反应器的动态演化;对于重点关注的提升管,采用介尺度模型(考虑介尺度结构的颗粒轨道模型)进行颗粒团尺度的动态模拟;若对某细节部位(如分布板附近)感兴趣,则再以前述计算结果作为初始和边界条件,采用单颗粒尺度模型(直接数值模拟)启动计算,以进一步研究流场细节。在图1.15的计算中,介尺度模型对30 m高的提升管局部模拟需要的流体网格数为3.6万、颗粒聚团数为12万;而微尺度模型对16 cm×4 cm区域的模拟就需要19万颗粒。可见,依此多尺度逐步推进的思路,即可层层展开,在保证计算精度的同时显著减少了计算量。
图1.15 流化床多尺度模拟 [11]
图1.16和图1.17进一步展示了多尺度模拟的结果,依赖于计算问题的关注尺度不同,计算量也存在数量级的差异,工程应用中需要根据问题的性质选择合适的多尺度计算模式。需要强调的是,数值模拟并不是仅仅得到一堆彩色的图片或动画,而是得到系统内有用的定量信息,可以与实验测量结果相互比对,图1.17中的模拟曲线图与实验测量的散点图基本一致,说明了模拟计算的可靠性。该技术平台不仅适用于流化床反应器的实验模拟,还可以为工业界提供计算服务。
图1.16 三尺度模拟的典型计算结果:宏尺度、介尺度、微尺度 [11]
由于化工反应器中的模拟计算通常涉及多相复杂流动,而且从实验室研究到工业规模应用需要跨尺度的研究,计算规模十分庞大,不仅需要准确的数学模型,还需要有超级计算系统的支撑。
尽管计算机硬件处理能力按照摩尔定律继续发展,但是随着集成电路晶体管密度的日益增加,其能耗也在迅速增加,由于集成电路散热能力的限制,依靠单处理器性能的改进提高运算速度举步维艰,因此迫切需要高性能计算技术的发展。
美国NVIDIA(英伟达)公司于2006年推出基于图形处理器(graphics processing unit,GPU)的计算统一设备架构(compute united device architecture,CUDA),中国科学院过程工程研究所意识到可以使用CPU-GPU耦合方案来实现多尺度离散模拟 [13] ,在随后两年时间里先后建成了单精度峰值超过100 Tflops(1 Tflops等于每秒1万亿次浮点运算)和450 Tflops的高性能计算系统。在此基础之上,过程所于2010年建成Mole-8.5超级计算系统,如图1.18所示。
超级计算系统 :超级计算系统是由大量性能优越的计算机组成的、具有特定体系结构的计算机集群,其内部的计算机能够协同稳定运行,具有高速通信与海量存储等功能。除了领先的计算机硬件系统之外,还包括支撑硬件运行的软件系统和测试工具,以及各种面向科学与工程问题的应用软件。超级计算系统的研发与使用,对于国际科技创新与竞争具有重要影响。感兴趣的读者可以进一步了解全球超级计算机排行榜。
图1.17 虚拟过程工程平台对提升管的定量模拟结果 [6]
图1.18 高效能、低成本超级计算系统Mole-8.5 [14]
Mole-8.5超级计算系统的计算节点主要采用Tyan S7015主板,最多可安装8块Tesla C2050 GPU卡,从而使单机执行离散模拟的性价比得到最充分的发挥。Linpack测试结果在2010年的全球超级计算机排榜Top500排名中名列第19位,而在随后的Green500排名中位列第8位。2017年仍在两个排行榜内。Mole-8.5系统实际测试速度达到1400万亿次单精度浮点运算速度。系统能耗563 kW,系统总能耗(含冷却系统200 kW)763 kW,占地面积145 m 2 ,系统内存容量17.79TB,GPU显存容量6.48 TB,共计24.27 TB;计算系统总重量约12.6 t,磁盘总容量为720 TB;系统软件主要包括CentOS 5.4、GCC/G++4.1.2编译器、MPI/OpenMP/CUDA编程环境、Ganglia和MoleMonitor监控软件等,实现了远程系统访问和作业管理。单个计算节点内部的硬件结构如图1.19所示。
图1.19 CPU-GPU耦合结构示意图
为什么需要CPU-GPU耦合计算模式呢?因为CPU具有大量缓存和控制单元,但是运算单元较少,适合算法复杂度高的流体求解;而GPU具有大量运算单元,非常适合颗粒的并行计算。CUDA编程模式将CPU作为主机(Host),GPU作为协处理器或者设备,一个系统中可以存在一个主机和多个协处理器。在这种组织架构下,CPU用来处理逻辑性较强的计算,而GPU则负责执行高度线程化的并行处理任务,两者之间可以进行数据交换与传输。CPU与GPU协同工作,两者耦合可以显著提高计算效率。
可以畅想,在未来的虚拟化工实验室里,表面上工程师们在显示控制终端应用各种模型或计算软件,进行反应器或催化剂分子结构的设计与操作,而这背后有一个庞大的计算系统和理论架构在高效运转,为研发设计提供技术支撑。