下载掌阅APP，畅读海量书库
立即打开
大语言模型驱动的智能体在软件自动化的落地形态上，主要分为完全基于API调用的（API-Only智能体）与基于图形用户界面操作的（GUI智能体）两大范式。如图1-4所示，二者都依赖大语言模型来理解和生成自然语言指令，并将其映射到数字环境中的具体操作上，但在系统架构、开发方式和用户交互层面各有侧重。随着多模态技术的不断成熟，越来越多的研究人员和从业者开始探讨这两种范式究竟如何差异化定位，又能否在应用中形成互补与融合 [38] 。下面从API-Only智能体的成熟度与早期优势、GUI智能体在多模态下的交互变革、关键差异与适用场景，以及混合式智能体的未来四个方面进行阐述。
图1-4 API-Only智能体和GUI智能体的对比
在大语言模型技术蓬勃发展之初，API-Only智能体就因其“可控、高效、易集成”等特点而率先获得广泛关注。其基本思路是：面向已发布或私有的后端API端点，将大语言模型的语言理解结果转换为对特定函数或服务的调用。例如，在云端调度一场会议，API-Only智能体只需要调用日历系统提供的官方接口（如createEvent），通过一次请求便能完成会议创建、时间设置和参会人邀请等操作。应用提供的API越成熟、数据接口越完备，API-Only智能体的执行效率和稳健性就越高，开发工作量越小。
API-Only智能体的优势如下。
（1）可靠性高。 调用具有明确定义和版本控制的端点，不易受界面或布局变化的影响。
（2）执行效率高。 调用单个API即可完成复杂的工作流，极大地减少了网络通信和交互步骤。
（3）可维护性好。 只要保持API的稳定和兼容性，智能体框架的核心架构就无须频繁调整。
（4）安全管控强。 通过后端进行权限管理及身份验证，避免越权操作，整体安全性更容易得到保证。
不过，API-Only智能体也存在明显的缺陷：如遇到缺少可公开API的系统（遗留软件、私有协议移动应用等），智能体便无能为力；或者在需要可视化验证的应用场景中，纯API调用难以胜任。因此，API-Only智能体虽然高效，但对前端界面的支持不足。
与API-Only智能体相对，GUI智能体聚焦在图形界面层面模拟人类的实际操作。它通过捕捉屏幕截图或无障碍树来“感知”软件界面元素，并以单击、拖曳或键盘输入等方式进行“人类式”的交互。以安排日历会议为例，若缺少后端接口的支持，那么GUI智能体会自动打开日历页面，单击“创建事件”按钮，并依序填写会议标题、时间段、参会人等信息，然后单击“保存”按钮——这一过程与真实用户的操作无异。
相比API-Only智能体，GUI智能体的主要优点如下。
（1）适用范围广。 无须依赖后端API，对于未公开接口或仅提供GUI的应用同样适用。
（2）可视化透明度。 操作过程对用户“可见”，能在界面上逐步呈现动作步骤，更易监控和调试。
（3）类人操作流程。 在多步任务、跨应用流程或需要视觉验证时，更贴近人类的真实使用场景。
GUI智能体也存在缺陷：对界面布局改动十分敏感，容易在UI更新后“失效”；多次单击或输入导致执行效率低于API-Only方式；若缺少配套的权限管控，则存在安全风险。总体而言，GUI智能体须配合稳健的视觉解析与错误处理机制，方能在实际场景中稳定落地。
表1-1总结了API-Only智能体与GUI智能体的主要区别，从模态、可靠性、效率、可用性、灵活性、安全性、可维护性、透明度及类人交互维度展开对比。
表1-1 API-Only智能体与GUI智能体的主要区别
根据上述对比，API-Only智能体通常更适用于对接口成熟度和安全性要求较高的场景，例如大型数据中心或关键业务逻辑；GUI智能体则更适用于在界面密集、缺乏API支持或需要可视化验证的前端操作。
鉴于API-Only智能体与GUI智能体在可扩展性与可见度方面的显著差异，很多企业与研究机构开始尝试将两种模式结合，形成混合式智能体。具体做法如下。
（1）API封装GUI流程。 为仅有GUI的软件添加脚本或服务接口，将底层GUI自动化流程抽象成类似API的调用形式，实现准API化的效率与可控性。
（2）统一编排工具。 使用可视化或低代码平台组织工作流，针对不同任务动态选择API调用或GUI操作。
（3）多模态支持。 在需要视觉验证或跨应用跳转时，切换到GUI模式；在执行纯数据处理或批量操作时，调用API。
通过将两种智能体的优势结合，混合式方案能够兼顾后端高效调用与前端灵活适配，实现更广泛、复杂的自动化应用，为用户提供完整、透明且易用的交互体验。
综上，API-Only智能体与GUI智能体分别代表了后端驱动与前端驱动的两种自动化技术路径。前者依赖明确定义的接口，具有极高的执行效率和可靠性，但其应用范围受限于可用API；后者则以对可视界面的解析与操作为核心，能够模拟真实的人机交互，弥补API的缺失或满足可视化验证的需求，但在效率和维护成本上面临挑战。随着大语言模型的不断演进，多模态感知与自然语言理解能力的提升正逐步缩小两种范式的差距，并促使混合式智能体在实践中得到越来越广泛的应用。