Stripe发布AI智能体基准测试：集成方案开发中校验环节仍存短板

近日，支付平台Stripe推出了一套新的基准测试工具，旨在评估人工智能（AI）智能体在构建完整Stripe集成方案方面的能力。该测试覆盖了从后端服务到前端应用及浏览器端结账流程的全过程，特别关注于金融系统内高度要求准确性的集成场景。

此基准测试基于11个可重复环境中进行，每个环境都配备了完整的应用程序代码库、数据库等资源，模拟真实世界的Stripe集成项目。评估任务涵盖了纯后端工作、全栈式开发流程以及特定产品的实际操作需求。所有参与测试的AI智能体均通过统一的工具链完成任务，包括但不限于代码生成、API交互和服务运行等。

尽管部分AI模型如Claude Opus 4.5展现了较强的表现力，在某些全栈API集成任务上取得了平均92%的成绩；但总体而言，当涉及到跨系统的验证与状态管理时，AI智能体表现出了明显的局限性。特别是在SDK升级过程中错误解读反馈信号，以及浏览器状态下处理复杂交互时遇到挑战。

据Stripe软件工程师Carol L分析指出，当前AI技术的主要瓶颈在于其对复杂验证逻辑的理解和执行能力不足，而非单纯的代码编写技能。这意味着，在需要严格正确性的金融领域，AI尚无法完全替代人类开发者的工作。

为了进一步推动相关研究的发展，Stripe已将这套基准测试作为开放源代码的一部分对外公布，并计划在未来版本中针对模糊校验信号处理、持续稳定的浏览器控制等方面做出改进。

本文作者：财法观天下