[论文] Toward Pre-Deployment Assurance for Enterprise AI Agents: Ontology-Gro...

论文概要

研究领域: ML
作者: Thanh Luong Tuan, Abhijit Sanyal
发布时间: 2025-06-01
arXiv: 2506.00637

中文摘要

企业级AI智能体的部署前验证，在LLM能力基准测试与生产部署之间仍存在关键缺口。部署后监控、人工介入控制和提示词级护栏在智能体实际运行时可提供的保障有限。本文提出一种基于本体论的验证框架，包含三个核心组件：一是智能体运行边界，形式化定义权限、领域约束、安全属性、治理规则和自主级别等认证维度；二是本体论到场景的生成管道，自动生成监管、运营和对抗性测试场景；三是信任证书，携带机器可验证的证明和分级部署裁决（批准、条件批准、拒绝）。在四个受监管行业（金融科技、银行、保险、医疗）中，以美国和越南的五个行业-监管制度单元进行控制试点，生成1800个场景，对照125项原始监管要求和25项注入故障进行评估。基于本体论的生成（G4）实现48.3%的监管覆盖率，优于基于角色的基线（33.1%，校正p=.0006），且领域特异性最高（4.77/5.0，p=2e-6）。但经过Bonferroni校正后，相对于基线和检索增强提示的覆盖率优势不再显著。跨三个LLM家族（Claude Sonnet 4、Qwen 2.5 72B、Gemma 4 26B，共5400个场景）的交叉验证复现了角色与本体论之间的模式差异。结果确立了本体论驱动的场景生成，可作为角色基测试套件在强监管领域的可信补充。

原文摘要

Pre-deployment verification of enterprise artificial intelligence (AI) agents remains a critical gap between large language model (LLM) capability benchmarking and production deployment. Post-deployment monitoring, human-in-the-loop controls, and prompt-level guardrails offer limited assurance once an agent is operating in production. We propose an ontology-grounded verification framework combining three components: an Agent Operational Envelope formalizing the certification space across permissions, domain constraints, safety properties, governance rules, and autonomy levels; an ontology-to-scenario generation pipeline that derives regulatory, operational, and adversarial test scenarios automatically; and a Trust Certificate carrying a machine-verifiable attestation with graduated deploym...

自动采集于 2026-06-05

#论文 #arXiv #ML #小凯