在世界人工智能大会展馆，具身机器人往来穿梭，智能终端不断对话，行业大模型实时调用数据……一幅“人工智能解决问题”的图景正在展开。人工智能不再只是生成文本、回答问题，而是开始规划任务、调用工具、连接系统，进入金融交易、工业生产、医疗辅助和企业管理等真实场景。
效率跃升的同时，风险也从“结果是否准确”延伸到“过程是否可控”：一次接口异常、一次权限越界，是否会被掩盖在“任务完成”的提示之下？当算法参与决策，安全边界应当如何划定？
7月17日，2026世界人工智能大会暨人工智能全球治理高级别会议在上海开幕。图为世博展览馆外景。新华社记者 陈浩明 摄
挑战
风险“入侵”中间环节
蚂蚁集团“蚁天鉴”技术负责人孙博文表示，传统大模型的风险更多集中于输入、输出与内容质量；智能体则沿着“目标输入—任务规划—工具选择—参数生成—外部调用—结果反馈”的链条连续运行，风险随之延伸至工具调用、权限管理和状态反馈等中间环节。
孙博文将其概括为两类“静默式”风险：一是“自信幻觉”——智能体在多步骤任务中出现接口异常、参数错误或执行中断，却未主动报错，反而生成“任务已完成”的错误报告；二是“指令误执行”——智能体难以有效辨别正常指令与恶意诱导，可能会越权读取敏感数据、调用高风险工具。
上海交通大学上海高级金融学院教授胡捷从模型机理出发提醒公众，大模型的输出具有概率生成特征，并不天然等同于经过事实核验的结论。凡涉及数据和专业结论，仍应与权威来源交叉验证。
7月17日，2026世界人工智能大会暨人工智能全球治理高级别会议在上海开幕。图为人们在展品昇腾950超节点前驻足观看。新华社记者 陈浩明 摄
同济大学设计创意学院院长辛向阳进一步提出，AI并不能零失误运行。技术风险会受到人的认知、组织流程和社会制度的放大或修正；如果忽视使用场景、管理机制和责任链条，技术优势也可能转化为新的风险。
华南理工大学工商管理学院教授、琶洲实验室研究员王创则将问题延伸至社会认知层面。他表示，AI在交互中可能会过度迎合用户立场，以顺应代替求真，这也会削弱人的独立判断。
应对
高风险场景 边界必须先于效率
当AI开始进入金融、医疗、工业等具体领域后，安全必须落实为权限控制、风险阈值、结果验证和人工接管。
胡捷指出，金融业总体上不会轻易将最终责任交给AI，但量化交易中的自动下单仍有隐患。自动交易系统连接实时数据、策略模型和执行接口，一旦AI从辅助分析进入策略生成、订单执行，错误就可能被交易速度迅速放大。因此，交易额度、损失阈值、异常熔断、版本管理、人工审批和紧急停机，都是必要环节。
医疗场景同样需要厘清责任边界。AI可以承担部分影像筛查、病灶提示和初步分析，但临床诊断、诊疗决策及最终责任，仍应由具备资质的医务人员承担。
7月17日，在西岸国际会展中心，参观者在体验“中医机器人舌诊”。新华社记者 刘颖 摄
工业领域的探索则体现了“阈值内自主、越界后接管”的思路。琶洲实验室副研究员满奕介绍，其团队研发的“流程工业动态调优超级智能体”已应用于广船国际、金龙鱼等企业：系统在安全阈值内进行生产调优，关键参数超出范围时转由人工接管。
在机器人与具身智能领域，傲意科技市场总监陈培根介绍了核心器件国产化、本地化部署、数据脱敏加密、上线前测试及软硬件协同防护等做法。AI进入物理世界后，模型错误可能会转化为设备动作错误，急停、限位、冗余和故障降级仍是不可替代的安全底线。
治理
AI安全应贯穿产品全生命周期
AI安全不能等到系统上线后再“打补丁”，而应贯穿设计、训练、部署、运行和追责全过程。
商汤科技董事长兼首席执行官徐立提出，AI产品应坚持“增强人而非替代人、助力成长而非制造依赖”。这意味着，产品设计之初就应明确适用范围、禁止用途和风险等级，对金融交易、医疗诊断、工业控制等高风险业务设置默认限制，并提供人工复核、暂停撤回和责任追踪机制。
数据安全是第一道防线。同济大学教授、特赞科技创始人范凌提出“数据可用不可见”，即在完成必要处理的同时，尽量减少系统接触原始敏感信息。数据最小化、访问控制、私有化部署、联邦学习等技术，服务的都是同一目标：限定数据的访问范围、使用目的和保存期限。
7月17日，2026世界人工智能大会暨人工智能全球治理高级别会议在上海开幕。图为在世博展览馆，观众在体验展品千问AI眼镜G1。新华社记者 陈浩明 摄
模型安全则要求持续审查训练数据质量，并开展幻觉、偏见、提示注入、越权和鲁棒性测试。国内AI应用专家黄晓军提醒，开源并不等于天然安全，仍须经过数据治理、模型评估和持续测试。
对于智能体，治理重点必须由“最终结果审核”转向“全过程审计”。黄晓军介绍道，每一次高风险操作都应形成“AI提出方案—规则引擎校验—人工确认—系统执行—结果回查”的闭环。
安全不是AI发展的刹车，而是技术获得社会信任的底座。当算法参与决策，真正需要守住的不是“机器永远正确”，而是人在关键时刻始终在场——能够核验结论、识别风险、接管系统，并对最终后果承担责任。只有从“能用”走向“可信”，AI的进步才能真正沉淀为社会进步。
文/广州日报新花城记者：贺涵甫、周裕妩、武威
