Visa 测试 22 款 AI 模型购物 失败率 43%
时间:2026 年 11 月 4 日
地点:美国
人物:Visa 公司
事件详情:Visa 发布了首份 Agentic Commerce Benchmark(智能体商务基准测试),对 22 款 AI 模型进行了模拟购物测试。PYMNTS 报道,这些模型来自 12 家实验室,需要完成 15 项购物挑战,包括购买电视、笔记本电脑和个人护理电器等任务。测试结果显示,AI 模型的整体通过率仅为 57.2%,平均失败率约 42.8%。其中表现最好的模型通过率为 82.2%,而最差的仅 28.9%。TheNextWeb 进一步指出,54% 的失败运行最终仍以 AI 完成购买收场,说明模型在交易执行环节存在明显风险。ForkLog 的报道显示,排名靠前的分别是 Google 的 Gemini 4 Argon 和 Meta 的 Muse Wonder,Anthropic 的 Claude 以 76% 的成功率位列第三,OpenAI 的方案排在第六,成功率为 64%。
背景:随着 AI 代理越来越多地介入在线购物流程,Visa 希望建立一套行业标准来衡量不同模型在真实交易场景中的可靠性。此次基准测试覆盖了从商品搜索、比价到下单支付的全流程,是目前为止最大规模的 AI 购物代理横向对比。
影响:42.8% 的平均失败率意味着 AI 购物代理距离可靠地替代人类消费者还有显著差距。对于电商平台和支付公司而言,AI 代理的下单失败不仅影响转化率,还可能引发退款纠纷和欺诈风险。Visa 的基准测试为行业提供了可量化的评估框架,也提醒商家在接入 AI 导购时需设置更严格的交易验证环节。
总结:Visa 的基准测试揭示了当前 AI 模型在购物任务上的真实能力边界。尽管头部模型已能处理超过八成任务,但整体平均失败率仍接近四成,且高价模型并未显著优于低价模型。这一 findings 意味着 AI 代理的大规模商用仍需在准确性和安全性上继续打磨。
参考来源:
Visa 官方新闻稿
https://usa.visa.com/about-visa/newsroom/press-releases.releaseId.22936.html
PYMNTS
https://www.pymnts.com/news/artificial-intelligence/2026/visa-finds-ai-models-fail-43percent-shopping-test-runs/
TheNextWeb
https://thenextweb.com/news/visa-ai-shopping-benchmark-agentic-commerce-ai-models-fail
ForkLog
https://forklog.com/en/ai-agents-fail-nearly-half-of-shopping-tasks-in-visa-test/
Digital Transactions
https://www.digitaltransactions.net/visa-preps-agentic-commerce-benchmark-and-forecasts-a-4-5-holiday-spending-jump/
TheOutpost
https://theoutpost.ai/news-story/visa-s-ai-shopping-benchmark-reveals-42-8-failure-rate-across-22-ai-agents-33166/
fintechgate
https://fintechgate.net/256600







