研究：AI答错57%财务问题 复杂题错误率99%

时间：2026年9月20日（英国《金融时报》报道发布；Saturn研究项目"Artificial Authority"上线） 地点：英国伦敦（FT报道）；Saturn为英国金融科技公司 人物：Saturn CEO Amal Jolly；AJ Bell个人理财主管Sarah Coles；Nordea投资总监Robert Næss；测试涵盖OpenAI ChatGPT、Anthropic Claude、Microsoft Copilot、xAI Grok、Google Gemini共18款模型 事件详情 英国金融科技公司Saturn发布的《Artificial Authority: Should you trust AI to deliver financial advice?》报告显示，主流AI聊天机器人在理财问答场景中错误率高达57%。 测试覆盖ChatGPT、Claude、Copilot、Grok、Gemini等18款模型（含免费版与付费版），针对121道债务、抵押贷款、养老金、税务、储蓄等财务问题各提问5次，累计生成超过1万条回答。简单问题平均错误率57%；需要多重计算的复杂问题平均错误率升至88%，部分模型高达99%。 模型表现分层明显：付费版本错误率49%，免费版本高达63%；最难题目中免费模型93%答错。 具体表现： - Claude Opus 5（reasoning模式）最佳，整体仍错39% - ChatGPT 5.6 Luna 错58% - xAI Grok 4.5 错59% - Google Gemini 3.1 Pro 错73% - Claude Haiku 4.5（免费版）最差，错82%，复杂题错误率99% 报告披露多个可能造成实质经济损失的具体案例： - 一例关于养老金税务的问答，Claude Haiku 4.5错误指引可能导致用户被英国税务海关总署（HMRC）处以17,500英镑罚款 - 一例债务建议中，模型推荐优先偿还高息债务而非租金、议会税等优先账单，可能导致债务人面临驱逐、法院强制执行 - Claude编造了一条"毕业生出国即可停止偿还学生贷款"的规则，按该建议操作月供反而会上升 - 一款Gemini模型错误告知借款人"抵押贷款还款假期不会影响信用评分" 背景 该报告发布之际，英国金融市场行为监管局（FCA）正面临是否将AI生成的理财建议纳入监管的决策压力。FCA近期发布的Mills Review显示，26%的英国消费者信任通用AI工具提供理财建议；另一项调查发现，五分之一的英国成年人愿意让AI代替自己做财务决策，年轻人尤为信任。 OpenAI 9月推出面向金融行业的ChatGPT垂直版本，进一步加剧了行业对AI理财失误的担忧。 影响 Saturn CEO Amal Jolly呼吁FCA尽快出台AI理财监管："数百万人正在向AI模型咨询理财问题，但他们得到的错误答案可能让他们损失金钱。AI理财目前处于监管空白，消费者得不到像人类顾问那样的保护与赔偿机制，FCA应当尽快行动。" 报告同时指出，AI聊天机器人在预算管理与资料检索方面仍有价值，可作为辅助工具，但不应替代专业顾问。投资者使用AI工具的频率已达到合格顾问的近3倍，但所获保护远低于后者。 总结 Saturn研究是迄今对AI理财问答能力最系统的量化评估，揭示了主流大模型在涉及多步计算与法规细节时的脆弱性。报告一方面为AI在垂直金融场景的能力边界划下红线，另一方面也推动FCA等监管机构加快对AI生成理财建议的治理。 参考来源 - Financial Times (2026-09-20) - AI chatbots give wrong answers to financial queries 'most of the time': https://www.ft.com/content/c0cd359d-df84-4208-a789-ffa864b43666 - Financial Reporter (2026-09-20) - AI models give wrong financial advice 57% of the time, Saturn research finds: https://www.financialreporter.co.uk/ai-models-give-wrong-financial-advice-57-of-the-time-saturn-research-finds.html - HODL.press (2026-09-20) - Research Measures How Often AI Makes Financial Advice Mistakes: https://hodl.press/research-measures-how-often-ai-makes-financial-advice-mistakes - HeadlinesBriefing (2026-09-19) - AI Chatbots Give Wrong Financial Answers 57% of Time, Study Finds: https://headlinesbriefing.com/market/ft-companies/ai-chatbots-give-wrong-financial-answers-57-of-time-study-finds-4f732b2c - Hacker News (2026-09-20) - AI chatbots give wrong answers to financial queries 'most of the time': https://news.ycombinator.com/item?id=49783062 - Saturn 报告页 - Artificial Authority: Should you trust AI to deliver financial advice?: https://saturnhq.com/research/artificial-authority - AJ Bell 官方评论 - Sarah Coles on AI financial advice risks: https://www.ajbell.co.uk/articles/news-views/saturn-ai-financial-advice-report