Pixel 11 首发 DeepMind 手语翻译

时间：2026 年 8 月 12 日 地点：美国（Google DeepMind / Pixel 11 全球发布） 人物：Google DeepMind Sign Language Team 事件：Google DeepMind 发布 SL2T（Sign-Language-to-Text）模型，并集成进 Pixel 11 的 Gboard 和 Live Transcribe，首次实现手机原生手语翻译功能 事件详情： 8 月 12 日，Google DeepMind 推出 SL2T 手语翻译模型，同步将其内置到 Pixel 11 手机的 Gboard 输入法和 Live Transcribe 实时转写功能中，作为美式手语（ASL）转英语的默认入口。 SL2T 是 Google 首个被官方描述为"质量与通用性突破"的手语翻译模型，训练数据规模达到 100,000 小时以上，覆盖 50 余种手语，其中约四分之一为 ASL 数据。 跨语言、方言和熟练度联合训练，使模型在实验中优于单语言系统，覆盖更广泛人群。 模型并非直接处理摄像头视频，而是先在端侧通过 MediaPipe Holistic 模型追踪面部、身体、手部 130 个关键点，仅将这些几何坐标上送服务器进行翻译，原始摄像头数据被立刻丢弃，被 Google 视为隐私保护设计。 在翻译阶段，SL2T 直接生成英文文本，省掉了传统 sign-to-gloss 中间注释层，不再受限于人工标注的固定词表，可捕捉手语中的非手部标记与空间结构等语法信息。 基准表现上，SL2T 在 FLEURS-ASL 上拿到 70 BLEURT（一手语变体 74 BLEURT）、PRESTO-ASL 拿到 85 BLEURT、FSboard 拼写数据集达到 64% 完全匹配准确率（数字均为厂商自报，尚未有独立第三方评估）。 SL2T 已展示失败案例，如会把"This fully feathered, warm blooded bird of prey"误译为"This creature is warm-blooded, eats grey"，"prey"被错误替换为"grey"。 当画面中出现第二人或用户暂时停顿时，模型仍存在一定程度的"幻觉"生成问题，但 Google 表示发布版比 7 月发布前的版本显著减少。 启动阶段支持 ASL 到英语，计划逐步支持更多手语和设备，Pixel 11 首发，更多设备将在后续跟进。 背景： 全球估计有 70 million 聋人或听力障碍用户使用超过 200 种手语，但此前手语 AI 大多停留在实验室阶段，主流消费级手机缺乏原生翻译能力。 深度学习早期的手语识别尝试多依赖传感器手套，覆盖范围有限，并且把"手语"误解为"英语手势化"，忽略了手语作为独立自然语言的语法和词汇体系。 Pixel 11 是 Google 8 月 12 日发布的新一代旗舰手机，本次将 SL2T 直接集成进 Gboard 输入法和 Live Transcribe，标志着无障碍 AI 第一次走出实验室进入消费设备。 影响： 对全球 7000 万聋人和听力障碍用户而言，Pixel 11 提供了一种在搜索、写文档、给 Gemini 提问、Live Transcribe 对话等原本需要打字的场景下通过手语直接输入的全新方式。 手语从"少数派辅助功能"被推到 Android 主输入流，意味着无障碍 AI 的工程范式从"加挂插件"转向"系统级集成"，可能促使苹果 iOS 和其他 Android OEM 加速跟进。 跨 50 余种手语联合训练的设计对手语保护有积极意义，避免英语为中心的偏见，同时为低资源手语带来机会。 SL2T 的能力上限仍受限于 FLEURS-ASL 等室内高质数据集，真实场景（多人、噪声、手势停顿）的稳健性还需持续打磨，Google 也承认幻觉问题尚未完全消除。 无障碍 AI 进入手机也带来关于"摄像头坐标流上云"的合规与隐私讨论，特别是不同地区对生物特征数据的法律差异。 总结： Google DeepMind 通过 SL2T 把"手语翻译"从研究演示产品变成 Pixel 11 上的常态输入方式，并在 50 余种手语、10 万小时数据上做了跨语言训练，这是无障碍 AI 第一次以系统级集成方式进入主流消费设备，对残障人士和 AI 行业都有里程碑意义。 参考来源： 1. Unite.AI《Google DeepMind Brings Sign Language Translation to Phones With SL2T》：https://www.unite.ai/google-deepmind-brings-sign-language-translation-to-phones-with-sl2t/ 2. Google DeepMind 官方博客《Putting sign language AI into users' hands》：https://deepmind.google/blog/putting-sign-language-ai-into-users-hands/ 3. The Verge AI 频道：https://www.theverge.com/ai-artificial-intelligence 4. TechCrunch AI 频道：https://techcrunch.com/category/artificial-intelligence/ 5. Wired AI 频道：https://www.wired.com/tag/artificial-intelligence/ 6. Google AI 博客（MediaPipe Holistic）：https://research.google/blog/mediapipe-holistic-simultaneous-face-hand-and-pose-prediction-on-device/ 7. FLEURS-ASL 数据集：https://www.kaggle.com/datasets/googleai/fleurs-asl 8. Google Pixel 11 官方页面：https://store.google.com/magazine/google_pixel_11