Lipflow

产品简介

Lipflow 是一款开源的 AI 唇读文字输入工具，被作者称作"Wispr Flow for your lips"。用户按住快捷键、无声说出想打的字，松开后文字直接出现在光标位置。整套流程不需要麦克风、不发出声音，仅靠摄像头捕捉嘴唇动作即可完成听写。系统由本地 VSR（视觉语音识别）编码器与可选 LLM 后处理组成，全流程在用户设备上运行，不上传任何音视频，特别适合会议室、图书馆、深夜通勤、共享办公室等不方便开口说话的输入场景。

核心功能

• 无麦唇读输入：核心模型基于 Auto-AVSR 视觉语音识别（3D 卷积 ResNet 前端 + Conformer 编码器 + Transformer 解码器 + CTC），在 LRS3 公开数据集上达到 19.1% 词错误率；口型裁剪用 MediaPipe FaceLandmarker 实时完成，无二次检测。
• 本地全栈推理：96×96 灰度嘴部裁剪、25 fps 采样；M4 Pro 上编码器仅需 0.16 秒（GPU），从松开按键到文字上屏约 1-2 秒；整个推理不依赖任何云端 API。
• LLM 智能后处理：唇读难分辨 p/b/m、f/v、t/d/n 等相似口型，系统把模型 top-3 候选与近期口述上下文发给 LLM，由模型挑选最可能的句子，并修正大小写、标点、数字（"nineteen forty three" → "1943"）。
• 个性化微调：首次启动导入用户的 Wispr Flow 历史、默读 24 句话作为语料，再用用户唇型样本在本地 GPU 上微调唇读模型与常用人名库；六句话留作验证，仅当新模型优于默认模型时才保留。
• Whisper 混合模式：开启后同时启用唇读 + 低语识别（Auto-AVSR 双模态模型，1.8 GB 一次性下载），唇读单模态词错误率 31.9%，唇语联合降至 6.9%；麦克风只在按住快捷键期间启用。
• 跨平台原生体验：macOS 完整 .app 加菜单栏、登录项可设置开机自启；Windows 系统托盘（粉色嘴图标）配 PowerShell 一键安装；Linux 系统托盘，支持 Wayland（hyprctl / swaymsg / wdotool）与 X11（xdotool / xclip）。
• 隐私优先：视频流不离开设备，所有个人数据（视频、训练模型、自定义词）保存在 ~/Library/Application Support/Lipflow/；Wispr Flow 历史只读不传；模型可选 Qwen3-0.6B-MLX（约 350MB）端侧离线运行。

特色优势

• 多 LLM 后端可选：Claude（ANTHROPIC_API_KEY，claude-opus-5-5 默认 / claude-haiku-4-5 低延迟）、ChatGPT Codex CLI（无需 API Key，用 ChatGPT 订阅）、设备端 Qwen3-0.6B-MLX（Apple Silicon GPU，约 0.2 秒/句）、Ollama（qwen3:4b 等）、离线规则（大小写、I、句号、数字转换）— 五种 cleanup 策略可按需切换。
• 可定制快捷键：macOS 默认右 Option、Windows 与 Linux 默认右 Ctrl，命令行支持五种键（right_option / left_option / right_command / right_control / fn）；双击切换免提（最长 60 秒）、Esc 取消。
• 持续学习：用户在 30 秒内修正的文本会被自动收录为新训练样本，下次"练习与训练"流程会复用，越用越准。
• 可定制人名词：自定义人名存入 ~/Library/Application Support/Lipflow/words.txt，含该词的猜测直接胜出，LLM 也会被告知这些词，专治唇读最头疼的人名。

应用场景

• 安静办公 / 居家：会议期间无声快速回复消息，不打扰同事也不被同事听见。
• 图书馆 / 咖啡馆 / 共享办公：不打搅他人、不被旁人偷听，适合长时间写作或编程。
• 深夜通勤 / 公共场合：免提文字输入，避免深夜说话影响他人或被窃听敏感信息。
• 无障碍辅助：因喉部、声带或社交焦虑不便发声的用户，可用 Lipflow 完成日常文字输入。
• 开发者工作流：与 LLM Cleanup 搭配，可作为"无声音的口述编程"工具；写代码时无需开口。
• 口述写作 / 采访：记者、律师、口述者在嘈杂或敏感环境下整理采访记录。

适用人群

• 注重隐私、不愿上传语音到云端的开发者与内容创作者
• 经常在安静场所需要大量文字输入的写作者、记者、律师、研究员
• 寻找 Wispr Flow 开源替代品的用户
• 喜欢本地 AI 工具的极客、研究员与硬件玩家
• 因身体原因不便发声、寻找无障碍输入方案的用户

适用人群补充

• 已经用 Wispr Flow 想自托管 / 想在多平台使用的用户（可一键 import Wispr 历史）
• 对 LLM 调优有兴趣、想在本地跑 MLX 模型的 Apple Silicon 用户
• 在 Wayland / Hyprland / Sway 等 Linux 桌面做无障碍工具集成的开发者

出品方

开发者 amywork777（GitHub），MIT 开源协议（仅 LRS3 训练得到的模型权重限于非商业研究使用）。底层依赖 mpc001/auto_avsr、ESPnet、MediaPipe、MLX、Quartz event tap、pynput 等开源组件；代码组织清晰，分 lipflow/face.py、vsr.py、camera.py、hotkey.py、paste.py、cleanup.py、app.py 等模块。

更新动态

• 状态：v1.x 活跃迭代中，代码组织清晰，CI 在每次 push 自动跑 Windows 真机测试
• 2026-09-29：项目首发，11 天迭代至 v1.x
• 2026-10-04：最新提交包含 Whisper 混合模式、Windows Tray 图标改进、训练流程优化、Wayland 支持完善
• 当前：478 Stars / 58 Forks / 5 Open Issues，活跃维护

官网链接

• GitHub 仓库：https://github.com/amywork777/lipflow
• 代码与文档：仓库自带完整 README、CLI 选项与开发指南
• 协议：MIT（源代码），LRS3 模型权重仅限非商业研究用途