SCM Vibe 项目

SCM：macOS 本地优先的多模态 AI 媒体检索工具

项目简介

SCM（Screen Memories）是一款面向 macOS 的开源桌面应用，让用户在本机任意文件夹内对每一张照片、每一帧视频做深度 AI 检索。它打破了“文件名搜索”的局限——用一句自然语言（“去年夏天海边冲浪那段”）描述记忆，本地视觉模型即可返回匹配画面、视频场景、可见文字甚至对白台词。整个推理完全在 Mac 上完成：账号、媒体文件、模型权重统统不出本机。

核心功能

1. Files（整图检索）：基于视觉向量相似度匹配整张照片或视频，文件名/短语可作为加权；每张缩略图都附带“为什么匹配”标签与逐项得分明细，CJK 查询按重叠 bigram 拆分。
2. Scenes（视频场景级搜索）：把视频切成场景片段并独立嵌入向量，搜索结果直击镜头，附带时间码徽章；点开直接跳转到那一帧。
3. OCR（可见文字检索）：调用 Tesseract 识别图片/视频帧中的可见文字并按字面量匹配，支持 36 种语言，含模糊容忍；匹配词在缩略图与放大视图里用琥珀色框标注。
4. Dialogue（对白精确检索）：基于 Whisper 转写实现台词字面量检索，三档粒度（Exact line / Exact words / Words spoken），点击结果直接 seek 到对应时间点。
5. LLMs（本地对话问答）：可选 llama.cpp 进程，从对话、OCR、文件名三路已抽取证据中给出带编号引用的回答；支持 /screenshots /videos /email 限定语料；默认 Qwen3 1.7B，可切 Llama 3.2 3B。
6. Smart Tabs：All / Videos / Screenshots / Email 四种语义视图，最多 20 个可命名保存的搜索 tab，搜索范围先于查询确定。

技术实现

SCM 由 React 渲染层 + Electron 主进程 + Indexer 三部分构成，使用 Bun 作为包管理与脚本执行工具。视觉检索层基于 ONNX Runtime 加载 CLIP ViT-L/14@336（默认，约 435MB）、SigLIP-2-B/16、SigLIP-2-L/16@256、SigLIP-B/16@384 四种可切换模型，切换模型会在后台异步重嵌入整个库，不阻塞搜索。视频场景分割独立嵌入、Whisper 转录作为对白索引、Tesseract OCR 作为文字索引，三路证据统一存放在本地索引库。LLM 模块以 llama.cpp sidecar 绑定 loopback 运行，对 Qwen3 1.7B / Llama 3.2 3B 提供引用式问答。截图分类融合手动覆写、文件名词表（30+ 操作系统本地化名，20+ 语言）、PNG/JPEG 元数据（PNG text chunk / EXIF UserComment）、源文件夹四级信号，rename-proof。整套架构完全本地，权重一次性下载后即可离线运行。

快速上手

1. 通过 Homebrew 安装（推荐 Apple Silicon，macOS 12+）：brew tap allenv0/scm && brew trust allenv0/scm && brew install --cask allenv0/scm/scm。
2. 首次启动应用，指定一个或多个需要被索引的文件夹作为“watched folders”。
3. 应用会自动下载默认 CLIP 模型权重（约 435MB），下载完成后即可离线使用。
4. 在搜索栏用自然语言（如“小狗在公园里”）或字面台词（如“hello world”）搜索，即可看到匹配的图像、视频场景、OCR 文本与对白时间点。
5. （可选）启用 LLMs Chat，下载 Qwen3 1.7B（约 1.1GB）后即可对语料做引用式问答。

适用人群

• macOS 摄影师 / 视频创作者：需要在海量照片、视频素材里精准找到某一片段的人。
• 家庭相册管理者：想把多年累积的截图、表情包、家庭视频整理得能自然语言检索的人。
• 对隐私敏感的本地 AI 重度用户：希望媒体文件 100% 留本机、拒绝云端上传的极客。
• 本地 AI 工具栈爱好者：想一键体验 CLIP/SigLIP/Whisper/Tesseract/llama.cpp 多模态组合栈的探索者。

官方链接

• GitHub 仓库：https://github.com/allenv0/SCM
• 项目主页：https://scm.allenlee.site/
• Homebrew tap：https://github.com/allenv0/homebrew-scm
• 许可证：MIT