earshot:Agent 的耳朵 Skill 技能
让编程Agent听懂自己渲染的影片
earshot(耳声)是面向 AI 编程 Agent 的"耳朵"工具,让 Agent 能够真正听懂自己渲染出的代码影片、产品演示、游戏音效,并据此迭代。GitHub 仓库 https://github.com/Leonxlnx/earshot,发布 7 天内获得 1500+ Star。提供 CLI、Python API 和 MCP Server 三种形态,在 CPU 上本地运行,无需 API Key、无需账户、无需上传。
核心能力:
- describe:给文件写出"听起来像什么",输出校准标签(z)、AudioSet 标签、可测量指标
- match / rank / find:判定一段声音是否匹配描述、多文件按描述排序、长录音里找到最佳时刻
- timeline:把整部影片的听感变成按时序的事件脚本、对齐到画面切点
- sheet:渲染一张标注 PNG(视频帧 + 段落 + 标签事件 + 频谱 + 响度 + 同步标记),给读图的 Agent
- critique:给启动片打出对照 7 部专业启动片的评分卡 + 时间戳修复建议
- forge:让 Agent 写合成"配方"代码(modal 谐振、噪声激励、滤波、计算房间),由 critic 打分进化
- fit:把任意录音翻译回可重渲染的合成代码,支持 morphing 两个录音
- sfx / kit:内置 201 个银行音效(whoosh/click/pop/impact/riser...),按画面时机调用
安装配置:
- macOS:brew install 或 curl 安装脚本
- Windows:PowerShell 一行安装
- Python 环境:pip install earshot(含 forge、fit、API、CLI)
- 模型:首次跑会自动下载 ~200MB 模型(CPU 推理,无需 GPU)
使用步骤:
earshot describe my_film.mp4→ 看 Agent 听到什么earshot sheet my_film.mp4 -o sheet.png→ 让 Agent 看图earshot critique my_film.mp4 --video v.mp4→ 看专业评分卡earshot forge whoosh --refs refs/ --budget 96 --dir out/→ 让 Agent 自己做出更准的音效- 把仓库内 MCP 配置接入 Claude Code / Cursor,agent 直接调用
适用场景:
- AI Agent 渲染代码影片后需要听感反馈
- 启动片、产品演示、游戏 UI 音效打分
- 用代码生成可批量重做的音效库
- 听感合成与设计音效搜索
- Agent 听一段录音写出可变形代码
适用人群: 用 AI 做生成式影片/游戏的开发者、用 Agent 做产品演示的设计师、独立游戏音效设计师、研究 code-as-sound 的研究员。
工作原理: CPU 上加载小型 AudioSet + CLAP 类模型,给出声音与文本描述的语义向量;用 1/3 倍频程、频谱包络、起音/衰减等可测指标做模型无关的打分;forge 用 evolutionary search 在合成参数空间里搜最优,critic 给出可读反馈。
官方链接:
- GitHub: https://github.com/Leonxlnx/earshot
- Release / 22s 启动片: https://github.com/Leonxlnx/earshot/releases/tag/v0.1.0
团队信息
AI产品库
官方
由 AI 猎手自动发现
评论与建议
登录 后参与评论或提建议