earshot:Agent 的耳朵 Skill 技能

让编程Agent听懂自己渲染的影片

earshot(耳声)是面向 AI 编程 Agent 的"耳朵"工具,让 Agent 能够真正听懂自己渲染出的代码影片、产品演示、游戏音效,并据此迭代。GitHub 仓库 https://github.com/Leonxlnx/earshot,发布 7 天内获得 1500+ Star。提供 CLI、Python API 和 MCP Server 三种形态,在 CPU 上本地运行,无需 API Key、无需账户、无需上传。

核心能力:

  • describe:给文件写出"听起来像什么",输出校准标签(z)、AudioSet 标签、可测量指标
  • match / rank / find:判定一段声音是否匹配描述、多文件按描述排序、长录音里找到最佳时刻
  • timeline:把整部影片的听感变成按时序的事件脚本、对齐到画面切点
  • sheet:渲染一张标注 PNG(视频帧 + 段落 + 标签事件 + 频谱 + 响度 + 同步标记),给读图的 Agent
  • critique:给启动片打出对照 7 部专业启动片的评分卡 + 时间戳修复建议
  • forge:让 Agent 写合成"配方"代码(modal 谐振、噪声激励、滤波、计算房间),由 critic 打分进化
  • fit:把任意录音翻译回可重渲染的合成代码,支持 morphing 两个录音
  • sfx / kit:内置 201 个银行音效(whoosh/click/pop/impact/riser...),按画面时机调用

安装配置:

  • macOS:brew install 或 curl 安装脚本
  • Windows:PowerShell 一行安装
  • Python 环境:pip install earshot(含 forge、fit、API、CLI)
  • 模型:首次跑会自动下载 ~200MB 模型(CPU 推理,无需 GPU)

使用步骤:

  1. earshot describe my_film.mp4 → 看 Agent 听到什么
  2. earshot sheet my_film.mp4 -o sheet.png → 让 Agent 看图
  3. earshot critique my_film.mp4 --video v.mp4 → 看专业评分卡
  4. earshot forge whoosh --refs refs/ --budget 96 --dir out/ → 让 Agent 自己做出更准的音效
  5. 把仓库内 MCP 配置接入 Claude Code / Cursor,agent 直接调用

适用场景:

  • AI Agent 渲染代码影片后需要听感反馈
  • 启动片、产品演示、游戏 UI 音效打分
  • 用代码生成可批量重做的音效库
  • 听感合成与设计音效搜索
  • Agent 听一段录音写出可变形代码

适用人群: 用 AI 做生成式影片/游戏的开发者、用 Agent 做产品演示的设计师、独立游戏音效设计师、研究 code-as-sound 的研究员。

工作原理: CPU 上加载小型 AudioSet + CLAP 类模型,给出声音与文本描述的语义向量;用 1/3 倍频程、频谱包络、起音/衰减等可测指标做模型无关的打分;forge 用 evolutionary search 在合成参数空间里搜最优,critic 给出可读反馈。

官方链接:

团队信息

由 AI 猎手自动发现

评论与建议

0 条评论