Pinterest 用 4B Qwen3 替换聚类管线

时间：2026年11月9日（InfoQ 等媒体集中报道日）。Pinterest 官方工程博客原文《From Activity to Intent: Generating User Journeys with LLMs》发布于10月下旬，本篇依据 InfoQ 英文报道、企服科学与 GeekNews 对官方博客内容的摘录核实。 地点：美国加州旧金山，Pinterest 公司总部及其推荐平台工程团队。 人物：Pinterest 推荐与机器学习工程团队（官方技术博客以团队名义发布，未署名个人作者）。 事件详情：Pinterest 把用户旅程（user journey）推理系统从原有的多阶段聚类管线，整体迁移到一个经微调的 40 亿参数（4B）语言模型上，基座采用开源的 Qwen3。迁移后不再逐级抽取关键词再做聚类命名，而是把用户画像、收藏板与最长 360 天、最多 150 条行为事件（search、save、like、click、comment、dislike）拼成一个提示词，由模型直接输出带优先级的用户旅程 JSON 列表，生成时 temperature 设为 0、输出上限 300 tokens，旅程名称控制在每条 1 至 5 个词、总数通常不超过 12 条。选型上先用大模型批量生成训练数据，再以 LoRA 方式对 Qwen3 的 0.6B、1.7B、4B、8B 四个尺寸做监督微调，其中 4B 在质量与吞吐之间平衡最好，成为生产环境默认模型。线上部署在约 100 块 L40S GPU 上，vLLM 前端加了 NVIDIA Dynamo 做请求分发，并叠加 PagedAttention、连续批处理与前缀缓存，吞吐约每秒 775 条，响应延迟中位数约 1.2 秒、p95 约 3.0 秒；为压住负载还会跳过最近几天已经分析过的用户，因为用户长期目标不会按小时变化。在美国和加拿大的对照实验中，以原聚类系统为对照组，邮件点击率提升 1.1%，推送通知打开率提升 1.3%，日活、周活、月活等整体指标也出现统计显著上升。官方同时说明，当前生产系统以一次生成旅程列表的 LLM 方案为主，聚类管线作为必要时保留的备选；Semantic IDs、用户反馈学习、生成通知文案等增强能力仍处于实验阶段。 背景：Pinterest 早年的用户旅程系统并不用大模型，而是预训练文本嵌入加人工规则的多阶段管线：先从搜索词、Pin 说明标签和收藏板里抽关键词，再转成向量逐级合并生成候选，挑关键词命名并排序，最后按活动是否持续数周来区分长期兴趣与短期目标。这套方案的问题是各阶段误差会累积，一个真实目标常被拆成多个旅程（例如厨房改造被拆成收纳柜、台面、墙面三段），混合话题时还会生成“Art”“Shopping”这类含糊名称，难以用于个性化。基于旅程的通知此前已明显优于基于兴趣的通知，邮件点击率高 88%、推送打开率高 32%，问卷正面回答增加 23%，这是 Pinterest 愿意继续投入这条线并重写底层的原因。 影响：这是一例开源中文基座模型进入海外大厂生产系统的具体落地，Pinterest 选 4B 而不是更大模型，理由是数亿用户行为的定期分析必须把推理成本压住。对做推荐与触达的企业，它给出了一条可复制的路线：用大模型生成标注、小模型做 LoRA 微调承担线上推理，把原本需要人工维护特征与规则的多段管线收敛成一个统一模型。同时 PagedAttention、连续批处理、请求分发以及跳过近期已分析用户这些工程手段说明，效果之外吞吐与算力成本才是这类大规模在线推理的选型关键。 总结：Pinterest 用单个经微调的 4B Qwen3 模型取代了原有的多阶段旅程聚类管线，一次生成带优先级的用户目标列表；在美国和加拿大的实验里，邮件点击率提升 1.1%、推送通知打开率提升 1.3%，整体活跃指标同步改善。选 4B 而不是更大模型是质量与吞吐的折中，约 100 块 L40S 上每秒处理约 775 条请求。它验证了开源基座加 LoRA 微调在亿级用户行为数据上的可用性，而 Semantic IDs、用户反馈学习等增强项目前仍在实验阶段。 参考来源： InfoQ 英文报道：Pinterest 用 4B Qwen3 取代旅程聚类管线（依据 Pinterest 官方工程博客） https://www.infoq.com/news/2026/11/pinterest-journey/ 企服科学中文报道：Pinterest用40亿参数Qwen3模型替换聚类管线 https://qifukexue.com/?p=44574 GeekNews 日文摘要：Pinterest 用户长期目标推论 LLM 的构建与工程细节 https://ja.news.hada.io/topic?id=36011 ZenML LLMOps 数据库条目：Pinterest 用户旅程推理的技术摘要与指标 http://www.zenml.io/llmops-database/generative-user-journey-inference-at-notification-scale lavx.hu 英文报道：Pinterest replaces journey clustering with 4B Qwen3 LLM https://news.lavx.hu/article/pinterest-replaces-journey-clustering-with-4b-qwen3-llm-reports-improved-engagement dailyartifact.ai 英文报道：Pinterest 用 4B Qwen3 替换聚类管线 https://dailyartifact.ai/story/pinterest-replaces-journey-clustering-with-4b-qwen3-llm-reports-improved-engagem-1fdgr?list=recent SynthePulse 中文报道：Pinterest 用 40 亿参数 Qwen3 大模型替换旅程聚类 https://ai.synthepulse.app/zh-CN/stories/18862