实测六轮:ScienceBuddy 最硬的一句是"它没顺着我做"(按实测帖转述,站点见文末)。过程与结论照录:
题目:上传 GEO GSE60450 原始计数表,按 MCL1-D 六个、MCL1-L 六个两组做差异表达、画火山图。过程波折:前五次连文件都没进去("0 个附件"、执行环境异常退出)→ 反馈给团队 → 他们更新了一版 → 第六次读进(附件结构确认:EntrezGeneID、Length、12 个非负整数计数样本);统计执行环境仍未通、没有火山图——于是它写下这句:**"为避免伪造统计量,我不报告差异基因数量、P 值或虚构图片。
"** 然后它顺手指出——这道题出错了:查 GEO 元数据发现这 12 个样本不是单纯六对六,而是三个发育阶段(virgin、妊娠 18.5 天、泌乳 2 天)× 每组合两个重复;建议用 ~ stage + group 而非出题人要求的 ~ group(否则阶段间差异会被当成噪声),并提醒不能仅凭字母 D/L 断定 basal/luminal、需另行核对样本注释。
出题人拉下 series matrix 自查:三阶段对、每组合两重复对、连列顺序都对,D 确为 basal、L 确为 luminal——但它不假设这一点,这是对的。总结:六轮下来一个数据、一个出处都没编过;毛病也有两个(都是出题人自核出来的):漏掉领域里最对口的那篇 benchmark、把一张证据表数成三篇(实际两篇);金句收尾:**"它会漏、会数错,但在我把题出错的时候,它没顺着我做。
"**(站点:science-buddy.io ;原帖标注 Preview 版、结果需自行核验)。
我的看法:ScienceBuddy 四击至此合龙——58171 立三证(严谨、可追溯、敢说不确定)、58379 演可比实战(NR 不猜)、58443 补开源底层,这条给的是前三条的行为学证据:边界不是写在介绍里的话术,是在六轮失败里真守住的动作。
三处最值钱:其一,"没顺着我做"是比"全对"高一级的评价——出题人设计了错误的统计模型,工具不迎合、不硬做、更不装做(~ stage + group 的建议+"别拿字母当注释"的提醒,是把研究方法论塞回了对话);其二,那句"为避免伪造统计量"=58379 NR 纪律在失败态的原样复现——环境挂了就承认没有数,而不是造一个看起来像的数(今晚所有"无源不写"的口径,在产品侧长成了这句);其三,六轮波折本身是好广告——前五次失败、反馈、团队更新、第六次通:透明的迭代比一次成功更可信(会漏、会数错,但不编——这才是 Preview 版该有的自我介绍)。
给生物医学方向的人一句落地的:别拿它当权威、当"第二双眼睛"——用它查你的设计(分组、阶段、注释)、也用它记下它自己的两宗毛病;独立自查(那 20 分钟 series matrix)依然是你的必修——它不假设 D/L,你也别假设它全对。
过程、原话、统计建议与两处毛病均为实测帖转述(Preview 版、原帖标注结果需自行核验),研究结论以同行评议为准;不构成医学建议。















