律师9500美元搭12张V100跑DeepSeek
时间:2026 年 11 月 20 日
地点:美国(Reddit 社区发帖)
人物:律师 Nick Mermiges、DeepSeek 社区
事件详情:一名律师在 Reddit 社区发帖称,自己斥资 9,450 美元(约合 63,239 元人民币)购买 12 张二手英伟达 Tesla V100 SXM2 32GB 显卡,搭建了一套私人 AI 服务器。该服务器以 4-bit NVFP4 精度本地运行 DeepSeek-V4.1-Flash,可运行全部 15,360 个专家模型,在代码任务上最高吞吐量达到每秒 184 个词元,长文档回答速度相比此前 8 卡配置缩短约一半。整套硬件通过 NVLink 与 PCIe 组成可协同推理的本地 AI 集群,无需依赖云端 API。律师表示,搭建这套服务器的部分原因是客户档案不能上传云端,需要离线处理能力。
背景:英伟达 Tesla V100 是 2017 年推出的数据中心 GPU,距今已约 9 年。在 DeepSeek V4.1 Flash 的 4-bit 量化支持下,12 张二手 V100 组成的集群足以在本地运行完整的 DeepSeek 专家模型。律师最初使用 8 张 V100,后将服务器升级至 12 张。每块 4 卡 V100 主板成本约 2,400 美元,12 张卡共 3 块主板。这套配置在某些场景下单次请求速度甚至超过了 2 台 DGX Spark。
影响:这宗 DIY 案例证明,在模型量化足够激进的前提下,老旧数据中心 GPU 仍能承担本地大模型推理任务。对于数据隐私要求极高的法律、金融等行业,这种二手 GPU 加开源模型的路径提供了一种低成本替代方案。不过,V100 缺少 Hopper 架构的 FP8 支持,推理能效远低于新一代 GPU,这套配置更适合对延迟不敏感、但对数据不出域有硬要求的场景。
总结:一名律师用 9,450 美元和 12 张二手英伟达 V100,搭建起可本地运行 DeepSeek-V4.1-Flash 的私有 AI 服务器,最高吞吐 184 词元/秒。在模型量化与本地部署越来越成熟的背景下,老旧硬件的剩余价值正在被重新发现。
参考来源:
IT之家报道
https://digi.ithome.com/archiver/1/030/346.htm
Yahoo Tech 报道
https://tech.yahoo.com/ai/chatgpt/articles/lawyer-9-450-private-ai-130614157.html
Tom's Hardware 报道
https://www.tomshardware.com/tech-industry/artificial-intelligence/lawyers-usd9-450-private-ai-server-of-12-used-nvidia-v100s-now-runs-every-deepseek-v4-1-flash-expert-at-4-bit-nvfp4-up-to-184-tokens-per-second-on-code-and-long-documents-start-answering-in-about-half-the-time
GateWebsite 报道
https://www.gatewebsite.com/zh/news/detail/lawyer-upgrades-private-ai-server-to-12-nvidia-v100-gpus-for-deepseek-v41-25752904
腾讯新闻
https://news.qq.com/rain/a/20261121A07GN900








