做数据分析的人应该都遇到过这种问题:几十 GB 的数据集,Excel 打不开,Python 读半天,解压又占空间。
最近发现一个开源工具叫 Dataset Viewer,专门解决超大数据集的查看问题。
项目地址:github.com/stardustai/dat…
几个核心亮点:
1️⃣ 大文件直接打开,滚动依然流畅
几十 GB 的文件不用全部加载到内存,按需读取,滚动体验跟看普通文件一样。这对需要快速浏览大文件结构和内容的场景特别有用。
2️⃣ 搜索秒级定位,高亮结果
在大数据集里找特定内容,不用写代码过滤,直接搜索就行。搜索结果高亮显示,定位精准。
3️⃣ ZIP、TAR 不解压也能直接看
压缩包里的文件不用先解压再查看,直接打开就能浏览。省了一步操作,也省了磁盘空间。
4️⃣ 支持多种格式
CSV、Parquet、Excel、Hugging Face 数据集格式都支持。不管你用什么格式存储数据,基本都能直接打开。
如果你经常处理大数据集,这个工具值得收藏。不用再为文件太大打不开发愁了。
话题来源 @bkdgiffug
901K阅读 ❤️12 x.com/…↗ 已改写,非原文转载
24 浏览 0 评论
0 反应










