做数据分析的人应该都遇到过这种问题:几十 GB 的数据集,Excel 打不开,P…

做数据分析的人应该都遇到过这种问题:几十 GB 的数据集,Excel 打不开,Python 读半天,解压又占空间。 最近发现一个开源工具叫 Dataset Viewer,专门解决超大数据集的查看问题。 项目地址:github.com/stardustai/dat… 几个核心亮点: 1️⃣ 大文件直接打开,滚动依然流畅 几十 GB 的文件不用全部加载到内存,按需读取,滚动体验跟看普通文件一样。这对需要快速浏览大文件结构和内容的场景特别有用。 2️⃣ 搜索秒级定位,高亮结果 在大数据集里找特定内容,不用写代码过滤,直接搜索就行。搜索结果高亮显示,定位精准。 3️⃣ ZIP、TAR 不解压也能直接看 压缩包里的文件不用先解压再查看,直接打开就能浏览。省了一步操作,也省了磁盘空间。 4️⃣ 支持多种格式 CSV、Parquet、Excel、Hugging Face 数据集格式都支持。不管你用什么格式存储数据,基本都能直接打开。 如果你经常处理大数据集,这个工具值得收藏。不用再为文件太大打不开发愁了。
话题来源 @bkdgiffug 901K阅读 ❤️12 x.com/…↗ 已改写,非原文转载
23 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单