它是什么
Datasets 是 Hugging Face 的开源库，2020 年发布，用于加载、处理与共享数据集。它以 Apache Arrow 作为底层格式，支持内存映射与流式读取，让超出内存的数据集也能逐批遍历。它解决的是训练前的数据下载、解析与预处理管线难以复用的问题。
为什么值得记住
它把「取数据」这一步变成可缓存、可流式的标准流程，让预处理代码随数据集一起被共享与复现。
关键规格
- 底层格式
- Apache Arrow
- 读取方式
- 内存映射与流式迭代
它是什么
Datasets 是 Hugging Face 的开源库，2020 年发布，用于加载、处理与共享数据集。它以 Apache Arrow 作为底层格式，支持内存映射与流式读取，让超出内存的数据集也能逐批遍历。它解决的是训练前的数据下载、解析与预处理管线难以复用的问题。
为什么值得记住
它把「取数据」这一步变成可缓存、可流式的标准流程，让预处理代码随数据集一起被共享与复现。