文档

欢迎来到 Data-Juicer 文档。

• 初次使用？ 请按顺序阅读「入门」：安装、跟随快速开始跑通第一个任务，再通过 DJ-Cookbook 探索更多资源。

• 构建自己的菜谱？ 「使用指南」涵盖数据处理、分析、数据集配置、导出、缓存与追踪。

• 查找配置或算子？ 「速查手册」提供全局配置和算子总览；Python 接口请使用顶部的 API 入口。

• 大规模处理？ 「分布式处理」介绍 Ray 模式、分区与检查点、作业管理。

• 扩展 Data-Juicer？ 「扩展与开发」涵盖算子插件、API 服务与开发者指南。

入门

• 安装
  • 1. 前置条件
  • 2. 基础安装
  • 3. 场景化安装
  • 4. 从源码安装
  • 5. 特定算子的安装
  • 6. 使用 Docker 安装
  • 7. 验证安装
  • 常见问题
• 快速上手
  • 1. 安装 Data-Juicer
  • 2. 了解输入数据
  • 3. 编写菜谱
  • 4. 运行流水线
  • 5. 查看输出
  • 6. 在 Python 中使用（可选）
  • 下一步
• DJ-Cookbook
  • 资源合集
  • 编写Data-Juicer (DJ) 代码
  • 用例与数据菜谱
  • 交互类示例

使用指南

• 数据处理
  • CLI 方式
  • Python API 方式
  • API 模型
  • 算子执行顺序最佳实践
  • 性能调优
  • 检查点与断点续跑
  • 追踪与调试
  • 下一步
• 数据分析
  • CLI 方式
  • Python API 方式
  • 分析输出
  • 哪些算子参与分析
  • 分布式分析
  • 字体设置
  • 下一步
• Web Playground
  • 启动
  • 使用流程
  • 导出菜谱
  • 下一步
• 数据集配置
  • 支持的数据集格式
  • 数据混合
  • 数据校验
  • 读取选项
  • 故障排除
  • 旧版 dataset_path 配置
  • 下一步
• 数据集导出
  • 概述
  • 配置
  • 支持的格式
  • 分片导出（本地模式）
  • 并行导出（本地模式）
  • S3 导出
  • 统计信息和哈希管理
  • WebDataset 导出（Ray 模式）
  • API 参考
  • 故障排除
  • 下一步
• 缓存管理
  • 概述
  • 配置
  • 缓存目录结构
  • 缓存压缩
  • 缓存控制 API
  • 缓存与检查点
  • 缓存禁用与临时目录
  • 性能考虑
  • 故障排除
• 数据追踪
  • 概述
  • 配置
  • 输出结构
  • 追踪的算子类型
  • 样本收集行为
  • trace_keys
  • API 参考
  • 性能考虑
  • 故障排除

速查手册

• 全局配置参数速查
  • 项目与路径
  • 执行引擎
  • 输入与格式
  • 导出
  • 性能优化
  • 缓存与检查点
  • 任务管理与恢复
  • 追踪与监控
  • 加密
  • 容错
  • 多模态特殊 Token
  • 算子运行环境管理（仅 Ray 模式）
• Operator Schemas 算子提要
  • Overview 概览
  • aggregator
  • deduplicator
  • filter
  • formatter
  • grouper
  • mapper
  • pipeline
  • selector
  • Contributing 贡献

分布式处理

• Data-Juicer 分布式数据处理
  • 概览
  • 实现与优化
  • 性能结果
  • 分布式数据分析
  • 快速开始
• 分区处理与检查点
  • 概述
  • 目录结构
  • 配置
  • 使用方法
  • 自动配置
  • 作业管理工具
  • 事件类型
  • 性能考虑
  • 故障排除
• 作业管理
  • 处理快照
  • 执行计划与 DAG 监控
  • 资源感知分区
  • 日志
  • API 参考
  • 故障排除

扩展与开发

• 算子插件
  • 概述
  • 工作原理
  • 插件 vs. custom_operator_paths
  • 开发算子插件
  • 注意事项与最佳实践
• DJ 服务化
  • API服务化
  • MCP服务器
• DJ-SORA
  • 动机
  • 路线图
• Juicer：自然语言数据精炼模型
  • 资源链接
  • 快速开始
  • 评测
  • 了解更多
• 开发者指南
  • 1. 快速构建你自己的算子
  • 2. 构建你自己的数据菜谱和配置项
  • 3. 依赖管理
  • 4. 为开源社区贡献

资源

• Awesome Data-Model Co-Development of MLLMs
  • News
  • Candidate Co-Development Tags
  • Paper List
  • Contribution to This Survey
  • "Section - Mentioned Papers" Retrieval List
• “坏”数据展览
  • 目录
  • 涉及算子
  • 多模态数据集
  • 纯文本数据集

demos

• 演示
  • 交互式演示
  • 功能示例
• Agent 交互数据：Bad case 洞察
  • Overview
  • Agent 对话形态：多段 assistant 与 tool
  • 数据血缘字段（normalize 自动写入）
  • Upstream 信号覆盖（第 9 步尽量吃满 pipeline）
  • 第 10 步：agent_insight_llm_mapper（auto-analyst）
  • 为何不强依赖「用户不满意」单一视角
  • 深挖思路（按 model / pt）
  • Pipeline 之后的分析脚本
  • jq 快速筛选
  • 相关算子
• Bad case 自助报告（简化入口）
  • 一行命令
  • 与 smoke / full 的关系
  • 直接调 Python（可选）
  • 仍是「进阶」的内容（刻意不收进报告页）
• Agent 流水线里 LLM 算子：加速与超参
  • 1. 并行（多进程发 API）
  • 2. 减少「每个算子」的工作量
  • 3. 减少 token（更快、更便宜）
  • 4. 迭代开发时的推荐组合
  • 5. 与本仓库脚本的衔接
• Bad case 流水线：一键运行与端到端指南
  • 只想看报告（最少步骤）
  • 前置条件
  • 一键命令（推荐）
  • 端到端两条路径
  • 脚本目录说明
  • LLM 算子慢、想加速？
  • 导出里的 meta 键名
  • 常见问题
• Agent Quality & Bad-Case Pipeline
  • 文档索引
  • 维护指南
• Agent 流水线最小可运行配置（便于逐项调试）
  • 环境与依赖（参考 docs/DeveloperGuide.md）
  • 运行方式（在仓库根目录）
  • 配置说明摘要
  • 建议调试顺序
  • 运行环境注意
• Agent pipeline 后分析脚本
  • Python 脚本一览
  • 手动分步示例
  • 与端到端流程的对应关系
• 自动化评测：HELM 评测及可视化
  • 什么是自动化评测
  • 为什么要自动化评测
  • 如何使用自动化评测：以 HELM 和 Megatron-LM 为例
• VLA Visualization Demo
  • Pipeline Overview
  • Output Format
  • Prerequisites
  • Running the Demo
  • Input Data Format
  • Output Structure
  • Visualization Tools
  • Troubleshooting
• 基于共享存储的多机弹性分片
  • 项目简介
  • 主要优势
  • 与现有方式的区别
  • 文件说明
  • 核心路径概念
  • 前置条件与限制
  • PAI-DLC Worker 广播型作业快速开始
  • GPU 冒烟测试：一个 recipe 同时运行 CPU 和 GPU 算子
  • 重点：使用现有 Mapper/Filter recipe 和自己的 JSONL
  • dlc_job.py 参数参考
  • shard_job.py 完整参数参考
  • 通用手工/调度器流程
  • Ray 运行模式
  • job-dir 结构
  • 故障语义
  • 退出码
  • 排障
  • 测试
• Note for dataset path
• 为LLM构造角色扮演的system prompt
  • 数据准备
  • 执行
  • 生成样例
• HumanVBench 算子演示
  • 论文
  • 相关文件
  • 算子列表
  • 安装
  • 快速开始
  • 管线依赖

工具

• 分布式模糊去重工具
  • 使用方法
• 自动评测工具
  • 准备工作
  • 用法
  • 配置
• GPT EVAL：使用 OpenAI API 评测大模型
  • 快速上手
• 评测结果记录器
  • 用法
  • 配置
• 格式转换工具
• 多模态格式转换工具
  • 绝对路径转相对路径
  • 数据集格式转换
• 后微调工具
  • 用法
• Label Studio Service Utility
  • Features
  • Usage
  • Connection File: label_studio_localhost_connection.json
  • Enabling Legacy Token Authentication
  • Label Studio Version
  • Example
  • Troubleshooting
• 视频生成测评工具
  • 用法
  • 指标介绍
• VBench 视频质量指标
• 后处理工具
  • 用法
• 预处理工具
  • 用法

第三方

• 大语言模型生态
  • 安装
• HumanVBench Models Setup
  • 1. Environment Initialization
  • 2. Applying Custom Patches
  • 3. External Weights Download
• 第三方模型库
  • EasyAnimate