文档

教程

• DJ-Cookbook
  • 资源合集
  • 编写Data-Juicer (DJ) 代码
  • 用例与数据菜谱
  • 交互类示例
• 安装
  • 前置条件
  • 基础安装
  • 场景化安装
  • 常见安装模式
  • 从源码安装
  • 特定算子安装
  • 使用 Docker 安装
  • 注意事项和故障排除
• 快速上手
  • 数据集配置
  • 数据处理
  • 分布式数据处理
  • 数据分析
  • 数据可视化
  • 构建配置文件
  • 沙盒实验室
  • 预处理原始数据（可选）
  • 对于 Docker 用户

帮助文档

• Operator Schemas 算子提要
  • Overview 概览
  • aggregator
  • deduplicator
  • filter
  • formatter
  • grouper
  • mapper
  • pipeline
  • selector
  • Contributing 贡献
• 数据集配置指南
  • 支持的数据集格式
  • 其他功能
• “坏”数据展览
  • 目录
  • 涉及算子
  • 多模态数据集
  • 纯文本数据集
• 缓存管理
  • 概述
  • 配置
  • 缓存目录结构
  • 缓存压缩
  • 缓存控制 API
  • 缓存与检查点
  • 缓存禁用与临时目录
  • 性能考虑
  • 故障排除
• DJ-SORA
  • 动机
  • 路线图
• DJ_服务化
  • API服务化
  • MCP服务器
• 开发者指南
  • 1. 快速构建你自己的算子
  • 2. 构建你自己的数据菜谱和配置项
  • 3. 依赖管理
  • 4. 为开源社区贡献
• Data-Juicer 分布式数据处理
  • 概览
  • 实现与优化
  • 性能结果
  • 分布式数据分析
  • 快速开始
• 数据集导出
  • 概述
  • 配置
  • 支持的格式
  • 分片导出
  • 并行导出
  • S3 导出
  • 统计信息和哈希管理
  • WebDataset 导出（Ray 模式）
  • API 参考
  • 故障排除
• 作业管理
  • 处理快照
  • 资源感知分区
  • 日志
  • API 参考
  • 故障排除
• 算子插件
  • 概述
  • 工作原理
  • 插件 vs. custom_operator_paths
  • 开发算子插件
  • 注意事项与最佳实践
• 分区处理与检查点
  • 概述
  • 目录结构
  • 配置
  • 使用方法
  • 自动配置
  • 作业管理工具
  • 事件类型
  • 性能考虑
  • 故障排除
• 数据追踪
  • 概述
  • 配置
  • 输出结构
  • 追踪的算子类型
  • 样本收集行为
  • trace_keys
  • API 参考
  • 性能考虑
  • 故障排除
• Awesome Data-Model Co-Development of MLLMs
  • News
  • Candidate Co-Development Tags
  • Paper List
  • Contribution to This Survey
  • "Section - Mentioned Papers" Retrieval List

demos

• 演示
  • 交互式演示
  • 功能示例
• Agent 交互数据：Bad case 洞察
  • Overview
  • Agent 对话形态：多段 assistant 与 tool
  • 数据血缘字段（normalize 自动写入）
  • Upstream 信号覆盖（第 9 步尽量吃满 pipeline）
  • 第 10 步：agent_insight_llm_mapper（auto-analyst）
  • 为何不强依赖「用户不满意」单一视角
  • 深挖思路（按 model / pt）
  • Pipeline 之后的分析脚本
  • jq 快速筛选
  • 相关算子
• Bad case 自助报告（简化入口）
  • 一行命令
  • 与 smoke / full 的关系
  • 直接调 Python（可选）
  • 仍是「进阶」的内容（刻意不收进报告页）
• Agent 流水线里 LLM 算子：加速与超参
  • 1. 并行（多进程发 API）
  • 2. 减少「每个算子」的工作量
  • 3. 减少 token（更快、更便宜）
  • 4. 迭代开发时的推荐组合
  • 5. 与本仓库脚本的衔接
• Bad case 流水线：一键运行与端到端指南
  • 只想看报告（最少步骤）
  • 前置条件
  • 一键命令（推荐）
  • 端到端两条路径
  • 脚本目录说明
  • LLM 算子慢、想加速？
  • 导出里的 meta 键名
  • 常见问题
• Agent quality & bad-case docs
• Agent 质检 / bad-case 文档索引
  • 维护指南
• Agent 流水线最小可运行配置（便于逐项调试）
  • 环境与依赖（参考 docs/DeveloperGuide.md）
  • 运行方式（在仓库根目录）
  • 配置说明摘要
  • 建议调试顺序
  • 运行环境注意
• Agent pipeline 后分析脚本
  • Python 脚本一览
  • 手动分步示例
  • 与端到端流程的对应关系
• 自动化评测：HELM 评测及可视化
  • 什么是自动化评测
  • 为什么要自动化评测
  • 如何使用自动化评测：以 HELM 和 Megatron-LM 为例
• VLA Visualization Demo
  • Pipeline Overview
  • Output Format
  • Prerequisites
  • Running the Demo
  • Input Data Format
  • Output Structure
  • Visualization Tools
  • Troubleshooting
• 基于共享存储的多机弹性分片
  • 项目简介
  • 主要优势
  • 与现有方式的区别
  • 文件说明
  • 核心路径概念
  • 前置条件与限制
  • PAI-DLC Worker 广播型作业快速开始
  • GPU 冒烟测试：一个 recipe 同时运行 CPU 和 GPU 算子
  • 重点：使用现有 Mapper/Filter recipe 和自己的 JSONL
  • dlc_job.py 参数参考
  • shard_job.py 完整参数参考
  • 通用手工/调度器流程
  • Ray 运行模式
  • job-dir 结构
  • 故障语义
  • 退出码
  • 排障
  • 测试
• Note for dataset path
• 为LLM构造角色扮演的system prompt
  • 数据准备
  • 执行
  • 生成样例
• HumanVBench 算子演示
  • 论文
  • 相关文件
  • 算子列表
  • 安装
  • 快速开始
  • 管线依赖

工具

• 分布式模糊去重工具
  • 使用方法
• Auto Evaluation Toolkit
  • 准备工作
  • 用法
  • 配置
• GPT EVAL：使用 OpenAI API 评测大模型
  • 快速上手
• Evaluation Results Recorder
  • 用法
  • 配置
• 格式转换工具
• 多模态工具
  • 绝对路径转相对路径
  • 数据集格式转换
• 后微调工具
  • 用法
• Label Studio Service Utility
  • Features
  • Usage
  • Connection File: label_studio_localhost_connection.json
  • Enabling Legacy Token Authentication
  • Label Studio Version
  • Example
  • Troubleshooting
• 视频生成测评工具
  • 用法
  • 指标介绍
• VBench metrics
• Postprocess tools
  • 用法
• 预处理工具
  • 用法

第三方

• 大语言模型生态
  • 安装
• HumanVBench Models Setup
  • 1. Environment Initialization
  • 2. Applying Custom Patches
  • 3. External Weights Download
• 第三方模型库
  • EasyAnimate