Agent quality & bad-case docs#
English: This folder documents a recipe-driven pipeline for agent logs
(JSONL with messages + choices / response_choices). Core operators live
under data_juicer/ops/mapper/ (e.g. agent_dialog_normalize_mapper,
agent_bad_case_signal_mapper, dialog_* quality mappers); default prompts
and flattened dialog labels are English-first for upstream reuse—override
user_label / assistant_label on the normalize mapper or subclass mappers
for other locales.
Agent 质检 / bad-case 文档索引#
需求 |
文档 |
|---|---|
只出 HTML 报告(已有 |
|
怎么跑 smoke / full / 校准 / 常见问题 |
|
分层逻辑、信号表、insight 字段、jq |
|
后处理 Python 脚本参数 |
|
LLM 算子加速 |
端到端配置:agent_interaction_quality_analysis.yaml;无 API 冒烟:minimal_configs/09_bad_case_smoke.yaml。
维护指南#
项 |
说明 |
|---|---|
pre-commit |
|
算子文档 |
新增/改名 mapper 后,以 |
信号 ↔ 报告 |
若增加 |
单测(示例) |
|
根 README |
与本目录的交叉链接见 仓库 README「Documentation」 中的 Agent quality 条目。 |