Juicer:自然语言数据精炼模型¶
Juicer 是基于 Qwen3.6-35B-A3B 构建的数据精炼模型(MoE 架构:35B 总参数 / 3B 激活参数)。它能将自然语言描述的清洗指令、过滤规则和语义标注需求转化为结构化输出——严格的标记文本或规范的 JSON。
Juicer 专为数据精炼工作流设计,支持在本地环境中部署和处理敏感数据。
资源链接¶
资源 |
链接 |
|---|---|
HuggingFace 模型 |
|
ModelScope 模型 |
|
Juicer Playground |
快速开始¶
0. 准备启动脚本¶
data-juicer-hub 仓库的 juicer_playground 目录提供 serve.sh、requirements.txt 和 app.py。克隆仓库并进入 Playground 目录:
git clone https://github.com/datajuicer/data-juicer-hub.git
cd data-juicer-hub/juicer_playground
1. 部署模型¶
按照 Playground 部署说明准备推理环境和模型权重。Juicer 可作为 OpenAI 兼容端点提供服务。在单张 H20(96 GB)上:
export MODEL_ID=/path/to/juicer-model
bash serve.sh --model "$MODEL_ID" --port 8000
2. 启动 Playground¶
Juicer Playground 提供交互式界面,可试用配方、浏览展示用例、对比 Juicer 与基座模型:
pip install -r requirements.txt
export JUICER_BASE_URL=http://localhost:8000/v1
python app.py
# 打开 http://localhost:7860
评测¶
Juicer 在 CDR-Bench 上进行评测,涵盖原子映射/过滤、组合工作流、顺序敏感管道和语义任务(PII、幻觉、量规、安全)。
了解更多¶
完整的部署选项(vLLM、SGLang、Transformers)、展示用例、集成代码和 AB 对比设置,请访问 Juicer Playground README。