HumanVBench 算子演示#

这是论文 HumanVBench: Probing Human-Centric Video Understanding in MLLMs with Automatically Synthesized Benchmarks (CVPR'26) 的算子贡献页面。

论文#

算子	类型	描述
`video_face_ratio_filter`	filter	按人脸帧比例过滤视频。
`video_human_tracks_extraction_mapper`	mapper	提取人脸和人体边界框轨迹。
`video_human_tracks_face_demographic_mapper`	mapper	通过 DeepFace 检测人脸属性。
`video_tagging_from_audio_mapper`	mapper	从音频生成视频标签（已有算子）。
`video_audio_detect_age_gender_mapper`	mapper	从语音音频检测年龄/性别。
`video_audio_ASR_mapper`	mapper	自动语音识别。
`video_audio_speech_emotion_mapper`	mapper	语音情感识别。
`video_captioning_from_human_tracks_mapper`	mapper	通过 VideoLLaMA3 生成人物描述。
`video_captioning_face_attribute_emotion_mapper`	mapper	通过 VideoLLaMA3 生成面部属性/情感描述。
`video_active_speaker_detect_mapper`	mapper	通过 Light-ASD 检测活跃说话者。

注意： 这些算子需要 thirdparty/humanvbench_models/ 下的第三方补丁/模型，目前需源码安装。

git clone https://github.com/datajuicer/data-juicer.git
cd data-juicer
pip install -e .

由于 HumanVBench 算子涉及外部仓库的修改，这些经过调整的仓库存储在 thirdparty/humanvbench_models。

直接运行即可——相关算子会自动处理 git clone 和 .diff 补丁合并：

dj-process --config demos/video_humanvbench_simple/analyzer.yaml

按照 thirdparty/humanvbench_models/README.md 的指引手动完成 git clone 和 .diff 补丁合并，然后运行：

dj-process --config demos/video_humanvbench_simple/analyzer.yaml

算子构成一个处理管线，推荐执行顺序如下：