索引

_

__init__() （data_juicer_sandbox.context_infos.ContextInfos 方法） __init__() （data_juicer_sandbox.context_infos.GlobalContextInfos 方法） __init__() （data_juicer_sandbox.context_infos.JobInfos 方法） __init__() （data_juicer_sandbox.context_infos.PipelineInfos 方法） __init__() （data_juicer_sandbox.data_pool_manipulators.BaseDataPoolManipulator 方法） __init__() （data_juicer_sandbox.env_manager.CondaEnv 方法） __init__() （data_juicer_sandbox.env_manager.VirtualEnv 方法） __init__() （data_juicer_sandbox.evaluators.AccuracyEvaluator 方法） __init__() （data_juicer_sandbox.evaluators.BaseEvaluator 方法） __init__() （data_juicer_sandbox.evaluators.MSEEvaluator 方法） __init__() （data_juicer_sandbox.hooks.BaseHook 方法） __init__() （data_juicer_sandbox.hooks.DataPoolManipulationHook 方法） __init__() （data_juicer_sandbox.hooks.EvaluateDataHook 方法） __init__() （data_juicer_sandbox.hooks.EvaluateModelHook 方法） __init__() （data_juicer_sandbox.hooks.GeneralDataExecutorHook 方法） __init__() （data_juicer_sandbox.hooks.GeneralProbeHook 方法） __init__() （data_juicer_sandbox.hooks.InferModelHook 方法） __init__() （data_juicer_sandbox.hooks.ProbeViaAnalyzerHook 方法）

__init__() （data_juicer_sandbox.hooks.ProbeViaModelInferHook 方法） __init__() （data_juicer_sandbox.hooks.ProcessDataHook 方法） __init__() （data_juicer_sandbox.hooks.RefineRecipeViaKSigmaHook 方法） __init__() （data_juicer_sandbox.hooks.RefineRecipeViaModelFeedbackHook 方法） __init__() （data_juicer_sandbox.hooks.TrainModelHook 方法） __init__() （data_juicer_sandbox.model_executors.APIModelInferExecutor 方法） __init__() （data_juicer_sandbox.model_executors.BaseModelExecutor 方法） __init__() （data_juicer_sandbox.model_executors.HFTransformersInferExecutor 方法） __init__() （data_juicer_sandbox.model_executors.LLaMAFactoryExecutor 方法） __init__() （data_juicer_sandbox.model_executors.LLaVAExecutor 方法） __init__() （data_juicer_sandbox.model_executors.LLMInferExecutor 方法） __init__() （data_juicer_sandbox.model_executors.MegatronExecutor 方法） __init__() （data_juicer_sandbox.model_executors.ModelscopeInferProbeExecutor 方法） __init__() （data_juicer_sandbox.model_executors.ModelscopeTrainExecutor 方法） __init__() （data_juicer_sandbox.model_executors.VLLMInferExecutor 方法） __init__() （data_juicer_sandbox.pipelines.SandBoxExecutor 方法） __init__() （data_juicer_sandbox.pipelines.SandboxPipeline 方法） __init__() （data_juicer_sandbox.pipelines.SandBoxWatcher 方法） __init__() （data_juicer_sandbox.pipelines.Target 方法）

A

AccuracyEvaluator（data_juicer_sandbox.evaluators 中的类）

add_iter_subdir_to_paths()（在 data_juicer_sandbox.utils 模块中） APIModelInferExecutor（data_juicer_sandbox.model_executors 中的类）

B

BaseDataPoolManipulator（data_juicer_sandbox.data_pool_manipulators 中的类） BaseEvaluator（data_juicer_sandbox.evaluators 中的类） BaseHook（data_juicer_sandbox.hooks 中的类）

BaseModelExecutor（data_juicer_sandbox.model_executors 中的类） build_executor() （data_juicer_sandbox.model_executors.ModelscopeTrainExecutor 方法） build_messages()（在 data_juicer_sandbox.helper_funcs 模块中） build_messages_for_math_qa()（在 data_juicer_sandbox.helper_funcs 模块中）

C

cfg_modify_fn() （data_juicer_sandbox.model_executors.ModelscopeTrainExecutor 方法） check_availability() （data_juicer_sandbox.env_manager.CondaEnv 方法） check_availability() （data_juicer_sandbox.env_manager.Env 方法） check_availability() （data_juicer_sandbox.env_manager.VirtualEnv 方法） check_io_paths()（在 data_juicer_sandbox.data_pool_manipulators 模块中） check_target() （data_juicer_sandbox.pipelines.Target 方法）

CondaEnv（data_juicer_sandbox.env_manager 中的类） context_infos（data_juicer_sandbox.context_infos.GlobalContextInfos 属性） ContextInfos（data_juicer_sandbox.context_infos 中的类） create() （data_juicer_sandbox.env_manager.CondaEnv 方法） create() （data_juicer_sandbox.env_manager.Env 方法） create() （data_juicer_sandbox.env_manager.VirtualEnv 方法）

D

data_connector() （data_juicer_sandbox.model_executors.BaseModelExecutor 方法） data_connector() （data_juicer_sandbox.model_executors.ModelScopeExecutor 方法） data_juicer_sandbox module data_juicer_sandbox.context_infos module data_juicer_sandbox.data_pool_manipulators module data_juicer_sandbox.env_manager module data_juicer_sandbox.evaluators module data_juicer_sandbox.factories module data_juicer_sandbox.helper_funcs module data_juicer_sandbox.hooks module

data_juicer_sandbox.model_executors module data_juicer_sandbox.pipelines module data_juicer_sandbox.utils module DataAnalyzerFactory（data_juicer_sandbox.factories 中的类） DataEvaluatorFactory（data_juicer_sandbox.factories 中的类） DataExecutorFactory（data_juicer_sandbox.factories 中的类） DataPoolCartesianJoin（data_juicer_sandbox.data_pool_manipulators 中的类） DataPoolCombination（data_juicer_sandbox.data_pool_manipulators 中的类） DataPoolConstruction（data_juicer_sandbox.data_pool_manipulators 中的类） DataPoolDownsampling（data_juicer_sandbox.data_pool_manipulators 中的类） DataPoolDuplication（data_juicer_sandbox.data_pool_manipulators 中的类） DataPoolManipulationHook（data_juicer_sandbox.hooks 中的类） DataPoolManipulatorFactory（data_juicer_sandbox.factories 中的类） DataPoolMerging（data_juicer_sandbox.data_pool_manipulators 中的类） DataPoolRanking（data_juicer_sandbox.data_pool_manipulators 中的类）

E

env_cls()（在 data_juicer_sandbox.env_manager 模块中） Env（data_juicer_sandbox.env_manager 中的类） EvaluateDataHook（data_juicer_sandbox.hooks 中的类） EvaluateModelHook（data_juicer_sandbox.hooks 中的类） execute_hpo_wandb() （data_juicer_sandbox.pipelines.SandboxPipeline 方法） executor_infer() （data_juicer_sandbox.model_executors.APIModelInferExecutor 方法）

executor_infer() （data_juicer_sandbox.model_executors.HFTransformersInferExecutor 方法） executor_infer() （data_juicer_sandbox.model_executors.LLMInferExecutor 方法） executor_infer() （data_juicer_sandbox.model_executors.VLLMInferExecutor 方法） exists() （data_juicer_sandbox.env_manager.CondaEnv 方法） exists() （data_juicer_sandbox.env_manager.Env 方法） exists() （data_juicer_sandbox.env_manager.VirtualEnv 方法）

F

from_dict()（data_juicer_sandbox.context_infos.ContextInfos 类方法） from_dict()（data_juicer_sandbox.context_infos.JobInfos 类方法）

from_dict()（data_juicer_sandbox.context_infos.PipelineInfos 类方法） from_list()（data_juicer_sandbox.context_infos.GlobalContextInfos 类方法）

G

GeneralDataExecutorFactory（data_juicer_sandbox.factories 中的类） GeneralDataExecutorHook（data_juicer_sandbox.hooks 中的类） GeneralProbeFactory（data_juicer_sandbox.factories 中的类） GeneralProbeHook（data_juicer_sandbox.hooks 中的类） get_longest_common_prefix()（在 data_juicer_sandbox.data_pool_manipulators 模块中） get_the_last_job_infos() （data_juicer_sandbox.context_infos.ContextInfos 方法）

get_the_last_job_infos() （data_juicer_sandbox.context_infos.GlobalContextInfos 方法） get_the_last_job_infos() （data_juicer_sandbox.context_infos.PipelineInfos 方法） GlobalContextInfos（data_juicer_sandbox.context_infos 中的类） Gpt3QualityEvaluator（data_juicer_sandbox.evaluators 中的类） Gpt4VEvaluator（data_juicer_sandbox.evaluators 中的类） GptEvaluator（data_juicer_sandbox.evaluators 中的类） guess_file_or_dir()（在 data_juicer_sandbox.utils 模块中）

H

HelmEvaluator（data_juicer_sandbox.evaluators 中的类） HFTransformersInferExecutor（data_juicer_sandbox.model_executors 中的类） hook() （data_juicer_sandbox.hooks.BaseHook 方法） hook() （data_juicer_sandbox.hooks.DataPoolManipulationHook 方法） hook() （data_juicer_sandbox.hooks.EvaluateDataHook 方法） hook() （data_juicer_sandbox.hooks.EvaluateModelHook 方法） hook() （data_juicer_sandbox.hooks.GeneralDataExecutorHook 方法）

hook() （data_juicer_sandbox.hooks.GeneralProbeHook 方法） hook() （data_juicer_sandbox.hooks.InferModelHook 方法） hook() （data_juicer_sandbox.hooks.ProbeViaAnalyzerHook 方法） hook() （data_juicer_sandbox.hooks.ProbeViaModelInferHook 方法） hook() （data_juicer_sandbox.hooks.ProcessDataHook 方法） hook() （data_juicer_sandbox.hooks.RefineRecipeViaKSigmaHook 方法） hook() （data_juicer_sandbox.hooks.RefineRecipeViaModelFeedbackHook 方法） hook() （data_juicer_sandbox.hooks.TrainModelHook 方法）

I

InceptionEvaluator（data_juicer_sandbox.evaluators 中的类） InferModelHook（data_juicer_sandbox.hooks 中的类） install_py_deps() （data_juicer_sandbox.env_manager.CondaEnv 方法）

install_py_deps() （data_juicer_sandbox.env_manager.Env 方法） install_py_deps() （data_juicer_sandbox.env_manager.VirtualEnv 方法） iterative_update_pipelines() （data_juicer_sandbox.pipelines.SandBoxExecutor 方法） iter（data_juicer_sandbox.context_infos.ContextInfos 属性）

J

job_infos（data_juicer_sandbox.context_infos.PipelineInfos 属性）

job_meta_names（data_juicer_sandbox.context_infos.PipelineInfos 属性） JobInfos（data_juicer_sandbox.context_infos 中的类）

K

key（data_juicer_sandbox.pipelines.Target 属性）

L

LLaMAFactoryExecutor（data_juicer_sandbox.model_executors 中的类） LLaVAExecutor（data_juicer_sandbox.model_executors 中的类）

LLMInferExecutor（data_juicer_sandbox.model_executors 中的类） LmHarnessEvaluator（data_juicer_sandbox.evaluators 中的类） load_data_pool()（在 data_juicer_sandbox.data_pool_manipulators 模块中）

M

make_hashable()（在 data_juicer_sandbox.data_pool_manipulators 模块中） MegatronExecutor（data_juicer_sandbox.model_executors 中的类） meta_name（data_juicer_sandbox.context_infos.JobInfos 属性） ModelEvaluatorFactory（data_juicer_sandbox.factories 中的类） ModelInferEvaluatorFactory（data_juicer_sandbox.factories 中的类） ModelInferExecutorFactory（data_juicer_sandbox.factories 中的类） ModelscopeEvaluator（data_juicer_sandbox.evaluators 中的类） ModelScopeExecutor（data_juicer_sandbox.model_executors 中的类） ModelscopeInferProbeExecutor（data_juicer_sandbox.model_executors 中的类） ModelscopeTrainExecutor（data_juicer_sandbox.model_executors 中的类） ModelTrainExecutorFactory（data_juicer_sandbox.factories 中的类） module data_juicer_sandbox data_juicer_sandbox.context_infos data_juicer_sandbox.data_pool_manipulators data_juicer_sandbox.env_manager data_juicer_sandbox.evaluators data_juicer_sandbox.factories data_juicer_sandbox.helper_funcs data_juicer_sandbox.hooks data_juicer_sandbox.model_executors data_juicer_sandbox.pipelines data_juicer_sandbox.utils

MSEEvaluator（data_juicer_sandbox.evaluators 中的类）

O

one_trial() （data_juicer_sandbox.pipelines.SandboxPipeline 方法） op（data_juicer_sandbox.pipelines.Target 属性）

output_keys（data_juicer_sandbox.context_infos.JobInfos 属性） outputs（data_juicer_sandbox.context_infos.JobInfos 属性）

P

parse_iter_targets() （data_juicer_sandbox.pipelines.Target 方法） parse_output()（在 data_juicer_sandbox.helper_funcs 模块中） parse_pipelines() （data_juicer_sandbox.pipelines.SandBoxExecutor 方法） pipeline_infos（data_juicer_sandbox.context_infos.ContextInfos 属性） pipeline_names（data_juicer_sandbox.context_infos.ContextInfos 属性） pipeline_name（data_juicer_sandbox.context_infos.PipelineInfos 属性） PipelineInfos（data_juicer_sandbox.context_infos 中的类）

prepare_executor() （data_juicer_sandbox.model_executors.APIModelInferExecutor 方法） prepare_executor() （data_juicer_sandbox.model_executors.HFTransformersInferExecutor 方法） prepare_executor() （data_juicer_sandbox.model_executors.LLMInferExecutor 方法） prepare_executor() （data_juicer_sandbox.model_executors.VLLMInferExecutor 方法） ProbeViaAnalyzerHook（data_juicer_sandbox.hooks 中的类） ProbeViaModelInferHook（data_juicer_sandbox.hooks 中的类） ProcessDataHook（data_juicer_sandbox.hooks 中的类）

Q

query() （data_juicer_sandbox.pipelines.SandBoxWatcher 方法）

R

record_context_infos() （data_juicer_sandbox.context_infos.GlobalContextInfos 方法） record_job_infos() （data_juicer_sandbox.context_infos.PipelineInfos 方法） record_pipeline_infos() （data_juicer_sandbox.context_infos.ContextInfos 方法） RefineRecipeViaKSigmaHook（data_juicer_sandbox.hooks 中的类） RefineRecipeViaModelFeedbackHook（data_juicer_sandbox.hooks 中的类） register_hook()（在 data_juicer_sandbox.hooks 模块中） register_jobs() （data_juicer_sandbox.pipelines.SandboxPipeline 方法） run() （data_juicer_sandbox.data_pool_manipulators.BaseDataPoolManipulator 方法） run() （data_juicer_sandbox.data_pool_manipulators.DataPoolCartesianJoin 方法） run() （data_juicer_sandbox.data_pool_manipulators.DataPoolCombination 方法） run() （data_juicer_sandbox.data_pool_manipulators.DataPoolConstruction 方法） run() （data_juicer_sandbox.data_pool_manipulators.DataPoolDownsampling 方法） run() （data_juicer_sandbox.data_pool_manipulators.DataPoolDuplication 方法） run() （data_juicer_sandbox.data_pool_manipulators.DataPoolMerging 方法） run() （data_juicer_sandbox.data_pool_manipulators.DataPoolRanking 方法） run() （data_juicer_sandbox.evaluators.AccuracyEvaluator 方法） run() （data_juicer_sandbox.evaluators.BaseEvaluator 方法）

run() （data_juicer_sandbox.evaluators.Gpt3QualityEvaluator 方法） run() （data_juicer_sandbox.evaluators.Gpt4VEvaluator 方法） run() （data_juicer_sandbox.evaluators.GptEvaluator 方法） run() （data_juicer_sandbox.evaluators.HelmEvaluator 方法） run() （data_juicer_sandbox.evaluators.InceptionEvaluator 方法） run() （data_juicer_sandbox.evaluators.LmHarnessEvaluator 方法） run() （data_juicer_sandbox.evaluators.ModelscopeEvaluator 方法） run() （data_juicer_sandbox.evaluators.MSEEvaluator 方法） run() （data_juicer_sandbox.evaluators.VideoFvdEvaluator 方法） run() （data_juicer_sandbox.hooks.BaseHook 方法） run() （data_juicer_sandbox.model_executors.BaseModelExecutor 方法） run() （data_juicer_sandbox.pipelines.SandBoxExecutor 方法） run() （data_juicer_sandbox.pipelines.SandboxPipeline 方法） run_cmd() （data_juicer_sandbox.env_manager.CondaEnv 方法） run_cmd() （data_juicer_sandbox.env_manager.Env 方法） run_cmd() （data_juicer_sandbox.env_manager.VirtualEnv 方法） run_subprocess() （data_juicer_sandbox.model_executors.BaseModelExecutor 方法）

S

SandBoxExecutor（data_juicer_sandbox.pipelines 中的类） SandboxPipeline（data_juicer_sandbox.pipelines 中的类） SandBoxWatcher（data_juicer_sandbox.pipelines 中的类） setup_sweep() （data_juicer_sandbox.pipelines.SandBoxWatcher 方法） specify_dj_and_extra_configs() （data_juicer_sandbox.hooks.BaseHook 方法）

specify_job_configs() （data_juicer_sandbox.pipelines.SandBoxExecutor 方法） specify_jobs_configs() （data_juicer_sandbox.pipelines.SandBoxExecutor 方法） SUPPORT_OPS（data_juicer_sandbox.pipelines.Target 属性） SUPPORTED_MANAGERS（data_juicer_sandbox.env_manager.CondaEnv 属性） SUPPORTED_MANAGERS（data_juicer_sandbox.env_manager.VirtualEnv 属性）

T

Target（data_juicer_sandbox.pipelines 中的类） tgt_val（data_juicer_sandbox.pipelines.Target 属性） to_dict() （data_juicer_sandbox.context_infos.ContextInfos 方法）

to_dict() （data_juicer_sandbox.context_infos.JobInfos 方法） to_dict() （data_juicer_sandbox.context_infos.PipelineInfos 方法） to_list() （data_juicer_sandbox.context_infos.GlobalContextInfos 方法） TrainModelHook（data_juicer_sandbox.hooks 中的类）

V

validate_hook_output()（在 data_juicer_sandbox.utils 模块中） VideoFvdEvaluator（data_juicer_sandbox.evaluators 中的类）

VirtualEnv（data_juicer_sandbox.env_manager 中的类） VLLMInferExecutor（data_juicer_sandbox.model_executors 中的类）

W

watch() （data_juicer_sandbox.pipelines.SandBoxWatcher 方法）

watch_cfgs() （data_juicer_sandbox.pipelines.SandBoxWatcher 方法） watch_run() （data_juicer_sandbox.model_executors.BaseModelExecutor 方法）