数据处理模板

要在 pipeline 里跑 hadoop/spark/ray/volcano 这类分布式数据处理作业时

05-任务模板 / 模板使用
数据处理hadoopvolcanovolcanojobraysparksparkjob分布式数据处理大数据

数据处理

以下四类分布式数据处理模板的详细参数与设计说明,见本段(05-任务模板)对应家族模板文档,以及代码仓库 job-template/job/ 下对应模板目录中的 README.md

hadoop 模板

分布式 Hadoop 数据处理。详见代码仓库 job-template/job/hadoop/README.md 及本段 hadoop 家族模板文档。

volcanojob 模板

基于 Volcano 的批量作业调度。详见代码仓库 job-template/job/volcano/README.md 及本段 volcano 家族模板文档。

ray 模板

基于 Ray 的分布式计算。详见代码仓库 job-template/job/ray/README.md 及本段 ray 家族模板文档。

sparkjob 模板

分布式 Spark 数据处理。详见代码仓库 job-template/job/spark/README.md 及本段 spark 家族模板文档。

最后更新 2026-06-30完整文档以官方仓库为准:GitHub Wiki