数据预处理相关

drop-duplicate

drop_duplicate 模板可以去除重复样本。（平台中注册的模板名为 drop-duplicates，复数）

入参：

• input_dataset_path：需要去重的样本路径，如 data/fin_data.csv
• save_dataset_path：去重之后结果保存的路径，如 data/fin_data_r.csv

drop-missing

drop_missing 模板可以删除缺失值过高的特征。

入参：

• input_dataset_path：需要处理的样本路径，如 data/fin_data.csv
• save_dataset_path：处理之后结果保存的路径，如 data/fin_data_r.csv
• missing_ratio：门限值，比如设置 0.3，表示缺失率 > 30% 时删除该列

drop-stablize

drop-stablize 模板可以删除值过于单一的特征。

入参：

• input_dataset_path：需要处理的样本路径，如 data/fin_data.csv
• save_dataset_path：处理之后结果保存的路径，如 data/fin_data_r.csv
• stable_threshold：门限值，比如设置 0.95，表示当该特征 95% 的值都集中在同一个值时，删除该列

fill-missing

fill-missing 模板可以填充缺失值。

入参：

• input_dataset_path：需要处理的样本路径，如 data/fin_data.csv
• save_dataset_path：处理之后结果保存的路径，如 data/fin_data_r.csv
• fill_type：mean 表示用均值填充缺失值，median 表示中位数填充，modes 表示众数填充

calculate_metric

calculate_metric 可以计算数据统计量，比如每个特征的非空值个数、分位数、均值、方差等。（平台中注册的模板名为 calculate-metric）

入参：

• input_dataset_path：需要处理的样本路径，如 data/fin_data.csv
• metric_path：统计值结果保存的路径，如 data/fin_data_r.csv

outlier-detection

outlier-detection 可以做异常值检测。

入参：

• input_dataset_path：需要处理的样本路径，如 data/fin_data.csv
• save_dataset_path：处理之后结果保存的路径，如 data/fin_data_r.csv
• detection_type：异常值检测的方法，stddev 表示 3 倍标准差法，box_line 表示箱线图法，Tukey 表示 Tukey 方法，Z-score 表示 Z-score 法
• delete_or_not：是否删除检测出的异常值，yes 表示删除异常值，no 表示不删除