添加参数 删除相关性阈值的特征

config_jingbo.py

@@ -167,6 +167,7 @@ ClassifyId = 1214
 # is_update_eta  = True  # 预测结果上传到eta
 # is_update_report = True # 是否上传报告
 # is_update_warning_data = True  if datetime.datetime.now().weekday() == 1 else False   # 是否上传预警数据
+# is_del_corr = 0.6 # 是否删除相关性高的特征,取值为 0-1 ，0 为不删除，0.6 表示删除相关性小于0.6的特征
 
 
 ################################################################################################################  变量定义--测试环境
@@ -234,7 +235,7 @@ is_edbnamelist = False # 自定义特征，对应上面的edbnamelist
 is_update_eta  = False  # 预测结果上传到eta
 is_update_report = False # 是否上传报告
 is_update_warning_data =  False # 是否上传预警数据
-
+is_del_corr = 0.6 # 是否删除相关性高的特征,取值为 0-1 ，0 为不删除，0.6 表示删除相关性小于0.6的特征
 
 # 连接到数据库
 db_mysql = MySQLDB(host=host, user=dbusername, password=password, database=dbname)

config_juxiting.py

@@ -206,6 +206,7 @@ upload_data = {
 # is_edbcode = False # 特征使用edbcoding列表中的
 # is_edbnamelist = False # 自定义特征，对应上面的edbnamelist
 # is_update_report = True # 是否上传报告
+# is_del_corr = 0 # 是否删除相关性高的特征,取值为 0-1 ，0 为不删除，0.6 表示删除相关性小于0.6的特征
 
 
 ### 开关
@@ -218,6 +219,9 @@ is_edbcode = False # 特征使用edbcoding列表中的
 is_edbnamelist = False # 自定义特征，对应上面的edbnamelist
 is_update_eta  = False  # 预测结果上传到eta
 is_update_report = False # 是否上传报告
+is_del_corr = 0 # 是否删除相关性高的特征,取值为 0-1 ，0 为不删除，0.6 表示删除相关性小于0.6的特征
+
+
 
 # 数据截取日期
 end_time = '' # 数据截取日期

lib/dataread.py

@@ -664,9 +664,10 @@ def check_column(df,col_name,two_months_ago):
             return True
         
         # 判断相关系数大于0.6
-        if abs(df_check_column[col_name].corr(df_check_column['y'])) < 0.6:
-            print(f'相关系数小于0.6：{col_name}')
-            return True
+        if is_del_corr > 0:
+            if abs(df_check_column[col_name].corr(df_check_column['y'])) < is_del_corr:
+                print(f'相关系数小于0.6：{col_name}')
+                return True
         
         corresponding_date = df_check_column.iloc[-1]['ds']
         return corresponding_date < two_months_ago