为什么当我在roc_auc评分中使用GridSearchCV时,grid_search.score(X,y)和roc_auc_score(y,y_predict)的分数不同?
问题内容:
我正在使用分层的10倍交叉验证来找到可预测具有最高auc的X(X具有34个标记)的y(二进制结果)的模型。我设置了GridSearchCV:
log_reg = LogisticRegression()
parameter_grid = {'penalty' : ["l1", "l2"],'C': np.arange(0.1, 3, 0.1),}
cross_validation = StratifiedKFold(n_splits=10,shuffle=True,random_state=100)
grid_search = GridSearchCV(log_reg, param_grid = parameter_grid,scoring='roc_auc',
cv = cross_validation)
然后进行交叉验证:
grid_search.fit(X, y)
y_pr=grid_search.predict(X)
我不理解以下内容:为什么grid_search.score(X,y)
并roc_auc_score(y, y_pr)
给出不同的结果(前者为0.74,后者为0.63)?在我的情况下,为什么这些命令没有做同样的事情?
问题答案:
这是由于在GridSearchCV中使用roc_auc时初始化不同。
roc_auc_scorer = make_scorer(roc_auc_score, greater_is_better=True,
needs_threshold=True)
观察第三个参数needs_threshold
。如果为true,则将需要连续的值(y_pred
例如,概率或置信度得分),这些值将在Gridsearch中从中计算log_reg.decision_function()
。
当您显式调用roc_auc_score
with时y_pr
,您将使用.predict()
,它将输出数据的最终预测类别标签而不是概率。那应该解释差异。
尝试:
y_pr=grid_search.decision_function(X)
roc_auc_score(y, y_pr)
如果结果仍然不同,请使用完整的代码和一些示例数据来更新问题。