这是我的第245篇原创文章。

一、引言

如果探索的组合数量较少时，网格搜索是一种不错的方法，但当超参数的搜索范围较大时，通常会优先选择使用 RandomizedSearchCV 。它与 GridSearchCV 用法相似，但它不会尝试所有可能的组合，而是在每次迭代中为每个超参数选择一个随机值，然后对一定数量的随机组合进行评估，这种方法有两个显著的好处。

如果运行随机 1000 个迭代，那么将会探索每个超参数的 1000 个不同的值（而不像网格搜索方法那样每个超参数仅探索少量几个值）。通过简单地设置迭代次数，可以更好地控制要分配给超参数搜索的计算预算。

二、实现过程

数据准备与划分

# 准备数据
data = pd.read_csv(r'Dataset.csv')
df = pd.DataFrame(data)
# 提取目标变量和特征变量
target = 'target'
features = df.columns.drop(target)
print(data["target"].value_counts()) # 顺便查看一下样本是否平衡
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(df[features], df[target], test_size=0.2, random_state=0)

2.1 随机搜索参数建模

# 模型的构建与训练
param_distribs = {
    # 均匀离散随机变量
    'n_estimators': randint(low=1, high=200),
    'max_features': randint(low=7, high=9),
}


model = RandomForestClassifier(random_state=42)
rnd_search = RandomizedSearchCV(model, param_distributions=param_distribs,
                                n_iter=10, cv=5, scoring='neg_mean_squared_error', random_state=42)
rnd_search.fit(X_train, y_train)

2.2查看评分最高的超参数组合

print(grid_search.best_params_)

2.3查看当前的最佳估算器

输出只显示非默认的参数

final_model = grid_search.best_estimator_
print(final_model)

2.4计算的各种超参数组合的评分

cvres = grid_search.cv_results_
for mean_score, params in zip(cvres["mean_test_score"], cvres["params"]):
    print(np.sqrt(-mean_score), params)

模型推理与评价

# 模型推理与评价
y_pred = final_model.predict(X_test)
y_scores = final_model.predict_proba(X_test)
acc = accuracy_score(y_test, y_pred) # 准确率acc
cm = confusion_matrix(y_test, y_pred) # 混淆矩阵
cr = classification_report(y_test, y_pred) # 分类报告
fpr, tpr, thresholds = roc_curve(y_test, y_scores[:, 1], pos_label=1) # 计算ROC曲线和AUC值,绘制ROC曲线
roc_auc = auc(fpr, tpr)
plt.figure()
plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic')
plt.legend(loc="lower right")
plt.show()

作者简介：

读研期间发表6篇SCI数据算法相关论文，目前在某研究院从事数据算法相关研究工作，结合自身科研实践经历持续分享关于Python、数据分析、特征工程、机器学习、深度学习、人工智能系列基础知识与案例。关注gzh：数据杂坛，获取数据和源码学习更多内容。

原文链接：

【Python机器学习系列】机器学习中的模型微调---随机搜索（案例+源码）