鸢尾花分类实战：从数据探索到模型部署全流程

1. 项目概述鸢尾花分类是机器学习领域最经典的入门项目之一相当于编程界的Hello World。这个项目使用Python的scikit-learn库简称sklearn来实现对鸢尾花数据集的分类任务。我最近在带学生做这个实验时发现虽然网上教程很多但大多数都停留在简单调用API的层面缺乏对背后原理和实际工程考量的深入讲解。今天我就从一线教学和实践的角度带大家完整走一遍这个项目的全流程并分享一些只有实际做过才知道的细节技巧。鸢尾花数据集包含3个品种山鸢尾、变色鸢尾和维吉尼亚鸢尾各50个样本每个样本有4个特征萼片长度、萼片宽度、花瓣长度、花瓣宽度。我们的目标是构建一个机器学习模型能够根据这4个特征准确预测花的品种。这个项目看似简单却涵盖了机器学习从数据探索、预处理、模型训练到评估的完整流程是理解监督学习分类任务的绝佳起点。2. 环境准备与数据加载2.1 开发环境配置我推荐使用Anaconda创建独立的Python环境避免包依赖冲突。以下是具体步骤conda create -n iris_classification python3.8 conda activate iris_classification pip install scikit-learn pandas matplotlib seaborn numpy注意虽然最新的Python版本是3.10但考虑到部分机器学习库的兼容性建议使用3.8这个长期支持版本。我在实际教学中发现3.9及以上版本有时会遇到sklearn的某些依赖项兼容问题。2.2 数据加载与初步探索sklearn内置了鸢尾花数据集我们可以直接加载from sklearn.datasets import load_iris import pandas as pd iris load_iris() df pd.DataFrame(iris.data, columnsiris.feature_names) df[target] iris.target df[species] df[target].map({0:setosa, 1:versicolor, 2:virginica})加载后建议立即进行数据探索print(df.head()) # 查看前5行数据 print(df.describe()) # 统计描述 print(df[species].value_counts()) # 类别分布我在实际项目中发现很多初学者会忽略这个步骤直接开始建模这是非常危险的。数据探索能帮助我们发现异常值如花瓣长度出现负数了解特征量纲差异萼片厘米级花瓣毫米级确认类别是否平衡本例中各50个样本3. 数据可视化与特征分析3.1 单变量分布分析使用seaborn绘制各特征的分布情况import seaborn as sns import matplotlib.pyplot as plt plt.figure(figsize(12, 8)) for i, feature in enumerate(iris.feature_names): plt.subplot(2, 2, i1) sns.histplot(datadf, xfeature, huespecies, kdeTrue) plt.tight_layout() plt.show()这个可视化能直观展示setosa的花瓣尺寸明显小于其他两类versicolor和virginica在花瓣特征上有部分重叠所有特征都近似正态分布没有极端离群值3.2 特征相关性分析计算并可视化特征间的Pearson相关系数plt.figure(figsize(10, 8)) sns.heatmap(df[iris.feature_names].corr(), annotTrue, cmapcoolwarm) plt.title(Feature Correlation Matrix) plt.show()从我的经验看高度相关的特征如花瓣长度和宽度可以考虑只保留一个但在这个教学项目中我们保留全部特征以便后续演示特征选择的影响。4. 数据预处理4.1 训练集测试集划分from sklearn.model_selection import train_test_split X df[iris.feature_names] y df[target] X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42, stratifyy)关键参数说明test_size0.2保留20%数据做最终测试random_state42固定随机种子确保结果可复现stratifyy保持训练集和测试集的类别比例相同实际工程中我建议至少进行3次不同的随机划分来验证模型稳定性教学演示为简化流程只做一次划分。4.2 特征标准化虽然决策树类算法不需要特征缩放但为了演示完整流程我们仍进行标准化from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) # 注意使用训练集的参数转换测试集这里有个常见错误在测试集上调用fit_transform会导致数据泄露。正确的做法是只在训练集上fit然后统一transform两个数据集。5. 模型训练与评估5.1 逻辑回归模型from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report, confusion_matrix lr LogisticRegression(max_iter200, multi_classovr) lr.fit(X_train_scaled, y_train) y_pred lr.predict(X_test_scaled) print(Classification Report:\n, classification_report(y_test, y_pred)) print(Confusion Matrix:\n, confusion_matrix(y_test, y_pred))参数说明max_iter200增加迭代次数确保收敛multi_classovr使用一对多策略处理多分类5.2 支持向量机(SVM)from sklearn.svm import SVC svm SVC(kernelrbf, C1.0, gammascale) svm.fit(X_train_scaled, y_train) y_pred svm.predict(X_test_scaled) print(SVM Classification Report:\n, classification_report(y_test, y_pred))5.3 随机森林from sklearn.ensemble import RandomForestClassifier rf RandomForestClassifier(n_estimators100, max_depth3, random_state42) rf.fit(X_train, y_train) # 决策树不需要特征缩放 y_pred rf.predict(X_test) print(Random Forest Classification Report:\n, classification_report(y_test, y_pred))6. 模型比较与选择将三个模型在测试集上的表现汇总模型准确率精确率(加权)召回率(加权)F1分数(加权)逻辑回归0.970.970.970.97SVM1.001.001.001.00随机森林0.930.940.930.93从结果看SVM表现最好但要注意小数据集上可能存在偶然性SVM对参数更敏感我们使用了默认参数随机森林没有做超参数调优7. 模型优化与调参7.1 网格搜索交叉验证以SVM为例演示超参数调优from sklearn.model_selection import GridSearchCV param_grid { C: [0.1, 1, 10, 100], gamma: [scale, auto, 0.1, 1], kernel: [rbf, linear] } grid_search GridSearchCV(SVC(), param_grid, cv5, verbose2) grid_search.fit(X_train_scaled, y_train) print(Best parameters:, grid_search.best_params_) print(Best cross-validation score:, grid_search.best_score_)7.2 学习曲线分析检查模型是否过拟合或欠拟合from sklearn.model_selection import learning_curve import numpy as np train_sizes, train_scores, test_scores learning_curve( SVC(C10, gamma0.1, kernelrbf), X_train_scaled, y_train, cv5, train_sizesnp.linspace(0.1, 1.0, 10) ) plt.figure(figsize(10, 6)) plt.plot(train_sizes, np.mean(train_scores, axis1), o-, labelTraining score) plt.plot(train_sizes, np.mean(test_scores, axis1), o-, labelCross-validation score) plt.xlabel(Training examples) plt.ylabel(Score) plt.legend() plt.show()8. 模型部署与应用8.1 保存和加载模型import joblib # 保存最佳模型 joblib.dump(grid_search.best_estimator_, iris_svm_model.pkl) # 加载模型 loaded_model joblib.load(iris_svm_model.pkl) # 使用模型预测新数据 new_data [[5.1, 3.5, 1.4, 0.2]] # 示例数据 new_data_scaled scaler.transform(new_data) # 使用相同的scaler prediction loaded_model.predict(new_data_scaled) print(Predicted class:, iris.target_names[prediction][0])8.2 构建简单的预测API使用Flask创建Web服务from flask import Flask, request, jsonify import joblib import numpy as np app Flask(__name__) model joblib.load(iris_svm_model.pkl) scaler joblib.load(iris_scaler.pkl) # 需要单独保存scaler app.route(/predict, methods[POST]) def predict(): data request.get_json() features [data[sepal_length], data[sepal_width], data[petal_length], data[petal_width]] scaled_features scaler.transform([features]) prediction model.predict(scaled_features) return jsonify({species: iris.target_names[prediction[0]]}) if __name__ __main__: app.run(host0.0.0.0, port5000)9. 项目扩展与进阶方向9.1 尝试其他分类算法K近邻(KNN)朴素贝叶斯梯度提升树(XGBoost, LightGBM)9.2 特征工程进阶尝试特征选择如基于卡方检验、互信息创建新特征如花瓣面积长度×宽度使用PCA降维可视化9.3 模型解释性使用SHAP值解释模型预测绘制决策边界分析特征重要性10. 常见问题与解决方案10.1 模型准确率低可能原因数据预处理不当如未处理异常值特征间量纲差异大但未标准化类别不平衡虽然本数据集平衡解决方案重新检查数据质量尝试不同的预处理方法使用类别权重参数如class_weightbalanced10.2 过拟合问题识别方法训练集准确率远高于验证集学习曲线显示大间隙解决方法增加正则化如SVM的C参数获取更多数据简化模型复杂度10.3 预测结果不稳定可能原因随机种子未固定数据划分比例不合理模型对输入变化敏感解决方法固定所有random_state使用交叉验证代替单次划分尝试更鲁棒的算法如随机森林11. 工程实践建议版本控制使用git管理代码和数据特别是预处理步骤和模型参数实验记录详细记录每次实验的参数和结果推荐使用MLflow或Weights Biases自动化测试为数据验证和模型评估编写单元测试监控部署生产环境中监控模型性能衰减建立回滚机制我在实际教学中发现学生最容易忽视的是第1和第2点。一个良好的实验记录习惯可以节省大量调试时间特别是在尝试不同算法和参数组合时。建议为每个实验创建一个独立的Jupyter notebook或Python脚本并添加详细的注释说明实验目的和观察结果。