机器学习----Boosting算法

Boosting 的详细工作流程Boosting 公式详解Boosting 是一种集成学习方法通过组合多个弱分类器构建强分类器。以下是AdaBoost最常用的 Boosting 算法的核心公式及分步讲解1. 初始化样本权重假设有 N 个样本初始权重均等分配意义所有样本在初始时被视为同等重要。2. 迭代训练弱分类器在第 tt 轮迭代中训练一个弱分类器 ht(x)其错误率 ϵt定义为说明I(⋅)是指示函数错误分类时为 1否则为 0。错误率是误分类样本的权重之和。3. 计算弱分类器的权重 αtαt​弱分类器 ht(x) 的权重 αt 由错误率决定意义错误率越低ϵt→0αt​ 越大表示该分类器越可靠。错误率接近 0.5随机猜测αt→0表示分类器无效。4. 更新样本权重根据分类结果调整样本权重错误分类样本的权重增加正确分类样本的权重减少具体规则若样本 ii 被正确分类yiht(xi)1若样本 ii 被错误分类归一化更新后需确保所有权重之和为 15. 构建强分类器最终分类器是所有弱分类器的加权组合说明若加权和为正输出 1否则输出 −1。高权重的弱分类器对最终决策影响更大。示例演算二分类问题假设数据集包含 4 个样本2 正类2 负类分布如下正类1(1,1)(1,1)、(2,2)负类−1(3,1)(3,1)、(4,4)步骤 1初始化权重步骤 2训练第 1 个弱分类器 h1(x)h1​(x)假设 h1(x) 为垂直分割线 x12.5正确分类正类 (1,1)、(2,2)负类 (4,4)误分类负类 (3,1)被分类为 1错误率分类器权重更新权重步骤 3训练第 2 个弱分类器 h2(x)选择水平分割线 x22.5正确分类正类 (1,1)负类 (3,1)、(4,4)误分类正类 (2,2)被分类为 −1错误率分类器权重更新权重正确分类样本权重降低错误分类样本权重升高步骤 4构建强分类器假设最终组合为对于样本 (2,2)(2,2)关键公式总结核心思想关注错误样本通过权重调整后续分类器更关注前一轮的误分类样本。组合弱分类器高精度弱分类器获得更大权重共同提升整体性能。指数损失优化权重更新公式源自最小化指数损失函数Boosting 的典型算法AdaBoostAdaptive Boosting最经典的 Boosting 算法使用加权错误率来调整样本权重。Gradient BoostingGBDT, XGBoost, LightGBM, CatBoost通过优化损失函数使用梯度下降策略构建弱学习器提升模型效果。LogitBoost基于逻辑回归损失函数的 Boosting 变种。