R语言进阶——众数回归模型（modalreg）

目录0、引言1、核心思想1.1、目标函数的构成1.2、与均值和中位数的关系2、R语言包——modalreg2.1、包的简介2.2、快速上手安装安装与加载2.3、使用案例生成模拟数据内置工具训练模型查看结果与预测2.4、关键参数说明 使用建议⚠️ 注意事项3、相关文献奠基性工作关键方法论突破权威综述0、引言本文主要介绍众数回归模型以及其在R语言中的函数包modalreg。1、核心思想在给定自变量X x X xXx的条件下因变量Y YY有一个条件密度函数f ( y ∣ x ) f(y|x)f(y∣x)。众数回归的目标就是找到能使这个密度函数达到最大值的y yy值即条件众数Mode ( Y ∣ X x ) \text{Mode}(Y|Xx)Mode(Y∣Xx)。1.1、目标函数的构成由于真实的f ( y ∣ x ) f(y|x)f(y∣x)未知我们需要从样本中估计。主流方法使用两步走的局部核密度估计1. 局部核密度估计对于给定的x xx我们估计其条件密度f ( y ∣ x ) f(y|x)f(y∣x)f ^ ( y ∣ x ) ∑ i 1 n K h ( X i − x ) ⋅ K h ( y − Y i ) ∑ i 1 n K h ( X i − x ) \hat{f}(y|x) \frac{ \sum_{i1}^{n} K_h(X_i - x) \cdot K_h(y - Y_i) }{ \sum_{i1}^{n} K_h(X_i - x) }f^​(y∣x)∑i1n​Kh​(Xi​−x)∑i1n​Kh​(Xi​−x)⋅Kh​(y−Yi​)​( X i , Y i ) (X_i, Y_i)(Xi​,Yi​)第i ii个样本点。K h ( ⋅ ) K_h(\cdot)Kh​(⋅)带带宽h hh的核函数用于给“近邻”样本加权。分母是对给定x xx下所有样本权重的加总起归一化作用。2. 最大化密度函数条件众数的估计值m ^ ( x ) \hat{m}(x)m^(x)就是最大化上述估计密度函数的解m ^ ( x ) arg ⁡ max ⁡ y f ^ ( y ∣ x ) \hat{m}(x) \arg\max_{y} \ \hat{f}(y|x)m^(x)argymax​f^​(y∣x)代入f ^ ( y ∣ x ) \hat{f}(y|x)f^​(y∣x)的表达式由于分母在给定x xx下是常数不影响最大值的位置优化目标可简化为m ^ ( x ) arg ⁡ max ⁡ y ∑ i 1 n K h ( X i − x ) ⋅ K h ( y − Y i ) \boxed{\hat{m}(x) \arg\max_{y} \sum_{i1}^{n} K_h(X_i - x) \cdot K_h(y - Y_i)}m^(x)argymax​i1∑n​Kh​(Xi​−x)⋅Kh​(y−Yi​)​这个式子就是众数回归最核心的目标函数。其中带宽h hh控制着模型的平滑程度是影响估计结果的关键参数。1.2、与均值和中位数的关系用一个简单的例子来说明假设在某城市调查“月收入”与“是否拥有房产”的关系。均值回归告诉你在有房产的群体中平均月收入是2万元。但这个平均值可能被少数高收入者拉高。中位数回归告诉你在有房产的群体中月收入的中位数是1.5万元。意味着有一半人收入高于1.5万一半人低于1.5万。众数回归告诉你在有房产的群体中最多人的收入水平是1.2万元。这说明该群体最普遍的收入水平是1.2万。总结均值关注“平均”中位数关注“排序中间”而众数关注“最可能”。当数据对称且没有异常值时三者结果可能接近但当数据偏态、多峰或有重尾时众数回归能提供均值和中位数都无法揭示的“最典型”信息。2、R语言包——modalreg2.1、包的简介这个包最大的优势是一站式提供了四种不同的众数回归方法方法名称方法代码特点适用场景线性众数模型linear参数方法假设线性关系变量间近似线性支持多元B样条众数回归bmr非参数基于B样条基函数一元回归平滑灵活核方法众数回归kmr非参数基于核密度估计一元回归理论基础扎实局部多项式众数回归lmr非参数局部多项式拟合一元回归精度高但计算量大2.2、快速上手安装安装与加载# 安装devtools如未安装install.packages(devtools)library(devtools)# 安装modalreg包install_github(yuanwanli1995/modalregression/modalreg)# 加载包library(modalreg)2.3、使用案例生成模拟数据内置工具# 生成200个样本误差服从gamma分布真实函数为expdata-datagenerater(n200,egamma,fexp)x_train-data$x y_train-data$y训练模型# 1. B样条方法手动指定超参数bmr1-modalreg(x_train,y_train,methodbmr,hyperparametersc(2,1))# 2. B样条方法自动选择超参数基于预测覆盖率bmr2-modalreg(x_train,y_train,methodbmr,bandwidth_criterionpredict)# 3. 核方法自动选择基于MSE准则kmr1-modalreg(x_train,y_train,methodkmr,bandwidth_criterionmse)# 4. 线性方法支持多元自变量linear1-modalreg(x_train,y_train,methodlinear)查看结果与预测# 查看模型摘要modal.summary(bmr1)# 可视化拟合效果modal.plot(bmr1)# 预测新数据pred-modalpredict(bmr1,x_train)2.4、关键参数说明参数作用备注hyperparameters两个超参数稳健性参数 光滑性参数可手动指定或自动选择bandwidth_criterion自动选参准则mse或predict前者基于最小二乘后者基于预测覆盖率interval1,interval2超参数的搜索区间可自定义默认seq(0.05, 1, 0.05) 使用建议小数据、一元问题优先尝试bmr或kmr精度和速度较均衡。追求精度、不介意时间可考虑lmr但文档显示153秒的训练时间需谨慎。多元自变量目前只有linear方法支持其他三种仅限一元。自动选参如果不确定超参数让bandwidth_criterion帮你选。⚠️ 注意事项该包主要面向一元回归除线性方法外使用时注意数据类型。非参数方法的系数解释性较弱如kmr的n个系数重点看拟合效果和MAE。如果你要处理复杂数据或需要更丰富的功能可能需要结合其他包如ModalCens用于删失数据。3、相关文献以下是众数回归领域核心文献的规范格式按发表时间排列奠基性工作Lee, M. J. (1989).Mode regression.Journal of Econometrics, 42(3), 337–349.Lee, M. J. (1993).Quadratic mode regression.Journal of Econometrics, 57(1-3), 1–19.关键方法论突破Kemp, G. C. R., Santos Silva, J. M. C. (2012).Regression towards the mode.Journal of Econometrics, 170(1), 92–101.摘要提出了半参数众数回归估计量放宽了对误差分布对称性的要求给出了可处理的渐近分布性质。Yao, W., Li, L. (2014).A new regression model: Modal linear regression.Scandinavian Journal of Statistics, 41(3), 656–671.摘要提出了模态线性回归MODLR模型通过EM算法估计回归系数在无需误差密度对称假设的条件下给出了估计量的渐近性质。权威综述Chen, Y. C. (2018).Modal regression using kernel density estimation: A review.Wiley Interdisciplinary Reviews: Computational Statistics, 10(4), e1431.Xiang, S., Yao, W., Cui, X. (2026).Advances in modal regression: From theoretical foundations to practical implementations.Wiley Interdisciplinary Reviews: Computational Statistics, 18(1), e70061.