多核贝叶斯优化的模型决策树算法
作者:
作者单位:

(1. 山西大学 计算机与信息技术学院, 山西 太原 030006;2. 山西大学 计算智能与中文信息处理教育部重点实验室, 山西 太原 030006)

作者简介:

高虹雷(1994—),男,山西忻州人,硕士研究生,E-mail:87133875@qq.com; 王文剑(通信作者),女,教授,博士,博士生导师,E-mail:wjwang@sxu.edu.cn

通讯作者:

中图分类号:

TP391

基金项目:

国家自然科学基金资助项目(62076154,U1805263);中央引导地方科技发展资金资助项目(YDZX20201400001224);山西省国际科技合作重点研发计划资助项目(201903D421050);山西省自然科学基金资助项目(201901D111030)


Algorithm for model decision tree with multi-kernel Bayesian optimization
Author:
Affiliation:

(1. School of Computer and Information Technology, Shanxi University, Taiyuan 030006, China;2. Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry of Education, Shanxi University, Taiyuan 030006, China)

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    构造模型决策树时超参数较多,参数组合复杂,利用网格搜索等调参方法将会消耗大量的时间,影响模型性能的提升。提出了一种多核贝叶斯优化的模型决策树算法,该算法为应对不同分类数据特性,采用三种高斯过程建模寻优,利用贝叶斯优化技术,选出最优的参数组合。实验结果表明,所提算法在参数寻优上要优于传统的模型决策树寻优方法,并且能够在迭代次数不多的情况下找到全局最优参数值,在一定程度上提升了算法的分类性能,节省了大量的调参时间。

    Abstract:

    In the construction of the model decision tree, there are many parameters and the parameter combination is complex. The use of grid search and other parameter tuning methods will consume a lot of time, which will affect the improvement of the model performance. A model decision tree with multi-kernel bayesian optimization was proposed. In order to deal with the characteristics of different classified data, three Gaussian processes were used for modeling optimization. The Bayesian optimization technique was used to select the best parameter combination. The experimental results show that the proposed algorithm is better than the traditional model decision tree method in parameter optimization, and can find the global optimal parameter value in the case of a few iterations. To a certain extent, it improves the classification performance of the algorithm and saves a lot of parameter adjustment time.

    参考文献
    相似文献
    引证文献
引用本文

高虹雷,门昌骞,王文剑.多核贝叶斯优化的模型决策树算法[J].国防科技大学学报,2022,44(3):67-76.
GAO Honglei, MEN Changqian, WANG Wenjian. Algorithm for model decision tree with multi-kernel Bayesian optimization[J]. Journal of National University of Defense Technology,2022,44(3):67-76.

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2020-06-08
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2022-06-02
  • 出版日期: 2020-06-28
文章二维码