超参数:在训练机器学习/深度学习模型之前由人设定(或通过搜索策略选择)的参数,用来控制模型结构或学习过程,本身通常不直接由训练数据“学出来”。常见例子包括学习率、正则化系数、树的最大深度、神经网络层数等。(也可有其他语境含义,但在机器学习中最常见。)
/ˌhaɪpərˈpærəˌmiːtər/
We tuned the hyperparameter to improve accuracy.
我们调整了一个超参数来提高准确率。
Choosing hyperparameters like learning rate and batch size can strongly affect how fast a model converges and how well it generalizes.
选择学习率、批大小等超参数,会强烈影响模型收敛速度以及泛化效果。
由 **hyper-**(“超、在……之上”)+ parameter(“参数”)构成,强调它“高于/先于”模型训练过程:不是模型从数据中直接估计得到的参数(如权重),而是用来设定或约束训练与模型形态的“更上层”的参数。
该词主要流行于近现代的机器学习论文、教材与技术写作中,较少出现在传统文学作品里。常见于以下学术著作与出版物: