机器学习(Python+sklearn+TensorFlow2.0微课视频版)/大数据与人工智能技术丛书

作者简介

王衡军，博士，战略支援部队信息工程大学副教授，硕士研究生导师，获得多项军队科技进步奖，近年来从事机器学习领域研究工作。

内容简介

第3章回归 与分簇、分类和标注任务不同，回归 (Regression)任务预测的不是有限的离散的标签值，而 是无限的连续值。回归任务的目标是通过对训练样本的 学习，得到从样本特征集到连续值之间的映射。如天气 预测任务中，预测天气是冷还是热是分类问题，而预测 精确的温度值则是回归问题。 本章从较容易理解的线性回归入手，分别讨论了线 性回归、多项式回归、岭回归和局部回归等算法。 本章引入了最优化计算、过拟合处理、向量相关性 度量等机器学习基础知识。 某些神经网络也可完成回归任务，有关神经网络的 算法将在后文有关章节中统一讨论。 视频 3.1回归任务、评价与线性回归模型 3.1.1回归任务 设样本集S={s1,s2,…,sm}包含m个样本，样本 si=(xi,yi)包括一个实例xi和一个实数标签值yi，实例 由n维特征向量表示，即xi=(x(1)i,x(2)i,…,x(n)i) 。回归任务可分为学习过程和预测过程，如图31所示 。 图31回归任务的模型 在学习过程，基于损失函数最小的思想，学习得到 一个模型，该模型是从实例特征向量到实数的映射，用 决策函数Y=f(X)来表示，X是定义域，它是所有实例特 征向量的集合，Y是值域R。 记测试样本为x=(x(1),x(2),…,x(n))。在预测过 程，利用学习到的模型来得到测试样本x的预测值y^。 误差和误差平方是回归模型的评价指标，常作为损 失函数，在下文结合线性回归进行讨论。 回归常表现为用曲线或曲面(二维或高维)去逼近分 布于空间中的各样本点，因此也称为拟合。直线和平面 可视为特殊的曲线和曲面。 3.1.2线性回归模型与回归评价指标 当用输入样本的特征的线性组合作为预测值时，就 是线性回归(Linear Regression)。 记样本为s=(x,y)，其中x为样本的实例，x=(x (1),x(2),…,x(n))，x(j)为实例x的第j维特征，也直 接称为该样本的第j维特征，y为样本的标签，在回归问 题中，y是一个无限的连续值。 定义一个包含n个实数变量的集合{w(1),w(2), …,w(n)}和一个实数变量b，将样本的特征进行线性组 合： f(x)=w(1)·x(1)+w(2)·x(2)+…+w(n)·x(n)+b (31) 就得到了线性回归模型，用向量表示为 f(x)=W·xT+b(32) 其中，向量W=(w(1)w(2)…w(n))称为回归系数， 负责调节各特征的权重，标量b称为偏置，负责调节总 体的偏差。显然，在线性回归模型中，回归系数和偏置 本书讲解细致准确，案例易于理解，全书讲述了机器学习常见任务模型的算法及应用，实用性强。