8 神经网络学习8.1 非线性假设当特征数量n很大时，使用线性回归或逻辑回归进行拟合会让特征空间急剧膨胀，复杂度高且容易过拟合。 eg当输入是50*50像素的灰度图像时，$n=50\times50=2500$假设我们只考虑二次特征，那么二次特征($x_i\times x_j$)的数量为$\frac{n^2}{2}$,计算量大。 8.2 模型表示我们定义一个简单的逻辑单元

6 正则化过拟合当我们选择了过多的特征时，假设函数可能会拟合数据集非常好($J(\theta)=\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2\approx0$), 但对新数据的泛化能力很差。 左图：欠拟合 高偏差(high bias) 右图：过拟合 高方差(high variance) 我们可以

5 Logistic回归分类在二分类问题中，样本的标签通常是$y\in {0,1}$,其中0表示负类，1表示正类 当我们对分类问题使用线性回归时，这并不是一种好方法。当我们把阈值设为0.5时，即当$h_{\theta}(x)\ge0.5时，输出y=1$表示正类；当$h_{\theta}(x)<0.5时，输出y=0$表示负类。我们拟合的函数可能是图中蓝色线条，会将部分标签为

4 多元线性回归多特征设有n个特征，$x^{(i)}$表示第i个样本的特征向量，形状为$n\times 1$。$x^{(i)}_j$表示第i个样本的第j个特征的值。 特征有多个时，我们可以假设$h_{\theta}(x)=\theta_0+\theta_1x_1+\theta_2x_2+…+\theta_nx_n$,可以让$x_0=1$，这样$h_\theta(x)=

3 线代知识矩阵：常用大写字母表示$A, B, X\in \mathbb{R}^{2\times3}$ 向量：维度为$n\times1$的矩阵。常用小写字母表示$a, b, x\in \mathbb{R}^{3}$ 矩阵1为数据矩阵，矩阵2为参数矩阵（第i列表示第i个函数的参数），答案矩阵（第i列是用第i个函数得到的预测结果） 无交换律：$A\times B \ne B\times A$ 有结

2 单变量线性回归模型描述是监督学习，回归任务。 让模型在数据集中学到一个函数$h(x)=\theta_0+\theta_1x$，完成从x到y的映射 损失函数我们的问题是如何找到$ \theta_0和\theta_1 $ 让预测更加准确。 我们定义损失函数如下，均方误差（回归任务常用）： 任务转化为找到$ \theta_0和\theta_1 $ 让损失函数最小。 我们假设$h(x)&

1 机器学习绪论什么是机器学习A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.