吴恩达机器学习（六）逻辑回归

吴恩达机器学习（六）逻辑回归

• 逻辑回归的应用对象
• 逻辑回归的假设函数、目标函数、求解
• • 假设函数
  • 目标函数
  • 求解
• 例子
• 分类结果

逻辑回归的应用对象

首先，最重要的是明白一个算法的应用对象。逻辑回归主要应用于分类问题。现实中分类问题有很多，简单的二分类：邮件中的垃圾邮件和非垃圾邮件；人中的男人和女人。多分类：自动驾驶中人、车、障碍物的识别；各种阻值不同的电阻识别。
对于特征较少分类问题，逻辑回归是一种有效的算法。当特征成百上千时，请选择神经网络。

逻辑回归的假设函数、目标函数、求解

假设函数

逻辑回归的假设函数定义为：
$$h_{\theta }(\mathbf{x})=\frac{1}{1+e^{{\mathbf{\theta }}^T\mathbf{x}}}$$
上式中$\mathbf{\theta }$和$\mathbf{x}$均为列向量。假设函数不同是逻辑回归与线性回归的第一个不同点。
上式的概率解释：$h_{\theta }(y=1|\mathbf{x};\theta )$在参数$\theta$确定的情况下，给出$x$时，$y=1$的概率。
上式的直观解释：假设已知一份邮件的特征为$x=[1,垃圾字符数量]$，计算得到$h_{\theta }(\mathbf{x})=0.7$，则说明该邮件为垃圾邮件的概率为$70\%$ 。

目标函数

针对单个样本的目标函数为：
C o s t ( h θ ( x ) , y ) = { ? l o g ( h θ ( x ) ) , y = 1 , ? l o g ( 1 ? h θ ( x ) , y = 0 Cost(h_theta(boldsymbol x),y)=

$$begin{cases}-log(h_theta(boldsymbol x)), & y=1,\ -log(1-h_theta(boldsymbol x), & y=0 end{cases}$$ Cost(hθ?(x),y)={?log(hθ?(x)),?log(1?来源：sddfsAv