李宏毅机器学习笔记--Regression

Regression

可以做什么？

• Stock Market Forecast
• Self-driving Car （输出方向盘角度）
• Recommendation （购买商品的可能性，根据可能性的大小决定是否给用户推荐
  。。。

步骤

• Step1 : Model

  • 就是建立一个函数： y = b + W * X (W and b are prameters which can be any
    value)

  • like a Linear model : $y=b+\sum W_i\ast X_i$
    (Xi : an attribute if input X feature Wi : weight b: bias )

• Step2 : Goodness of Function
  

  • training data (有输入，有输出）
  • Loss function L => 一个函数用于评价 b 和 w 的好坏。
  • input : a function, ouput : how bad it is
  • L(f) = L(w,b) = $y=\sum ({\hat{y}}^n-(b+w\ast x_n^{cp}){)}^2$ （真实值 - 预测值)^2的求和

• Step 3 ： Best Function

• 

Gradient Descent

• Consider loss function L（W） with one parameter w ：
  
  • 最简单的方法就是枚举所有w,来找出使得 Loss 最小的 parameter，但是这样是没有效率的
  • (Randomly) Pick an initial value $w^0$
  • Compute $\frac{dL}{dw}{|}_{w=w^0}$
    • 倒数值代表的是$W^0$点出切线的斜率
    • 如果该值是 负的 则 增加W
    • 如果该值是 正的 则 减少W
    • $W_{new}=W_{old}-\eta \ast \frac{dL}{dw}{|}_{w=w^0}$ ($\eta$ 叫做 Learning rate）
  • 重复计算 $\frac{dL}{dw}{|}_{w=w^1}$**
  • 如果是多个参数则分别计算各个参数的偏导数
    

结果

• 结果最重要的是 Generalization
• 我们真正关心的是这个Function在新数据上到错误率（测试集）
• 结果不好的话，可以重新选择一个model安照上面的方法进行训练

Overfitting

• model越复杂，在训练集上得到的结果越来越好，但是在测试集上结果确越来越差
• 增加正则化项Regularization
  
  

最后

以上就是独特小土豆最近收集整理的关于李宏毅机器学习笔记--Regression的全部内容，更多相关李宏毅机器学习笔记--Regression内容请搜索靠谱客的其他文章。