西瓜书《机器学习》课后答案——Chapter3

86 阅读 0 评论 57 点赞

我是靠谱客的博主如意冷风，最近开发中收集的这篇文章主要介绍西瓜书《机器学习》课后答案——Chapter3，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

3.2 试证明，对于参数 $boldsymbol omega$ ，，对率回归的目标函数(3.18)是非凸的，但其对数似然函数(3.27)是凸的。
解答：

定理：设 $f(boldsymbol x)$ 是定义在非空开集 $Dsubset mathbb R^n$ 上的二次可微函数，则 $f(boldsymbol x)$ 是凸函数的充要条件是在任意点 $boldsymbol xin D$ 处， $f(boldsymbol x)$ 的Hessian矩阵半正定。

无论是目标函数，还是对数似然函数，二次可微的条件是成立的。所以，只需要判断函数是否满足在任意点处的Hessian矩阵半正定。

y = 1 1 + e - ( ω T x + b ) (1)

$y = frac{1}{1+e^{-(boldsymbol omega^Tboldsymbol x+b)}}tag 1$

\partial y \partial ω = e - ( ω T x + b ) ( 1 + e - ( ω T x + b ) ) 2 x (2)

$frac{partial y}{partial boldsymbol omega}=frac{e^{-(boldsymbol omega^Tboldsymbol x+b)}}{(1+e^{-(boldsymbol omega^Tboldsymbol x+b)} )^2}boldsymbol x tag 2$

\partial 2 y \partial ω \partial ω T = \partial \partial ω T \partial y \partial ω = \partial \partial ω T e - ( ω T x + b ) ( 1 + e - ( ω T x + b ) ) 2 x = e - ( ω T x + b ) ( 1 - e - ( ω T x + b ) ) ( 1 + e - ( ω T x + b ) ) 3 x x T = y (1 - y) (1 - 2 y) x x T (1) (2) (3) (3)

$begin{align} frac{partial^2 y}{partial boldsymbol omega partial boldsymbol omega^T }&=frac{partial}{partial boldsymbol omega^T}frac{partial y}{partial boldsymbol omega} \ &=frac{partial}{partial boldsymbol omega^T}frac{e^{-(boldsymbol omega^Tboldsymbol x+b)}}{(1+e^{-(boldsymbol omega^Tboldsymbol x+b)} )^2}boldsymbol x \ & = frac{e^{-(boldsymbol omega^Tboldsymbol x+b)}(1-e^{-(boldsymbol omega^Tboldsymbol x+b)})}{(1+e^{-(boldsymbol omega^Tboldsymbol x+b)})^3}boldsymbol x boldsymbol x^T \ &=y(1-y)(1-2y)boldsymbol x boldsymbol x^T tag 3 end{align}$
矩阵

xxT x x T $boldsymbol x boldsymbol x^T$ 是半正定矩阵。而

y(1−y)(1−2y) y ( 1 − y ) ( 1 − 2 y ) $y(1-y)(1-2y)$ 在

y∈(12,1) y ∈ ( 1 2 , 1 ) $yin(frac{1}{2},1)$ 上是小于0的。所以Hessian矩阵并不能保证总是非负的，即函数(1)是非凸的。

l = \sum i = 1 m (- y i β T x^i + ln (1 + e β T x^i)) (4)

$l=sum_{i=1}^mleft( -y_iboldsymbol beta^T boldsymbol{hat x}_i+ lnleft( 1+e^{boldsymbolbeta^Tboldsymbol{hat x}_i}right) right) tag 4$

\partial l \partial β = \sum i = 1 m (- y i x^i + e β T x ^ i 1 + e β T x ^ i x^i) (5)

$frac{partial l}{partial boldsymbolbeta}=sum_{i=1}^{m}left( -y_iboldsymbol{hat x}_i +frac{e^{boldsymbolbeta^Tboldsymbol{hat x}_i}}{1+e^{boldsymbolbeta^Tboldsymbol{hat x}_i}} boldsymbol{hat x}_i right) tag 5$

\partial 2 l \partial β \partial β T = \partial \partial β T \partial l \partial β = \partial \partial β T \sum i = 1 m (- y i x^i + e β T x ^ i 1 + e β T x ^ i x^i) = \sum i = 1 m e β T x ^ i ( 1 + e β T x ^ i ) 2 x^i x^T i (4) (5) (6) (6)

$begin{align} frac{partial^2 l}{partialboldsymbolbeta partial boldsymbol beta ^T }&=frac{partial }{partial boldsymbol beta^T}frac{partial l}{partial boldsymbol beta} \ &=frac{partial }{partial boldsymbol beta^T}sum_{i=1}^{m}left( -y_iboldsymbol{hat x}_i +frac{e^{boldsymbolbeta^Tboldsymbol{hat x}_i}}{1+e^{boldsymbolbeta^Tboldsymbol{hat x}_i}} boldsymbol{hat x}_i right) \ &=sum_{i=1}^{m}frac{e^{boldsymbolbeta^Tboldsymbol{hat x}_i}}{(1+e^{boldsymbolbeta^Tboldsymbol{hat x}_i})^2} boldsymbol{hat x}_iboldsymbol{hat x}_i^T end{align} tag 6$
因为

eβTx^i(1+eβTx^i)2>0 e β T x ^ i ( 1 + e β T x ^ i ) 2 > 0 $frac{e^{boldsymbolbeta^Tboldsymbol{hat x}_i}}{(1+e^{boldsymbolbeta^Tboldsymbol{hat x}_i})^2}>0$ ，矩阵