ML Logistic回归中的成本函数

2021年5月2日15:54:28 发表评论 1,191 次浏览

对于线性回归, 成本函数为–

J(\ Theta)= \ frac {1} {m} \ sum_ {i = 1} ^ {m} \ frac {1} {2} [h _ {\ Theta}(x ^ {(i)})-y ^ {(i)}] ^ {2}

但是对于Logistic回归,

h _ {\ Theta}(x)= g(\ Theta ^ {T} x)

这将导致非凸成本函数。但这会导致成本函数具有局部最优值, 这对于梯度下降计算全局最优值来说是一个很大的问题。

ML Logistic回归中的成本函数1

因此, 对于Logistic回归, 成本函数为

Cost(h _ {\ Theta}(x),y​​)= \ left \ {\ begin {matrix} -log(h _ {\ Theta}(x))&if&y = 1 \\ -log(1-h _ {\ Theta }(x))&if&y = 0 \ end {matrix} \ right。

如果y = 1

ML Logistic回归中的成本函数2

Cost = 0 if y = 1, hθ(x) = 1

但是

hθ(x) -> 0

Cost -> Infinity

ML Logistic回归中的成本函数3

所以,

Cost(h _ {\ Theta}(x),y​​)= \ left \ {\ begin {matrix} 0&if&h _ {\ Theta}(x)= y \\ \ infty&if&y = 0&and&h _ {\ Theta }(x)\ rightarrow 1 \\ \ infty&如果&y = 1&and&h _ {\ Theta}(x)\ rightarrow 0 \ end {matrix} \ right。
成本(h _ {\ Theta}(x),y​​)= -y log(h _ {\ Theta}(x))-(1-y)log(1-h _ {\ Theta}(x))
J({\ Theta})= \ frac {-1} {m} \ sum_ {i = 1} ^ {m} Cost(h _ {\ Theta}(x),y​​)

拟合参数θ, 必须将J(θ)最小化, 并且为此需要梯度下降。

梯度下降 -看起来与线性回归相似, 但区别在于假设hθ(X)

\ Theta_ {j}:= \ Theta_ {j}-\ alpha \ sum_ {i = 1} ^ {m}(h_ \ Theta(x ^ {(i)})-y ^ {(i)})x_j ^ {(一世)}

首先, 你的面试准备可通过以下方式增强你的数据结构概念:Python DS课程。


木子山

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: