机器学习中的数学知识(-)梯度下降数学理论 - Go语言中文社区

机器学习中的数学知识(-)梯度下降数学理论


机器学习中的数学知识

微积分:

f(a)=limx0f(a+h)f(a)h

常见的函数的导数:

(xa)=axa1
(ex)=ex
(ax)=ln(a)ax
(ln(x))=1x
dsin(x)dx=cos(x)
dcos(x)dx=sin(x)

导数法则

(αf+βg)=αf+βg
(fg)=fg+fg
(fg)=fgfgg2
如果 f(x)=h(g(x)) 那么 f(x)=h(g(x))g(x)

Hessian矩阵
这里写图片描述

泰勒级数与极值

f(x+σ)f(x)+f(x)σ+12f"σ2

从公式中可以看出在点x的函数值如果是极小值点,那么σ表示在x点左右两侧摆动,要使得公式左边大于等式右边(σ>0或者σ<0),则必须满足f(x)=0
结论:如果满足f(x)=0的点称为极值点(平稳点),进一步判断:
f"(x)>0, (x,f(x))为极小值点;
f"(x) 版权声明:本文来源CSDN,感谢博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/honghu110/article/details/55052909
站方申明:本站部分内容来自社区用户分享,若涉及侵权,请联系站方删除。

  • 发表于 2019-09-01 10:44:22
  • 阅读 ( 1121 )
  • 分类:

0 条评论

请先 登录 后评论

官方社群

GO教程

推荐文章

猜你喜欢