深度学习嵌入公式 反向求导(吴恩达深度学习笔记)(1)

导数(Derivatives)

这个笔记我主要是想帮你获得对微积分和导数直观的理解。

或许你认为自从大学毕以后你再也没有接触微积分。

深度学习嵌入公式 反向求导(吴恩达深度学习笔记)(2)

为了高效应用神经网络和深度学习,你并不需要非常深入理解微积分(这个哦,并不需要深入了解)。因此如果你观看这个视频或者以后的视频时心想:“哇哦,这些知识、这些运算对我来说很复杂。”

我给你的建议是:坚持学习吴恩达老师的视频或者跟随者笔记来学习,然后你就可以使用深度学习了。

在后面的学习中,你会看到定义的很多种类的函数,通过微积分他们能够帮助你把所有的知识结合起来,其中有的叫做前向函数和反向函数,因此你不需要了解所有你使用的那些微积分中的函数。所以你不用担心他们,除此之外在对深度学习的尝试中,这周我们要进一步深入了解微积分的细节。所有你只需要直观地认识微积分,用来构建和成功的应用这些算法。

深度学习嵌入公式 反向求导(吴恩达深度学习笔记)(3)

一个函数f(a) = 3a ,它是一条直线(这个是线性的,很好理解!)。

下面我们来简单理解下导数。

让我们看看函数中几个点,

假定 a =2,那么f(a)是a 的3倍等于6,也就是说如果a =2 ,那么函数f(a) =6 。

假定稍微改变一点点a的值,只增加一点,变为2.001,这时a将向右做微小的移动。0.001的差别实在是太小了,不能在图中显示出来,我们把它右移一点,现在 f(a) 等于a 的3倍是6.003,画在上图里,虽然比例不太符合。请看绿色高亮部分的这个小三角形,如果向右移动0.001,那么 f(a) 增加0.003,f(a)的值增加3倍于右移的a,因此我们说函数f(a)在a=2 ,是这个导数的斜率,或者说,当a=2 时,斜率是3。

导数这个概念意味着斜率,导数听起来是一个很可怕、很令人惊恐的词,但是斜率以一种很友好的方式来描述导数这个概念。

所以提到导数,我们把它当作函数的斜率就好了。更正式的斜率定义为在上图这个绿色的小三角形中,高除以宽。即斜率等于0.003除以0.001,等于3。或者说导数等于3,这表示当你将 右移0.001, f(a) 的值增加3倍水平方向的量。

现在让我们从不同的角度理解这个函数。

假设a=5,此时f(a)=3a=15 。

把a右移一个很小的幅度,增加到5.001,f(a)=15.003 。 即在 a=5 时,斜率是3,这就是表示,当微小改变变量a 的值

深度学习嵌入公式 反向求导(吴恩达深度学习笔记)(4)

一个等价的导数表达式可以这样写

深度学习嵌入公式 反向求导(吴恩达深度学习笔记)(5)

,不管你是否将 f(a) 放在上面或者放在右边都没有关系。

这边笔记讲解导数讨论的情况是我们将a偏移0.001,如果你想知道导数的数学定义,导数是你右移很小的a值(不是0.001,而是一个非常非常小的值)。通常导数的定义是你右移a(可度量的值)一个无限小的值, f(a) 增加3倍(增加了一个非常非常小的值)。也就是这个三角形右边的高度。

深度学习嵌入公式 反向求导(吴恩达深度学习笔记)(6)

那就是导数的正式定义。但是为了直观的认识,我们将探讨右移 a=0.001 这个值,即使0.001并不是无穷小的可测数据。导数的一个特性是:这个函数任何地方的斜率总是等于3,不管a=2 或a=5 ,这个函数的斜率总等于3,也就是说不管a的值如何变化,如果你增加0.001, f(a) 的值就增加3倍。这个函数在所有地方的斜率都相等。一种证明方式是无论你将小三角形画在哪里,它的高除以宽总是3。

这篇笔记希望带给你一种感觉:

什么是斜率?什么是导函数?对于一条直线,在例子中函数的斜率,在任何地方都是3。

今天只是讲了一个简单的直线的导数问题,下一篇带来曲线的导数的推导和介绍,希望能让大家更进一步了解导数的概念!

,