神经网络的数学基础-6

详细内容请阅读《Deep Learning with Python》 中文翻译为：《Python深度学习》 [美] 弗朗索瓦·肖莱　著 张亮　译

1 什么是导数

假设有一个延续的光滑函数 y=f(x)，将实数 x 映射为另一个实数 y 。由于函数是延续的，x的宏大变化只能导致 y的宏大变化——这就是函数延续性的直观解释。假设x增大了一个很小的因子 epsilon_x ，这导致 y 也发生了很小的变化，即epsilon_y：

f(x + epsilon_x) = y + epsilon_y

此外，由于函数是光滑的（即函数曲线没有渐变的角度），在某个点 p 附近，假如 epsilon_x足够小，就可以将f近似为斜率为 a 的线性函数，这样 epsilon_y 就变成了 a * epsilon_x ：f(x + epsilon_x) = y + a * epsilon_x

显然，只要在 x 足够接近 p 时，这个线性近似才有效。

斜率 a 被称为 f 在 p 点的导数（derivative）。假如 a 是负的，阐明 x 在 p 点附近的宏大变化将导致 f(x) 减小；假如 a 是正的，那么 x 的宏大变化将导致 f(x) 增大。此外， a 的相对值（导数大小）表示增大或减小的速度快慢。

f在p点的导数

对于每个可微函数 f(x) （可微的意思是“可以被求导”。例如，光滑的延续函数可以被求导），都存在一个导数函数 f'(x)，将 x 的值映射为 f 在该点的部分线性近似的斜率。

假如你想要将 x 改变一个小因子 epsilon_x ，目的是将 f(x) 最小化，并且知道 f 的导数，那么成绩处理了：导数完全描画了改变 x 后 f(x) 会如何变化。假如你希望减小 f(x) 的值，只需将 x 沿着导数的反方向移动一小步。

到这里可以知道，应用导数我们可以知道函数值f(x)的变化趋向，进而经过沿着导数的正反向或反方向，“指点”函数值f(x)发生变化。

一点毛病没有，顶你

大人，此事必有蹊跷！

关注，等大神更新完了再看！楼主加油！