文章来自微信公众号“科文路”，欢迎关注、互动。转发须注明出处。

备查手册-梯度法_共轭梯度法_线搜索，本文为第三部分。

2.3 线搜索 line search

代码与例子来源于https://blog.csdn.net/u014791046/article/details/50831017

线搜加入了对步长的计算。

文章来自微信公众号“科文路”，欢迎关注、互动。转发须注明出处。

备查手册-梯度法_共轭梯度法_线搜索，本文为第二部分。

2.2 共轭梯度法

conjugate gradient method

该方法基于梯度下降法。

由于梯度下降法每次下降的方向为负梯度方向，这并不能保证其是最优的方向。通过共轭方向的计算，保证第二步开始的下降方向在一个圆锥内，这能极大的提高下降的效率。

文章来自微信公众号“科文路”，欢迎关注、互动。转发须注明出处。

备查手册-梯度法_共轭梯度法_线搜索，本文为第一部分。

1 问题提出

$$
\min_{x} f(x)=x^4-3x^3+2
$$

即求上式中 $x$ 为何值时，整体值最小。

文章来自微信公众号“科文路”，欢迎关注、互动。转发须注明出处。

by Matt Dancho

文章来自微信公众号“科文路”，欢迎关注、互动。转发须注明出处。

介绍了三种常用最优化方法，并使用Python进行了实验对比。

文章来自微信公众号“科文路”，欢迎关注、互动。转发须注明出处。

在统计学习方法中，我们会经常使用到特征值和奇异值，本文对其背后的特定意义做一个梳理。

文章来自微信公众号“科文路”，欢迎关注、互动。转发须注明出处。

在统计学中，独立成分分析或独立分量分析（Independent components analysis，缩写：ICA） 是一种利用统计原理进行计算的方法。它是一个线性变换。这个变换把数据或信号分离成统计独立的非高斯的信号源的线性组合。独立成分分析是盲信号分离（Blind source separation）的一种特例。

文章来自微信公众号“科文路”，欢迎关注、互动。转发须注明出处。

本文转载自傅里叶分析之掐死教程（完整版）更新于2014.06.06，是我学习期间看到的最好一篇讲傅里叶变换的文章，所以在公众号里做一个备份。