凸优化笔记26：不动点迭代
前面讲了很多具体的算法，比如梯度、次梯度、近似点梯度、加速近似点梯度、PPA、DR方法、ADMM、ALM等，对这些方法的迭代过程有了一些了解。这一节则主要是针对算法的收敛性进行分析，试图从一个更加抽象的层面，利用不动点迭代的思想，把上面的算法综合起来，给一个比较
general 的收敛性分析方法。
1. 什么是不动点？
对于希尔伯特空间(Hilbert space) \(\mathcal{H
凸优化笔记25：原始对偶问题 PDHG
前面的章节要么从原始问题出发，要么从对偶问题出发，通过求解近似点或者一个子优化问题进行迭代，而且推导过程中我们发现根据问题的参数特征，比如矩阵
\(A\)
是瘦高型的还是矮胖型的，采用对偶和原始问题的复杂度会不一样，可以选择一个更简单的。而这一节，我们将要从原始对偶问题出发来优化，什么是原始对偶问题呢？就是原始优化变量和对偶优化变量（原始函数和共轭函数）混合在一块，看下面的原理就知道了。
凸优化笔记23：算子分裂法 & ADMM
前面章节中，针对 \(\min f(x)+g(Ax)\)
形式的优化问题，我们介绍了如 PG、dual PG、ALM、PPA 等方法。但是比如 PG
方法为 \[
x_{k+1}=\text{prox}_{th}(x_k-t_k\nabla g(x_k))
\] ALM 的第一步要解一个联合优化问题 \[
(x^{k+1},y^{k+1}) = \arg\min_{x,y} L_t(x,
凸优化笔记22：近似点算法
在进入具体的优化算法后，我们首先讲了基于梯度的，比如梯度下降(GD)、次梯度下降(SD)；然后又讲了近似点算子，之后讲了基于近似点算子的方法，比如近似点梯度下降(PG)、对偶问题的近似点梯度下降(DPG)、加速近似点梯度下降(APG)。而这一节讲的，还是基于近似点的！他叫近似点方法(Proximal
Point Algorithm,
PPA)，除此之外还会介绍增广拉格朗日方法(Augmentt
凸优化笔记21：加速近似点梯度下降
我们证明了梯度方法最快的收敛速度只能是 \(O(1/k^2)\)（没有强凸假设的话），但是前面的方法最多只能达到
\(O(1/k)\)
的收敛速度，那么有没有方法能达到这一极限呢？有！这一节要讲的加速近似梯度方法(APG)就是。这个方法的构造非常的巧妙，证明过程中会发现每一项都恰到好处的抵消了！真不知道作者是怎么想出来这么巧妙地方法，各位可以看看证明过程自行体会。
凸优化笔记20：对偶近似点梯度下降
前面讲了梯度下降、次梯度下降、近似点梯度下降方法并分析了收敛性。一开始我们还讲了对偶原理，那么如果原问题比较难求解的时候，我们可不可以转化为对偶问题并应用梯度法求解呢？当然可以，不过有一个问题就是对偶函数的梯度或者次梯度怎么计算呢？这就是这一节要关注的问题。
首先一个问题是哪些形式的问题，其对偶问题相比于原问题更简单呢？可能有很多种，这一节主要关注一种：线性等式/不等式约束的优化问题。之所以考虑