凸优化笔记 4:凸函数 Convex Function
1. 凸函数
1.1 凸函数定义
凸函数(convex function)的定义:
1.2 常见凸函数
1.2.1
凸函数(convex)
- 仿射函数
,for any - 指数函数
,for any - 幂函数
,for or - 绝对值幂函数
,for - 负熵
凹函数(concave)
- 仿射函数
,for any - 幂函数
,for - 对数函数
1.2.2
- 仿射函数
- 范数
1.2.3
- 仿射函数
- 谱范数
2. 凸函数判定
2.1 “降维打击”
“降维打击”是指对于函数
设
,有映射 则 为凸函数当且仅当 对任意 都是凸函数。
例:函数
2.2 一阶条件
函数
为凸函数当且仅当 证明:略。用定义即可。
2.3 二阶条件
函数
为凸函数当且仅当海森矩阵(Hessian matrix)(若二阶可微)
可用海森矩阵验证为凸函数的例子
- 二次函数
(with ) - 最小二乘目标函数
- 二次函数
- log-sum-exp
- 几何均值
on
3. Sublevel set & Epigraph
函数
针对函数
函数
为凸函数当且仅当其 epigraph 为凸集。 ![]()
Remarks:对于 epigraph 内的点,有
上面的式子实际上就是找到了一个在 处的支撑超平面,法向量即为
4. Jensen's Inequality
对于凸函数
Lemma:
Remarks:往往绝大部分点都是可微的,但是我们经常会遇到那些不可微的点,比如 ReLU 函数。
凸优化笔记 4:凸函数 Convex Function
https://glooow1024.github.io/2020/02/29/optimization/ch4-cvx-function/