凸优化笔记 4:凸函数 Convex Function

1. 凸函数

1.1 凸函数定义

凸函数(convex function)的定义: f(θx+(1θ)y)θf(x)+(1θ)f(y),x,ydomf,θ[0,1] 函数 f扩展函数(extended-value extension) f~ 定义为 f~(x)={f(x),xdomf,xdomf 相当于对原来函数 f 的定义域进行了扩展。

1.2 常见凸函数

1.2.1 R

凸函数(convex)

  • 仿射函数 ,for any
  • 指数函数 ,for any
  • 幂函数 ,for or
  • 绝对值幂函数 ,for
  • 负熵

凹函数(concave)

  • 仿射函数 ,for any
  • 幂函数 ,for
  • 对数函数

1.2.2

  • 仿射函数
  • 范数

1.2.3

  • 仿射函数
  • 谱范数

2. 凸函数判定

2.1 “降维打击”

“降维打击”是指对于函数 限制在某一个方向上观察,若对于任意一个方向上都是凸函数,则 就是凸函数。准确的定义如下。

,有映射 为凸函数当且仅当 对任意 都是凸函数。

:函数 ,有 由于 关于 是凹函数,因此 是凹函数。

2.2 一阶条件

函数 为凸函数当且仅当 证明:略。用定义即可。

2.3 二阶条件

函数 为凸函数当且仅当海森矩阵(Hessian matrix)(若二阶可微)

可用海森矩阵验证为凸函数的例子

  • 二次函数 (with )
  • 最小二乘目标函数
  • 二次函数
  • log-sum-exp
  • 几何均值 on

3. Sublevel set & Epigraph

函数 下水平集(-sublevel set) 的定义为 凸函数的下水平集也是凸集,但是反之不一定成立

针对函数 定义的 epigraph

函数 为凸函数当且仅当其 epigraph 为凸集。

Remarks:对于 epigraph 内的点,有 上面的式子实际上就是找到了一个在 处的支撑超平面法向量即为

4. Jensen's Inequality

对于凸函数 ,有 证明:离散情况易证,连续情况可以用一阶条件证明。

Lemma 为凸函数,那么 在任一内点处都连续(连续但不一定可导)。

Remarks:往往绝大部分点都是可微的,但是我们经常会遇到那些不可微的点,比如 ReLU 函数。


凸优化笔记 4:凸函数 Convex Function
https://glooow1024.github.io/2020/02/29/optimization/ch4-cvx-function/
作者
Glooow
发布于
2020年2月29日
许可协议