定义:一个优化问题可以表示为
其中 称为目标函数或者损失函数(若是最大化问题则称为效用函数),两个约束分别称为不等式约束和等式约束。
定义:目标函数和所有约束函数定义域的交集称为域,即
定义:域中所有满足约束条件的元素称为可行解(feasible point),可行解组成的集合称为可行域(feasible set),即
定义: 称为问题的最优值(optimal value),若
,那么
称为优化问题的最优解(optimal point),最优解组成的组合称为最优解集
注意:当优化问题不可行时(可行域为空),最优值
定义: 称为优化问题的
次优解集
定义: 称为目标函数在
附近的局部最优解
定义:一个凸优化问题可写成如下标准形式
其中目标函数和不等式约束函数均为凸函数,同时等式约束 为仿射映射
定义:在上述定义的基础上,如果目标函数为拟凸函数,那么该优化问题就是一个拟凸优化问题
证明:
![](https://pic2.zhimg.com/v2-342dac75d3a54b7f0f1a0f1303a63a69_r.jpg)
推论:对于目标函数一阶可微的凸优化问题,若 为最优解,则
且对于任意的
均有
,反之亦成立
说明:即可行域一定在下图中实线所定义的超平面的同一侧
![](https://pic3.zhimg.com/v2-4c87e08acbfb40eb960a5073648c1bae_r.jpg)
证明:
![](https://pic3.zhimg.com/v2-00d76c88b45aff8e6d963d2c5a49563a_r.jpg)
推论:对于无约束条件的凸优化问题, 为最优解等价于
证明:
![](https://pic2.zhimg.com/v2-975b96ff5b9fbfc51f54f54f17142f91_r.jpg)
推论:对于仅有等式约束的凸优化问题
若可行域非空且最优解为 ,那么对于任意的
,均有
证明:
![](https://pic2.zhimg.com/v2-95a35b29ec26677faac53fe5b14ed5c5_r.jpg)
推论:对于仅有非负约束的凸优化问题
若可行域非空且最优解为 ,那么
,即
和
中至少有一个为零
证明:
![](https://pic1.zhimg.com/v2-a301945b0ddc42c477019ad34a18d6e8_r.jpg)