最优化问题的要素及分类

凸优化数学基础笔记九最优化问题的要素及分类​最优化问题Optimization Problem是应用数学中的一个核心领域其目标是在满足一定约束条件的情况下从一组可能的方案或解中找出使某一特定指标目标达到最优最大或最小的解。作为最优化问题一般要素有三个要素1优化变量又称设计变量、2目标函数、3约束条件。1.优化变量​ 一个优化设计方案是用一组设计参数的最优组合来表示的。这些设计参数可概括地划分为两类一类是可以根据客观规律、具体条件、已有数据等预先给定的参数统称为常量另一类是在优化过程中经过逐步调整最后达到最优值的独立参数称为变量(或设计变量、决策变量)。优化问题的目标就是使各变量达到最优组合。变量的个数称为优化问题的维数。例如有n个变量x1,x2,⋯,xn1,2,⋯, 的优化问题就是在n维空间Rn 中寻优。n维空间Rn 中的点X[x1,x2,⋯,xn]T[1,2,⋯,] 就代表优化问题中的一个方案。当变量为连续量时称为连续变量当变量只能在离散量中取值称为离散变量。2.目标函数​ 反映变量间相互关系f:Rn→R:→衡量决策方案的标准其函数值大小用于来评价优化方案的好坏。按照规范化的形式都把优化问题归结为求目标函数的极小问题换句话说目标函数值越小优化方案越好对于某些追求目标函数极大的问题可以转换成求其负值最小的问题。即maxf(X)maxf(x1,x2,x3,⋯,xn)−min[−f(X)](1)(1)max()max(1,2,3,⋯,)−min[−()]因此在后续笔记中一律把优化问题描述为目标函数的极小化问题其中minf(X)minf(x1,x2,⋯,xn)(2)(2)min()min(1,2,⋯,)如果优化问题只有一个目标函数称为单目标函数如果优化问题同时追求多个目标则该问题的目标函数称为多目标函数。 多目标优化问题的目标函数通常表示为:V−minF(X)[f1(X),f2(X),f3(X),⋯,fm(X)]T(3)(3)−min()[1(),2(),3(),⋯,()]其中X[x1,x2,x3,⋯,xn]T[1,2,3,⋯,] ,这时的目标函数在目标空间已经是一个m维矢量所以又称为矢量优化问题一般用minmin加一个前缀“V−−” 来表示。3.约束条件​ 变量空间本身应该遵循的限制条件的数学表达式称为约束条件或约束函数。约束条件按其表达式可分为不等式约束和等式约束两种即s.t.{gi(X)≥0 (i1,2,⋯,l)hj(X)0 (j1,2,⋯,m)(4)(4)..{()≥0 (1,2,⋯,)ℎ()0 (1,2,⋯,)按约束条件的作用还将约束条件划分为起作用的约束紧约束有效约束和不起作用的约束松约束、消极约束。等式约束相当于空间里一条曲线曲面或超平面。点X 必须为该曲线曲面或超曲面上的一点因而总是紧约束。有一个独立的等式约束就可用代入法消去一个变量使优化问题降低一等。因此数学模型中独立等式约束个数应小于变量个数如果相等就不是一个待定优化系统而是一个没有优化余地的既定系统。不等式约束通常是以其边界g(X)0()0(或g(X)≈0()≈0)表现出约束作用的它只限制点X 必须落在允许的区域内包括边界上因而不等式约束的约束的个数与变量个数无关。不带约束条件的优化问题称为无约束最优化问题带约束条件的优化问题称为约束最优化问题4.带约束条件的优化问题数学模型​ 综上所述本系列笔记要讨论的问题是如下的静态最优化问题其表示形式如下有三种min[x1,x2,x3,⋯,xn]T∈Ωf(x1,x2,⋯,xn)s.t{gi(x1,x2,⋯,xn)≥0,i1,2,⋯,lhj(x1,x2,⋯,xn)0,j1,2,⋯,m,(mn)min[1,2,3,⋯,]∈Ω(1,2,⋯,).{(1,2,⋯,)≥0,1,2,⋯,ℎ(1,2,⋯,)0,1,2,⋯,,()第二种最优化问题表示形式为minX∈Ωf(X)s.t.{gi(X)≥0,i1,2,⋯,lhj(X)0,j1,2,⋯,m(mn)min∈()..{()≥0,1,2,⋯,ℎ()0,1,2,⋯,()第三种最优化问题表示形式为minX∈Ωf(X)s.t.{g(X)≥0h(X)0min∈()..{()≥0ℎ()0其中 g(X)[g1(X),⋯,gl(X)]T()[1(),⋯,()],h(X)[h1(X),⋯,hm(X)]Tℎ()[ℎ1(),⋯,ℎ()] .​ 上述三种表示形式中X∈Ω∈Ω 称为集约束。在所讨论的最优化问题中集约束是无关紧要的这是因为一般ΩRnΩ不然的话Ω 通常也可用不等式约束表达出来。因此今后一般不再考虑集约束。式中“s.t...” 为 Subject to 的缩写意即“满足于”或“受限于”。​ 满足所有约束的点X 称为容许点或可行点。容许点的集合称为容许集或可行域。可用X∈D{X|gi(X)≥0,i1,2,⋯,l;hj(X)0,j1,2,⋯,m(mn)}∈{|()≥0,1,2,⋯,;ℎ()0,1,2,⋯,()}表示。​ 一般地对于最优化问题的求解是指在可行域内找一点X∗∗使得目标函数f(X)() 在该点取得极小值即f(X∗)minf(X)s.t.{g(X∗)≥0h(X∗)0(∗)min()..{(∗)≥0ℎ(∗)0这样的点X∗∗ 称为优化问题的最优点也称为极小点而相应的目标函数值f(X∗)(∗) 称为最优值合起来(X∗,f(X∗))(∗,(∗)) 称为最优解但习惯上把X∗∗ 本身称为最优解。最优点的各个分量和最优解必须是有限数。5.最优化方法的分类​ 优化方法的类别很大从不同的角度出发可以作出各种不同的分类按目标函数的多少可分为单目标优化方法和多目标优化方法。按所能求解的函数的维数可分为一维优化方法也称为一维搜索和多维优化方法。按约束情况可分为无约束优化方法和约束优化方法。按求优的途径则分为1利用已有信息及再生信息进行试探及迭代求优的数值法直接法2利用函数性态通过微分或变分求优的解析法也称间接法3利用作图求优的图解法4利用实验数据的变化过程求优的实验法主要用于不能或不便建立数学模型的优化问题