最优化-无约束共轭梯度法程序（c++）

copyright @ http://blog.chinaunix.net/uid-253851-id-2140409.html

 

/////////////////////////////////////////

/////         vector.h头文件        /////

/////      定义向量及其基本运算     /////

/////////////////////////////////////////

#include<math.h>
#define MAXLENGTH 10

//向量定义
typedef struct{             
    int tag;                //行列向量标志。行向量为0，列向量为1。
    int dimension;          //向量的维数
    double elem[MAXLENGTH];    //向量的元素
}vector;

vector vecCreat(int tag, int n){
//建立维数为n的向量
    vector x;
    x.tag=tag;
    x.dimension=n;
    for(int i=0;i<n;++i){
        cout<<"请输入第"<<i+1<<"分量:";
        cin>>x.elem[i];
    }
    return x;
}

double vecMultiply(vector a, vector b){
//行向量与列向量乘法运算
    if((a.tag!=b.tag)&&(a.dimension==b.dimension)){//相乘条件
        double c=0;
        for(int i=0;i<a.dimension;++i)
            c+=a.elem[i]*b.elem[i];
        return c;
    }
}

vector vecAdd(vector a, vector b){
//向量加法运算
    if((a.tag==b.tag)&&(a.dimension==b.dimension)){//相加条件
        vector c;
        c.dimension=a.dimension;
        c.tag=a.tag;
        for(int i=0;i<c.dimension;++i)
            c.elem[i]=a.elem[i]+b.elem[i];
        return c;
    }
}

vector vecConvert(vector a){
//向量转置
    if(a.tag==0)a.tag=1;
    if(a.tag==1)a.tag=0;
    return a;
}

double vecMole(vector a){
//求向量模
    double sum=0;
    for(int i=0;i<a.dimension;++i)
        sum+=a.elem[i]*a.elem[i];
    sum=sqrt(sum);    
    return sum;
}

vector numMultiply(double n,vector a){
//数乘向量
    for(int i=0;i<a.dimension;++i)
        a.elem[i]=n*a.elem[i];
    return a;
}

void showPoint(vector x, double f){
//显示点，解.
    cout<<"--- x=(";
    for(int i=0;i<x.dimension;++i){
        cout<<x.elem[i];
        if(i!=x.dimension-1)cout<<",";
    }
    cout<<") --- f(x)="<<f<<endl;
    cout<<endl;    
}
/////////////////////////////////////////////////////////
////////////// function.h头文件 /////////////////////////
//////// 函数及其导数的设置均在此文件完成////////////////
/////////////////////////////////////////////////////////
// * 无 约 束 问 题 *                                  //
// 目标函数--在vecFun(vector vx)中修改,x1改成x[1]      //
//              x2改成x[2],依此类推...                 //
/////////////////////////////////////////////////////////

#include <iostream.h>
#include "vector.h"
#define SIZE 10
#define MAX 1e300

double min(double a, double b){
//求两个数最小
    return a<b?a:b;
}

double max(double a, double b){
//求两个数最大
    return a>b?a:b;
}

vector vecGrad(double (*pf)(vector x),vector pointx){
//求解向量的梯度
//采用理查德外推算法计算函数pf在pointx点的梯度grad;
    vector grad;
    grad.tag=1; grad.dimension=pointx.dimension;//初始化偏导向量
    vector tempPnt1,tempPnt2;           //临时向量
    double h=1e-3;
    for(int i=0;i<pointx.dimension;++i){
        tempPnt1=tempPnt2=pointx;
        tempPnt1.elem[i]+=0.5*h;
        tempPnt2.elem[i]-=0.5*h;
        grad.elem[i]=(4*(pf(tempPnt1)-pf(tempPnt2)))/(3*h);
        tempPnt1.elem[i]+=0.5*h;
        tempPnt2.elem[i]-=0.5*h;
        grad.elem[i]-=(pf(tempPnt1)-pf(tempPnt2))/(6*h);
    }
    return grad;
}

double vecFun(vector vx){
//最优目标多元函数
    double x[SIZE];
    for(int i=0;i<vx.dimension;++i)
        x[i+1]=vx.elem[i];
    //----------约束目标函数--------------
    //return x[1]*x[1]+x[2]*x[2];
    //----------无约束正定函数--------------
    //return x[1]*x[1]+4*x[2]*x[2]+9*x[3]*x[3]-2*x[1]+18*x[3];//例一
    //----------无约束非二次函数--------------
    //return (1-x[1])*(1-x[1])+(1-x[4])*(1-x[4])+(x[1]*x[1]-x[2])*(x[1]*x[1]-x
[2])+(x[2]*x[2]-x[3])*(x[2]*x[2]-x[3])+(x[3]*x[3]-x[4])*(x[3]*x[3]-x[4]);//例二

}

double vecFun_Si(vector vx){
//不等式约束函数
    double x[SIZE];
    for(int i=0;i<vx.dimension;++i)
        x[i+1]=vx.elem[i];
    return x[1]+1;//不等式约束函数
}

double vecFun_Hi(vector vx){
//等式约束函数
    double x[SIZE];
    for(int i=0;i<vx.dimension;++i)
        x[i+1]=vx.elem[i];
    return x[1]+x[2]-2;//等式约束函数
}

double vecFun_S(vector x,double v,double l,double u){
//约束问题转化为无约束问题的增广目标函数F(x,v,l,u)
    double sum1=0,sum2=0,sum3=0;//分别定义三项的和
    //sum1
    double temp=max(0,v-2*u*vecFun_Si(x));
    sum1=(temp*temp-v*v)/(4*u);
    //sum2
    sum2=l*vecFun_Hi(x);
    //sum3
    sum3=u*vecFun_Hi(x)*vecFun_Hi(x);    
    //F(x,v,l,u)=f(x)+sum1-sum2+sum3
    return vecFun(x)+sum1-sum2+sum3;
}

vector vecFunD_S(vector x,double v,double l,double u){//利用重载函数实现目标函
数F(x,v,l,u)的导数
//约束问题转化为无约束问题的增广目标函数F(x,v,l,u)的导函数
    vector sum1,sum2,sum3;//分别定义三项导数的和
    //sum1
    sum1.dimension=x.dimension;    sum1.tag=1;
    sum2.dimension=x.dimension;    sum2.tag=1;
    sum3.dimension=x.dimension;    sum3.tag=1;
    double temp=max(0,v-2*u*vecFun_Si(x));
    if(temp==0){
        for(int i=0;i<sum1.dimension;++i)
            sum1.elem[i]=0;
    }
    else{
        sum1=numMultiply(-(v-2*u*vecFun_Si(x)),vecGrad(vecFun_Si,x));
    }
    //-sum2
    sum2=numMultiply(-l,vecGrad(vecFun_Hi,x));
    //sum3
    sum3=numMultiply(2*u*vecFun_Hi(x),vecGrad(vecFun_Hi,x));    
    //F=f(x)+sum1-sum2+sum3
    return vecAdd(vecAdd(vecGrad(vecFun,x),sum1),vecAdd(sum2,sum3));
}
///////////////////////////////////////////////////
/////            nonrestrict.h头文件          /////
/////  包含无约束问题的求解函数: 直线搜索     /////
/////         共轭梯度法,H终止准则            /////
///////////////////////////////////////////////////
#include "restrict.h"

vector lineSearch(vector x, vector p ,double t){
//从点x沿直线p方向对目标函数f(x)作直线搜索得到极小点x2,t为初始步长。
    vector x2;
    double l=0.1,n=0.4;         //条件1和2的参数  
    double a=0,b=MAX;           //区间
    double f1=0,f2=0,g1=0,g2=0;
    int i=0;                    //迭代次数
    do{
        if(f2-f1>l*t*g1){b=t;t=(a+b)/2;}         //改变b,t循环
        do{
            if(g2<n*g1){a=t;t=min((a+b)/2,2*a);} //改变a,t循环
            f1=vecFun(x);                                   //f1=f(x)
            g1=vecMultiply(vecConvert(vecGrad(vecFun,x)),p);//g1=∨f(x)*p
            x2=vecAdd(numMultiply(t,p),x);                  //x2=x+t*p
            if(i++ && vecFun(x2)==f2){return x2;}           //【直线搜索进入无
限跌代，则此次跌代结束。返回当前最优点】
            f2=vecFun(x2);                                  //f2=f(x2)
            g2=vecMultiply(vecConvert(vecGrad(vecFun,x2)),p);      //g2=∨f(x2
)*p    
            //cout<<"("<<x2.elem[0]<<","<<x2.elem[1]<<","<<x2.elem[2]<<","<<x2
.elem[3]<<");"; //输出本次结果
            //cout<<"t="<<t<<";";
            //cout<<"f(x)="<<f2<<endl;
        }
        while(g2<n*g1);      //不满足条件ii,则改变a,t循环
    }
    while(f2-f1>l*t*g1);     //不满足条件i,则改变b,t循环
    return x2;
}

int Himmulblau(vector x0, vector x1, double f0, double f1){
//H终止准则.给定Xk,Xk+1,Fk,Fk+1,判断Xk+1是否是极小点.返回1是极小,否则返回0
    double c1,c2,c3;//定义并初始化终止限
    c1=c2=10e-5;
    c3=10e-4;
    if(vecMole(vecGrad(vecFun,x1))<c3)
        if(vecMole(vecAdd(x1,numMultiply(-1,x0)))/(vecMole(x0)+1)<c1)
            if(fabs(f1-f0)/(fabs(f0)+1)<c2)
                return 1;
    return 0;
}

void Fletcher_Reeves(vector xx,vector &minx, double &minf){
//Fletcher-Reeves共轭梯度法.
//给定初始点xx.对vecFun函数求得最优点x和最优解f,分别用minx和minf返回
    int k=0,j=0;       //迭代次数,j为总迭代次数
    double c=10e-1;    //终止限c
    int n=xx.dimension;//问题的维数
    double f0,f,a;     //函数值f(x),a为使p方向向量共轭的系数
    vector g0,g;       //梯度g0,g
    vector p0,p;       //搜索方向P0,p
    vector x,x0;       //最优点和初始点
    double t=1;        //直线搜索的初始步长=1
    x=xx;                         //x0
    f=vecFun(x);                  //f0=f(x0)
    g=vecGrad(vecFun,x);          //g0
    p0=numMultiply(-1,g);         //p0=-g0,初始搜索方向为负梯度方向
    do{
        x0=x;f0=f;g0=g;              
        x=lineSearch(x0,p0,t);       //从点x出发,沿p方向作直线搜索
        f=vecFun(x);                 //f=f(x)
        g=vecGrad(vecFun,x);                //g=g(x)
        if(Himmulblau(x0,x,f0,f)==1){//满足H终止准则,返回最优点及最优解。
            cout<<"* 总迭代次数："<<j<<" ----"<<endl;
            minx=x; minf=f;
            break;
        }
        else{                        //不满足H准则
            cout<<"* 第"<<j<<"次迭代";
            showPoint(x,f);          //显示中间结果x,f    

            if(k==n){                //若进行了n+1次迭代
                k=0;                 //重置k=0,p0=-g
                p0=numMultiply(-1,g);
                t=vecMole(vecAdd(x,numMultiply(-1,x0)))/vecMole(p0);//下次直线
搜索步长
                continue;            //进入下一次循环,重新直线搜索
            }                        
            else{                     //否则,计算共轭向量p
                a=vecMole(g)*vecMole(g)/(vecMole(g0)*vecMole(g0));
                p=vecAdd(numMultiply(-1,g),numMultiply(a,p0));
            }
        }
        if(fabs(vecMultiply(vecConvert(p),g))<=c){//共轭梯度方向下降或上升量很
小
            p0=numMultiply(-1,g);//p0=-g,k=0
            k=0;
        }
        else if(vecMultiply(vecConvert(p),g)<-c){//共轭梯度方向下降并且下降量保
证
            p0=p;                //p0=p,k=k+1
            ++k;
        }
        else{                                    //共轭梯度方向上升并且下降量保
证
            p0=numMultiply(-1,p);//p0=-p,k=k+1
            ++k;
        }
        t=vecMole(vecAdd(x,numMultiply(-1,x0)))/vecMole(p0);//下次直线搜索步长

    }
    while(++j);
}

///////////////////////////////////////////////////
/////             main.h头文件                /////
/////  主程序文件，控制整个程序的流程         /////
///////////////////////////////////////////////////
#include "nonrestrict.h"

void printSelect(){
    cout<<"************** 最优化方法 ***************"<<endl;
    cout<<"*****************************************"<<endl;
    cout<<"***  请选择：                         ***"<<endl;
    cout<<"***  1. 无约束最小化问题(共轭梯度法)  ***"<<endl;
    cout<<"***  2. 约束最小化问题(H乘子法)       ***"<<endl;
    cout<<"***  3. 退出(exit)                    ***"<<endl;
    cout<<"*****************************************"<<endl;
}

void sub1(){
    char key;
    cout<<"--------------------共轭梯度法求无约束最小化问题----------------"<<
endl;
    cout<<"步骤:"<<endl;
    cout<<"◆ 1. 输入f(x)及其导数.(参考function.h文件说明)"<<endl;
    cout<<"-----确认是否已输入<目标函数>及其<导数>? (Y/N)";
    cin>>key;
    if(key=='N' || key=='n')return;
    else if(key=='Y' || key=='y'){
        vector x0; //起始点
        int m;
        cout<<"◆ 2. 起始点X0初始化"<<endl<<"-----请输入X0的维数:";
        cin>>m;
        x0=vecCreat(1,m);
        vector minx;//求得的极小点
        double minf;//求得的极小值
        Fletcher_Reeves(x0,minx,minf);
        cout<<"◆ 最优解及最优值:";
        showPoint(minx,minf);
    }
}

void sub2(){
    char key;
    cout<<"------------------ H乘子法求约束最小化问题 -----------------"<<endl
;
    cout<<"步骤:"<<endl;
    cout<<"◆ 1. 输入f(x)及其导数.(参考function.h文件说明)"<<endl;
    cout<<"-----确认是否已输入<目标函数及导数>和<约束条件>? (Y/N)";
    cin>>key;
    if(key=='N' || key=='n')return;
    else if(key=='Y' || key=='y'){
        vector x0; //起始点
        int m;
        cout<<"◆ 2. 起始点X0初始化"<<endl<<"-----请输入X0的维数:";
        cin>>m;
        x0=vecCreat(1,m);
        vector minx;//求得的极小点
        double minf;//求得的极小值
        Hesternes(x0,minx,minf);
        showPoint(minx,minf);
    }
}

void main(){
    int mark=1;
    while(mark){
        printSelect();
        int sel;
        cin>>sel;
        switch(sel){
            case 1:
                sub1();
                break;
            case 2:
                sub2();
                break;
            case 3:
                mark=0;
                break;
        };
    }
}