Исследование простого градиентного метода

Автор работы: Пользователь скрыл имя, 18 Февраля 2013 в 23:37, дипломная работа

Краткое описание

В теории управления эти методы, как правило, являются вспомогательными.
Например, в теории адаптивных систем широко применяется процедура градиентного метода. В теории нейронных сетей при настройке нейронных моделей часто используются метод наискорейшего спуска, метод Ньютона, квазиньютоновские методы и метод сопряженных градиентов. Кроме этого, безусловная оптимизация используется при решении задач связанных с оптимизацией химико-технологических систем при оперативном управлении в АСУТП.

Вложенные файлы: 1 файл

Мой диплом - Исследование простого градиентного метода.doc

— 2.18 Мб (Скачать файл)

Целевая функция для рассматриваемого варианта выглядит следующим образом:

F(x1,x2)=4x12+0.77x22+x1+x2

2.1.1 Исследование простого градиентного метода                         

Исследуем влияние  изменения величины шага на скорость сходимости (путь) при поиске минимума простым градиентным методом, формула (2), сначала в системе координат без преобразования, а затем в преобразованной.

Для этого в  программе  MATLAB, открыв папку Кв_форма, в ней Гр_метод, будем менять численное значение шага. Результаты исследования свести в таблицу и построить графики зависимости величины шага от скорости сходимости. Сделать выводы по обоим случаям. Сравнить результаты, полученные в преобразованных координатах и без преобразования.

а) Влияние постоянной величины шага на процесс сходимости.

 

Результаты для рассматриваемого варианта приведены в таблице 2. Зависимость сходимости от величины шага показана на рисунках 2 и 3.

 

Таблица 2 - Результаты исследования простого градиентного метода без преобразования

Задаваемая

величина 

шага, α

 

0.06

 

0.08

 

 0.1

 

0.13

 

0.14

 

0.15

 

0.155

 

0.16

 

0.2

Количество

шагов  по первой координате n1

18

12

7

4

6

7

8

9

23

Количество  шагов по второй координате

n2

>150

118

93

70

64

60

57

55

43


Рисунок 2 - Зависимость сходимости от величины шага по первой координате

 

Рисунок 3 - Зависимость сходимости от величины шага по второй координате

 

 

Исследовав  зависимость скорости сходимости от изменения шага, можно достаточно четко определить величину оптимального шага.

Для рассмотренного случая величина шага равная 0,2 является критической, т.к. после 0,2 значение первой координаты начинает стремительно расти и процесс поиска минимума становится неустойчивым.

Оптимальный шаг по первой координате  0,13. Этот вывод можно сделать исходя из данных представленных на рисунке 2. Сходимость метода с этим шагом представлена на рисунке 4.

 

 

Рисунок 4 - Сходимость метода с шагом 0,13

 

 

Но так как  при шаге 0,13 скорости сходимости по второй координате намного ниже, чем по первой, выберем в качестве оптимального шага тот, при котором разница между величинами сходимости по обеим координатам наименьшая. Этим шагом является 0,2.

 

Сходимость  метода при шаге 0, 2 показана на рисунке 5.

 

 

 

 

Рисунок 5 - Сходимость метода с шагом 0,2

 

 

 

В тоже время  величина оптимального шага, вычисленного по формуле (12) составляет m =  0.4193

 

 

 

б) Влияние постоянной величины шага на процесс сходимости в преобразованной системе координат.

 

Результаты для рассматриваемого варианта приведены в таблице 3. Зависимость сходимости от величины шага показана на рисунке 6.

 

 

 

 

 

 

 

Таблица 3 - Результаты исследования простого градиентного метода с преобразованием координат

Задаваемая

величина

шага, а

 

0.08

 

0.1

 

0.6

 

0.7

 

0.8

 

0.85

 

0.9

 

1

Количество

шагов  по первой координате, n1

>150

145

20

17

14

13

15

27

Количество  шагов по второй координате, n2

>150

>150

25

20

17

16

14

24


 

 

Оптимальный шаг  в этом случае может быть выбран из интервала [0,6 ; 1]. Этот вывод можно сделать исходя из данных представленных на рисунке 6.

 

Рисунок 6 - Зависимость сходимости от величины шага

 

В качестве оптимального шага в этом случае возьмем 0,9, так  как при нем разница между величинами сходимости по обеим координатам минимальна. Процесс сходимости для шага 0,9 представлен на рисунке 7.

 

Рисунок 7 - Сходимость метода для шага 0,9

 

 

В тоже время  величина оптимального шага, вычисленного по формуле (12) составляет m =  1.7426

 

 

2.1.2. Исследование метода наискорейшего спуска

 

Исследование  влияния координат на процесс  сходимости.

В пакете MATLAB открыть папку Кв_форма, затем Метод_наиск_спуска, открыв в ней свой вариант, сначала исследовать сходимость в системе координат без преобразования,  затем в преобразованной. Вставить рисунки показывающие процесс сходимости. Сделать выводы по результатам сходимости в разных системах координат.

 

а) Без преобразования координат процесс сошелся за:

 

9 шагов по  первой координате.

14 шагов по второй координате.

Наглядно сходимость метода показана на рисунке 8.

 

Рисунок 8- Сходимость метода наискорейшего спуска в системе координат без преобразования

 

 

Собственные числа  матрицы Гессе

 

zh =0.7700

       4.0000

 

Величина оптимального шага

 

m =  0.4193

 

Изменение величины шага при поиске минимума показано в таблице 4, наглядно оно представлено на рисунке 9. Значения координат в процессе поиска минимума  сведены в таблицы 5 и 6.

 

 

Таблица 4- Изменение величины шага в процессе поиска минимума

1) 0.1280   

2) 0.5782   

3) 0.1280   

4) 0.5782   

5) 0.1280   

6) 0.5782   

7) 0.1280   

8) 0.5782   

9) 0.1280   

10) 0.5782   

11) 0.1280   

12) 0.5782   

13) 0.1280   

14) 0.5782   

15) 0.1280   

16) 0.5782   

17) 0.1280   

18) 0.5782   

19) 0.1280   

20) 0.5782   

21) 0.1280   

22) 0.5782   

23) 0.1280   

24) 0.5782   

25) 0.1280   

26) 0.5782   

27) 0.1280   

28) 0.5782   

29) 0.1280   

30) 0.5814   

31) 0.1273   

32) 0.5208   

33) 0.1312

34) 0.6494      


 

 

Рисунок 9 - Изменение величины шага при поиске минимума

 

 

Минимальные значения аргумента

 

xmin = -0.1250

            -0.6494

 

 

Таблица 5 - Значения первой координаты x(1) в процессе поиска минимума

1) -4.0000  

2) -0.0310  

3) -0.4659  

4) -0.1167  

5) -0.1550  

6) -0.1243  

7) -0.1276  

8) -0.1249  

9) -0.1252  

10) -0.1250           

11) -0.1250           

12) -0.1250           

13) -0.1250           

14) -0.1250           

15) -0.1250           

16) -0.1250           

17) -0.1250           

18) -0.1250           

19) -0.1250           

20) -0.1250           


 

Таблица 6 - Значения второй координаты x(2) в процессе поиска минимума

1) 2.8500   

2) 2.1600  

3) -0.3415  

4) -0.4022  

5) -0.6223  

6) -0.6276  

7) -0.6470  

8) -0.6474  

9) -0.6491  

10) -0.6492         

11) -0.6493  

12) -0.6493  

13) -0.6493  

14) -0.6493  

15) -0.6494  

16) -0.6494  

17) -0.6494  

18) -0.6494  

19) -0.6494  

20) -0.6494  


 

 

б) В преобразованной системе координат процесс сошелся за:

13 шагов по первой координате

14 шагов по  второй координате

Наглядно сходимость метода показана на рисунке 10.

 

Рисунок 10 - Сходимость метода наискорейшего спуска в преобразованной системе координат

a =0.7800    0.1370

     0.1370    0.3677

 

b =1.0500

     0.4000

 

Собственные числа  матрицы Гессе

 

zh =0.3263

       0.8214

 

Величина оптимального шага

 

m =1.7426

 

Изменение величины шага при поиске минимума показано в таблице 7, наглядно оно представлено на рисунке 11. Значения координат в процессе поиска минимума сведены в таблицы 8 и 9.

 

 

Таблица 7 - Изменение величины шага в процессе поиска минимума

1) 0.7539   

2) 1.0320   

3) 0.7539   

4) 1.0320   

5) 0.7539   

6) 1.0320   

7) 0.7539   

8) 1.0320   

9) 0.7539   

10) 1.0320   

11) 0.7539   

12) 1.0320   

13) 0.7539   

14) 1.0320   

15) 0.7539   

16) 1.0320   

17) 0.7539   

18) 1.0320  

19) 0.7539   

20) 1.0320   

21) 0.7539   

22) 1.0320   

23) 0.7539   

24) 1.0320   

25) 0.7539   

26) 1.0320   

27) 0.7539   

28) 1.0320   

29) 0.7539   

30) 1.0320   

31) 0.7539   

32) 1.0320   

33) 0.7539   

34) 1.0320   

35) 0.7540   

36) 1.0340   

37) 0.7532   

38) 1.0275   

39) 0.7535   

40) 1.0546   

41) 0.7824   

42) 1.3598   

43) 0.6410 


 

 

Рисунок 11 - Изменение величины шага при поиске минимума

 

 

Минимальные значения аргумента

 

xmin =-0.6180

           -0.3137

 

Таблица 8 - Значения первой координаты x(1) в процессе поиска минимума

1) -4.0000  

2) -0.6760  

3) -1.1788  

4) -0.6276  

5) -0.7110  

6) -0.6196  

7) -0.6334  

8) -0.6182  

9) -0.6205  

10) -0.6180    

11) -0.6184  

12) -0.6180  

13) -0.6181  

14) -0.6180  

15) -0.6180  

16) -0.6180  

17) -0.6180  

18) -0.6180  

19) -0.6180  

20) -0.6180  

Информация о работе Исследование простого градиентного метода