Множественная регрессия

 

     Содержание:

 

1. Множественная регрессия…………………………………………………3
2. Понятие  фиктивной переменной, её значение…………………………11
3. Список литературы………………………………………………………14

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

      Эконометрика – это наука, которая дает количественное выражение взаимосвязей экономических явлений и процессов. Эта наука возникла в результате взаимодействия и объединения трех компонент: экономической теории, статистических и экономических методов. Становление и развитие эконометрики происходили на основе так называемой высшей статистики, когда в уравнение регрессии начали включаться переменные не только в первой, но и во второй степени.  

В ряде случаев это необходимо для отражения свойства оптимальности экономических переменных, т.е. наличия значений, при которых достигается минимальное или максимальное воздействие на зависимую переменную. Таково, например, влияние внесения в почву удобрений на урожайность: до определенного уровня насыщение почвы удобрениями способствует росту урожайности, а по достижении оптимального уровня насыщения удобрениями его дальнейшее наращивание не приводит к росту урожайности и даже может вызвать ее снижение.        

 В зависимости от количества  факторов, включенных в уравнение  регрессии, принято различать простую (парную) и множественную регрессии.        

 Простая регрессия представляет собой регрессию между двумя переменными – y и x, т.е. модель вида

,

где    y – зависимая переменная (результативный признак);        

 x – независимая переменная (признак-фактор).        

 Множественная регрессия соответственно представляет собой регрессию результативного признака с двумя и большим числом факторов, т.е. модель вида.        

 Простая регрессия может  дать хороший результат при  моделировании, если влиянием других факторов, воздействующих на объект исследования, можно пренебречь. Однако когда уверенности в правомерности такого допущения нет, необходимо использовать модель с большим числом факторов. Множественная регрессия широко используется в решении проблем спроса, доходности акций, при изучении функции издержек производства и целого ряда других вопросов эконометрики. Основная цель множественной регрессии – построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также совокупное их воздействие на моделируемый показатель.

   Множественная регрессия состоит:

1.Множественный регрессионный анализ.

2.Мультиколлинеарность

3.Множественный коэффициент корреляции и коэффициент детерминации.

4.Системы эконометрических уравнений.

5.Временные ряды в эконометрических исследованиях.

 

Рассмотрим множественный регрессионный анализ.

Построение уравнения множественной регрессии начинается с решения вопроса о спецификации модели, который в свою очередь включает 2 круга вопросов: отбор факторов и выбор уравнения регрессии.  
Отбор факторов обычно осуществляется в два этапа:  
1) теоретический  анализ взаимосвязи результата и круга факторов, которые оказывают на него существенное влияние;  
2) количественная оценка взаимосвязи факторов с результатом. При линейной форме связи между признаками данный этап сводится к анализу корреляционной матрицы (матрицы парных линейных коэффициентов корреляции):  
          ry , y     ry , x1    ryx2     ....   ry , xm  
          rx 1, y  rx1, x2   rx2x 2   ....   rx 2, xm  
           ......  
rxm , y  rxm, x1 rxm , x2   ....  rxm , xm  
где ry , xj – линейный парный коэффициент корреляции, измеряющий тесноту связи между признаками y и хj   j=1;m , m -число факторов.  
rxj , xk – линейный парный коэффициент корреляции, измеряющий тесноту связи между признаками хj и хk   j,k =1;m.  
Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям:  
1. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность (например, в модели урожайности качество почвы задается в виде баллов).  
2. Каждый фактор должен быть достаточно тесно связан с результатом (т.е. коэффициент парной линейной корреляции между фактором и результатом должен быть существенным).  
3. Факторы не должны быть сильно коррелированы друг с другом, тем более находиться в строгой функциональной связи (т.е. они не должны быть интеркоррелированы). Разновидностью интеркоррелированности факторов является мультиколлинеарность - тесная линейная связь между  факторами.  
Мультиколлинеарность может привести к нежелательным последствиям:  
1) оценки параметров становятся ненадежными. Они обнаруживают большие стандартные ошибки. С изменением объема наблюдений оценки меняются (не только по величине, но и по знаку), что делает модель непригодной для анализа и прогнозирования.  
2) затрудняется интерпретация параметров множественной регрессии как характеристик действия факторов в  «чистом» виде, ибо факторы коррелированны; параметры линейной регрессии теряют экономический смысл;  
3) становится невозможным определить изолированное влияние факторов на результативный показатель.

Мультиколлинеарность имеет место, если определитель матрицы межфакторной корреляции  близок к нулю:

 
.  
Если же определитель матрицы межфакторной корреляции близок к единице, то мультиколлинеарности нет.Существуют различные подходы преодоления сильной межфакторной корреляции. Простейший из них – исключение из модели фактора (или факторов), в наибольшей степени ответственных за мультиколлинеарность при условии, что качество модели при этом пострадает несущественно (а именно, теоретический коэффициент детерминации -R2y(x1...xm) снизится несущественно).

Определение факторов, ответственных за мультиколлинеарность, может быть основано на анализе матрицы межфакторной корреляции. При этом определяют пару признаков-факторов, которые сильнее всего связаны между собой (коэффициент линейной парной корреляции максимален по модулю). Из этой пары в наибольшей степени ответственным за мультиколлинеарность будет тот признак, который теснее связан с другими факторами модели (имеет более высокие по модулю значения коэффициентов парной линейной корреляции).

 
Еще один способ определения факторов, ответственных за мультиколлинеарность основан на вычислении коэффициентов множественной детерминации (R2xj(x1,...,xj-1,xj+1,...,xm)), показывающего зависимость фактора xj от других факторов модели x1,..., xj-1, x j+1,..., xm. Чем ближе значение коэффициента множественной детерминации к единице, тем больше ответственность за мультиколлинеарность фактора, выступающего в роли зависимой переменной. Сравнивая между собой коэффициенты множественной детерминации для различных факторов можно проранжировать переменные по степени ответственности за мультиколлинеарность.  
При выборе формы уравнения множественной регрессии предпочтение отдается линейной функции:  
yi =a+b1·x1i+ b2·x2i+...+ bm·xmi+ui  
в виду четкой интерпретации параметров.  
Данное уравнение регрессии называют уравнением регрессии в естественном (натуральном) масштабе. Коэффициент регрессии bj при факторе хj называют условно-чистым коэффициентом регрессии. Он измеряет среднее по совокупности отклонение признака-результата от его средней величины при отклонении признака-фактора хj на единицу, при условии, что все прочие факторы модели не изменяются (зафиксированы  на своих средних уровнях).  
Если не делать предположения о значениях прочих факторов, входящих в модель, то это означало бы, что каждый из них при изменении х j также изменялся бы (так как факторы связаны между собой), и своими изменениями оказывали бы влияние на признак-результат.

Расчет параметров уравнения линейной множественной регрессии

 
Параметры уравнения множественной регрессии можно оценить методом наименьших квадратов, составив и решив систему нормальных линейных уравнений.  
Кроме того, для линейной множественной регрессии существует другой способ реализации МНК при оценке параметров - через  b -коэффициенты (через параметры уравнения регрессии в стандартных масштабах).  
Модель регрессии в стандартном масштабе   предполагает, что все значения исследуемых признаков переводятся в стандарты (стандартизованные значения) по формулам:  
,   j=1;m,  
где х ji - значение переменной хj i  в i-ом наблюдении.  
.  
Таким образом, начало отсчета каждой стандартизованной переменной совмещается с ее средним значением, а в качестве единицы изменения принимается ее среднее квадратическое отклонение s . Если связь между переменными в естественном масштабе линейная, то изменение начала отсчета и единицы измерения этого свойства не нарушат, так что и стандартизованные переменные будут связаны линейным соотношением:  
.  
Для оценки β-коэффициентов применим МНК. При этом система нормальных уравнений будет иметь вид:  
rx 1 y=b 1+rx1 x2∙ b2+…+ rx 1 xm∙b m  
rx 2 y= rx 2 x1∙ b1+b 2+…+ rx2 xm∙b m  
…  
rxmy = rxmx 1∙b 1+rxmx2∙ b 2+…+ bm  
Найденные из данной системы b–коэффициенты позволяют определить значения коэффициентов в регрессии в естественном масштабе по формулам:  
, j=1; m;   .  
Показатели тесноты связи факторов с результатом.  
Если факторные признаки различны по своей сущности и (или) имеют различные единицы измерения, то коэффициенты регрессии bj при разных факторах являются несопоставимыми. Поэтому уравнение регрессии дополняют соизмеримыми показателями тесноты связи фактора с результатом, позволяющими ранжировать факторы по силе влияния на результат. К таким показателям тесноты связи относят: частные коэффициенты эластичности, b –коэффициенты, частные коэффициенты корреляции.  
Частные коэффициенты эластичности Э j рассчитываются по формуле: . Частный коэффициент эластичности показывают, на сколько процентов в среднем изменяется признак-результат y с изменением признака-фактора х j на один процент от своего среднего уровня при фиксированном положении других факторов модели. В случае линейной зависимости Э j рассчитываются по формуле: , где  – оценка коэффициента регрессии при j–ом факторе.  
Стандартизированные частные коэффициенты регрессии - b -коэффициенты (b j ) показывают, на какую часть своего среднего квадратического отклонения s у изменится признак-результат y  с изменением соответствующего фактора х j на величину своего среднего квадратического отклонения ( s х j) при неизменном влиянии прочих факторов (входящих в уравнение).  
По коэффициентам эластичности и b -коэффициентам могут быть сделаны противоположные выводы. Причины этого: а) вариация одного фактора очень велика; б) разнонаправленное воздействие факторов на результат.  
Коэффициент bj может также интерпретироваться как показатель прямого (непосредственного) влияния j-ого фактора (xj) на результат (y). Во множественной регрессии  j-ый фактор оказывает не только прямое, но и косвенное (опосредованное) влияние на результат (т.е. влияние через другие факторы модели). Косвенное влияние измеряется величиной: , где  m- число факторов в модели. Полное влияние j-ого фактора на результат равное сумме прямого и косвенного влияний измеряет  коэффициент линейной парной корреляции данного фактора и результата – rxj,y.  
Коэффициент частной корреляции измеряет «чистое» влияние фактора на результат при устранении воздействия прочих факторов модели.  
Для расчета частных коэффициентов корреляции могут быть использованы парные коэффициенты корреляции.  
Для случая зависимости y от двух факторов можно вычислить 2 коэффициента частной корреляции:  
  ,  
(фактор х2 фиксирован).  
 
(фактор х1 фиксирован).  
Это коэффициенты частной корреляции 1-ого порядка (порядок определяется числом факторов, влияние которых устраняется).  
Частные коэффициенты корреляции, рассчитанные по таким формулам изменяются от –1 до +1. Они используются не только для ранжирования факторов модели по степени влияния на результат, но и также для отсева факторов. При малых значениях ryxm / x1,x 2… xm -1 нет смысла вводить в уравнение  m-ый фактор, т.к. его чистое влияние на результат несущественно.  
Коэффициенты множественной детерминации и корреляции   характеризуют совместное влияние всех факторов на результат.  
По аналогии с парной регрессией можно определить долю вариации результата, объясненной вариацией включенных в модель факторов ( d 2), в его общей вариации (s 2 y). Ее количественная характеристика – теоретический множественный коэффициент детерминации (R 2 y(x 1,..., xm)). Для линейного уравнения регрессии данный показатель может быть рассчитан через b-коэффициенты, как:  
.  
 - коэффициент множественной корреляции. Он принимает значения от 0 до 1 (в отличии от парного коэффициента корреляции, который может принимать отрицательные значения). Поэтому R не может быть использован для интерпретации направления связи. Чем плотнее фактические значения yi располагаются относительно линии регрессии, тем меньше остаточная дисперсия и, следовательно,  больше величина Ry(x 1,..., xm). Таким образом, при значении R близком к 1, уравнение регрессии лучше описывает фактические данные и факторы сильнее влияют на результат. При значении R близком к 0 уравнение регрессии плохо описывает фактические данные и факторы оказывают слабое воздействие на результат.  
Оценка значимости полученного уравнения множественной регрессии .  
Оценка значимости уравнения множественной регрессии осуществляется путем проверки гипотезы о равенстве нулю коэффициент детерминации рассчитанного по данным генеральной совокупности:  или b 1= b 2=…=b m=0 (гипотеза о незначимости уравнения регрессии, рассчитанного по данным генеральной совокупности).  
Для ее проверки используют  F-критерий Фишера.  
При этом вычисляют фактическое (наблюдаемое) значение F-критерия, через коэффициент детерминации R2y(x1,...,xm), рассчитанный по данным конкретного наблюдения:  
, где n-число наблюдений; h – число оцениваемых параметров (в случае двухфакторной линейной регрессии h=3).  
По таблицам распределения Фишера-Снедоккора находят критическое значение F-критерия (Fкр). Для этого задаются уровнем значимости a (обычно его берут равным 0,05) и двумя числами степеней свободы k1=h-1 и k2=n-h.  
Сравнивают фактическое значение F-критерия (Fнабл) с табличным Fкр( a;k1;k2). Если Fнабл<Fкр( a ;k1;k2), то гипотезу о незначимости уравнения регрессии не отвергают. Если Fнабл>Fкр( a ;k1;k2), то выдвинутую гипотезу отвергают и принимают альтернативную гипотезу о статистической значимости уравнения регрессии.

 

 

 

 

 

 

 

2 Понятие  фиктивной переменной, её значение. 

Экономические величины складываются под влиянием множества различных факторов, как количественных, так и качественных по своей природе. Это могут быть разного рода атрибутивные признаки, такие, например, как профессия, пол, образование и пр., а также факторы, оказывающие косвенное воздействие (во времени и/или пространстве) на изучаемый процесс, что приводит к неоднородной выборке рассматриваемых показателей. Иногда представляет интерес включение этих факторов в эконометрическую модель и исследование их влияния на изучаемую зависимость. Например, влияние пола или образования на уровень заработной платы или влияние дефолта на величину основных макроэкономических показателей. 
Чтобы ввести качественные факторы в регрессионную модель, им должны быть присвоены те или иные цифровые метки, т.е. качественные переменные преобразованы в количественные. Такого вида сконструированные переменные в эконометрике принято называть фиктивными переменными или дамми-переменными.  
Возможным решением было бы разбить имеющиеся исходные статистические данные на заведомо однородные группы и строить модели для каждой однородной выборки с последующим выяснением различия в моделях. Например, построить модели зависимости заработной платы от стажа отдельно для мужчин и женщин или изучать поведение макроэкономических показателей отдельно на временном интервале до дефолта и после. 
Другой возможный подход состоит в построении и оценивании одной модели для всей совокупности наблюдений и измерении влияния фактора, явившегося причиной появления неоднородной выборки посредством введения фиктивной переменной. Этот способ обладает двумя следующими преимуществами:  
имеется простой способ проверки, является ли воздействие качественного фактора значимым (путем проверки на статистическую значимость коэффициента перед фиктивной переменной);  
при условии выполнения определенных предположений оценки модели оказываются более эффективными (вследствие большей выборки).

Регрессионные модели могут содержать одновременно как количественные, так и качественные переменные, и даже только качественные.

 Фиктивные переменные сдвига 

Рассмотрим следующую ситуацию: по группе лиц мужского и женского пола изучается линейная зависимость потребления зеленого чая от цены . Можно найти уравнения отдельно для лиц мужского и женского пола, а можно использовать общую совокупность данных и построить модель с включением в него фактора «пол» в виде фиктивной переменной : 
 
. 
 
В этом случае зависимая переменная рассматривается как функция не только цены но и пола . Переменная рассматривается как бинарная переменная, принимающая всего два значения: 1 и 0. 
 
=  
 
тогда уравнение для лиц женского пола можно записать: 
 
, а для лиц мужского пола: , где показывает сдвиг в потреблении чая мужчинами по сравнению с женщинами. 
 
Иными словами, различия в потреблении для лиц мужского и женского пола вызваны различиями свободных членов уравнения регрессии. 
На основе МНК находим параметры модели с фиктивной переменной и проведем проверку на статистическую значимость. Статистическая значимость коэффициента при фиктивной переменной будет свидетельствовать о различии в потреблении чая между мужчинами и женщинами. 
Если рассматриваемый качественный признак имеет не два, а несколько значений, то можно было бы ввести дискретную переменную, принимающую столько же значений. Обычно это не делается из-за трудности содержательной интерпретации коэффициента перед этой переменной. В этом случае целесообразно введение бинарных фиктивных переменных, где - число значений качественного признака. 
Предположим, что изучается потребление чая не только от цены, но и региона проживания: северные регионы, центральные и южные. В этом случае разбиваем все данные на три категории, одну из которых, например, центральные регионы считаем эталонной. Вводим две фиктивные переменные и : 
 
 
 
Запишем линейную регрессионную модель: . 
Коэффициенты показывают сдвиг в объеме потребления чая в соответствующих регионах по отношению к потреблению чая в центральных регионах. 
 
Сформулируем методику построения модели с фиктивными переменными: 
1. Разбиваем статистические данные на категории, число которых определяется числом градаций качественного признака. Одну из категорий принимаем за эталонную (выбирается произвольно). 
2. Вводим фиктивные переменные для всех категорий, кроме эталонной. Каждая из введенных фиктивных переменных принимает значение, равное единице для данных рассматриваемой категории и нуль для данных остальных категорий.  
3. Фиктивные переменные вводятся в уравнение с коэффициентом , где - число категорий. Каждый из коэффициентов характеризует сдвиг значения результативного показателя для данных - ой категории относительно эталонной. Если оказывается статистически значимым, то фактор (событие), выражаемое этой фиктивной переменной оказывает существенное влияние на результативный показатель.

 

 

      3.Список литературы.

1. Орлова И.В. Экономико-математические  методы и модели. Выполнение расчетов в среде Ехсе1. Практикум. – М.: ЗАО Финстатинформ, 2000.

2. Практикум по эконометрике: Учеб. пособие/ И.И. Елисеева, С.В. Курышева Н.М. Гордеенко и др. Под ред. И.И. Елисеевой. – М.: Финансы и статистика, 2005.

3  Эконометрика. Учебник./ Елисеева  И.И., Курышева С.В., Нерадовская Ю.В. Под ред. И.И. Елисеевой. —М.: Проспект, 2010.