Метод наименьших квадратов

Линейная регрессия находит широкое применение в эконометрике в виде четкой экономической интерпретации ее параметров.

Линейная регрессия сводится к нахождению уравнения вида

или

Уравнение вида позволяет по заданным значениям параметра х иметь теоретические значения результативного признака, подставляя в него фактические значения фактора х.

Построение линейной регрессии сводится к оценке ее параметров — а и в. Оценки параметров линейной регрессии могут быть найдены разными методами.

Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов(МНК).

МНК позволяет получить такие оценки параметров а и в, при которых сумма квадратов отклонений фактических значений ре­зультативного признака (у) от расчетных (теоретических) ми­нимальна:

Чтобы найти минимум функции, надо вычислить част­ные производные по каждому из параметров а и b и приравнять их к нулю.

Обозначим через S, тогда:

Преобразуя формулу, получим следующую систему нормальных уравнений для оценки параметров а и в:

Решая систему нормальных уравнений (3.5) либо методом последовательного исключения переменных, либо методом определителей, найдем искомые оценки параметров а и в.

Параметр в называется коэффициентом регрессии. Его величина показывает среднее изменение результата с изменением фактора на одну единицу.

Уравнение регрессии всегда дополняется показателем тесноты связи. При использовании линейной регрессии в качестве такого показателя выступает линейный коэффициент корреляции . Существуют разные модификации формулы линейного коэффициента корреляции. Некоторые из них приведены ниже:

Как известно, линейный коэффициент корреляции находится в границах: -1 ≤ ≤ 1.

Для оценки качества подбора линейной функции рассчитывается квадрат

Линейного коэффициента корреляции называемый коэффициентом детерминации.Коэффициент детерминации характеризует долю дисперсии результативного признака у, объясняемую регрессией, в общей дисперсии результативного признака:

Соответственно величина 1 - характеризует долю диспер­сии у, вызванную влиянием остальных не учтенных в модели факторов.

 

Вопросы для самоконтроля

1. Суть метода наименьших квадратов?

2. Сколькими переменными предоставляется парная регрессия?

3. Каким коэффициентом определяется теснота связи между переменами?

4. В каких пределах определяется коэффициент детерминации?

5. Оценка параметра b в корреляционно-регрессионном анализе?

 

Рекомендуемая литература

1. Кристофер Доугерти. Введение в эконометрию. – М.: ИНФРА – М, 2001 - 402 с.

2. С.А. Бородич. Эконометрика. Минск ООО «Новое знание» 2001.

3. Р.У. Рахметова Краткий курс по эконометрике. Учебное пособие. Алматы. 2004. -78с.

4. И.И. Елисеева .Эконометрика. – М.: «Финансы и статистика»,2002

5. Ежемесячный информационно-аналитический журнал.

 

Тема №3. Нелинейные экономические модели. Нелинейные модели регрессии. Преобразование переменных. Коэффициент эластичности.

 

· Нелинейные экономические модели..

· Преобразование переменных.

· Коэффициент эластичности.

 

Если между экономическими явлениями существуют нели­нейные соотношения, то они выражаются с помощью соответ­ствующих нелинейных функций: например, равносторонней ги­перболы , параболы второй степени и д.р.

Различают два класса нелинейных регрессий:

1. Регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам, например

– полиномы различных степеней – , ;

– равносторонняя гипербола – ;

– полулогарифмическая функция – .

2. Регрессии, нелинейные по оцениваемым параметрам, например

– степенная – ;

– показательная – ;

– экспоненциальная – .

Общая сумма квадратов отклонений индивидуальных значений результативного признака у от среднего значения вызвана влиянием множества причин. Условно разделим всю совокупность причин на две группы: изучаемый фактор х и прочие факторы.

Если фактор не оказывает влияния на результат, то линия регрес­сии на графике параллельна оси ох и .Тогда вся дисперсия результативного признака обусловлена воздействием прочих факторов и общая сумма квадратов отклонений совпадет с остаточной. Если же прочие факторы не влияют на результат, то у связан с х функционально и остаточная сумма квадратов равна нулю. В этом случае сумма квадратов отклонений, объясненная регрессией, совпадает с общей суммой квадратов.

Поскольку не все точки поля корреляции лежат на линии регрессии, то всегда имеет место их разброс как обусловленный вли­янием фактора х, т. е. регрессией у по х, так и вызванный действием прочих причин (необъясненная вариация). Пригод­ность линии регрессии для прогноза зависит от того, какая часть общей вариации признака у приходится на объясненную вариа­цию

Очевидно, что если сумма квадратов отклонений, обусловленная регрессией, будет больше остаточной суммы квадратов, то уравнение регрессии статистически значимо и фактор х оказывает существенное воздействие на результат у.

Любая сумма квадратов отклонений связана с числом степе­ней свободы , т. е. с числом свободы независимого варьирования признака. Число степеней свободы связано с числом единиц совокупности n и с числом определяемых по ней констант. Применительно к исследуемой проблеме число степеней свободы должно показать, сколько независимых откло­нений из п возможных требуется для образования данной суммы квадратов.

Нелинейная регрессия по включенным переменным не таит каких-либо сложностей в оценке ее параметров. Она определяет­ся, как и в линейной регрессии, методом наименьших квадратов (МНК), ибо эти функции линейны по параметрам. Так, в парабо­ле второй степени y=a₀+a₁x+a₂x²+ε заменяя переменные x=x₁,x²=x₂, получим двухфакторное урав­нение линейной регрессии: у=а₀+а₁х₁+а₂х₂+ ε

Парабола второй степени целесообразна к применению, если для определенного интервала значений фактора меняется харак­тер связи рассматриваемых признаков: прямая связь меняется на обратную или обратная на прямую. В этом случае определяется значение фактора, при котором достигается максимальное (или минимальное), значение результативного признака: приравнива­ем к нулю первую производную параболы второй степени: , т.е. b+2cx=0 и x=-b/2c

Применение МНК для оценки параметров параболы второй степени приводит к следующей системе нормальных уравнений:

Решение ее возможно методом определителей:

, ,
В моделях, нелинейных по оцениваемым параметрам, но приводимых к линейному виду, МНК применяется к преобразо­ванным уравнениям. Если в линейной модели и моделях, нели­нейных по переменным, при оценке параметров исходят из кри­терия min, то в моделях, нелинейных по оцениваемым параметрам, требование МНК применяется не к исходным дан­ным результативного признака, а к их преобразованным величи­нам, т. е.ln y, 1/y.

Приведем формулы для расчета средних коэффициентов эластичности для наиболее часто используемых типов уравнений регрессии:

return false">ссылка скрыта

 

Вид функции,	Первая производная,	Средний коэффициент эластичности,

Вопросы для самоконтроля

1. Какие классы бывают в нелинейной регрессии?

2. Каким методом определяются параметры в нелинейных регрессиях?

3. Что характеризует коэффициент эластичности?

4. Оценка параметра b в степенных функциях?

 

Рекомендуемая литература

1. Кристофер Доугерти. Введение в эконометрию. – М.: ИНФРА – М, 2001 - 402 с.

2. С.А. Бородич. Эконометрика. Минск ООО «Новое знание» 2001.

3. Р.У. Рахметова Краткий курс по эконометрике. Учебное пособие. Алматы. 2004. -78с.

4. И.И. Елисеева .Эконометрика. – М.: «Финансы и статистика»,2002

5. Ежемесячный информационно-аналитический журнал.

 

 

Тема №4. Проверка на статистическую значимость коэффициентов уравнения регрессии и корреляции. Проверка общего качества уравнения регрессии.

 

· Проверка на статистическую значимость коэффициентов

· Проверка общего качества уравнения регрессии

· Критерии Фишера.

 

Оценка значимости уравнения регрессии в целом дается с по­мощью F-критерия Фишера. При этом выдвигается нулевая ги­потеза, что коэффициент регрессии равен нулю, т. е. b = 0, и следовательно, фактор х не оказывает влияния на результат у.

Непосредственному расчету F-критерия предшествует анализ дисперсии. Центральное место в нем занимает разложе­ние общей суммы квадратов отклонений переменной у от средне го значения у на две части - «объясненную» и «необъясненную»:

- общая сумма квадратов отклонений;

- сумма квадратов отклонения объясненная регрессией;

- остаточная сумма квадратов отклонения.

 

Любая сумма квадратов отклонений связана с числом степе­ней свободы, т. е. с числом свободы независимого варьирования признака. Число степеней свободы связано с числом единиц совокупности n и с числом определяемых по ней констант. Применительно к исследуемой проблеме число cтепеней свободы должно показать, сколько независимых откло­нений из п возможных требуется для образования данной суммы квадратов.

Дисперсия на одну степень свободыD.

F-отношения(F-критерий):

Ecли нулевая гипотеза справедлива, то факторная и остаточная дисперсии не отличаются друг от друга. Для Н₀ необходимо опровержение,чтобы факторная дисперсия превышала остаточную в несколько раз. Английским статистиком Снедекором раз­работаны таблицы критических значений F-отношений при разных уровняхсущественности нулевой гипотезы и различном числе степенейсвободы. Табличное значение F-критерия — это максимальная величина отношения дисперсий, которая может иметь место прислучайном их расхождении для данного уровня вероятности наличия нулевой гипотезы. Вычисленное значение F-отношения признается достоверным, если о больше табличного.

В этом случае нулевая гипотеза об отсутствии связи признаков отклоняется и делается вывод о существенности этой связи: F_факт > F_табл Н₀ отклоняется.

Если же величина окажется меньше табличной F_факт ‹, F_табл , то вероятность нулевой гипотезы выше заданного уровня и она не может быть отклонена без серьезного риска сделать неправильный вывод о наличии связи. В этом случае уравнение регрессии считается статистически незначимым. Н_о не отклоняется.

Стандартная ошибка коэффициента регрессии

Для оценки существенности коэффициента регрессии его ве­личина сравнивается с его стандартной ошибкой, т. е. определяется фактическое значение t-критерия Стьюдентa: которое затем сравнивается с табличным значением при определенном уровне значимости и числе степеней свободы (n - 2).

Стандартная ошибка параметра а:

Значимость линейного коэффициента корреляции проверя­ется на основе величины ошибки коэффициента корреляции т_r:

Общая дисперсия признака х:

Ошибка аппроксимации:

Вопросы для самоконтроля

1. Проверка адекватности, какими критериями оценивается?

2. Что означает нулевая Н_о гипотеза?

3. Значимости коэффициента проверяется с помощью каких величин?

 

Рекомендуемая литература

1. Кристофер Доугерти. Введение в эконометрию. – М.: ИНФРА – М, 2001 - 402 с.

2. С.А. Бородич. Эконометрика. Минск ООО «Новое знание» 2001.

3. Р.У. Рахметова Краткий курс по эконометрике. Учебное пособие. Алматы. 2004. -78с.

4. И.И. Елисеева .Эконометрика. – М.: «Финансы и статистика»,2002

5. Ежемесячный информационно-аналитический журнал.

 

Тема №5. Интервалы прогноза по линейному уравнению регрессии. Таблица дисперсионного анализа

 

· Интервалы прогноза

· Таблица дисперсионного анализа

Если факторы взаимосвязаны, то парная связь измеряет влияние данного фактора и часть влияния прочих факторов, связанных с ним. И все же при тесной связи уравнение регрессии может стать полезным орудием анализа экономических, технологических, социальных или природных процессов. Оценка хозяйственной деятельности по отклонениям от расчетных значений показателей на основе уравнений регрессии (тем более на основе многофакторных регрессионных моделей) гораздо более оправдана и содержательна, чем оценка результатов производства по отклонениям от среднего значения результативного признака в совокупности без учета факторов - характеристик возможностей и природных условий предприятия.

Уравнения регрессии применимо и для прогнозирования возможных ожидаемых значений результативного признака. При этом следует учесть, что перенос закономерности связи, измеренной в варьирующей совокупности, в статике на динамику не является, строго говоря, корректным и требует проверки условий допустимости такого переноса (экстраполяции), что выходит за рамки статистики и может быть сделано только специалистом, хорошо знающим объект (систему) и возможности его развития в будущем. Ограничением прогнозирования на основании регрессионного уравнения, тем более парного, служит условие стабильности или по крайней мере малой изменчивости других факторов и условий изучаемого процесса, не связанных с ними. Если резко изменится "внешняя среда" протекающего процесса, прежнее уравнение регрессии результативного признака на факторный потеряет свое значение. В сильно засушливый год доза удобрений может не оказать влияния на урожайность сельскохозяйственной культуры, так как последнюю лимитирует недостаточная влагообеспеченность. Прогноз, полученный подстановкой в уравнение регрессии ожидаемого значения фактора, называют точечным прогнозом. Вероятность точной реализации такого прогноза крайне мала. Необходимо сопроводить его значением средней ошибки прогноза или доверительным интервалам прогноза с достаточно большой вероятностью. Средняя ошибка положения линии регрессии в генеральной совокупности при значении факторного признака, равном хk, вычисляется для линии регрессии по формуле

Схема дисперсионного анализа имеет вид, представленный в таблице 2.1 ( – число наблюдений, – число параметров при переменной ).

Компоненты дисперсии	Сумма квадратов	Число степеней свободы	Дисперсия на одну степень свободы
Общая
Факторная
Остаточная

 

Находятся границы доверительных интервалов.

Анализ верхней и нижней границ доверительных интервалов приводит к выводу о том, что параметры a и b находясь в указанных границах не принимают нулевых значений, т.е. не является статически незначимыми и существенно отличается от 0.

 

 

Вопросы для самоконтроля

1. Что такое доверительный интервал?

2. Как находят верхние и нижние границы?

 

Рекомендуемая литература

1. Кристофер Доугерти. Введение в эконометрию. – М.: ИНФРА – М, 2001 - 402 с.

2. С.А. Бородич. Эконометрика. Минск ООО «Новое знание» 2001.

3. Р.У. Рахметова Краткий курс по эконометрике. Учебное пособие. Алматы. 2004. -78с.

4. И.И. Елисеева .Эконометрика. – М.: «Финансы и статистика»,2002

5. Ежемесячный информационно-аналитический журнал.

Тема №6. Множественная линейная регрессия (МЛР). Построение модели множественной регрессии.

 

· Множественная линейная регрессия

· Построение модели

Множественная регрессия представляет собой регрессию результативного признака с двумя и большим числом факторов, т. е. модель вида

Регрессия может дать хороший результат при модели­ровании, если влиянием других факторов, воздействующих на объект исследования, можно пренебречь. Поведение отдельных экономи­ческих переменных контролировать нельзя, т. е. не удается обес­печить равенство всех прочих условий для оценки влияния одно­го исследуемого фактора. В этом случае следует попытаться выявить влияние других факторов, введя их в модель, т. е. пост­роить уравнение множественной регрессии: y = a+b₁x₁+b₂+…+b_px_p+ .

Основная цель множественной регрессии — построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также совокупное их воздействие на моделируемый показатель. Спецификация модели включает в себя два круга вопросов: отбор фак­торов и выбор вида уравнения регрессии