Модели нелинейной регрессии

Если между экономическими явлениями существуют нелинейные соотношения, то они выражаются с помощью соответствующих нелинейных функций: гиперболы у = a + b/x + e, параболы у = а + b × x + c × x² + e и др.

Различают два класса нелинейных регрессий:

– регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам;

– регрессии, нелинейные по оцениваемым параметрам.

Примером нелинейной регрессии по включенным в нее объясняющим переменным могут служить следующие функции:

– полиномы разных степеней: у = а + b × x + c × x² + e; у = а + b × x + c × x² + d × x³ + e;

– равносторонняя гипербола у = a + b/x + e.

К нелинейным регрессиям по оцениваемым параметрам относятся функции:

– степенная у = a × x^b × e;

– показательная у = a × b^x × e;

– экспоненциальная у = e^{a + b × x} e.

Нелинейная регрессия по включенным переменным не имеет никаких сложностей для оценки ее параметров. Они определяются, как и в линейной регрессии, методом наименьших квадратов (МНК), ибо эти функции линейны по параметрам. Так, в параболе второй степени

у = а₀ + a₁ × x + a₂ × x² + e,

заменив переменные x = x₁, x² = x₂, получим двухфакторное уравнение линейной регрессии:

у = а₀ + a₁ × x₁ + a₂ × x₂ + e,

для оценки параметров которого используется МНК

Соответственно для полинома третьего порядка

у = а₀ + a₁ × x + a₂ × x² + a₃ × x³ + e

при замене x = x₁, x² = x₂, x^З = x₃ получим трехфакторную модель линейной регрессии

у = а₀ + a₁ × x + a₂ × x₂ + a₃ × x₃ + e,

а для полинома k-го порядка

у = а₀ + a₁ × x + a₂ × x² + … a_k × x^k+ e

получим линейную модель множественной регрессии с k объясняющими переменными:

у = а₀ + a₁ × x + a₂ × x₂ + … a_k × x_k + e.

Следовательно, полином любого порядка сводится к линейной регрессии с ее методами оценивания параметров и проверки гипотез. Как показывает опыт большинства исследователей, среди нелинейной полиномиальной регрессии чаще всего используется парабола второй степени; в отдельных случаях – полином третьего порядка. Ограничения в применении полиномов более высоких степеней связаны с требованием однородности исследуемой совокупности: чем выше порядок полинома, тем больше изгибов имеет кривая и соответственно меньше однородность совокупности по результативному признаку.

Модели регрессии, нелинейные по оцениваемым параметрам, подразделяются на внутренне линейные и внутренне нелинейные. Если нелинейная модель внутренне линейна, то с помощью соответствующих преобразований она может быть приведена к линейному виду. Если же нелинейная модель внутренне нелинейна, то она не может быть сведена к линейной функции. Например, в эконометрических исследованиях при изучении эластичности спроса от цены широко используется степенная функция

,

где y – спрос (количество); x – цена; e – случайная ошибка.

Данная модель нелинейна относительно оцениваемых параметров, ибо включает параметры a и b неаддитивно. Однако её можно считать внутренне линейной, ибо логарифмирование данного уравнения по основанию e приводит его к линейному виду:

ln y = ln a + b × ln x + ln e

Соответственно оценки параметров a и b могут быть найдены методом наименьших квадратов. В рассматриваемой степенной функции предполагается, что случайная ошибка e мультипликативно связана с объясняющей переменной x. Если же модель представить в виде , то она становится внутренне нелинейной, ибо её невозможно превратить в линейный вид.

Внутренне нелинейной будет и модель вида

,

или модель

,

потому что эти уравнения не могут быть преобразованы в уравнения, линейные по коэффициентам.

В специальных исследованиях по регрессионному анализу к нелинейным часто относят модели, только внутренне нелинейные по оцениваемым параметрам, а все другие модели, которые внешне нелинейны, но путем преобразования параметров могут быть приведены к линейному виду, относят к классу линейных моделей. Например, экспоненциальную модель y = e^{a + b × x}×e; ибо, прологарифмировав её по натуральному основанию, получим линейную форму модели

ln y = a + b × x + ln e.

Если модель внутренне нелинейна по параметрам, то для оценки параметров используются итеративные процедуры, успешность которых зависит от вида уравнений и особенностей итеративной процедуры. Модели внутренне нелинейные по параметрам, могут иметь место в эконометрических исследованиях; однако большее распространение получили модели, приводимые к линейному виду. Решение такого типа моделей реализовано в стандартных пакетах прикладных программ.

По виду преобразования, которое используется для приведения модели к линейному виду, выделяют следующие группы моделей:

1. Двойная логарифмическая модель (и зависимая, и объясняющая переменные заданы в логарифмическом виде). Получается при линеаризации уравнения . Сводится к линейной путем замены U=lnY Z=lnX A=lna: U= A +b · Z

2. Полулогарифмические модели - это модели вида

- лог-линейная. Получается при линеаризации уравнения . Сводится к линейной путем замены U=lnY : U= a +b · X

- линейно-логарифмическая. Сводится к линейной путем замены Z=lnX : Y= a +b · Z

3. Обратная модель . Сводится к линейной путем замены Z=1/X Y=a+b·Z+e

4. Степенная модель (полиномиальная) .