Диагностика мультиколлинеарности

Одно из основных предположений, относящихся к матрице исходных данных X, состоит в следующем. Среди независимых переменных не должно быть линейно зависимых. Однако на практике наблюдается часто сильная корреляционная зависимость между столбцами этой матрицы. Крайний случай возникает тогда, когда некоторые столбцы или даже все связаны линейной зависимостью, т.е. V1X1 + V2X2 + … + VpXp = 0

Xj – j-тый столбец X, Vj – некоторые числа удовлетворяющие условию:

2 £ p £ m

В этом случае говорят, что присутствует мультиколлинеарность. Отрицательные последствия мультиколлинеарности:

- падает точность оцениваемых параметров модели, дисперсии коэффициентов становятся большими и сильно коррелируют друг с другом;

- из-за корреляции коэффициентов модели, трудно установить истинное влияние соответствующей независимой переменной на зависимую;

- оценки коэффициентов модели становятся чувствительными к объему исходных данных, так что, добавление совсем небольшого числа наблюдений, приводит к сильным сдвигам в значениях некоторых коэффициентов модели.

Преобразуем матрицу X так, чтобы по столбцам выполнялись следующие равенства:

(j = 1…m)

Переменные полученные в результате таких преобразований называются нормализованными переменными, а матрица R = QTнорм. × Qнорм. Называется корреляционной матрицей. Если столбцы линейно независимы, т.е. XTj × Xk = 0 для j¹k , то в этом случае det R = 1 (determinant). Если же линейно зависимы, т.е. столбцы коллинеарны, то det R = 0.

Выход из тупика мультиколлинеарности состоит в формировании банка новых данных или в разработке специальных методов оценки значений коэффициентов модели. Наиболее простой способ устранения мультиколлинеарности это исключение из каждой пары переменной, той которая с другими переменными имеет коэффициент корреляции > 0,8. при этом оставляют те переменные которые обладают большей ценностью с точки зрения интерпретации.

 

Масштабирование переменных (данных)

 

Основная цель масштабирования добиться того, что бы в представляющей интерес области переменные имели одинаковые порядки модулей. Для масштабирования применяют линейные преобразования переменных, при этом переходят от переменных отражающих суть явления к переменным удобным для решения определенного класса задач. Используемая замена имеет следующий вид: X = D*Y здесь {Xi} – исходная переменная; {Yi} – преобразованная переменная; D – диагональная матрица, элементами которой служат характерные значения модулей соответствующих переменных.

Масштабирование диагональным преобразованием может приводить к потере точности. Ненадежно оно также в том случае, если при решении задач (например поиска экстремумов), модули переменных существенно меняются. В этом случае элементы матрицы dj пригодные для одной точки не годятся для другой. Пусть известен диапазон значений переменных aj £ xj £ bj , тогда новую переменную yj можно ввести по формуле:

 

Это соответствует линейному преобразованию: DY + c = X

Где D - диагональная матрица, у которой элементы:

 

Если имеются лишь грубые оценки для aj и bj, тем более отличающиеся на несколько порядков, то этот метод масштабирования применять нельзя. Кроме того, сама процедура масштабирования сильно влияет на вычисление вторых производных, снижая скорость сходимости оптимизирующих процедур.