Нарушения предположений классической модели
Ho : вк = 0 vs. Ha : вк = 0, (2,19)
то (эмпирическим) уровнем значимости (в англоязычной литературе observed significance, или р-value) будет условная вероятность
\вк\ \вк наблюденное\
(2.20)
Ho
Большие значения (скажем, больше 10%) считаются свидетельством того, что не так уж маловероятно было бы наблюдать подобный исход, если бы данные действительно были порождены распределением, заданным нулевой гипотезой, и поэтому Ho не должна быть отвергнута. Напротив, значения ниже 1% говорят о том, что данные, скорее всего, несовместимы с нулевой гипотезой,
Проверка линейных гипотез в пакете Stata выполняется командой test, отдаваемой после оценивания модели (командой regress или любой другой командой оценивания; см. раздел 3.9).
Stata
Нарушения предположений классической модели
Приведенная выше классическая модель достаточно проста и допускает достаточно простое решение (оценку параметров модели) по методу наименьших квадратов. Однако, в то же время, она достаточно хрупка по отношению к нарушениям базовых предположений, которые сводят на нет полезные свойства МНК-оценок, устанавливаемые теоремой Гаусса-Маркова.
Рассмотрим, к чему приводят нарушения отдельных условий теоремы 2.1.
Нецентральность
Условие (2.5), вообще говоря, не является существенным ограничением, если в число регрессоров входит (может входить) константа (столбец единиц в матричной записи). В этом случае смещение математического ожидания ошибки может быть поглощено свободным членом регрессионной модели.
Стохастичность регрессоров
Условие детерминированности регрессоров (2.9) существенно упрощает анализ и верно, вообще говоря, только в случае запланированных экспериментов, в которых исследователь полностью контролирует входные параметры (независимые переменные). В том случае, если регрессоры стохастические, т.е. являются случайными величинами, условия на моменты (2,5)-(2,7) заменяются условными матожиданиями при условии х, При этом сама задача должна быть переформулирована в терминах случайной выборки, и необходимость в условии (2.7) отпадает по определению последней , Необходимо так-
же переформулировать ранговое условие (2,8) в терминах невырожденного предела по вероятности для матрицы XTX:
plim XTX = M 0pXp (2,21)
Наиболее вероятное дальнейшее нарушение преположений модели коррелирован-ность регрессоров и ошибки, когда
Б[ф] = 0 (2.22)
Основные эконометрические примеры, в которых ошибки и регрессоры могут быть кор-релированы это модели с ошибками измерения (measurement error models), рассматриваемые ниже в этом параграфе, и одновременные уравнения (simultaneous equations, см, парагаф 2,6,2),
Можно показать, что в случае (2,22) МНК-оценки оказываются смещенными и несостоятельными (т, е, смещение не стремится к нулю в асимптотике). Чтобы избавиться от смещения, используется техника инструментальных переменных (англ, IV, instrumental variables): регрессоры проецируются в подпространство некоторых других переменных (инструментов), про которые известно, что они не коррелированы с ошибкой е, но хорошо отражают регрессоры X (имеют с ними тесную корреляцию).
Данная процедура является вариантом двухшагового метода наименьших квадратов (англ, 2SLS, two-stage least squares), І?-оценки являются несмещенными, однако по эффективности они существенно уступают МНК, Обобщенный метод моментов (generalized method of moments GMM, (Greene 1997, Matvas 1999), развивающий идеи оценки минимума х2 (Nevman, Pearson 1928)) позволяет получить оценки, эффективные в классе І?-оценок, использующих данный фиксированный набор инструментов.
Выбор инструментов можно производить только из априорных предположений о том, какие переменные, скорее всего, некоррелированы с ошибкой, а какие неизбежно коррелированы. Проверка на необходимость применения инструментальных переменных проводится с помощью теста Хауемана (Hausman 1978), При нулевой гипотезе о некоррелированности ошибок и регрессоров и МНК-оценка, и І?-оценка являются
несмещенными, при этом первая эффективна, а вторая нет, однако предел по вероятности их разности равен нулю. При альтернативе (ошибки и регрессоры коррелиро-ваны) МНК-оценка, в отличие от І?-оценки, несостоятельна, и предел по вероятности нулю не равен.
Тогда при нулевой гипотезе квадратичная форма специального вида от разности оценок коэффициентов будет иметь (центральное) распределение х2 с числом степеней свободы, равным количеству сравниваемых коэффициентов / налагаемых линейных ограничений.
Тест Хаусмана является общим тестом на корректность спецификации модели. Так, он применяется для проверки корректности модели случайного эффекта против модели фиксированного эффекта для панельных данных.
Stata
Команда пакета Stata, выполняющая регрессию с инструментальными переменными, называется ivreg. Тест Хаусмана выполняется командой bailsman, для которой необходимо оценить менее эффективную, но заведомо состоятельную модель, сохранить результаты (bailsman, save), затем оценить модель более эффективную, но несостоятельную при нарушении нулевой гипотезы, и оценить разницу коэффициентов (hausman без параметров).
Возможен другой вариант отказа от детерминированности регрессоров. Регрессоры сами по себе могут быть детермининрованы, но измеряться с ошибкой, и тогда модель приобретает вид:
Уг = xf + ^ (2.23)
Xi = х* + 5 г (2,24)
где измеряемыми величинами являются хг, однако даниые (уг) порождаются ненаблюдаемыми X*. Это приводит к коррелированное™ регрессоров и ошибок, что вызывает смещение оценок.
Как и в предыдущем случае, для получения несмещенных оценок используется метод инструментальных переменных, причем инструменты должны выбираться некоррелированными с ошибками 5г.
Гетероскедастичность остатков
Нарушение условий на вторые моменты (2,6) ( гомоскедастичностъ, в отличие от го-москедастичности постоянства дисперсии) и (2,7) ( независимость) приводит к тому,
что МНК-оценки перестают быть эффективными в своем классе. Еще хуже, однако, что "наивная" МНК-оценка ковариационной матрицы оценок коэффициентов оказывается смещенной и несостоятельной, из-за чего тесты на значения коэффициентов будут показывать неверный уровень значимости.
Как правило, оценки диепереии оценок коэффициентов занижаются, т.е. наивные оценки оказываются слишком "оптимистическими". Оказывается, что можно найти линейное преобразование переменных, сводящее задачу к МИК. Если ввести ковариационную матрицу ошибок регрессии
О = Var е (2,25)
то можно построить оценки обобщенного МНК (англ, GLS, generalized least squares) следующего вида:
/омнк = (XT 0-1X)-1XT О-1у (2.26)
Аналогом теоремы Гаусса-Маркова в случае нарушений условий на вторые моменты является теорема Айткена,
Теорема 2.2 (Айткен (Aitken)) Если в классической модели линейной регрессии нарушены предположения (2.6)-(2.7), то оценка ОМНКявляется, наиболее эффективной в классе линейных несмещенных оценок.
При этом дисперсия этой оценки равна
Var /омнк = (XT 0-1X)-1, (2.27)
а дисперсия "наивной" оценки МНК
Var(/MHK) = (XTX)-1(XTО-1 X)(XT0-1X) (XT0-1X)-1 (2.28)
Идентификация нарушения условий на вторые моменты ошибок не так уж тривиальна, Есть, однако, ряд задач, в которых эти условия можно считать априорно нарушенными, В первую очередь, это задачи анализа временных рядов, а также анализ стратифицированных и панельных обследований, о чем будет рассказано в разделах 2,3,4 и 2.6.1.
Что касается гетероскедастичности, при которой сохраняется независимость наблюдений (2,7) (но нарушается постоянство дисперсий ошибок (2,6)), то ее можно обнаружить, дополнительно сделав предположение об определенной функциональной форме
этой зависимости. Так, тест Гольдфельда-Куандта (Goldfeld-Quandt) предполагает зависимость дисперсии ошибок от одной из переменных, а тест Бройша-Пагана (Breuseh-Pagan) линейную зависимость дисперсии от некоторых дополнительных переменных Магнус, Катышев, Пересецкий (1997),
Stata
В пакете Stata реализована следующая версия теста на гетероскедастичность (Кука-Вайсберга, Cook-Weisberg) которая вызывается командой hettest, отдаваемой после
regress:
ln e2 = zT y + ошиб кщ
Ho : y = 0
где z может быть прогнозными значениями зависимой переменной или матрицей заданных переменных.
В общем случае гетероскедастичность без дополнительных предположений выявить, учесть и побороть невозможно: ковариационная матрица ошибок содержит N(Ni-1) неизвестных, оценить которые по N наблюдениям невозможно. Поэтому для оценивания ковариационной матрицы ошибок Q делаются разнообразные предположения о параметрической зависимости Q от некоторого малого числа параметров ? известного вида: Q = П(?), где вектор параметров ? должен быть (состоятельно) оценен по выборочным данным, В силу этого, оценивание с помощью доступного обобщенного МНК (feasible generalized least squares) состоит из (как минимум) двух этапов: состоятельного оценивания ? (например, при помощи обычного МНК, являющегося состоятельным даже при нарушении условий на вторые моменты), а затем, с использованием состоятельной оценки ? (и, соответственно, состоятельной оценки П(?)), самой регрессионной модели. Для уточнения оценок процедуру "оценивание ? ^ оценивание регрессионной модели с ковариационной матрицей П(?)" можно повторять до достижения сходимости; при определенных условиях получаемые в пределе оценки будут эквивалентны оценкам МНК, Альтернативный способ борьбы с гетероскедастичностью оценивать ковариационную матрицу оценок коэффициентов из условий второго порядка минимума суммы квадратов остатков, пользуясь разложением Тейлора, Такие поправки известны в эконометрической практике как оценка ковариационной матрицы в форме Уайта (White):
1/ n \ / n \ 1
i= 1
2 T
2_^eiXiXi
i=1
J^XixT
i= 1
(2.29)
Вид этой оценки ковариационной матрицы оценок параметров провоцирует назвать ее "оценкой бутерброда" (sandwich estimator), и это название также встречается в статистической литературе. Встречается также название "оценка Хыобера" (Huber), который независимо предложил эту оценку, В случае независимости наблюдений эта матрица является состоятельной оценкой искомой ковариационной матрицы; обобщения на случай зависимых данных в следующем разделе.
Stata
В пакете Stata оценка этой матрицы вызывается не слишком, на мой взгляд, удачно названной опцией robust команды regress. Кроме того, в пакете Stata имеется возможность оценивания регрессии с весами (в данном случае, веса должны быть обратно пропорциональны стандартному отклонению для данного наблюдения) regress [weight=exp] , где квадратные скобки для указания весов обязательны. Stata различает несколько типов весов (см. help weights); в данном случае необходимо указать aweight аналитические веса.
Наконец, есть специальная команда для оценивания с весами, учитывающими дисперсию отдельных наблюдений vwls.
Автокоррелированность ошибок
Вопрос об автокоррелированности остатков имеет смысл ставить тогда, когда данные упорядочены во времени (и отстоят друг от друга на равные промежутки), В этом случае можно применять средства анализа временных рядов.
Stata
Пакет Stata версии 6 и выше имеет достаточно большое количество встроенных команд для анализа временных рядов (команды с префиксом ts), в т.ч. операторы лага (сдвига назад по оси времени на единицу) L., разности D., сглаживания сезонных колебаний S.. Общая справка по этим командам находится по ключевому слову time.
В контексте анализа временных рядов тестом на простейшую автокорреляцию (первого порядка) ошибок является тест Дарбина-Уотсона (Durbin-Watson), статистикой которого является
(2.30)
:-у ')
yN е2
Z^i=1 ег
Если ошибки некоррелированы, статистика Дарбина-Уотсона должна принимать значения, близкие к 2, Значения, близкие к 0 или 4, должны служить тревожным еигна-лом, К сожалению, распределение этой статистики зависит от распределения ошибок, поэтому процентные точки для теста на автокоррелированность ошибок получаются исключительно вычислительным экспериментом. Таблицы критических значений статистики Дарбина-Уотсона приводятся в Айвазян, Мхитарян (1998), Для выявления лаковой структуры более высокого порядка необходимо по полной программе привлекать средства анализа временных рядов.
Stata
В пакете Stata статистика Дарбина-Уотсона выводится командой dwstat, отдаваемой после regress.
Как и в случае с гетероскедастичностью, можно сформулировать поправки к матрице ковариации оценок коэффициентов, чтобы та была состоятельна при автокоррелиро-ванности остатков. Один из вариантов такой поправки был предложен Ньюи и Вестом (Newev, West 1987):
Напомним, что xi обозначает столбец, соответствующий i-му наблюдению. Такая оценка ковариационной матрицы состоятельна при автокорреляции ошибок с числом лагов, не превышающим к. Убывающие веса при более отдаленных лагах использованы для того, чтобы гарантировать положительную определенность получаемой матрицы. При к = 0 оценка Ньюи-Веста сводится к оценке Уайта (2,29),
Stata
В пакете Stata регрессия с поправками к ковариационной матрице в форме Ньюи-Веста вызывается командой newey. Для того, чтобы корректно использовать временную структуру данных, необходимо предварительно отдать команду tsset, либо указать в опции newey, t(), какая переменная соответствует времени.
Мультиколлинеарность
Нарушение условия (2,8) носит название мультиколлинеарность, т.е. множественная совместная линейность. Точная коллинеарность означает, что регрессоры не является линейно независимыми, В этом случае линейно зависимые коэффициенты оценить невозможно, хотя можно оценить те линейные комбинации, которые друг от друга линейно не зависят.
Очевидно, на практике встретиться е точной мультиколлинеарностью вряд ли возможно (за иеключеним досадных оплошностей типа включения в набор регрессоров всех 0/1-переменных, порождаемых одним и тем же фактором, например, индикаторов и мужского, и женского пола).
Stata
К счастью (или к несчастью), Stata умеет обрабатывать подобные ситуации и выбрасывать, на свое усмотрение, переменные, которые она сочтет колл инварными. К счастью потому что процесс выполнения задания не будет прерван, а к несчастью потому что контролировать, какие переменные будут выброшены, нельзя (а вообще-то исследователь должен был предусмотреть это на этапе выбора спецификации модели).
Для корректной работы с категорийными переменными у пакета Stata есть собственное средство создания бинарных переменных команда хі. Наконец, можно задать регрессию с "поглощением" одного качественного фактора areg, где префикс а означает absorb, т.е. "поглотить".
Для поглощаемого фактора будет выведена F-статистика. Возможно, для моделей со сложными категорийными структурами удобнее использовать средства дисперсионного анализа команду апо?а (см. также help anova, tutorial апо?а), позволяющую задавать количественные факторы с помощью опции апо?а ... , continuous.
Однако и неполная мультиколлинеарноеть способна доставить немало хлопот. Из-за близости матрицы XTX к вырожденной дисперсии оценок коэффициентов убегают к бееконечноети. Типичные признаки подобной ситуации незначимоеть отдельных коэффициентов при значимости регреееии в целом, значительное изменение оценок коэффициентов (например, изменение знаков) при изменении состава регрессоров,
Мультиколлинеарноеть можно выявить и напрямую например, визуально проанализировав матрицу выборочных корреляций, или, что более корректно в статистическом смысле, проведя анализ главных компонент.
Stata
Анализ главных компонент является, в некотором смысле, частным случаем факторного анализа, поэтому соответствующая команда Stata носит название factor ... , рс, где опция рс показывает, что нас интересуют главные компоненты (principal components).
На языке вычислительных методов линейной алгебры проблема мультиколлинеарности связана с понятием "плохая обусловленность". Критерием плохой обусловленности является высокая величина отношения Amax/Amin максимального и минимального собственных чисел матрицы XTX, называемого показателем обусловленности (condition number), Это соотношение также позволяет судить о степени серьезности проблем мультиколлинеарности: показатель обусловленности в пределах от 10 до 100 евидетель-ствует об умеренной коллинеарности, свыше 1000 (бывает и такое) об очень серьезной коллинеарности.
Наиболее детальным показателем наличия проблем, связанных с мультиколлинеарностью, является коэффициент увеличения дисперсии (англ, variance inflation factor, VIF; см. Fox (1997), Smith and Young (2001)), определяемый для каждой переменной как
(2.32)
VIF(ej)
где Я2 коэффициент множественной детерминации в регрессии Xj на прочие X (здесь Xj обозначает j-ю переменную, т.е. j-й столбец матрицы X), Этот коэффициент фигурирует в выражении для дисперсии выборочной оценки коэффициентов линейной регрессии:
1
1 - Я2 (П
(2.33)
Var Pj
1) Var X2
и показывает, во сколько раз дисперсия оценки больше "идеальной", если бы мультиколлинеарности не было. Поводом для беспокойства следует считать значения VIF от 4 и выше, что соответствует Я2 ~ 0.75,
Stata
Значения коэффициентов увеличения дисперсии выводятся командой vif, отдаваемой после regress.
Мультиколлинеарность возникает напрямую, если в регрессию включен набор 0/1-переменных, порождаемых одним качественным фактором с несколькими категориями: сумма таких бинарных переменных будет чаще всего давать единицу, если доля наблюдений, попадающих в базовую категорию, меньше 1/2, и поэтому эти переменные в совокупности коллинеарны с константой, В реальных задачах при количестве объясняющих переменных более десяти, мультиколлинеарность возникает с очень большой вероятностью.
Наконец, если какая-либо переменная принимает такие значения, что ее стандартное отклонение много меньше, чем абсолютное значение среднего (например, среднее равно 70, а стандартное отклонение 5, так что переменная в основном принимает значения от 60 до 80), то такая переменная будет также коллинеарна с константой. Другими словами, вариабельность переменной недостаточна, чтобы точно оценить соответствующий коэффициент: член Var Xj в выражении (2,33) мал, и поэтому дисперсия оценки коэффициента велика, В этом случае простым и естественным способом борьбы с высокой дисперсией оценки коэффициента будет отцентрировать соответствующую переменную, т.е. от переменной Xj перейти к перемеиной X* = Xj Xj.
В более общем случае есть несколько способов ослабить эффекты мультиколлинеарности, но они, естественно, связаны с определенными потерями (по сравнению с хорошими свойствами МНК-оценок), Один из возможных путей исключение некоторых из ко. і. іннеарных регрессоров (что означает невозможность оценить коэффициенты при выкидываемых регрессорах, т, е, определенную потерю информации; процедуры выбора переменных будут рассмотрены в параграфе 2,4,1) или переход к главным компонентам исходных переменных (что затрудняет интерпретацию получаемых коэффициентов, а также анализ значимости отдельных переменных).
Другой подход к решению проблемы мультиколлинеарности заключается в смещенном оценивании параметров. Идея этого подхода состоит в том, чтобы попытаться найти оценку, минимизирующую среднеквадратическое отклонение, или ереднеквадрати-
ческий риск оценки:
в = argmin Е(/ в)2 = (смещение /)2 + Var(/) (2,34)
где класс оценок B более широкий, чем рассматриваемые обычно несмещенные линейные по у оценки,
В рамках такого подхода матрицу XTX можно регуляризоватъ, или сделать "более обратимой" путем добавления заведомо регулярной матрицы например, вида ?Ір, где Ір единичная матрица размера р. Тогда оценка будет иметь вид:
/ridge = (XTX + ?Ір) -1 XTу (2.35)
Эти оценки называются ридж-оценками (от англ, ridge гребень; в русской литературе встречается также вариант "гребневая регрессия". Происхождение этого термина, по всей видимости, связано с тем, что функция правдоподобия в случае мультиколлинеарности представляет собой не пик, а нечто вроде гребня; см, Демиденко (1981)), В английской литературе встречается также вариант shrinkage estimator, показывающий, что ридж-регреееия "стягивает" оценки коэффициентов к нулю.
При этом с ростом ? дисперсия оценок уменьшается, хотя увеличивается их смещение. Можно показать, что существует ? такое, что среднеквадратическая ошибка из (2,34) смещенной оценки ниже, чем у несмещенной оценки МНК, т.е. можно подобрать ? таким образом, чтобы достигнуть компромисса между смещением и дисперсией.
Stata
Ридж-регрессия реализована командой rxridge, имеющейся в официальных дополнениях к Stata, STB-28. Эта команда была изначально написана для весьма древней версии Stata, и у меня были проблемы с этой командой в 6-й версии Stata.
Корректная версия находится на сайте компании, и ее можно найти командой webseek rxridge.
Проблема робастности
Наконец, одним из самых сложных случаев для анализа чувствительности оценок является нарушение предположения о том, что мы имеем дело с "хорошим" распределением ошибок (например, нормальным, как в (2,10)), Иными словами, как меняются результаты анализа, если стохастические компоненты (в случае регрессии ошибки е) ведут себя не так, как нам бы хотелось их промоделировать?
Может оказаться, что отклонение от модельных допущений о стохастической природе ошибок меняет не только интерпретацию результатов, но и требует применения принципиального иной методологии анализа данных. Так, при сильной асимметричности распределений интерпретация обычной линейной регрессии затрудняется: среднее, в отличие от симметричных распределений, не является хорошим показателем того, где в основном лежат значения наблюдаемой величины. Асимметрия часто присуща данным, в которых наблюдения отличаются друг от друга масштабом например, в финансовых данных по однородным предприятиям, характеризуемых размером числом занятых, объемом производства, капиталом, и т.п.
Весьма странные распределения имеют доли (например, доля аутсайдеров среди владельцев акций, или доля расходов на питание в бюджете домохозяйства) и отношения экономических величин вообще. Для анализа таких данных стоит использовать методы, свободные от распределения такие, как знаковые и ранговые тесты Уилкокеона-Манна-Уитни на равенство медиан (signrank и ranksum) вместо t-теста на равенство средних.
Некоторые из вопросов такого рода находятся в ведении робастной статистики Хьюбер (1984), главной задачей которой является выяснение влияния отклонений формы распределений стохастических компонент от предполагаемой (заданной) на результаты статистического анализа и построение статистических процедур (оценок, тестов, критериев), которые как можно слабее зависели бы предположений о распределениях, В этом жанре оценки параметров регрессионной модели рассматриваются как функционалы от распределений ошибок, и одной из характеристик робастности является кривая влияния (англ, influence function или influence curve) производная этого функционала в заданной точке пространства регрессоров на заданном распределении. Значение этой производной определяет, насколько изменится значение оценки при изменении (возможно, бесконечном) наблюдаемого значения зависимой переменной при фиксированных значениях остальных наблюденных значений.
Точный анализ показывает, что оценка МИК не является робастной. На качественном уровне, при появлении в выборке выбросов, обусловленных тяжелыми хвостами распределений ошибок, метод наименьших квадратов стремится провести поверхность отклика через крайние точки, а не через основную массу точек. Это и не удивительно, учитывая линейность МНК-оценок по у: если в каком-то г-м наблюдении yi ^ то, то и /Змнк ^ то-
Более удачными, е точки зрения робастности, являются М-оценки, получаемые как решения экстремальной задачи
