что такое метод моментов

04.12.202322.04.2022 admin 0 Comments

Особенности метода моментов.

Ключевые вопросы: определение, предпосылки модели, понятие и формулы моментов, алгоритм расчёта оценок, применение в нормальном распределении, дискуссия о типе и количестве моментов, достоинства и недостатки подхода.

Метод моментов – один из наиболее известных и популярных методов статистического оценивания параметров вероятностных распределений.

Основные предпосылки модели метода моментов следующие:

Суть метода моментов заключается в вычислении того количества теоретических и выборочных моментов случайной величины, которое равно числу исследуемых нами параметров. После вычисления соответствующие друг другу теоретические и выборочные моменты приравниваются, и исходя из получившегося уравнения осуществляется вычисление оценки параметра.

Формула теоретических моментов выглядит так: где μ’_k – есть k-й теоретический момент величины Y.

Формула выборочных моментов выглядит так: где m’_k – есть k-й выборочный момент величины Y.

После этого приравниванием μ’_k = m’_k добиваемся вычисления значений параметров.

Рассмотрим в качестве примера нормальное распределение. Нахождение оценок параметров по методу моментов выглядит следующим образом.

Следует заметить, что в уравнения также допустимо включать и такие экзотические виды моментов, как асимметрию и эксцесс, но это необходимо только в специализированных исследованиях. Статистическая практика чаще всего не выходит за рамки обозначенного выше алгоритма, поскольку число подлежащих исследованию параметров обыкновенно не превышает 4.

В другом изложении:

Введём сначала следующие определения:

Определение 9. Начальный момент порядка k случайной величины x определяется равенством: m_k = M(x k ).

В частности, m₁ = M(x) – обычное мат. ожидание, m₂ = M(x 2 ).

Определение 10. Центральный момент порядка k случайной величины x определяется равенством: a_k = M((x–Mx) k ).

В частности, a₂ = D(x) – дисперсия случайной величины.

Эти моменты называют теоретическими. По данным наблюдений можно вычислить соответствующие эмпирические моменты:

Определение 11. Начальный эмпирический момент порядка k случайной величины x определяется равенством

В частности, – выборочное среднее.

Определение 12. Центральный эмпирический момент порядка k случайной величины x определяется равенством:

В частности, – выборочная дисперсия.

Метод моментов построения точечных оценок неизвестных параметров состоит в приравнивании теоретических моментов рассматриваемого распределения соответствующим эмпирическим моментам того же распределения.

Пусть даны: случайная величина ξ, выборка объема n x₁, x₂,…, x_n. Необходимо построить оценки неизвестных параметров q * _1,q * ₂,…,q * _k. Описание метода моментов (ММ) разобьём на этапы:

1. Выписываем первые к моментов μ_1, μ_2, … μ_n

3. Составляем систему уравнений μ_i = m_i и решаем ее относительно неизвестных параметров.

Замечание 1. Иногда вместо начальных моментов μ_i, m_i удобно использовать центральные моменты α_i, a_i.

Замечание 2. Если на третьем этапе получилась неразрешимая система, то на первом шаге надо добавить новые моменты.

Найдем методом моментов оценки параметров нескольких важнейших распределений.

Источник

Метод моментов

Ме́тод моме́нтов — метод оценки неизвестных параметров распределений в математической статистике и эконометрике, основанный на предполагаемых свойствах моментов(Пирсон, 1894 г.). Идея метода заключается в замене истинных соотношений выборочными аналогами.

Содержание

Сущность метода

Пусть случайная величина (вектор, матрица и т. д.) X имеет некоторое распределение , зависящее от параметров . Пусть для функций (называемых моментами или моментными функциями) , интегрируемых по мере , выполнены условия на моменты

Пусть — выборка случайной величины X. Предполагается, что соотношения аналогичные условиям на моменты выполнены и для выборки, а именно вместо математического ожидания в условиях на моменты необходимо использовать выборочные средние:

причем в данном представлении (когда справа от равенства — ноль) достаточно использовать просто суммы вместо средних.

Оценки, получаемые из решения этой системы уравнений (выборочных условий на моменты), называются оценками метода моментов. Название метода связано с тем, что чаще всего в качестве функций выступают функции степенного вида, математические ожидания от которых в теории вероятностей и математической статистике принято называть моментами.

Если моментные функции непрерывны, то оценки метода моментов состоятельны.

Частные случаи

Некоторые классические методы оценки регрессионных моделей можно представить как частные случаи метода моментов. Например, если линейная регрессионная модель удовлетворяет условию , то условия на моменты выглядят следующим образом:

Следовательно, в этом случае оценка метода моментов будет совпадать с оценкой метода наименьших квадратов

Таким образом, МНК является частным случаем метода моментов, когда выполняется условие ортогональности регрессоров и случайных ошибок

Рассмотрим другой случай, когда имеются некоторые переменные z, ортогональные случайным ошибкам линейной регрессионной модели, то есть . Тогда имеем выборочный аналог этого условия:

Следовательно оценка метода моментов будет совпадать с оценкой метода инструментальных переменных: .

Таким образом, метод инструментальных переменных является частным случаем метода моментов, когда выполнено условие ортогональности инструментов и случайных ошибок модели.

Обобщенный метод моментов

Метод моментов может быть обобщен на случай когда количество условий на моменты превышает количество параметров, которые необходимо оценить. В этом случае, очевидно однозначного решения задача не имеет (в общем случае). В таком случае решается задача на минимизацию некоторого функционала, характеризующего интегральную степень соблюдения условий на моменты.

Пусть — совокупность условий на моменты, число которых больше числа неизвестных параметров. Обобщенным методом моментов (ОММ, GMM — Generalized Method of Moments) называется оценка минимизирующая положительно определенную квадратичную форму от выборочных условий на моменты:

где W — некоторая симметрическая положительно определенная матрица.

Весовая матрица теоретически может быть произвольной (с учетом ограничения положительной определенности), однако, доказано, что наиболее эффективными являются GMM-оценки с весовой матрицей, равной обратной ковариацинной матрице моментных функций . Это так называемый эффективный GMM. Однако, поскольку на практике эта ковариационная матрица неизвестна, то применяют следующую процедуру. На первом шаге оцениваются параметры модели с помощью GMM с единичной весовой матрицей. Затем по выборочным данным и найденным значениям параметров оценивают коварицаонную матрицу моментных функций и используют полученную оценку в эффетивном GMM (это т. н. доступный эффективный GMM).

Пример

Пусть — выборка из гамма распределения с неизвестными параметрами и . Тогда

Тогда оценки метода моментов удовлетворяют системе уравнений:

Преимущества и недостатки метода

В известной мере, при оценке параметров из известного семейства вероятностных распределений, этот метод упраздняется Фишеровским методом максимального правдоподобия, так как максимально правдоподобная оценка имеет большую вероятность оказаться ближе к истинному значению оцениваемой величины.

Тем не менее, в некоторых случаях, например, как выше в случае Гамма-распределения, использование метода максимального правдоподобия требует использования компьютеров в то время, как метод моментов может быть быстро и легко реализован вручную.

Оценки, полученные методом моментов, могут быть использованы как первое приближение для метода максимума правдоподобия. Дальнейшее улучшение оценок может быть получено с использованием метода Ньютона-Рафсона.

В некоторых случаях, редких при больших объемах данных и более частых при малом их количестве, оценки, даваемые методом моментов могут оказаться вне допустимой области. Такая проблема никогда не возникает в методе максимального правдоподобия. Также, оценки по методу моментов не обязательно оказываются достаточной статистикой, то есть, они иногда извлекают из данных не всю имеющуюся в них информацию.

См. также

Полезное

Смотреть что такое «Метод моментов» в других словарях:

метод моментов — momentų metodas statusas T sritis fizika atitikmenys: angl. method of moments; moments method vok. Momentenmethode, f rus. метод моментов, m pranc. méthode de moments, f … Fizikos terminų žodynas

Метод моментов нахождения оценок — в математической статистике это способ построения оценок, основанный на уравнивании теоретических и выборочных моментов. (Пирсон 1894г.) Содержание 1 Определение 2 Замечания … Википедия

Обобщенный метод моментов — (ОММ, GMM Generalized Method of Moments) метод, применяемый в математической статистике и эконометрике для оценки неизвестных параметров распределений и эконометрических моделей, являющийся обобщением классического метода моментов. Метод был… … Википедия

Метод инструментальных переменных — (ИП, IV Instrumental Variables) метод оценки параметров регрессионных моделей, основанный на использовании дополнительных, не участвующих в модели, так называемых инструментальных переменных. Метод применяется в случае, когда факторы… … Википедия

Метод максимального правдоподобия — или метод наибольшего правдоподобия (ММП, ML, MLE Maximum Likelihood Estimation) в математической статистике это метод оценивания неизвестного параметра путём максимизации функции правдоподобия[1]. Основан на предположении о том, что… … Википедия

метод распределения моментов — Метод расчёта сложных статически неопределимых рам, при котором первоначально неуравновешенные моменты в узлах уравновешиваются по методу последовательных приближений с помощью коэффициентов распределения моментов [Терминологический словарь по… … Справочник технического переводчика

МОМЕНТОВ МЕТОД — метод определения распределения вероятностей по его моментам. В теоретич. отношении М. м. основан на единственности решения моментов проблемы:если нек рые постоянные, то при каких условиях существует единственное распределение такое, что суть… … Математическая энциклопедия

МЕТОД РАСПРЕДЕЛЕНИЯ МОМЕНТОВ — метод расчёта сложных статически неопределимых рам, при котором первоначально неуравновешенные моменты в узлах уравновешиваются по методу последовательных приближений с помощью коэффициентов распределения моментов (Болгарский язык; Български)… … Строительный словарь

МЕТОД — (от греч. methodos путь, способ исследования, обучения, изложения) совокупность приемов и операций познания и практической деятельности; способ достижения определенных результатов в познании и практике. Применение того или иного М. определяется… … Философская энциклопедия

МЕТОД СВОБОДНЫХ АССОЦИАЦИЙ — (лат. associatio соединение, присоединение) исследовательский, диагностический и терапевтический прием психоанализа. Основан на использовании феномена ассоциативности мышления для познания глубинных (преимущественно бессознательных) психических… … Новейший философский словарь

Источник

Метод моментов нахождения оценок

Содержание

Определение

Пусть — выборка из распределения , зависящего от параметра . Пусть есть функция , такая что g(X₁) интегрируема относительно меры , и

где — биекция. Тогда оценка

называется оценкой параметра методом моментов.

Замечания

то есть оценка методом моментов получается путём приравнивания теоретического среднего g(X) с выборочным средним.

Состоятельность метода

Если , то есть функция f непрерывна, то оценка метода моментов состоятельна.

Пример

Тогда оценки метода моментов удовлетворяют системе уравнений:

Преимущества и недостатки метода

В известной мере, при оценке параметров из известного семейства вероятностных распределений, этот метод упраздняется Фишеровским методом максимального правдоподобия, т.к. максимально правдоподобная оценка имеет большую вероятность оказаться ближе к истинному значению оцениваемой величины.

См. также

Полезное

Смотреть что такое «Метод моментов нахождения оценок» в других словарях:

Моменты случайной величины — Момент случайной величины числовая характеристика распределения данной случайной величины. Содержание 1 Определения 2 Замечания … Википедия

t-критерий Стьюдента — t критерий Стьюдента общее название для класса методов статистической проверки гипотез (статистических критериев), основанных на распределении Стьюдента. Наиболее частые случаи применения t критерия связаны с проверкой равенства средних… … Википедия

Среднеквадратическое отклонение — (синонимы: среднеквадратичное отклонение, квадратичное отклонение; близкие термины: стандартное отклонение, стандартный разброс) в теории вероятностей и статистике наиболее распространённый показатель рассеивания значений случайной величины … Википедия

Статистика — Гистограмма (метод графических изображений) У этого термина существуют и другие значения, с … Википедия

U-критерий Манна — U критерий Манна Уитни (англ. Mann Whitney U test) статистический критерий, используемый для оценки различий между двумя независимыми выборками по уровню какого либо признака, измеренного количественно. Позволяет выявлять… … Википедия

Генеральная совокупность — Генеральная совокупность, генеральная выборка (от лат. generis общий, родовой)(в англ. терминологии population) совокупность всех объектов (единиц), относительно которых учёный намерен делать выводы при изучении конкретной проблемы.… … Википедия

Источник

Конспект лекций Глазова / 12.2. Метод моментов

12.2. Метод моментов.

где — какие-то функции, — моменты генеральной СВ. Тогда оценки параметров находятся по формулам

— статистический момент k-го порядка. Разумеется, можно выражать оцениваемые параметры через центральные моменты или, смешанно, через начальные и центральные.

Пример 1. Класс распределений

с одним параметром . Выражение параметра через момент: =1/=1/m_x, следовательно, оценка по методу моментов

Пример 2. Тот же класс распределений с другим параметром:

Выражение параметра через момент: , следовательно, оценка по методу моментов

следовательно, оценки по методу моментов

Пример 4. Класс нормальных распределений с одним оцениваемым параметром ( известно), имеющим смысл математического ожидания. Выражение параметра через момент: , оценка по методу моментов

Сравнивая с примером 3, видим, что известность или неизвестность не влияет на оценку математического ожидания по методу моментов.

Пример 5. Класс нормальных распределений с одним параметром (m_x известно), имеющим смысл с. к. о. Выражение параметра через момент: , оценка по методу моментов

Сравнивая с примером 3, видим, что оценка с. к. о. по методу моментов зависит от того, известно m_x, или нет.

Свойства оценок по методу моментов (ММ-оценок).

1) Метод прост, при его реализации как правило не возникает каких-либо математических проблем.

2) При довольно общих условиях ММ-оценки асимптотически нормальны, что облегчает построение интервальных оценок (см. п. 13) и испытание гипотез о параметрах распределений.

3) В общем случае ММ-оценки имеют смещение, порядок относительного смещения при больших n:

, с=сonst.

Часто (но не всегда) смещение этих оценок можно устранить с помощью простых поправок, т. е. образовать новые оценки (уже не ММ-оценки), не имеющие смещения (примеры устранения смещения приведены ниже).

4) Порядок дисперсии ММ-оценки при больших n:

5) ММ-оценки состоятельны.

6) Р. Фишер в 1921 г. показал, что ММ-оценки чаще всего не эффективны, и даже асимптотически не эффективны. Он рассмотрел большое число практически используемых распределений и показал, что нормальное распределение в этом смысле исключение: его ММ-оценки эффективны или асимптотически эффективны, а ММ-оценки параметров подавляющего большинства других распределений имеют эффективность и асимптотическую эффективность значительно меньшие единицы.

Смещение и эффективность ММ-оценок на примерах.

Пример 1. Оценивание математического ожидания. Пусть единственным неизвестным параметром распределения является математическое ожидание m_х. ММ-оценка этого параметра

Как неоднократно показано выше, эта оценка состоятельна и несмещенна. Ее эффективность зависит от класса распределений генеральной СВ, например, как показано выше, она эффективна для нормального, экспоненциального, биномиального, пуассоновского распределений.

;