что такое доверительная вероятность и доверительный интервал

О формуле Байеса, прогнозах и доверительных интервалах

На Хабре много статей по этой теме, но они не рассматривают практических задач. Я попытаюсь исправить это досадное недоразумение. Формула Байеса применяется для фильтрации спама, в рекомендательных сервисах и в рейтингах. Без нее значительное число алгоритмов нечеткого поиска было бы невозможно. Кроме того, это формула явилась причиной холивара среди математиков.

Введение

Начнем издалека. Если наступление одного события увеличивает или уменьшает вероятность наступления другого, то такие события называются зависимыми. Тервер не изучает причинно-следственные связи. Поэтому зависимые события не обязательно следствия друг-друга, связь может быть не очевидной. Например, «у человека голубые глаза» и «человек знает арабский» — зависимые события, поскольку у арабов голубые глаза встречаются крайне редко.

Давайте подумаем чему равно вероятность наступления двух событий одновременно. P(AB). Вероятности наступления первого события умноженной на вероятность наступления второго события, в случае наступления первого. P(AB)=P(A)P(B|A). Теперь, если вспомнить, что P(AB)= P(BA). Получим, P(A)P(B|A)=P(B)P(A|B). Перенесем P(B) влево и получим формулу Байеса:

Все настолько просто, что 300 лет тому назад эту формулу вывел простой священник. Но это не уменьшает практической ценности этой теоремы. Она позволяет решать «обратную задачу»: по данным испытаний оценить ситуацию.

Прямая и обратная задачи

Прямую задачу можно описать так: по причине найти вероятность одного из следствий. Например, дана абсолютно симметричная монета (вероятность выпадения орла, как и решки, равны 1/2). Нужно посчитать вероятность того, что если мы дважды подкинем монету, оба раза выпадет орел. Очевидно, что она равна 1/2 * 1/2 =1/4.

Но проблема в том, что мы знаем вероятность того или иного события только в меньшинстве случаев, почти все их которых искусственные, например, азартные игры. При этом в природе нет ничего абсолютного, вероятность выпадения орла у реальной монеты равна 1/2 только приблизительно. Можно сказать, что прямая задача изучает некоторых сферических коней в вакууме.

На практике, важнее обратная задача: оценить ситуацию по данным испытаний. Но проблема обратной задачи в том, что ее решение сложнее. Главным образом из-за того, что наше решения будет не точкой P=С, а некоторой функцией P=f(x).

Например, у нас есть монета, нужно оценить с помощью опытов вероятность выпадения решки. Если мы подкинули монету 1 раз и выпал орел, то это не значит, что всегда выпадают орлы. Если 2 раза подкинули и получили 2 орла, то опять это не значит, что выпадают только орлы. Чтобы получить абсолютно точно вероятность выпадения решки, мы должны подкинуть монету бесконечное число раз. На практике это не возможно и мы всегда вычисляем вероятность события с некоторой точностью.

Мы вынуждены использовать некоторую функцию. Обычно ее принято обозначать как P(p=x|s решек, f орлов) и называть плотностью вероятности. Читается это так вероятность, того, что вероятность выпадения орла равна x, если по данным эксперимента выпало s решек и f орлов. Звучит сложно звучит из-за тафтологии. Проще считать p некоторым свойством монетки, а не вероятностью. И читать: так вероятность того, что p=x…

Забегая вперед скажу, что если в первую монетку подкинем 1000 раз и получим 500 орлов, а вторую 10000 и получим 5000 орлов, то плотности вероятности будут выглядеть так:

Из-за того, что у нас не точка, а кривая мы вынуждены использовать доверительные интервалы. Например, если говорят 80% доверительный интервал для p равен 45% до 55%, то это значит с 80% вероятностью p находиться между 45% и 55%.

Биномиальное распределение

Для простоты будем рассматривать биномиальное распределение. Это распределение количества «успехов» в последовательности из некоторого числа независимых случайных экспериментов, таких, что вероятность «успеха» в каждом из них постоянна. Оно наблюдается практически всегда, когда у нас есть последовательность испытаний с двумя возможными исходами. Например, когда мы несколько раз подкидываем монету, или оцениваем CTR банера, или конверсию на сайте.

Для примера будем считать, что нам нужно оценить вероятность выпадения решки у монеты. Мы подкинули монету некоторое число раз и получили f орлов и s решек. Обозначим это событие как [s,f] и подставим это в формулу Байеса вместо B. Событие когда p равно некоторому числу будем обозначать как p=x и подставим вместо события А.

P([s,d]|p=x), Вероятность получить [s,d], если p=x, при условии, что p=x нам известна P([s,f]|p=x)=K(f,s) * x^s (1-x)^f. Где K(f,s) биномиальный коэффициент. Получаем:

Нам неизвестна P([s,f]). Да и биномиальный коэффициент вычислить проблематично: там факториалы. Но эти проблемы можно решить: суммарная вероятность всех возможных x должна быть равна 1.

С помощью простых преобразований мы получим формулу:

Программируется это просто, всего 10 строк:

Однако, у нас остается неизвестной P(p=x). Она выражает, насколько вероятно, что p=x, если данных по эксперименту у нас нет. Эту функцию принято называть априори. Из-за нее и произошел холивар в теории вероятностей. Вычислить априори строго математически мы не можем, только задать субъективно. А без априори мы не можем решить обратную задачу.

Холивар

Сторонники классической интерпретации (частотного подхода, ЧП), считают, что все возможные p равновероятны до начала эксперимента. Т.е. перед экспериментом нужно «забыть» те данные, которые нам известны до него. Их оппоненты, сторонники байесовского подхода (БП), считают, что нужно задать какую-то априори исходя из наших знаний до начала эксперимента. Это фундаментальное отличия, даже определение понятия вероятности у этих групп разное.

Кстати, создатель этой формулы, Томас Баейс умер лет на 200 раньше холивара и отношение к этому спору имеет только косвенное. Формула Байеса часть обоих конкурирующих теорий.

Частотный подход(ЧП) лучше подходит для науки, где нужно объективно доказать какую-то гипотезу. Например, то что смертность от препарата меньше определенного порога. Если же вам нужно, учитывая всю доступную информацию, принять решение, то лучше использовать БП.

ЧП не подходит для прогнозирования. Кстати, формулы доверительных интервалов, считают доверительные интервал по ЧП. Сторонники БП, обычно, в качестве априори для биномиального распределения используют Бета распределение, при a=1 и b=1 оно вырождается в непрерывное распределение, которое используют их противники. В итоге формула принимает вид:

Это универсальная формула. При использовании ЧП нужно задать b=a=1. Сторонники БП некоторым образом должны выбрать эти параметры, так чтобы получилось правдоподобное бета-распределение. Зная a и b можно использовать формулы ЧП, например для расчета доверительного интервала. Например, мы выбрали a=4.5, b=20, у нас есть 50 успехов и 100 неудач, чтобы вычислить доверительный интервал в БП нам нужно в обычную формулу ввести 53.5 (50+4.5-1) успеха и 119 неудачу.

Однако, у нас нет никаких критериев выбора a и b. Следующая глава расскажет как их выбрать по статическим данным.

Прогноз

Логичнее всего в качестве прогноза использовать мат. ожидание. Его формулу легко получить из формулы мат. ожидания бета-рапределения. Получим:

.

Например, у нас есть сайт, со статьями. На каждой из них есть кнопка «лайк». Если мы будем сортировать по числу лайков, то у новых статей мало шансов перебить старых. Если мы будем сортировать по соотношению лайков к посещениям, то статьи с одном заходом и одним лайком будут перебивать статью с 1000 заходами и с 999 лайками. Разумнее всего сортировать по последней формуле, но нужно каким-то образом определить a и b. Самый простой способ через 2 основных момента бета-распределения: мат. ожидание (сколько в среднем будет) и дисперсию (каково в среднем отклонение от среднего).

Пусть L средняя вероятность лайка. Из матожидания бета-распределения L=a/(a+b) =>a+b=a/L=> aL+bL=a => b=a(1/L — 1). Подставим в формулу дисперсии:

На псевдокоде это будет выглядеть так:

Не смотря на то, что данный выбор a и b кажется объективным. Это не строгая математика. Прежде всего не факт, что лайкабельность статей подвержена Бета-распределению, в отличии от биномиального это распределение «не физично», оно введено для удобства. Мы по сути подогнали кривую к статистическим данным. Причем вариантов подгонки есть несколько.

Шанс побить всех

Например, мы провели А/B тест нескольких вариантов дизайна сайта. Получили некоторые результаты и думаем, нужно ли его останавливать. Если мы остановимся слишком рано мы можем выбрать не верный вариант, но остановиться когда-то все-таки нужно. Мы можем оценивать доверительные интервалы, но их анализ сложен. Как минимум, поскольку в зависимости от коэффициента значимости у нас получаются разные доверительные интервалы. Сейчас я покажу как посчитать вероятность того, что один вариант лучше всех остальных.

Кроме зависимых событий существуют и независимые события. Для таких событий P(A|B)=P(A). Поэтому P(AB)=P(B)P(A|B)=P(A)P(B). Для начала нужно показать что варианты независимы. Кстати сравнивать доверительные интервалы корректно, только в случае когда варианты независимы. Как уже было сказано, сторонники ЧП отбрасывают все данные кроме самого эксперимента. Варианты это отдельные эксперименты, поэтому каждый из них зависит только от своих результатов. Поэтому они независимы.

Для БП доказательство сложнее, основной момент, что априори «изолирует» варианты друг от друга. Например, события «голубые глаза» и «знает арабский» зависимы, а события «араб знает арабский» и «у араба голубые глаза» нет, поскольку взаимосвязь между первыми двумя событиями исчерпывается событием «человек араб». Более верная запись P(p=x) в нашем случае следующая: P(p=x|apriori=f(x)). Поскольку все зависит от выбора функции априори. А события P(p_i=x|apriori=f(x)) и P(p_j=x|apriori=f(x)) независимы, поскольку единственная взаимосвязь между ними это функция априори.

Источник

Доверительная вероятность и доверительный интервал.

Вероятность того, что истинное значение измеряемой величины лежит внутри некоторого интервала, называется доверительной вероятностью, или коэффициентом надежности,а сам интервал — доверительным интервалом.

.

на так называемый коэффициент Стьюдента. Коэффициенты Стьюдента для ряда значений и n приведены в таблице.

Окончательно, для измеряемой величины y при заданной доверительной вероятности y и числе измерений n получается условие

Величину мы будем называть случайной погрешностьювеличины y.

Пример: см. лекцию №5 – ряд чисел.

При числе измерений – 45 и доверительной вероятности – 0,95 получим, что коэффициент Стьюдента приблизительно равен 2,15. Тогда доверительный интервал для данного ряда измерений равен 62,6.

Источником грубых погрешностей нередко бывают резкие изменения условий измерения и ошибки, допущенные оператором:

— неправильный отсчет по шкале измерительного прибора, происходящий из-за неверного учета цены малых делений шкалы;

— неправильная запись результата наблюдений, значений отдельных мер использованного набора, например, гирь;

— хаотические изменения параметров напряжения, питающего средства измерения, например, его амплитуды или частоты.

Источник

Доверительная вероятность. Доверительный интервал.

Δr – доверительный интервал

Интервал значений случайной величины внутри которого с заданной вероятностью находится истинное значение измеряемой величины, называется доверительны интервалом, а соответствующая ей вероятность – доверительной вероятностью (Pд)

В соответствии со стандартом, принимают 4 градации доверительной вероятности

q – уровень значимости результата.

0,9;0,1 – для оценочных расчетов

0,95;0,05 – для технически расчетов

0,975 – для точных технических расчетов

0,99 – для особо ответственных расчетов

19. Статистические методы исключения грубых промахов.

Методика применяется к многократным измерениям

Оценка грубых промахов реш. методом мат. статистики.

Суть метода: выдвигается нулевая гипотеза, что сомнительных результат принадлежит к совокупности измерений, а затем пользуясь статистическими критериями опровергают данную гипотезу, и результат отбрасывается.

Методы подбора критериев:

1) Критерий позволяет отброс ить результат резко отличающийся от среднего арифметического

— Критерий Гребса

Z_Г(n,q) = f(q,n)– теор. знач. критер. Греббса

q – уровень значимости

К_Г>Z_Г – результат отбрасывается

Формулу f(q,n) придумал Гребс для больших n, Шарле и Шавене для малых

2) Критерий позволяет отброс ить результат резко отличающийся от соседних результатов

— для n-ой точки

— для 1-ой точки

Если К_Δ>Z_Δ, то результат отбрасывается

20. Статистические методы исключения систематических погрешностей.

Есть случайные и систематические составляющие. Сначала надо определить есть ли систематическая составляющая

Критерий для оценки наличия систематической прогрессирующей погрешности (критерий Аббе)

Но это всё определяется не точно на 100%, а с некоторой доверительной вероятностью

Метод наименьших квадратов (исключение систематической составляющей)

Нужно, чтобы сумма квадратов разности была минимальной

21. Методика оценки погрешности при прямых измерениях с однократным наблюдением.

Для оценки точности при однократных измерениях надо иметь информацию об измерительном средстве, о методе измерения, об условиях измерения и об опыте оператора.

Расчёт погрешности на основе допустимых предельных погрешностей, без учёта разбиения погрешности на случайную и систематическую составляющие.

В основе методики – принцип наихудшего случая, т.е. что погрешность носит систематический характер и имеет один знак.

Методика даёт завышенный, но надёжный результат с вероятностью ≈ 1

Расчёт погрешности с учётом систематической и случайной составляющей

K – коэффициент, зависящий от уровня значимости результата и числа n.

n – число измерений

r – число интервалов

23. Правила округлений результатов измерений.

1) Погрешность результатов измерений указывается 2-мя значащими цифрами, если первая из них 1 или 2 и одной цифрой в остальных случаях.

2) Результат измерения округляют до того же десятичного знака, кот. оканчивается округленное значение абс. погрешности.

24. Средства измерений. Их классификация.

Средства измерений – техническое устройство предназначенное для измерений, имеющее нормированные метрологические характеристики воспроизвод. и хранящее ед. физ. вел, размер кот. принимается неизменным в теч. известного интервала времени.

1.по метролог. назначению

-метролог.(для работы метролог. служб)

2.по конструктивному исполнению

Мера – средство измерения, предназначенное для хранения и воспроизведения размера физ. вел.

Измерительный преобразователь – средство измерения, предназначенное для получения значения измеряемой величины в сигнал, удобный для передачи, хранения, обработки.

Он может быть отдельным прибором, тогда это датчик, но чаще он встроен в измерительный прибор

Измерительный прибор – средство измерения, предназначенное для измерения в заданном диапазоне, имеющее нормированные метролог. характеристики.

Измерительные системы – совокупность средств измерений и вычислительных средств, объединённых в единую систему.

3.по уровню автоматизации

ГОСТ дел. все приборы на 20 групп

М – измерит. мощности

У – измерит. усилители

Ц – комбинированные приборы

25. Основные метрологические характеристики электро-радиоизмерительных приборов.

Метрологическая хар-ка – это свойство средства измерения, влияющая на погрешность измерения.

1)Погрешность измеряемого средства

2)Диапазон показаний и измерений

Диапазон измерений – часть диапазона показаний, где обеспечивается нормированная точность.

3)Предел измерений – наим. и наиб. значение диапазона измерений

4)Градуированная характеристика – зависимость измерения показаний от измеряемой величины.

5)Чувствительность измерит. прибора- отношение измеренного сигнала на выходе к вызывающему его входному сигналу.

6)Разрешающая способность – min изменение входного сигнала, кот. различимо по показанию прибора

7)Быстродействие – число измерений в ед. времени

8)Внутреннее сопротивление (для приборов подключённых последовательно)

9)Входное сопротивление прибора (для приборов подключённых ||)

Может быть активным и реактивным

10)Вариация показаний – разница, показаний при плавном подходе к измеряемой точке при изменении измеряемой вел (Гистерезис). Характерно для динамических измерений

11)Мощность потребляемая от измерительной цепи

Она должна стремиться к 0.

26. Нормирование инструментальной погрешности

Нормировать можно в формах:

Основная и дополнительная погрешности нормируются отдельно

Типовые метрологические характеристики:

Обычно нормирование производится первой партии выпускаемых приборов (испытание на точность)

Измерение производятся в нормальных условиях

Измерения повторить для точек диапазона и некоторых точек в диапазоне.

Дополнительная погрешность измеряется так же, как и основная, но измеряются условия измерения (по каждому параметру измеряется отдельно)

27. Классы точности средств измерений.

Класс точности прибора- это основная метрологическая характеристика.

Класс точности количественно выражается в форме предела допустимой абс., относит. или приведенной погрешности.

Для радиоизмерит. приборов класс точности выражается пределом относит. или приведенной погрешности. Формулу для расчета погрешности приводят в паспорте на прибор. Используются одночленные формулы (погрешность имеет аддитивную составляющую) и двучленные (аддитивная составл. + мультипликативная)

28. Измерение напряжения и других параметров электрической цепи. Измеряемые значения переменного напряжения.

Напряжения и токи могут быть постоянными и переменными. При измерении постоянного напряжения прибор будет указывать на его действительное значение. При измерении переменного напряжения в зависимости от применяемого прибора для измерений может быть получена одна из следующих величин:

-амплитудное значение переменного напряжения,

-среднеквадратичное значение (действительное значение).

Мгновенное значение напряжения переменного тока является функцией времени и определяется следующей формулой:

Где:

ω- круговая частота,

Среднее значение напряжения определяется по формуле:

Для симметричного синусоидального переменного (гармонического) напряжения это значение будет равно нулю. Поэтому для оценки гармонического переменного напряжения эта характеристика не применяется. Она может быть применена для выделения постоянной составляющей негармонического переменного напряжения.

Средневыпрямленное значение напряжения определяется по формуле:

Выпрямление может быть однополупериодное и двухполупериодное. При однополупериодном выпрямлении в формулу ( 3 ) надо добавить коэффициент 0,5.

Среднеквадратичное значение напряжения определяется по формуле:

ния называют также действующим значением переменного напряжения или тока.

Амплитудное, средневыпрямленное и среднеквадратичное значения напряжения связаны между собой коэффициентами амплитуды и формы.

Для гармонического напряжения Ка = 1,41, а Кф =1,11. То есть различные значения напряжения для гармонического сигнала связаны соотношениями:

29. Приборы для измерения напряжения и других параметров электрической цепи.

Измерение напряжения – наиболее популярный способ измерения так как :

1) Напряжение наиболее полно характеризует режим работы электрической схемы

2) При измерении напряжения не необходимости разрыва электрической цепи

3) Измеряя напряжение, косвенным методом можно измерить другие параметры (I,R)

Токи и напряжение могут быть постоянными и переменными. Когда напряжение постоянное, то прибор показывает его действующее значение, когда переменное – прибор может измерять разные значения. В этом случае надо знать какой прибор как работает

— мгновенное значение напряжения

Характеристики переменного напряжения :

1) Амплитудное значение

2) Среднее значение

4) Действующее значение среднеквадратичное

Для гармонического сигнала Uср в = 0,637 Um

Для оценки формы сигнала:

Коэффициент амплитуды : Ка = Um / U =1,41

Коэффициент формы : Кф = U/ Uср в = 1,11

Классификация приборов для измерения напряжения

По виду измеряемого параметра приборы могут быть:

-измерители ёмкости, индуктивности

Если прибор измеряет несколько параметров он называется мультиметром

Все измеряющие приборы

Электромагнитные приборы относятся к приборам непосредственной оценки. Обычно в таких приборах электрическая энергия преобразуется в механическую энергии. (?в част.? Во вращательное движение стрелочного механизма)

Они строятся по следующим измерительным схемам: машинно-электрическая, электромагнитная, электростатичесая, электродинамическая, магнитноэлектрическая

Высокая точность, высокая чувствительность (класс 0,1; 0,5)

Все остальные измеряемые системы более грубые

Используется для точных механических приборов

Недостатки: Большое потребление энергии от источника

Электростатические системы используются для высокочастотных измерений (используется конденсатор)

Электродинамические системы потребляют много энергии, для измерителей мощности, счётчиков электрической энергии

Электронноаналоговые приборы – используются те же принципы как и в электромеханических

Основной недостаток электрических систем – большое ….

Потребление мощности от измеряемой цепи, что ведет к методической погрешности

Треугольник-усилитель переменного напряжения

УПТ-усилитель постоянного тока

Достоинство: за счет усилителей данный прибор не отнимает энергию от измеряемой цепи. Имеет высокую чувствительность и точность. В основном используется для измерения малых величин.

Цифровые приборы:

ЦОУ-цифровое отсчетное устройство

30. Осциллографы. Назначение и классификация осциллографов.

Для измерения параметров динамических сигналов используют специальные приборы. Для детерминированных сигналов используют осциллографы, для случайных сигналов –измерители параметров случайных сигналов. (Измерение математического ожидания, дисперсии, среднего квадратичного отклонения, корреляционных характеристик и др.).

Электронный осциллограф предназначен для визуального отображения формы и приближенного измерения параметров периодических сигналов сложной формы.

Наряду с тестерами, цифровыми вольтметрами и импульсными генераторами осциллографы являются наиболее распространенными измерительными приборами и очень широко применяются на всех стадиях проектирования, производства и обслуживания ЭВМ.

Осциллограф позволяет получить на экране электронно-лучевой трубки график одного или нескольких периодов входного сигнала в координатах «время – напряжение», т.е. график функции y=f(t). Пример такого графика показан на рис.

1. Универсальные О. 100МГц

2. Стробоскопические О. – Они используются для измерения высокочастотных сигналов, либо кратковременных повторений сигналов до 10МГц работ.

3. Запоминающие О. для исследования однократных, редко повторяющихся процессов.

4. Специальные О. – О. Целевого назначения, снятие видеосигнала; для переходных процессов.

2) многоканальные (2,4…)

Осциллографы делятся по исполнению:

1) аналоговые на ЭЛТ

2) цифровые с использованием матричных экранов

3) виртуальные приборы

31. Назначение и классификация измерительных генераторов.

Измерительные генераторы подразделяются на несколько групп (см. рис. 2.1).

Наиболее распространенными являются генераторы звуковой частоты ГЗ, высокой частоты Г4, прямоугольных импульсов Г5, качающейся частоты Г2.

Источник сигналов разнообразных форм и частот, предназначенные для регулирования, настройки и измерений в электронных схемах.

Они должны обладать:

1) возможностью регулировки выходных параметров

2) высокую стабильность

3) стандартные средства связи с др. измерительными устройствами

В зависимости от формы сигнала, генераторы делятся:

— генератор сигналов произвольной формы

— генератор случайных сигналов

— генератор стандартной частоты

По принципу пострения:

Практические рекомендации по работе с измерительными генераторами сводятся к следующему:

а) перед подключением генератора к нагрузке следует убедиться, что её сопротивление не меньше, чем минимально-допустимое по «Техническое описанию»,

б) соединять выход генератора с нагрузкой следует только входящими в комплект коаксиальными радиочастотными кабелями,

в) генераторы импульсов обеспечивают гарантированную по «Техническому описанию» форму только при работе на согласованную нагрузку.

г) прежде чем устанавливать длительность импульса и его задержку, необходимо приближенно вычислить длительность периода».

32. Измерение частоты и интервалов времени.

Источник