Czym są aksjomaty prawdopodobieństwa? Pełne wyjaśnienie.

Inicjacja » Nauka » Matematyka » Statystyczny » Czym są aksjomaty prawdopodobieństwa? Pełne wyjaśnienie.

Pytanie „jakie są aksjomaty prawdopodobieństwa?” wydaje się proste, ale odpowiedź prowadzi do bardzo solidnej konstrukcji matematycznej., która zaczęła być rygorystycznie uporządkowana w XX wieku dzięki pracom Andrieja Kołmogorowa. Aksjomaty te stanowią podstawę praktycznie całej współczesnej teorii prawdopodobieństwa, od badań nad grami losowymi po złożone modele statystyczne wykorzystywane w nauce o danych, finansach i inżynierii.

Przed Formalizacja KołmogorowaW tamtych czasach prawdopodobieństwo rozumiano w sposób bardziej intuicyjny, wiążąc je z ideą częstotliwości lub przypadku.Różni matematycy stosowali różne interpretacje. Dzisiaj, mówiąc o aksjomatach prawdopodobieństwa, mamy na myśli minimalny zbiór reguł, którym musi odpowiadać każda funkcja prawdopodobieństwa, abyśmy mogli przeprowadzać spójne obliczenia, unikać sprzeczności i konstruować potężne twierdzenia.

Podstawowa intuicja: losowe doświadczenia i zdarzenia

Aby zrozumieć aksjomaty prawdopodobieństwa, pierwszym krokiem jest uświadomienie sobie, czym jest eksperyment losowy i co nazywamy zdarzeniem.Eksperyment losowy to dowolne postępowanie, którego wyniku nie można przewidzieć z całą pewnością, nawet gdy znamy wszystkie możliwe rezultaty; klasycznymi przykładami są rzut monetą lub kostką.

Przestrzenią próby, zwykle oznaczaną symbolem Ω, nazywamy zbiór wszystkich możliwych wyników tego eksperymentu.Jeśli na przykład rzucimy monetą, przestrzeń próby można zapisać jako Ω = {H, T}, gdzie H oznacza „orła”, a T oznacza „reszkę”. Każdy element Ω nazywa się wynikiem elementarnym.

Zdarzeniem jest dowolny podzbiór Ω, który chcemy zaobserwować.Zatem, jeśli eksperyment polega na rzucie monetą, zbiór {H} jest zdarzeniem „wypada orzeł”, zbiór {T} jest zdarzeniem „wypada reszka”, a sam Ω jest zdarzeniem „wypada orzeł lub reszka”, czyli pewnym zdarzeniem.

Niektóre zdarzenia są szczególnie ważne: zdarzenie niemożliwe, zdarzenie elementarne i zdarzenie pewne.Zbiór pusty ∅ reprezentuje zdarzenie niemożliwe, ponieważ nie zawiera żadnego wyniku; zbiór z jednym elementem {ω}, gdzie ω jest w Ω, reprezentuje zdarzenie elementarne; a sam Ω jest zdarzeniem pewnym, takim, które zawsze występuje, gdy przeprowadzany jest eksperyment.

Język teorii mnogości jest bardzo pomocny w badaniu rachunku prawdopodobieństwa.Jeżeli A i B są zdarzeniami, to A ∩ B oznacza jednoczesne wystąpienie A i B, A ∪ B oznacza wystąpienie co najmniej jednego z nich, a dopełnienie A, często zapisywane jako ̄A lub Ω \ A, oznacza „niewystępowanie A”. Ta notacja i własności zbiorów zostaną wykorzystane bezpośrednio w formułowaniu aksjomatów.

Interpretacje pojęcia prawdopodobieństwa

Chociaż aksjomaty Kołmogorowa stanowią matematyczną podstawę prawdopodobieństwa, samo słowo „prawdopodobieństwo” można interpretować na wiele sposobów.Na przestrzeni dziejów pojawiły się różne interpretacje dotyczące tego, co oznacza przypisanie liczby P(A) zdarzeniu A.

W klasycznej interpretacji Laplace’a, obowiązującej dla przestrzeni skończonych z jednakowo prawdopodobnymi wynikami, prawdopodobieństwo zdarzenia A jest stosunkiem liczby przypadków sprzyjających do liczby przypadków możliwych.Jeśli przestrzeń próby ma n równie prawdopodobnych wyników (tj. #Ω = n), a zdarzenie A zawiera n_A tych wyników (#A = n_A), to prawdopodobieństwo jest dane wzorem P(A) = n_A / n. Ten wzór jest dość intuicyjny, gdy wszystkie wyniki mają takie samo prawdopodobieństwo wystąpienia.

Tak interpretacja frekwencyjna Łączy prawdopodobieństwo ze względną częstością powtórzeń eksperymentu.Z tego punktu widzenia powtarzamy eksperyment losowy n razy i liczymy, ile razy wystąpi zdarzenie A, nazywając tę ​​liczbę n_A; następnie patrzymy na granicę ułamka n_A/n, przy wzroście n. Prawdopodobieństwo zdarzenia A wynosiłoby P(A) = lim_{n→∞} (n_A/n), pod warunkiem że ta granica istnieje.

Istnieje również interpretacja subiektywna, szeroko stosowana w statystyce bayesowskiej, w której prawdopodobieństwo jest powiązane ze stopniem wiary racjonalnego podmiotu.W tym podejściu P(A) określa, jak bardzo ktoś jest pewny wystąpienia zdarzenia A, biorąc pod uwagę dostępną wiedzę. To nie doświadczenie „niesie” prawdopodobieństwo, ale podmiot, który spójnie ocenia niepewność.

Pomimo tych różnych interpretacji, wszystkie one mogą współistnieć w ramach tych samych aksjomatycznych ram Kołmogorowa.Innymi słowy, niezależnie od tego, czy preferujesz klasyczny, frekwencyjny czy subiektywny punkt widzenia, ostatecznie prawdopodobieństwo będzie modelowane matematycznie przez funkcję P, która podlega niewielkiemu zestawowi aksjomatów dotyczących przestrzeni zdarzeń.

Konstrukcja formalna: przestrzenie probabilistyczne i σ-algebry

Kołmogorow opisał prawdopodobieństwo za pomocą trójki (Ω, F, P), zwanej przestrzenią prawdopodobieństwa.W tej trójce Ω jest przestrzenią próby, F jest zbiorem możliwych zdarzeń (technicznie rzecz biorąc, σ-algebrą podzbiorów Ω), a P jest funkcją prawdopodobieństwa.

σ-algebra F to specjalny zbiór podzbiorów Ω, który spełnia pewne własności.Ogólnie rzecz biorąc, zbiór F musi zawierać zbiór pusty, być domknięty na dopełnienie (jeśli A należy do zbioru F, to jego dopełnienie również należy do zbioru F) oraz być domknięty na sumy przeliczalne (jeśli A₁, A₂, … należą do zbioru F, to suma ich wszystkich również należy do zbioru F). Taka struktura zapewnia możliwość pracy z operacjami na zbiorach bez opuszczania uniwersum zdarzeń o ściśle określonym prawdopodobieństwie.

Formalnie F jest σ-algebrą nad Ω, gdy: Zbiór pusty ∅ należy do zbioru F; jeśli A należy do zbioru F, to dopełnienie A w Ω również należy do zbioru F; a jeśli A₁, A₂, … jest (skończonym lub przeliczalnie nieskończonym) ciągiem elementów zbioru F, to suma A₁ ∪ A₂ ∪ … również należy do zbioru F. W wielu kontekstach zbiór F nazywany jest również ciałem Borela lub ciałem σ.

Funkcja prawdopodobieństwa P jest zdefiniowana w F i przypisuje każdemu zdarzeniu E w F nieujemną liczbę rzeczywistą.Mówimy wówczas, że P(E) należy do ℝ oraz P(E) ≥ 0 dla wszystkich E w F. W ogólnej teorii miary miary mogą przyjmować nieskończone wartości, ale w standardowej teorii prawdopodobieństwa P(E) jest zawsze skończone, co wprowadza pewne różnice w porównaniu z bardziej ogólnymi miarami.

Tę strukturę (Ω, F, P) z P(Ω) = 1 nazywamy przestrzenią probabilistyczną.Warunek P(Ω) = 1 jest istotny, ponieważ odzwierciedla ideę, że podczas przeprowadzania eksperymentu pewien wynik w Ω na pewno wystąpi; nie ma żadnych „ukrytych wyników” poza przestrzenią próby.

Trzy aksjomaty Kołmogorowa

Aksjomatyczna teoria Kołmogorowa opiera się na trzech podstawowych aksjomatach, które musi spełniać każda funkcja prawdopodobieństwa.Są proste do sformułowania, ale niezwykle potężne, ponieważ wywodzą się z nich praktycznie wszystkie typowe własności rachunku prawdopodobieństwa.

Pierwszy aksjomat — nieujemność: Dla dowolnego zdarzenia A należącego do σ-algebry F mamy P(A) ≥ 0. Oznacza to, że prawdopodobieństwa nigdy nie są ujemne. W niektórych bardziej egzotycznych teoriach mówi się o „ujemnych prawdopodobieństwach”, ale idee te odbiegają od klasycznego modelu Kołmogorowa.

Drugi aksjomat — normalizacja: Prawdopodobieństwo wystąpienia określonego zdarzenia jest równe 1, czyli P(Ω) = 1. Aksjomat ten ustanawia konwencję, że 1 odpowiada 100% pewności, a 0 – niemożliwości. W bardziej elementarnych wersjach aksjomat ten można również rozumieć jako stwierdzenie, że suma prawdopodobieństw wszystkich elementarnych wyników Ω jest równa 1.

Trzeci aksjomat — σ-addytywność: Jeśli A₁, A₂, … jest ciągiem zdarzeń parami rozłącznych (nazywanych również wzajemnie wykluczającymi się), to P(∪ᵢ Aᵢ) = Σᵢ P(Aᵢ). Dotyczy to zarówno skończonego, jak i przeliczalnie nieskończonego zbioru zdarzeń. Ta przeliczalna własność addytywności stanowi główną różnicę w porównaniu ze zwykłą skończoną addytywnością.

W prostszych kontekstach niektórzy autorzy pracują wyłącznie ze skończoną addytywnością., wymagając, aby P(A ∪ B) = P(A) + P(B) dla zdarzeń rozłącznych A i B, i aby to rozciągało się na skończoną liczbę zbiorów. W tym przypadku wystarczy pracować z algebrą zbiorów, niekoniecznie σ-algebrą, ale standardowym podejściem we współczesnym rachunku prawdopodobieństwa jest wymaganie σ-additywności.

Z tego trzeciego aksjomatu wynikają pewne ważne konsekwencje, takie jak równości, nierówności i prawa prawdopodobieństwa.Stanowi ona również istotę powiązania między teorią prawdopodobieństwa a teorią miary, która bada miary w zbiorach w dość ogólny sposób.

Właściwości wyprowadzone z aksjomatów

Opierając się na trzech aksjomatach Kołmogorowa, udało nam się udowodnić kilka podstawowych i niezwykle użytecznych własności.Właściwości te nie są z góry zakładane: stanowią one logiczną konsekwencję aksjomatów.

Jedną z pierwszych własności jest monotoniczność prawdopodobieństwa.Jeśli A i B są zdarzeniami w F, a A zawiera się w B (A ⊆ B), to P(A) ≤ P(B). Idea jest intuicyjna: jeśli B obejmuje wszystko, co może się wydarzyć w A, a może i więcej, to B nie może mieć mniejszego prawdopodobieństwa niż A.

Kolejną podstawową cechą jest to, że prawdopodobieństwo wystąpienia zdarzenia niemożliwego wynosi zero.Z formalnego punktu widzenia, stosując σ-additywność, rozważamy ciąg, gdzie E₁ = A, E₂ = B \ A i Eᵢ = ∅ dla i ≥ 3, w scenariuszu, w którym A ⊆ B. Ponieważ Eᵢ są rozłączne, a ich suma to B, suma prawdopodobieństw musi zbiegać do P(B). Jeśli założymy, że P(∅) = a > 0, to suma P(∅) nieskończenie wiele razy eksplodowałaby do nieskończoności, co jest niezgodne ze skończonym P(B). Stąd wnioskujemy, że P(∅) = 0.

Dlatego możemy sformułować nierówność 0 ≤ P(E) ≤ 1 dla dowolnego zdarzenia E w F.Wiedzieliśmy już, że P(E) ≥ 0 z pierwszego aksjomatu. Wiedząc, że P(Ω) = 1 i stosując monotoniczność z E ⊆ Ω, wynika, że ​​P(E) ≤ P(Ω) = 1. Zatem każde prawdopodobieństwo zawsze mieści się w przedziale od 0 do 1 włącznie.

Często stosowaną tożsamością jest tzw. prawo addytywności dla dowolnych dwóch zdarzeń.Dla zdarzeń A i B w F obowiązuje zasada P(A ∪ B) = P(A) + P(B) − P(A ∩ B). Ten wzór koryguje „podwójne liczenie” wspólnego zdarzenia A ∩ B, które jest dodawane dwukrotnie, jeśli sumujemy P(A) i P(B) bez korekty.

Inną ważną konsekwencją jest relacja pomiędzy zdarzeniem i jego dopełnieniem.Jeśli oznaczymy dopełnienie A przez ̄A, wówczas P(̄A) = 1 − P(A). Ta równość przekazuje myśl, że „albo A zachodzi, albo A nie zachodzi”, a w obrębie Ω nie ma innej możliwości.

Z tego wynika również, że P(A) = 0 nie oznacza koniecznie, że A jest zdarzeniem niemożliwym.W terminologii matematycznej możliwe jest, aby zdarzenie miało zerowe prawdopodobieństwo, nie będąc zbiorem pustym (dzieje się tak na przykład w przestrzeniach ciągłych), ale na najbardziej elementarnym poziomie P(A) = 0 jest zwykle kojarzone ze zdarzeniami praktycznie niemożliwymi.

Przykład praktyczny: rzucanie monetą

Klasycznym i bardzo dydaktycznym przykładem wizualizacji aksjomatów Kołmogorowa jest rzut monetą.Załóżmy na początek, że moneta może wypaść wyłącznie jako „orzeł” (H) lub „reszka” (T) i że są to jedyne możliwe wyniki.

Następnie definiujemy przestrzeń próby jako Ω = {H, T}Możliwe zdarzenia tworzą σ-algebrę F złożoną z {∅, {H}, {T}, {H, T}}. W tym kontekście zdarzenie niemożliwe to ∅, zdarzenia elementarne to {H} i {T}, a zdarzenie pewne to {H, T}.

Z aksjomatów Kołmogorowa wiemy, że P(∅) = 0 i P(Ω) = 1Jeśli założymy, że moneta jest uczciwa, czyli nie faworyzuje żadnej ze stron, to symetria sugeruje, że P({H}) = P({T}). Ponieważ suma P({H}) + P({T}) musi być równa 1, wnioskujemy, że obie są warte 1/2.

Dlatego prawdopodobieństwo otrzymania „orła lub reszki” wynosi P({H, T}) = 1Prawdopodobieństwo wyrzucenia orła wynosi P({H}) = 1/2, a prawdopodobieństwo wyrzucenia reszki wynosi P({T}) = 1/2. Suma prawdopodobieństw zdarzeń elementarnych wyczerpuje całkowite prawdopodobieństwo przestrzeni.

Model ten, choć prosty, ilustruje, jak aksjomaty zachowują się w praktyce i w jaki sposób zapobiegają nieścisłościom w obliczeniach prawdopodobieństwa.Jeśli nie zdefiniujemy dokładnie przestrzeni próby, możemy popełnić poważne błędy, ponieważ każde zdarzenie jest zawsze podzbiorem Ω; jeśli podzbiór nie mieści się w Ω, jego prawdopodobieństwo nie jest w ogóle zdefiniowane.

Prawdopodobieństwo w przestrzeniach skończonych i przeliczalnych

Gdy przestrzeń próby jest skończona lub przeliczalna, prawdopodobieństwo można opisać w bardzo konkretny sposób.Załóżmy, że Ω = {ω₁, ω₂, …} jest skończonym lub przeliczalnym zbiorem możliwych wyników.

Jeśli A jest zdarzeniem zawierającym niektóre z tych wyników, takie jak A = {ω₁*, …, ω_{k*}, …}Zatem prawdopodobieństwo zdarzenia A można interpretować jako sumę prawdopodobieństw odpowiadających mu zdarzeń elementarnych: P(A) = P(∪ᵢ {ω_{i*}}) = Σᵢ P({ω_{i*}}). Jest to bezpośrednie zastosowanie addytywności (lub σ-addytywności) do zbiorów rozłącznych.

W szczególnym przypadku, gdy przestrzeń próby jest skończona, przy czym #Ω = n, a wszystkie wyniki są równie prawdopodobneMamy P({ωᵢ}) = 1/n dla każdego i. Jeśli A zawiera k różnych wyników w Ω, to P(A) = Σ_{i=1}^k P({ω_{i*}}) = k/n = (#A)/(#Ω). To jest właśnie klasyczny wzór Laplace'a zinterpretowany na nowo w ramach nowoczesnego systemu aksjomatycznego.

Gdy przestrzeń próby jest przeliczalnie nieskończona, suma prawdopodobieństw zdarzeń elementarnych nadal musi dążyć do zbieżności do 1.Oznacza to, że Σᵢ P({ωᵢ}) = 1. To właśnie tutaj σ-additywność pokazuje swoją siłę, pozwalając nam zajmować się nie tylko sumami skończonymi, ale także nieskończonymi seriami zdarzeń.

Prawdopodobieństwo warunkowe i rola aksjomatów.

Centralnym aspektem tej teorii jest zrozumienie, w jaki sposób prawdopodobieństwo zmienia się, gdy wiemy, że pewne zdarzenie już nastąpiło.W tym miejscu pojawia się prawdopodobieństwo warunkowe, zwykle zapisywane jako P(A | B), co oznacza „prawdopodobieństwo wystąpienia zdarzenia A przy założeniu, że zaszło zdarzenie B”.

Podstawowy wzór prawdopodobieństwa warunkowego to P(A | B) = P(A ∩ B) / P(B), pod warunkiem że P(B) > 0Definicja ta jest zgodna z aksjomatami Kołmogorowa i w istocie dla każdego B, dla którego P(B) > 0, funkcja A ↦ P(A | B) ponownie spełnia trzy aksjomaty, gdy ograniczymy przestrzeń zdarzeń do B.

Oznacza to, że P(· | B) jest samo w sobie funkcją prawdopodobieństwa nad „nową” przestrzenią próby B.W konsekwencji wszystkie podstawowe własności są spełnione dla prawdopodobieństw warunkowych: P(̄A | B) = 1 − P(A | B), P(∅ | B) = 0, monotoniczność warunkowa (jeśli A₁ ⊆ A₂, to P(A₁ | B) ≤ P(A₂ | B)) i wzór P(A₁ ∪ A₂ | B) = P(A₁ | B) + P(A₂ | B) − P(A₁ ∩ A₂ | B).

Definicja prawdopodobieństwa warunkowego wskazuje również na ważną zależność P(A ∩ B) = P(A) P(B | A), gdy P(A) > 0.Symetrycznie możemy zapisać P(A ∩ B) = P(B) P(A | B), pod warunkiem że P(B) > 0. Te równości pomagają rozłożyć prawdopodobieństwa łączne i stanowią podstawę wielu wyników, takich jak twierdzenie Bayesa.

Warto zauważyć, że prawdopodobieństwo „bezwarunkowe” można traktować jako szczególny przypadek prawdopodobieństwa warunkowego.Rzeczywiście, możemy zapisać P(A) = P(A ∩ Ω) / P(Ω) = P(A | Ω), ponieważ P(Ω) = 1. Wzmacnia to ideę, że koncepcyjnie wszelkie prawdopodobieństwo jest warunkowane pewnymi informacjami tła, nawet jeśli jest to tylko wiedza, że ​​pracujemy w obrębie Ω.

Niezależność zdarzeń

Inną kluczową koncepcją opierającą się na aksjomatach jest koncepcja niezależności zdarzeń.Dwa zdarzenia A i B są niezależne, jeśli zajście jednego nie zmienia prawdopodobieństwa zajścia drugiego.

W języku formalnym A i B są niezależne, gdy P(A ∩ B) = P(A) P(B)W kategoriach prawdopodobieństwa warunkowego oznacza to, że jeśli P(B) > 0, to P(A | B) = P(A), a jeśli P(A) > 0, to P(B | A) = P(B). Oznacza to, że wiedza o wystąpieniu zdarzenia B nie zmienia prawdopodobieństwa wystąpienia zdarzenia A i odwrotnie.

Każde zdarzenie jest niezależne od zdarzenia niemożliwego ∅ i zdarzenia pewnego Ω.Dla zbioru pustego P(A ∩ ∅) = 0 i P(∅) = 0, zatem relacja ta jest trywialnie prawdziwa. Dla pewnego zdarzenia P(A ∩ Ω) = P(A) i P(Ω) = 1, zatem P(A ∩ Ω) = P(A) P(Ω) = P(A).

Często zadawanym pytaniem jest, czy dwa rozłączne zdarzenia mogą być niezależne.Ogólnie rzecz biorąc, jeśli A i B są rozłączne i oba mają dodatnie prawdopodobieństwo, to P(A ∩ B) = 0, ale P(A) P(B) > 0, co narusza definicję niezależności. Zatem w wielu przypadkach dwa rozłączne zdarzenia o niezerowym prawdopodobieństwie nie są niezależne, ponieważ wystąpienie jednego wyklucza możliwość wystąpienia drugiego.

Gdy mamy do czynienia z więcej niż dwoma zdarzeniami, pojawiają się różne pojęcia niezależności.Możemy mieć niezależność parami, niezależność łączną i inne typy. Jednak we wszystkich tych przypadkach punktem wyjścia pozostaje relacja P(A ∩ B) = P(A) P(B), oparta na aksjomatach Kołmogorowa i definicji prawdopodobieństwa warunkowego.

Praktyczne zasady i klasyczne prawa prawdopodobieństwa

Oprócz właściwości formalnych aksjomaty pozwalają na formułowanie praw bardziej operacyjnych, przydatnych w codziennej pracy osób zajmujących się obliczeniami prawdopodobieństwa.Jednym z nich jest tzw. prawo dodawania, o którym już wspomniano w postaci P(A ∪ B) = P(A) + P(B) − P(A ∩ B), które można rozszerzyć na większą liczbę zdarzeń poprzez zasadę włączeń-wykluczeń.

Inną powszechnie stosowaną regułą jest relacja pomiędzy zdarzeniem a jego „zewnętrzną” częścią innego zdarzenia.Dla A i B w F zachodzi: P(A ∩ ̄B) = P(A) − P(A ∩ B). Oznacza to po prostu rozłożenie A na dwie części: część występującą razem z B (A ∩ B) i część występującą bez B (A ∩ ̄B). Te dwie części są rozłączne, a ich suma to A, co prowadzi do poprzedniej równości przez addytywność.

Prawo całkowitego prawdopodobieństwa i twierdzenie Bayesa, choć nie są tu w pełni opisane, również bezpośrednio opierają się na aksjomatach.Prawo całkowitego prawdopodobieństwa łączy prawdopodobieństwa warunkowe w partycję przestrzeni próby, podczas gdy twierdzenie Bayesa „odwraca” prawdopodobieństwa warunkowe, umożliwiając aktualizację prawdopodobieństw na podstawie nowych dowodów.

W wersjach o charakterze dydaktycznym wymieniono także kilka łatwych do zapamiętania „praktycznych aksjomatów”.Na przykład: maksymalne prawdopodobieństwo wynosi 1 (100%); suma prawdopodobieństw wszystkich elementów w przestrzeni próby jest równa 1; a prawdopodobieństwo zdarzenia X dodane do prawdopodobieństwa „nie X” wynosi zawsze 1. Stwierdzenia te są bezpośrednim odzwierciedleniem formalnych aksjomatów.

Dzięki temu zbiorowi praw możliwe staje się rozwiązywanie problemów począwszy od prostych gier losowych aż po skomplikowane modele z wieloma zmiennymi.Wielką zaletą jest to, że za wszystkimi wzorami i sztuczkami obliczeniowymi, logicznym wsparciem pozostaje ten sam aksjomatyczny trójnóg.

Aksjomaty prawdopodobieństwa Kołmogorowa stanowią rygorystyczną, ale elastyczną podstawę radzenia sobie z niepewnością.Na podstawie trzech prostych zasad — nieujemności, normalizacji i σ-addytywności — skonstruowano bogatą teorię, która jest w stanie uwzględnić interpretacje klasyczne, frekwencyjne i subiektywne, obsługiwać przestrzenie skończone i nieskończone, opisywać prawdopodobieństwa warunkowe i niezależność oraz obsługiwać zastosowania w praktycznie wszystkich dziedzinach nauki i techniki.