Типи ди математически зависимости, дължащи се на променливост: теория, тест и приложения

Започване » Без категория » Типи ди математически зависимости, дължащи се на променливост: теория, тест и приложения

Capire che type of legam c'è tra due variabili Това е един от тях, който доминира най-често в статистическите приложения, данни от данни и експериментални тестове и количественОбратният път на връзката е линеен и винаги е част от когницията, другият път назад е монотонен, но нелинеен, или котвата е категория и не е число, котвата зависи от трета променлива, която контролира водата: безсъние, не е минаваща.

В това практическо и теоретично ръководство на италиански език, ние го обсъждаме в органичен режим. Основен съвет за математически зависимости поради променливост, как да се диагностицира визуално и с формален тест, използвани качествени коефициенти (Pearson, Spearman, Kendall), как да се променят с променливи категорични променливи (chi-quadro di indipendenza, test esatto di Fisher, V di Cramér, coefficiente di contingenza, phi), как премести съгласието работа с Капа и как да я управлявате променливи на объркване обработете корелацията на парциале. В допълнение, ще подобрим южната част на прозорецаалгебра на отношенията (в инсиемистичен и изчислителен смисъл), essenziale per formalizzare concetti come domain,position, inversa и funzioni.

Какво възнамеряваме за „връзка“ поради променливостта

На математически език, връзката между A и B е обобщение на декартовото произведение A×B: ogni coppia ordinata (a, b) appartenente a R показва, че елементът a di A е „във връзка“ с елемента b di B. In termini applicati, детерминистична връзка (функция) oppure probabilistica (associazione stochastica): в първия случай ad ogni a correcte esattamente una b, във secondo osserviamo una tendenza (più или по-малко силен) и non un legam uno-a-uno.

Цялата „вътрешна алгебра на отношенията (в сиемистичен смисъл) е интересна proprietà come пушка (ogni a è по отношение на себе си), симетрия ((a, b) предполага (b, a)), антисиметрия (ако (a, b) и (b, a) или a = b) и преходност (от (a, b) и (b, c) следва (a, c)). Този ключов собственик на имот: ако една връзка е симетрична, симетрична и транзитивна дивинта уна отношение на еквивалентността che “partiziona” A in classi di elementi equivalenti. Ако invece е riflessive, антисиметричен и транзитивен, ние abbiamo una редова връзка.

В този анализ ние прилагаме тази идея на практика: оценяваме вида на променливостта (количествено продължение, ordinali, nominali/dicotomiche) и там място в тази статистика и scegliamo strumenti adeguati per misurare la relazione, знаейки, че „relazione“ не винаги означава „причина-следствие“.

Визуална проверка: яжте riconoscere модел и посока

Prima di buttarsi nei numeri, un точкова диаграма Това е тежестта на най-интелигентното нещо. Облак, разположен по цялата права линия, подсказва... линейна връзка (положителни или отрицателни); структурирайте индикативната крива нелинейни зависимости (ма магари монотонно). Ако не внедрите модел, линейната връзка може да разруши съгласието.

С малка вариабилност, аз използвам диаграма на разсейване (и например в R с двойки (данни)) и линия, която е склонна да се извива (geom_smooth в ggplot2), така че можете да забележите асоциации, клъстер и отклонениеВнимание: гли отклонение Podeno influenzare moltissimo i coefficienti, specie Pearson.

Например в R si può iniziare così: двойки (данни)

# Matrice di grafici a dispersione
pairs(dati)

# Correlazioni grezze (matrice)
cor(dati, use = "pairwise.complete.obs")

Първи визуален преглед, точен до числото, Отидете до scegliere il test giusto базирано на форма, монотонност и видима линейност.

Проверете нормалността му: при сервиране на davvero

Параметричен тест на Молти (например тест на Пиърсън). Предполагам, че в различна степен, нормалност Алмено е симетрична структура без тежък код. За да се контролира ипотезата, се използва специфична част от графичната структура. изограми с плътност e QQ-графика.

В R, уна минимална батерия необходимо включва:

# Istogrammi con densità e curva normale sovrapposta
par(mfrow = c(2, 2))
plot_hist <- function(x) {
  hist(x, prob = TRUE)
  lines(density(x), col = "red")
  curve(dnorm(x, mean(x), sd(x)), add = TRUE, col = "blue")
}
plot_hist(dati$GASTEDU)
plot_hist(dati$GASAUDE)
plot_hist(dati$GASLAZER)
plot_hist(dati$IDADE)

За да се сравнят количествените наблюдения с тези на нормален стандарт, QQ-графика са неразделни:

par(mfrow = c(2, 2))
qqfun <- function(x) {
  qqnorm(x, main = "", xlab = "Quantili teorici N(0,1)", pch = 20)
  qqline(x, col = "red", lty = 1)
}
qqfun(dati$IDADE)
qqfun(dati$GASAUDE)
qqfun(dati$GASLAZER)
qqfun(dati$GASTEDU)

Дръж го на видно място, ако не мога да го използвам формален тест за нормалност за доказателство за натрупване: Колмогоров–Смирнов с оценки на параметри, Лилифорс, Крамер–фон Мизес, Шапиро–Уилк, Шапиро–Франция, Андерсън–Дарлинг и тестът на Пиърсън (хи-квадро) на нормата.

normalita <- function(x) {
  t1 <- ks.test(x, "pnorm", mean(x), sd(x))            # Kolmogorov–Smirnov
  t2 <- nortest::lillie.test(x)                         # Lilliefors
  t3 <- nortest::cvm.test(x)                            # Cramér–von Mises
  t4 <- shapiro.test(x)                                 # Shapiro–Wilk
  t5 <- nortest::sf.test(x)                             # Shapiro–Francia
  t6 <- nortest::ad.test(x)                             # Anderson–Darling
  t7 <- PearsonDS::pearson.test(x)                      # Pearson chi-quadro di normalità
  pv <- c(t1$p.value, t2$p.value, t3$p.value, t4$p.value, t5$p.value, t6$p.value, t7$p.value)
  data.frame(p_value = pv, row.names = c(t1$method, t2$method, t3$method, t4$method, t5$method, t6$method, t7$method))
}
normalita(dati$GASAUDE)

Ако спя горе-долу нормално и връзката е линейна, коефициентът на Пиърсън е добър келтски братовчед; в противен случай е разумно да се предпочете смесването на базат суи ранги със Спиърман или Кендъл.

Връзка между количествената вариабилност: ковариация и корелация

La ковариация Проблемът е ковариацията зависи от единицата за измерване, тогава е малко по-сравнимо.

La Линейна корелация на Пиърсън Решете задачата за стандартизиране по стандартно отклонение: коефициентът r варира между -1 и 1, което дава стойност до ±1. силна линейна връзка (положителен или отрицателен) и 0 предполага assenza di linearità. Моля, обърнете внимание: R = 0 не изключва нелинейните зависимости.

Изчисления за корелации в Р:

# Coefficiente di Pearson e test di significatività
cor(dati$GASTEDU, dati$GASAUDE, method = "pearson")
cor.test(dati$GASTEDU, dati$GASAUDE, method = "pearson")

Когато връзката е монотонно или нелинейно или когато не спя нормално (или не мога да задържам отклонението), има смисъл да използвам копиеносец (ranghi; здрав и адаптиран към medio-grandi campioni) Кендъл т (basato su concordanze/discordanze; preferibile su малки шампиони (или с много пареди):

# Correlazioni non parametriche
cor.test(dati$GASTEDU, dati$GASAUDE, method = "spearman")

# Su un sottoinsieme più piccolo, meglio Kendall
dati2 <- head(dati, 20)
cor.test(dati2$IDADE, dati2$GASAUDE, method = "kendall")

Полезна идея: коефициентът на детерминация R² от един прост линеен модел възстановява променливия дял на Y spiegata линейно от X. В R:

summary(lm(GASAUDE ~ ESTCIVIL, data = dati))$r.squared

Дихотомия на променлива спрямо количествена, коефициентът точково-бисериален съвпада с изчислението на Пиърсън с кодирана променлива 0/1; на практика, цвят (дихотомен, количествен) метод con = „pearson“.

Променливи категории: indipendenza, сила на асоцииране и piccoli campioni

Кога се появява променливостта на съня номинални или ординални, връзката, ако учиш с таблица на контингента (често с класификация на doppia). Типичният ipotesi е: H0 = indipendenza (необходима асоциация), контрол H1 = dipendenza.

Тестът за натрупване е il хи-квадро на независимосттаВиждам те често атакуват тропо басе (обикновено < 5), ако го използвате Корекция на Йейтс на 2×2 или ако минава тест на Фишер, особено подходящо с пиколи от кампион.

# Tabella incrociata e chi-quadro
xtabs(~ PROFI + ESTCIVIL, data = dati) -> tab1
chisq.test(dati$PROFI, dati$ESTCIVIL)  # p-value non significativo => indipendenza plausibile

# Campioni piccoli: test di Fisher
chisq.test(dati$PROFI, dati$RENDA)
fisher.test(dati2$PROFI, dati2$RENDA)

На квантова грижа l'intensità dell'associazione в таблица I×J ако се използва: В ди Крамер (0-1), коефициенти на контингента (0–1, ограничение) и в 2×2 il фи (φ), което официално е приложение на Pearson alla tabella binaria.

# Misure di associazione per tabelle
library(vcd)
xtabs(~ PROFI + RENDA, data = dati) -> tab2
assocstats(tab2)  # riporta V di Cramér, coeff. di contingenza e test

# Attenzione: cor() su codifiche numeriche di categorie non è equivalente a φ in generale

Когато се интересувате, се сблъсквате групи неговата количествена променливост (es. reddito per professione), ако е валутно t-тест, ANOVA e le rispettive alternative non parametriche, no intervalli di confidenza. като цяло, кохерентност във вида на променливостта и метода това е основно.

Accordo tra valutatori: Kappa di Cohen

Когато due (или più) giudici класифицират no gli stessi oggetti в категория, не е достатъчно да се смеси процентът на съгласие, perché a quota può essere dovuta al случай, то Капа ди Коен определя количествено правилното съгласие за случайното съгласие: Оцених допълнително до 0, показвайки съгласието за всеки случай, оцених Маджори Суггерисконо нарастващо съгласие (интерпретации на общности: scarso, discreet, moderato, buono, molto buono).

В R è possibile stimare Kappa anche in версии с по-голяма тежест (по редни категории):

set.seed(1)
val1 <- sample(0:1, 10, replace = TRUE)
val2 <- sample(0:1, 10, replace = TRUE)

# Kappa non ponderato
fmsb::Kappa.test(val1, val2)

Ако категорията не е естествен ред (ad empio, lieve/moderata/severa), Kappa ponderato penalizza minor при несъгласие „vicini“ и più quelli „lontani“, което води до spesso più informative.

Relazioni e variabili di confusione: la correlazione parziale

Può capitare che due variabili X e Y sembrino molto correlate, but in realtà la strength dell'associazione sia dovuta a una променлива на объркване Z свързано с entrabe. Въпросът е, ако кликнете върху него частична корелация контролиране по X и Y по Z.

В R, с ggm::pcor si ottiene la correlazione parziale di primo ordine e si può testne la significatività. Полезно е да се сравнява класически r e r parziale per capire като Z “spiega” del legam grezzo.

library(ggm)
# Correlazione parziale tra GASLAZER e GASAUDE controllando GASTEDU
rp <- pcor(c("GASLAZER", "GASAUDE", "GASTEDU"), var(dati))

# Correlazione grezza
r  <- cor(dati$GASLAZER, dati$GASAUDE)

# Test della correlazione parziale (1 variabile di controllo)
pcor.test(rp, 1, length(dati$GASAUDE))

# Confronto R^2 grezzo vs parziale
data.frame("Senza_controllo" = r^2, "Con_controllo" = rp^2)

Ако квотата на spiegata „crollas“ dopo il controllo, сега Z беше важен конфедератКогато контролната променлива е категория (напр. професия), не мога да използвам подобни подходи или модели, които включват категорията като фактор.

Ограничение и добра практика при използването на корелацията

Смес от коефициенти на Пиърсън само линеарносттаАко връзката е нелинейна (квадратична, спонтанна, логаритмична), тя може да доведе до 0 pur при наличие на силна зависимост. В този случай, изчисли. копиеносец, трансформирайки го в нелинеен модел.

на външен човек Не мога да изкривя резултата. Поради тази причина, на първо място, е удобно да се провери графиката и, ако е необходимо, да се извърши подробен анализ или да се провери чувствителността на резултатите едновременно.

Друга класика: корелация ≠ причинно-следствена връзка. Поради променливостта не мога да съпоставя perché съня influenzate дава трета fattore, просто съвпадение или по ефект на обратен механизъм. Servono disegni sperimentali, instrumenti causali или modelli appropriati per parlare di causa-effetto.

Тип връзка: линейна, монотонна, нулева, категориална

Nei casi misti (количествен срещу dichotomica/nominale/ordinata) преминава тест за конфронтация между gruppi, correlazioni biseriali/point-biserial oa модели (примерна регресия с прогнозирани фактори). С вариабилност въвеждам категории, ci si affida a chi-quadro/Fisher e alle misure di force dell'associazione già viste.

Фунциони ядат специални взаимоотношения

а функция Това е връзка, която за всеки елемент от домейна свързва точно един елемент на кондоминиума. В крайна сметка, това е stottoinsieme di A×B приказка, която ogni a в A сравнява sole volta с първия компонент. Други важни операции в алгебрата, свързана със съня: Съюз (R1 ∪ R2), пресечка (R1 ∩ R2), състав (R2 ∘ R1) и обратен (R^{-1}, che scambia ciascuna coppia (a, b) в (b, a)).

тези концептуални матони торнано използва сиа нелла чиста математика (equivalenze, ordini, classi di equivalenza) sia in applicazioni бетонен гълъб обслужва formalizzare отношения fra entità.

Алгебра на взаимоотношенията и наука, която дадох

В света на базата данни, l'релационна алгебра Това е теоретичната структура на SQL: как да работим select, proiezione, join, unione и intersezione sono versioni pratiche di operazioni su relazioni-insiemi. Тази формализация е мощно оръжие за бързо описване, оптимизиране и манипулиране на нещата.

В контекст изкуствен интелект и машинно обучение, капацитетът за моделиране на взаимоотношения, за да се даде възможност за изграждане на графи на коносценция, системи за препоръчителство и конвейер на интеграция; Тази стойност е валидна в икономиката, биостатистиката и социалните науки, тя почти винаги е „chi е legato a chi и в режим che".

Класически примери за взаимовръзки в теорията на инсиеми

Връзки с еквивалентност: сънливи, симетрични и транзитивни. Примери, включително „имам тази стойност като решение“, са наистина реални или съществуват конгруенция по модул n Предложих вътрешно. Огни връзката на еквивалентност индуцира класове на еквивалентност che ripartiscono l'insieme in blocchi disgiunti.

Връзкиордина: riflessive, антисиметричен и преходен. Примери: ≤ sui naturali numeri, l'inclusione ⊆ sull'insieme delle parti P(X), или „divide“ (|) sui naturali. Основен сън по определение общи или частични поръчки и за всеки регион са неговите масими, миними, катенови и антивериги.

Ред лесикографски: това казах и аз. Това е ред в поредица (низ, число, записано в последователност), който сравнява елемент по елемент; В тази структура има важен шум и аз пренебрегвам алгоритмите.

Този раздел е полезен за разбирането, че „relazione“ в математиката е понятие più ampio della sole correlazione: включват uguaglianze, ordini, композиция и много други, всички незаменими за моделиране на система complessi.

Практически работен процес: контролирайте резултатите си

Възможно поток от работа така че да не го загубите, ако използвате инструмент и къде:

• Графична инспекция: точкова диаграма, изглаждане, истограми, QQ-графика. Occhio a outlier e forma nonlineari.
• Проверете: ако работи, тествайте нормалността; Controlli di omoscedasticità, ако е предвиден линеен модел.
• Избор на коефициента: Пиърсън (линеарно, около нормални данни), Спиърман/Кендал (монотона/ненормално/пиколи кампиони).
• Категоричен: chi-quadro/Fisher + misure d'associazione (V di Cramér, coeff. di contingenza, φ). За групово сравнение, t-тест/ANOVA или алтернатива.
• Конфунденти: correlate parziale или многовариантен модел (включително категория fattori).

Колкото и да е скрито, тълкувания в контекст Това е chiave: grandezza dell'effetto, significative statistica, ampiezza del campione e qualità dei dati contano como (ако не più) del numero finale.

Примери от код R за преразглеждане

Риасумендо алкуне чиамате утили което го прави по-точен при анализа на връзката между променливите и което може да се адаптира към вашия набор от данни:

# 1) Correlazioni
cor(x, y, method = "pearson")
cor.test(x, y, method = "spearman")
cor.test(x_small, y_small, method = "kendall")

# 2) Grafici (base e ggplot2)
plot(x, y)
# ggplot2: geom_point() + geom_smooth(method = "lm" o se = FALSE)

# 3) Normalità
shapiro.test(x)
nortest::ad.test(x)

# 4) Tabelle e test
xtabs(~ a + b, data = dati) -> tab
chisq.test(tab)
fisher.test(tab)  # campioni piccoli o celle con attesi < 5
vcd::assocstats(tab)  # V di Cramér e coeff. di contingenza

# 5) Kappa
afmsb::Kappa.test(giudice1, giudice2)

# 6) Correlazione parziale
ggm::pcor(c("x", "y", "z"), var(dati))

Практическа бележкаСтрува си да се валидира хипотезата, да се сравни методът и, когато работи, да се изгради пиколо скрипт за бързо и надеждно диагностициране на въпроса.

Abbiamo вижда, че „relazione” може да означава по-често, отколкото не: линейната форма с Pearson, монотонността със Spearman/Kendall, тънката all'асоциация в категорията с chi-quadro/Fisher и misure с V di Cramér и φ; senza dimenticare споразумението между giudici (Kappa) и ръководството, което дадох confondenti с parziale корелация. Следователно релационната алгебра fornisce i mattoni concettuali per definee dominio, inversa e composizione, mentre релационната алгебра ръководи режима, в който архивирам и проверявам и давам неi база данни. Идеята chiave е scegliere lo strumento in base al type di variabili, alla forma del legam e agli obiettivi dell'analisi, ricordandoci che nessun coefficiente, da solo, può raccontare tutta la storia.