W dzisiejszym świecie Kompromis między obciążeniem a wariancją stał się tematem coraz większego zainteresowania dużej liczby osób. Niezależnie od tego, czy ze względu na swój wpływ na społeczeństwo, znaczenie w historii, wpływ na kulturę popularną czy znaczenie w nauce, Kompromis między obciążeniem a wariancją przykuł uwagę szerokiego spektrum populacji. W tym artykule zbadamy różne aspekty związane z Kompromis między obciążeniem a wariancją, od jego początków po dzisiejszą ewolucję, aby zapewnić pełną i wzbogacającą wizję tego tematu. Poprzez analizę, dane i odpowiednie zeznania ma na celu rzucić światło na Kompromis między obciążeniem a wariancją i jego znaczenie w różnych kontekstach, dając czytelnikom głębszą i bardziej wnikliwą perspektywę na tę kwestię.
Kompromis między obciążeniem a wariancją (in. przetarg, dylemat, ang. bias-variance tradeoff) – problem leżący u podstaw modelowania w statystyce i uczeniu maszynowym, który polega na sprzeczności między redukcją obciążenia i wariancji estymatorów statystycznych. Do wysokiego błędu modelu poza próbą treningową może prowadzić zarówno jego nadmierne uproszczenie (wysokie obciążenie), jak i nadmiernie szczegółowa wrażliwość (wysoka wariancja). Choć obciążenie jest z zasady niepożądane, niepożądana jest także wariancja estymatora. Estymator o najmniejszym obciążeniu nie musi być w praktyce najlepszym narzędziem wobec badanego problemu, co obrazuje np. paradoks Steina.
Choć przykłady tego zjawiska były znane już wcześniej, jego konceptualizację jako „kompromis” wprowadzili do nauki S. Geman, E. Bienenstock i R. Doursat w 1992 r., w publikacji dotyczącej błędu uczenia sieci neuronowych.
Dekompozycja błędu na obciążenie i wariancję modelu
Funkcja oczekiwanego błędu średniokwadratowego estymatora poddaje się matematycznej dekompozycji na sumę trzech komponentów: obciążenia i wariancji modelu, oraz błędu nieredukowalnego –, tj. wariancji charakteryzującej pomiary, a nie model statystyczny.
Przy notacji, w której prawdziwa funkcja jej obserwacja z błędem losowym oraz estymator
gdzie obciążenie estymatora to:
a jego wariancja:
Złożoność modelu
Obciążenie i wariancja modelu są funkcją jego złożoności, której zgeneralizowaną miarą może być efektywna liczba parametrów (in. efektywna liczba stopni swobody) Dla modelu liniowego w którym to macierz o wymiarach N × N, efektywna liczba parametrów jest zdefiniowana jako ślad tej macierzy, W mierze tej regresja z regularyzacją ma mniejszą efektywną liczbę parametrów (efektywną liczbę stopni swobody) niż zwykła regresja. Model o wysokiej efektywnej liczbie parametrów cechuje się większą wariancją i niższym obciążeniem – i vice versa. Miara ten pozwala zoptymalizować złożoność modelu np. przy pomocy kryterium informacyjnego Akaike (AIC) lub bayesowskiego kryterium informacyjnego Schwarza (BIC).
Wyprowadzenie dla błędu średniokwadratowego w modelu liniowym
Kompromis między obciążeniem a wariancją przedstawia konceptualizację podstawowego problemu statystyki i uczenia maszynowego jakim jest wybór modelu o optymalnej efektywności. Techniki pozwalające poradzić sobie z kompromisem to m.in. regularyzacja, sprawdzian krzyżowy, optymalizacja kryteriów informacyjnych takich jak AIC czy BIC, oraz bagging (bootstrap) i metody zespołowe.
Przypisy
↑ abc7. Model Assessment and Selection, TrevorT.HastieTrevorT., RobertR.TibshiraniRobertR., JeromeJ.FriedmanJeromeJ., The elements of statistical learning: data mining, inference, and prediction, Second edition, New York, ISBN 978-0-387-84857-0, OCLC300478243.brak strony (książka)
↑GerdG.GigerenzerGerdG., HenryH.BrightonHenryH., Homo Heuristicus: Why Biased Minds Make Better Inferences, „Topics in Cognitive Science”, 1 (1), 2009, s. 107–143, DOI: 10.1111/j.1756-8765.2008.01006.x(ang.).