Kurs:Maschinelles Lernen/Lineare Regression in einer Dimension

Vorherige Seite: K1 - Hypothesen aus Daten Ableiten
Nächste Seite : K2 - Lineare Regression in d Dimension

Für die Regression in einer Dimension ist $X=Y=\mathbb {R}$ gültig, Es wird zunächst davon ausgegangen, dass ein linearer Zusammenhang vorliegt, der das Aufstellen der Hypothese

$h_{\vec {w}}(x)=w_{0}+w_{1}x$

erlaubt. Damit wird als Hypothesenraum der Raum der linearen Funktionen $H_{\mathrm {lin} }$ betrachtet, der isomorph zu $\mathbb {R} ^{2}$ ist. Das empirische Risiko wird bei Regressionen durch

${\hat {R}}={\frac {1}{N}}\sum _{i=1}^{N}(h_{\vec {w}}(x_{i})-y_{i})^{2}={\frac {1}{N}}\sum _{i=1}^{N}(w_{0}+w_{1}x_{i}-y_{i})^{2}$

bestimmt und soll minimiert werden. Dies bedeutet, dass die Ableitungen von ${\hat {R}}$ nach $w_{0}$ bzw. $w_{1}$ verschwinden müssen. Durch das Lösen der Gleichungen können die idealen Parameter $w_{0}$ und $w_{1}$ bestimmt werden. Zu diesem Zweck bietet es sich an, einige statistische Größen zu definieren:

• Der Mittelwert eines Satzes von $N$ Werten $f_{i}$ einer Größe $f$ ist durch $\langle f\rangle ={\frac {1}{N}}\sum _{i=1}^{N}f_{i}$ definiert.
• Die Varianz gibt die Streuung um den Mittelwert an und kann durch $\sigma ^{2}(f)={\frac {1}{N}}\sum _{i=1}^{N}(f_{i}-\langle f\rangle )^{2}$ gefunden werden.
• Liegen Werte zweier Größen $f$ und $g$ vor, so kann die Kovarianz $s(f,g)={\frac {1}{N}}\sum _{i=1}^{N}(f_{i}-\langle f\rangle )(g_{i}-\langle g\rangle )$ definiert werden. Aus ihr wird häufig auch die Korrelation $\rho (f,g)={\frac {s(f,g)}{\sigma ^{2}(f)\sigma ^{2}(g)}}$ definiert. Im Fall $\rho =0$ wird von (linear) unkorrellierten Daten gesprochen, d.h. es besteht kein linearer Zusammenhang zwischen den Größen $f$ und $g$. Nimmt $\rho$ positive bzw. negative Werte an, so wird von positiver bzw. negativer Korellation gesprochen. Das bedeutet, dass eine Größe steigt, während die andere steigt bzw. fällt.

Mit diesen Begriffen, lassen sich die idealen Gewichte

$w_{1}={\frac {s(x,y)}{s(x,x)}}\quad \quad w_{0}=\langle y\rangle -{\frac {s(x,y)}{s(x,x)}}\langle x\rangle$

bestimmen.

Aufgabe

Betrachte den Datensatz der folgenden Tabelle, der aus einer linearen Funktion mit Steigung $0{,}5$ und $y$-Achsenabschnitt $1$ mit einem gleichverteilten Rauschen der Amplitude $\pm 0{,}125$

Daten

$x$	$y$
$1{,}03$	$1{,}55$
$1{,}61$	$1{,}90$
$1{,}79$	$2{,}00$
$2{,}52$	$2{,}34$
$2{,}89$	$2{,}43$

Bestimme die Größen $\langle x\rangle$, $\langle y\rangle$, $\langle x^{2}\rangle$, $\langle x\cdot y\rangle$, $s(x,x)$, $s(x,y)$, $w_{0}$ und $w_{1}$ bis auf zwei Nachkommastellen genau.

Lösungen