Zum Inhalt springen

Kurs:Mehrdimensionale lineare Regression

Aus Wikiversity

Mehrdimensionale lineare Regression

[Bearbeiten]

Im Unterschied zu dem eindimensionalen Fall für x∈ℝ und y∈ℝ bei der unten veranschaulichten lineare Regression beschreibt eine mehrdimensionalen lineare Regressionsanalyse einen linearen Zusammenhang f:ℝn→ℝm zwischen einem unabhängigen Vektor x∈ℝn und einem davon abhängigen Vektor y∈ℝm.

Gliederung

[Bearbeiten]

Das Vorgehen in dieser Lernressource umfasst folgende Schritte:

Lineare Regression - eindimensionaler Definitions und Wertebereich

[Bearbeiten]

Lineare Regression - eindimensionaler Definitions und Wertebereich


Animation - Multiple lineare Regression

[Bearbeiten]

Regressionsebene, die sich an eine „Punktwolke“ im dreidimensionalen Raum anpasst (Fall Dimension Graph ℝ3)

Ziel der linearen Regression

[Bearbeiten]

Für die Abbildung f(x)=A⋅x+b∈ℝm und Daten 𝔻:={(x(1),y(1)),…,(x(m),y(m))} sucht man eine geeignete Matrix A∈Mat(m×n,ℝ) und einem Vektor b∈ℝm, sodass der aggregierte quadratische Fehler E(A,x𝔻,y𝔻) über alle Daten aus 𝔻 möglichst klein wird.

E(A,x𝔻,y𝔻):=∑k=1d‖f(x(k))−y(k)‖2 minimal

Mehrdimensionale Fehlerfunktion

[Bearbeiten]

Die Fehlerfunktion für die aggregierten quadratischen Fehler in normierten Räumen wird wie folgt definiert:

E(A,x𝔻,y𝔻):=∑k=1m‖f(x(k))−y(k)‖2.

Dabei beschreibt ‖f(x(k))−y(k)‖ die Länge des Fehlervektors.

Datenvektoren in den Einzelfehlern

[Bearbeiten]

Der Einzelfehler von einem Datum hängt von den Vektoren x(k)∈ℝn und y(k)∈ℝm ab mit:

x𝔻:=(x(1),…,x(d))y𝔻:=(y(1),…,y(d))

Mit ‖f(x(k))−y(k)‖ kann man den euklischen Abstand zwischen einem Sollvektor y(k)∈ℝm aus den Daten 𝔻 und einem durch f approximierten Vektor f(x(k))∈ℝm messen.

Bemerkung - Fehler

[Bearbeiten]

Dabei ist ‖⋅‖:ℝm→ℝo+ eine Norm auf dem Wertebereich ℝm der Funktion f:ℝn→ℝm.

3D-Visualisierung - Multiple lineare Regression

[Bearbeiten]

Wählt man Datenpunkte (x,y) mit x=(x1,x2)∈ℝ2 als unabhängige Variablen und einer eindimensionalen abhängigen Variablen y1∈ℝ, so ist der Graph der affinen Abbildung f:ℝ2→ℝ eine Ebenen im dreidimensionalen Raum ℝ3=ℝ2×ℝ, in der man die Datenpunkten die Form (x1,x2,y1)∈ℝ3 den den Graphen der affinen Abbildung noch darstellen kann.

Aufgabe - Graph der Regression als Gerade

[Bearbeiten]

Betrachten Sie nun einen eindimensionalen Definitionsbereich und einen zweidimensionalen Werterbereich mit Datenpunkte (x,y1,y2), die entlang einer Gerade im dreidimensionalen Raum angeordnet sind. Wie kann man die lineare Abbildung durch zwei standardmäßige lineare Regressionen berechnen?

Ziel der linearen Regression - Komponentenfunktionen

[Bearbeiten]

Ist der Wertebereich der linearen Abbildung fa:ℝn×ℝ mit fa(x)=⟨a,x⟩∈ℝ eindimensional, sucht man zu den Datenpunkten (x(k),y(k))∈ℝn×ℝ mit

𝔻:={(x(1),y(1),…,(x(m),y(m))}

einen geeigneten Vektor a∈ℝn, sodass der aggregierte quadratische Fehler E(A,x𝔻,y𝔻) über alle Daten aus 𝔻 möglichst klein wird.

E(a,x𝔻,y𝔻):=∑k=1m|f(x(k))−y(k)|2 minimal


Fehler für Datenpunkte

[Bearbeiten]

Für einen einzelnen Datenpunkt (x,y)=(x1,…,xn,y)∈ℝn+1 kann man mit fa(x)=⟨a,x⟩ jeweils den Fehler wie folgt angeben:

e(a,x,y):=fa(x)−y=⟨a,x⟩−y

Definition der Fehlerfunktion

[Bearbeiten]

Nun kann man die Fehlerfunktion e definieren:

e:ℝn×ℝn×ℝ→ℝ(a,x,y)↦e(a,x,y)=⟨a,x⟩−y

Implemenation der Fehlerfunktion in R

[Bearbeiten]

In der folgenden Implementation bezeichnet der Buchstabde p immer Variablen, die als Parameter der Funktion übergeben werden.

   e_LR <- function (pa,px,py) {
    ## pa : Vektor - n-dimensional a
    ## px : Vektor - n-dimensional x
    ## py : Zahl - Messwert y
    return <-  sum(pa * px) - py 
    ## Rückgabewert: Fehler für (pa,px,py) 
    return
  }

Bemerkung - Skalarprodukt

[Bearbeiten]

Das folgende Codefragement berechnet das Skalarprodukt ⟨a,v⟩ von zwei Vektor a,v∈ℝn

sum(pa * px)

Aufruf der Fehlerfunktion in R

[Bearbeiten]

Mit der obigen Definition steht nun die Funktion zur Verfügung und man kann den Fehler für gegebene Vektoren a,x∈ℝn und dem Messwert y∈ℝ berechnen.

  ## Aufruf der Funktion für den Vektor x
  a <- c(1,3,4)
  x <- c(4,2,1)
  sum(a*x) ## Ergebnis <a,x> = 14
  y <- 14.4
  e_LR(a,x,y) ## Ergebnis -0,4

Quadratische Fehler für Datenpunkte

[Bearbeiten]

Der quadratische Fehler ergibt aus dem Quadrat der euklidischen Länge (Norm) des Fehlervektors e mit

‖e‖2:=‖f(x)−y‖2=‖(−11)‖2=(−1)2+12=2

Dabei ist die euklidische Norm wie folgt definiert:

‖y‖:=‖(y1⋮ym)‖=∑k=0myk2

Implementation - Quadratischer Fehler in R

[Bearbeiten]

Die Norm ist in R bereits definiert und kann wie folgt berechnet werden.

e <- c(3, 4) ## Fehlervektor mit zwei Komponenten
norm(e,"2")  ## liefert als Länge von e den Wert 5=sqrt(3^2+4^4)=sqrt(25)

Normquadrat - Summe der Komponentenquadrate

[Bearbeiten]

Da die Norm im obigen Beispiel quadriert wird, ist der absolute (quadratische) Fehler allgemein die Summe der Quadrate, d.h

‖y‖2:=‖(y1⋮ym)‖2=∑k=0myk2

Implementation des quadratischen Fehlers in R

[Bearbeiten]

Damit lässt der quadratische Fehler wie folgt berechnen:

error2 <- function (px) {
   return <- sum(px^2)
   ## Rückgabewert: quaderror - quadratischer Fehler
   return
}

## quadratischen Fehler berechnen von v 
v <- c(3,4)
error2(v)   ## liefert den Wert 25 als quadratischen Fehler

## quadratischen Fehler der affinen Abbildung f
e <- f(x) - y
error2(e)

Bemerkung - Dimension des Vektors als Parameter px

[Bearbeiten]

Die Funktion error2(px) erlaubt das einsetzen von Spaltenvektoren error2(v) mit beliebiger Anzahl von numerischen Komponenten.

Gradientenabstiegsverfahren und Fehlerfunktion

[Bearbeiten]

Ziel des Optimierungsproblems ist es, den Fehler bei mehrdimensionalen linearen Regression zu minimieren. In dem folgende Abschnitt wird das über das Gradientenabstiegsverfahren umgesetzt.

Bemerkung - Aggregation der absoluten Fehler über alle Daten

[Bearbeiten]

Bei der Berechnung des Gesamtfehlers über alle Daten macht es Sinn, dass man nicht die absoluten Fehler aufsummiert (da diese mit einem Vorzeichen) versehen sind, sondern Werte als Abweichung von den Daten aufsummiert, die nicht negativ sind. Der Betrag des absoluten Fehlers ist allerdings das Gradientenabstiegsverfahren ungeeignet, da die Betragsfunktion nicht differzierbar ist. Daher verwendet man für die Minimierung Fehlerquadrate.

Partielle Ableitungen des quadratischen Fehlers 1

[Bearbeiten]

Für ein lineares Funktional fa:ℝn→ℝ und einem einzelnen Datenpunkt (x,y)=(x1,…,xn,y)∈ℝn+1 kann man mit fa(x)=⟨a,x⟩ ergibt sich der quadratische Fehler wie folgt:

e(a,x,y)2=(fa(x)−y)2=(⟨a,x⟩−y)2

Partielle Ableitungen des quadratischen Fehlers 2

[Bearbeiten]

Für den Gradienten Grada(e2) bzgl. der unbekannten Koeffizienten aus a=(a1,…,an)∈ℝn benötigt man die partiellen Ableitungen ∂e2∂ak(a,x,y) der Fehlerquadrate. Mit der Kettenregel ergibt sich für diese partielle Ableitung mit k∈{1,…,n} wie folgt:

∂e2∂ak(a,x,y)=2⋅(fa(x)−y)⋅xk

wobei xk die innere Ableitung von ⟨a,x⟩−y=(∑i=1nai⋅xi)−y nach ak ist.

Gradient des quadratischen Fehlers 1

[Bearbeiten]

Der Gradient Grada(e2) des quadratischen Fehlers ergibt sich aus den partiellen Ableitungen bzgl. der Argumente a=(a1,…,an). Die weiteren Argumente x und y des quadratischen Fehlers e2 werden durch die Trainingsdaten belegt. Da die Definition des Gradienten i.d.R. auf alle Argumente der Funktion bezieht, wird hier in der Definition Grada(e2) statt Grad⁡(e2) verwendet.

Gradient des quadratischen Fehlers 2

[Bearbeiten]

Der Gradient Grada(e2) des quadratischen Fehlers für einen einzelnen Datenpunkt (x,y)=(x1,…,xn,y)∈ℝn+1 ergibt sich damit wie folgt.

Grada(e2)(a,x,y)=(∂e2∂a1(a,x,y),…,∂e2∂an(a,x,y))=(2⋅(fa(x)−y)⋅x1,…,2⋅(fa(x)−y)⋅xk)=2⋅(fa(x)−y)⋅(x1,…,xk)=2⋅(fa(x)−y)⋅x

CAS4Wiki - Partielle Ableitungen

[Bearbeiten]

Mit CAS4Wiki können Sie die obigen Ableitung berechnen, siehe z.B. partielle Ableitungen

Gesamtfehler des mehrdimensionalen Regression

[Bearbeiten]

Für die Berechnung des Gesamtfehlers der muss man die quadratischen Fehler über alle Datenpunkte aggregrien. Die Daten 𝔻 für die mehrdimensionale lineare Regression bestehen aus Datenpunkten der Form (x(i),y(i))∈ℝn×ℝm:

𝔻:={(x(i),y(i))∈ℝn×ℝm : i∈{1,…,d}}

Wertebereich - eindimensional

[Bearbeiten]

Im Folgenden verwendet man Daten mit einen eindimensionalen Wertebereich und einer linearen Funktion fa:ℝn→ℝ. Daher liegen die Daten in folgender Form vor.

𝔻:={(x(i),y(i))∈ℝn×ℝ : i∈{1,…,d}}

Berechnung des Gesamtfehlers

[Bearbeiten]

Für die Berechnung des Gesamtfehlers E(a,𝔻) werden die quadratischen Fehler für einzelne Datenpunkte (x(i),y(i))∈𝔻 aufsummiert mit x𝔻:=(x(1),…,x(d)) und y𝔻:=(y(1),…,y(d)).

E(a,x𝔻,y𝔻):=∑i=1de(a,x(i),y(i))2=∑i=1d(⟨a,x(i)⟩−y(i))2

Datenbeispiel

[Bearbeiten]

Mehrdimensionale lineare Regression soll als Optimierungsproblem für folgende lineare Abbildung fa mit a=(a1,a2,a3)∈ℝ3 und x=(x1,x2,x3)∈ℝ3 durchgeführt werden.

fa(x)=⟨a,x⟩=∑k=13ak⋅xk

Daten in R in einer CSV-Tabelle

[Bearbeiten]

Mit der obigen Dimension von Definitionsbereich und Wertebereich der lineare Abbildung fa:ℝ3→ℝ haben die tabellarischen Trainingdaten die folgenden Gestalt in einer Datei multilinreg1.csv[1]

"x1" , "x2" , "x3" , "y"
1  , 2  , 3  , 16.05071 
2  , 3  , 1  , 22.06779 
7  , 0  , 4  , 24.96846
7  , 6  , 5  , 56.06086

Laden der Daten in R aus einer CSV-Tabelle

[Bearbeiten]

Speichen Sie zunächst die obige Beispieldatei multlinreg1.csv[1] in Ihr Verzeichnis mit dem KnitR-Dokument. Das Laden von Dateien in R und KnitR kann bzgl. der obigen Beispieldatei[1] wie folgt geschehen:

  data <- read.csv("multlinreg1.csv", header=TRUE, stringsAsFactors=FALSE)

Selektieren der Daten für x- und y-Werte

[Bearbeiten]

Eine Tabelle enthält ggf. mehr Spalten als die elementare oben genannte Demodatei multlinreg1.csv[1]. Daher muss man zunächst in R die relevanten Datenspalten für die x- und y-Werte der linearen Regression selektieren.

  data <- read.csv("multlinreg1.csv", header=TRUE, stringsAsFactors=FALSE)
  ## Spalten extrahieren für x_D
  x1 <- data[,1]
  x2 <- data[,2]
  x3 <- data[,3]
  ## Spalten extrahieren für y_D
  y1 <- data[,4] 
  ## Dataframes für die Fehlerfunktion
  x_D <- data.frame(x1,x2,x3)
  y_D <- data.frame(y1)

Implementation die quadratische Fehlerfunktion

[Bearbeiten]

Für die Implementation des Gesamtfehlers ELR(a,x𝔻,y𝔻) in R verwendet man die geladenen Daten in data. Die Datenpunkte (x(i),y(i))∈𝔻 liegen als Zeilen in der CSV-Datei vor.

  E_LR <- function (pa,px_D,py_D) {
    ## px_D : Dataframe - Liste von x-Vektoren   
    ## py_D : Dataframe - Liste von y-Werten
    ## pa : darstellender Vektor von f_a
    
    ## Fehler pro Datenpunkt 
    datenanzahl <- nrow(px_D)
    fehler <- 0
    ## Fehler für alle Datenpunkte berechnen 
    for (i in 1:datenanzahl) {
      ## quadratische Einfehler mit Funktion e 
      fehler <- fehler + (sum(pa*px_D[i, ]) - py_D[i, ])^2
    } 
    ## Rückgabewert als aufsummierte Einzelfehler setzen
    ## Rückgabewert: fehler  Gesamtfehler quadratisch
    return(fehler)
  }

Bemerkung - Implementation Fehlerfunktion

[Bearbeiten]

Die obige Funktion E in R berechnet die nachstehende Summe mit einer for-Schleife über die quadratischen Einzelfehler.

ELR(a,x𝔻,y𝔻):=∑i=1d(⟨a,x(i)⟩⏟𝚜𝚞𝚖(𝚊∗𝚡𝙳[𝚒])−y(i))2⏟=eD[i]

Auswertung der quadratischen Gesamtfehlers

[Bearbeiten]

Bezogen auf die Beispieldaten[1] in 𝔻 kann nun den Fehler für unterschiedliche darstellende Vektoren a∈ℝ3 berechnen.

  a <- c(2,3,2)
  E_LR(a,x_D,y_D) ## Ergebnis 260.6786

  a <- c(3,5,2)
  E_LR(a,x_D,y_D) ## Ergebnis 50.21575

Die zweite Setzung des darstellende Vektors a für die Funktion fa(x)=⟨a,x⟩ eine kleineren Fehler.

Gradientenabstieg

[Bearbeiten]

Beim Gradientenabstieg wird bei der aktuellen Position der Gradient der Fehlerfunktion berechnet und der aktuelle Vektor a(t)∈ℝ3 in Richtung des negativen Gradient zu a(t+1)∈ℝ3 verändert, um den Gesamtfehler zu verkleinern.

Gradient des Gesamtfehlers

[Bearbeiten]

Mit der Anwendung der Summenregel für den Gradienten einer Summe man den Gradienten des Gesamtfehlers wie folgt berechnen.

Grada(ELR)(a,x𝔻,y𝔻)=∑k=1dGrada(eLR2)(a,x(i),y(i))=∑k=1d2⋅(fa(x(i))−y(i))⋅x(i)⏟=Grada(e2)(a,x(i),y(i))=2⋅∑k=1d(fa(x(i))−y(i))⋅x(i)

Gradienten für den Gesamtfehlers - Komponentenfunktion

[Bearbeiten]

Für die Implementation des Gesamtfehlers ELR(a,x𝔻,y𝔻) in R für eine Komponentenfunktion verwendet man die geladenen Daten in x_D und y_D. Die Datenpunkte (x(i),y(i))∈𝔻 liegen als Zeilen in der CSV-Datei vor.

  GradE_LR <- function (pa,px_D,py_D) {
    ## px_D : Dataframe - Liste von x-Vektoren   
    ## py_D : Dataframe - Liste von y-Werten
    ## pa : darstellender Vektor von f_a
    
    ## Fehler pro Datenpunkt 
    datenanzahl <- nrow(px_D)
    grad <- rep(0,length(pa)) 
    ## Fehler für alle Datenpunkte berechnen 
    for (i in 1:datenanzahl) {
      ## quadratische Einfehler mit Funktion e 
      grad <- grad + (sum(pa*px_D[i, ]) - py_D[i, ]) * px_D[i, ]
    } 
    ## Rückgabewert: grad - Gradient des Gesamtfehler E_MLR
    return(grad)
  }

MLR-Gesamtfehlerfunktion

[Bearbeiten]

Die Gesamtfehlerfunktion EMLR aggregiert alle Fehler ELR für die Komponentenfunktionen mit eindimensionalem Wertebereich ℝ. Der Fehler wird in EMLR für einen Matrix A berechnet, während ELR den Fehler jeweils für einen Zeilenvektor aus der Matrix A berechnet.

E_MLR <- function (pA,px_D,py_D) {
    ## pA : Matrix A, für die der Fehler berechnet wurde
    ## px_D : Dataframe - Liste von x-Vektoren   
    ## py_D : Dataframe - Liste von y-Werten
    
    ## cols4y: Spalten y = Anzahl der Komponentenfunktionen
    cols4y <- ncols(py_D) ## Anzahl der Spalten von y_D
    fehler <- 0 
    ## Fehler für alle y-Spalten 
    for (i in 1:cols4y) {
      ## Fehler für Komponentenfunktion f_a berechnen
      a <- pA[i, ] 
      y1_D <- py_D[ ,i]
      fehler <- fehler + E_LR(a,px_D,y1_D) 
     } 
    ## Rückgabewert: fehler  quadratisch
    return(fehler)
 }

Gradient der MLR-Gesamtfehlerfunktion

[Bearbeiten]

Auch für die Gesamtfehlerfunktion EMLR benötigt man den Gradienten. Da sich der Gesamtfehler EMLR aus den Komponentenfunktionsfehlern ELR additiv zusammensetzt, kann man mit Ableitungsregeln den Gradienten über die Gradienten von ELR berechnen.

GradE_MLR <- function (pA,px_D,py_D) {
    ## pA : Matrix A, für die der Fehler berechnet wurde
    ## px_D : Dataframe - Liste von x-Vektoren   
    ## py_D : Dataframe - Liste von y-Werten
    
    ## cols4y Anzahl der Komponentenfunktionen 
    ##        enspricht der Spaltenanzahl von py_D
    cols4y <- ncols(py_D) 
    grad <- rep(0,cols4y) 
    ## Fehler für alle y-Spalten 
    for (i in 1:cols4y) {
      ## Gradient für alle Komponentenfunktion von E_LR addieren
      a <- pA[i, ] 
      y1_D <- py_D[ ,i]
      grad <- grad + GradE_LR(a,px_D,y1_D) 
     } 
    ## Rückgabewert: grad Gradient von E_MLR
    return(grad)
 }

Siehe auch iterative Umsetzung in der mehrdimensionalen linearen Regression in R[2].

Quellennachweise

[Bearbeiten]
  1. ↑ a b c d e Bert Niehaus (2024) GitHub-Repository KnitR for Education https://github.com/niebert/knitr4education für eine Wikiversity-Lernressource - Datei: multilinreg1.csv
  2. ↑ Bert Niehaus (2025) GitHub-Repository KnitR for Education https://github.com/niebert/knitr4education für eine Wikiversity-Lernressource - Datei: demo_10_mehrdim_lineare_regression_gradientenabstieg.Rmd

Siehe auch

[Bearbeiten]

Seiteninformation

[Bearbeiten]

Diese Lernresource können Sie als Wiki2Reveal-Foliensatz darstellen.

Wiki2Reveal

[Bearbeiten]

Dieser Wiki2Reveal Foliensatz wurde für den Lerneinheit Kurs:Maschinelles Lernen' erstellt der Link für die Wiki2Reveal-Folien wurde mit dem Wiki2Reveal-Linkgenerator erstellt.