Maschinelles Lernen/Koaktivitätsmatrix

Einleitung

Diese Seite zum Thema Maschinelles Lernen/Koaktivitätsmatrix kann als Wiki2Reveal Folien angezeigt werden. Einzelne Abschnitte werden als Folien betrachtet und Änderungen an den Folien wirken sich sofort auf den Inhalt der Folien aus. Dabei werden die folgenden Teilaspekte im Detail behandelt:

(1) Neuronschichten für die Ein- und Ausgabe
(2) Koaktivität von zwei Neuronen in der Eingabe- und Ausgabeschicht durch eine Matrix beschreiben.

Zielsetzung

Diese Lernressource zum Thema Koaktivitätsmatrix hat das Ziel, die algebraische Beschreibung der Koaktivität von zwei Neuronen in einem Neuronalen Netz über Matrizen darzustellen (siehe Hebbsche Lernregel^[1]). Die Spaltenanzahl der Matrix gibt die Anzahl der Neuronen in der Eingabeschicht an und die Zeilenanzahl die Anzahl der Neuronen in der Ausgabeschicht.

Zusammenhang - Hebbsche Lernregel

Die Koaktivitätsmatrix spielt eine Rolle für die mathematische Beschreibung der Hebbschen Lernregel, bei der die Verbindung von gleichzeitig aktiven (koaktiven) Neuronverbindungen (Synapsen) verstärkt wird.

Zielgruppe

Die Zielgruppen der Lernressource zum Thema Maschinelles Lernen/Koaktivitätsmatrix sind

Studierende im Fach Mathematik und Informatik
Schüler:innen, die das Thema des Maschinellen Lernens interdisziplinär in der Oberstufe behandeln.

Aufgaben für Lernende / Studierende

Mit den folgenden Aufgaben zum Thema Maschinelles Lernen/Koaktivitätsmatrix werden.

Gegeben ist eine $4\times 3$ -Matrix $K\in Mat(4\times 3,\{0,1\})$ , die als Werte in den Matrixkomponenten nur die Werte 0 und 1 enthalten kann.
Setzen Sie die Matrixkomponenten $k_{(i,j)}$ der Matrix $K:=(k_{(i,j)})_{i\in \{1,...,3\},j\in \{1,...,4\}}$ auf 1, wenn das $j-$ te Eingabeneuron und das $i-$ te Ausgabeneuron zeitgleich aktiv sind. Betrachten Sie die folgenden Berechnungen und erläutern Sie, wie die Matrix $K$ durch Matrixmultiplikation von zwei Einheitsvektoren erzeugt werden kann.

Matrixmultiplikation

Man verwendet eine Standardmatrixmultiplikation $A\cdot B=C$ um die Koaktivitätsmatrix aus Spaltenvektoren zu erzeugen. Im folgenden Beispiel ist die Matrix $A\in Mat(2\times 3,\mathbb {R} )$ gegeben ist. Dabei berechnet $A\cdot B=C$ das Matrixprodukt mit der Matrix $B\in Mat(3\times 1,\mathbb {R} )$ . Die resultierende Matrix $C$ ist in diesem Beispiel also eine $K\in Mat(2\times 1,\mathbb {R} )$ (siehe auch Definition der Matrixmultiplikation).

Matrixmultiplikation in R

Die Matrixmultiplikation in R erfolgt mit:

    A <- matrix(c(1,2,3,4,5,6), ncol=3)
    B <- matrix(c(4,2,1), nrow=3)
    C = A %*% B

Siehe auch Formelsammlung für das Computeralgebrasystem Maxima

Dimensionen der resultierenden Matrix

Im Allgemeinen ergibt sich aus der Multiplikation eine $m\times n$ -Matrix $A$ und einer $n\times k$ -Matrix $M$ als Produkt eine resultierende $m\times k$ -Matrix $C$ . In dem obigen Beispiel der Multiplikation in R müssen die Spaltenzahl von $A$ ncol=3 mit der Zeilenzahl von $B$ nrow=3 übereinstimmen.

Darstellung in mathematischer Notation

In diesem Beispiel wird im ersten Befehl ein Spaltenvektor c(1,2,3,4,5,6) in eine Matrix mit 3 Spalten konvertiert (ncol=3 number of columns 3), die dann als Matrix $A$ zwei Zeilen besitzt.

A\cdot B={\begin{pmatrix}1&3&5\\2&4&6\end{pmatrix}}\cdot {\begin{pmatrix}4\\2\\1\\\end{pmatrix}}={\begin{pmatrix}15\\22\\\end{pmatrix}}=C

Erzeugen der Koaktivitätsmatrix

Die Koaktivitätsmatrix kann man durch Matrixmultiplikation aus zwei assoziierten Vektoren erzeugen. Dabei wird mit einem Trainingsvektor $(x^{(k)},y^{(k)})\in \mathbb {R} ^{m}\times \mathbb {R} ^{n}$ der Spaltenvektor $y^{(k)}\mathbb {R} ^{m}$ von links mit dem Zeilenvektor ${x^{(k)}}^{\top }\in \mathbb {R} ^{n}$ multipliziert und es entsteht die Koaktivitätsmatrix $K^{(k)}$ als $m\times n$ -Matrix.

K^{(k)}:=y^{(k)}\cdot x^{(k)^{\top }}={\begin{pmatrix}1\\0\\\end{pmatrix}}\cdot {\begin{pmatrix}0&0&1\\\end{pmatrix}}={\begin{pmatrix}0&0&1\\0&0&0\\\end{pmatrix}}

Koaktivität in R als 2x3-Matrix

Der folgende Code zeigt eine Berechnung einer $2\times 3$ -Koaktivitätsmatrix in GNU R.

koaktivitaetsmatrix2x3 <- function (px1,px2,px3,py1,py2) {
  vecx <- c(px1,px2,px3)
  vecy <- c(py1,py2);
  mat <- matrix(vecy , ncol=1) %*% matrix(vecx,ncol=3) 
  
  # return Kooktivitaetsmatrix mat als Rueckgabewert
  mat
}

Aufruf der 2x3-Matrixerzeugung

Mit der obigen Definition der Funktion der Erzeugung eine Koaktivitätsmatrix kann man aus einem Vektor $x=(x_{1},x_{2},x_{3})\in \mathbb {R} ^{3}$ und einem $y=(y_{1},y_{2})\in \mathbb {R} ^{3}$ die zugehörige Koaktivitätsmatrix wie folgt in R berechnen:

### Vektoren  x=(0,0,1) y=(1,0)
### Direkte Eingabe der Werte 
koaktivitaetsmatrix2x3(0,0,1,1,0)

### Definition von Vektoren
x <- c(0,0,1)
y <- c(1,0)
### Zuweisung der Koaktivitätsmatrix der Variable M
M <- koaktivitaetsmatrix2x3(x[1],x[2],x[3],y[1],y[2])

Dimensionsunabhängige Koaktivitätsmatrix

Mit der folgenden Definition der Funktion für die Generierung von Koaktivitätsmatrizen hat man nur zwei Parameter, die jeweils zwei Vektoren sind, die

koaktivitaetsmatrix <- function (pVecX,pVecY) {
  colx <- length(pVecX)
  mat <- matrix(pVecY , ncol=1) %*% matrix(pVecX,ncol=colx) 
  
  # return Kooktivitaetsmatrix mat als Rueckgabewert
  mat
}

Aufruf der Matrixerzeugung

Mit der obigen Definition der Funktion der Erzeugung eine Koaktivitätsmatrix kann man aus einem Vektor $x=(x_{1},x_{2},x_{3})\in \mathbb {R} ^{3}$ und einem $y=(y_{1},y_{2})\in \mathbb {R} ^{3}$ die zugehörige Koaktivitätsmatrix wie folgt in R berechnen:

### Vektoren  x=(1,0,1) y=(1,0)
### Definition von Vektoren
x <- c(1,0,1)
y <- c(1,0)
### Zuweisung der Koaktivitätsmatrix der Variable M
M <- koaktivitaetsmatrix(x,y)
### M ist nun eine 2x3-Matrix

Koaktivitätsmatrix mit mehreren aktiven Neuronen

Bei dem obigen Aufruf für die Generierung der Aktivitätsmatrix sind zwei Neuronen in der Eingabeschicht aktiv (d.h. $x^{(k)}=(1,0,1)\in \mathbb {R} ^{3}$ und aktives Ausgabeneuron $y=(1,0)\in \mathbb {R} ^{3}$ ). Damit liefert die Funktion oben die folgenden Koaktivitätsmatrix.

K^{(k)}:=y^{(k)}\cdot x^{(k)^{\top }}={\begin{pmatrix}1\\0\\\end{pmatrix}}\cdot {\begin{pmatrix}1&0&1\\\end{pmatrix}}={\begin{pmatrix}1&0&1\\0&0&0\\\end{pmatrix}}

Lernrate Koaktivitätsmatrix

Ein Gewichtsmatrix $A^{(k)}$ beschreibt den Assoziativen Zusammenhang zwischen der Definitions- und Wertebereich. Die Koaktivtätsmatrix $K^{(k)}$ für ein Trainingswertepaar $(x^{(k)},y^{(k)})\in \mathbb {R} ^{n}\times \mathbb {R} ^{m}$ kann durch eine Lernrate $\alpha >0$ gewichtet werden, um damit die Veränderung der Koaktivtätsmatrix $K^{(k)}$ zu beschreiben. Die neue Gewichtsmatrix $A^{(k+1)}$ für die Assoziation ergibt sich dadurch wie folgt:_

A^{(k+1)}:=A^{(k)}+\alpha \cdot K^{(k)}

Literatur/Quellennachweise

↑ Sejnowski, T. J., & Tesauro, G. (1989). The Hebb rule for synaptic plasticity: algorithms and implementations. In Neural models of plasticity (pp. 94-103). Academic Press.

Siehe auch

[1] Sejnowski, T. J., & Tesauro, G. (1989). The Hebb rule for synaptic plasticity: algorithms and implementations. In Neural models of plasticity (pp. 94-103). Academic Press.

[1]