Explorative Statistik - Data Mining

An dieser Stelle sei nochmals folgender Unterschied angeführt:

• Kausalität: Ein Ursache - Wirkungszusammenhang
• Korrelation: Dimensionsloses Maß für den Zusammenhang von 2 Datensätze. Setzt keine Kausalität voraus
• Regression: Eine abhängige Variable soll aus einer unabhängigen Variabel berechnet werden. Setzt Kausalität voraus.

Gängige Data Mining Techniken umfassen

• Klassifikationsanalyse: Bereits vorhandene Ereignisse werden gemäß ihren qualitativen oder quantitativen Merkmalen zu Klassen (deren Zugehörigkeit einander ausschließt) zusammen gefasst. Bei der Klassifikationsanalyse erfolgt die Zuordnung von einem neuen  Ereignis zu einer der bestehenden Klassen z.B. mit Hilfe eines Entscheidungsbaums. (Beispiel: Alter → Einkommen → bestehende Schulden → Kreditwürdig ja/nein)
  • Entscheidungsbaum: Knoten entspricht Entscheidungskriterium; Blatt entspricht Entscheidung
  • Gini Index: Minimierung der Heterogenität
  • Chi-Quadrat Test
     
• Abhängigkeitsanalyse: Bei diesem datamining Verfahren wird zB mit Hilfe von „Wenn-Dann“ Regeln nach Abhängigkeiten gesucht. (Beispiel: Wenn Kunde schon Grillkohle und Steak gekauft hat → dann wird der Kunde auch Bier kaufen). Ihr Einsatz bietet sich beispielsweise in Empfehlungssystemen an (Kunden die „A“ gekauft haben, kauften auch gerne „B“)
  • Regressionsanalyse: Analysiert die Beziehung von einem unabhängigem und einem kausal abhängigen Merkmal. 
    • Einfache Lineare Regression - Berechnung vom Regressionskoeffizienten
    • Multivariante lineare Regression
    • Nichtlineare Regression (Maximum-Likehood-Methode) ermittelt den Regressionskoeffizienten so, dass sich eine maximale Auftretenswahrscheinlichkeit ergibt.
  • Korrelationsanalyse: Beschreibt mittels Kovarianz und Korrelationskoeffizienten den linearen Zusammenhang zwischen 2 Merkmalen und wie stark dieser Zusammenhang ist. Sie trifft keine Aussage über einen kausalen Zusammenhang der beiden Merkmale
  • Assoziationsanalyse: Die analysierten Daten werden auf Abhängigkeiten hin analysiert, wobei die Prämisse (das ist eine Regel) eine Kombination von Ereignissen die unabhängigen Variablen betreffend, zu einer Konklusion die abhängigen Variablen betreffend führt. Unter einer Transaktion versteht man Summe aller gemeinsam vorkommenden Ereignisse. Die Assoziationsregeln werden mit den Gütekriterien Konfidenz  (Stärke des Zusammenhangs gemäß der Regel) und Support (relative Häufigkeit eines Ereignisses an der Datenbasis) bewertet. Algorithmen zur Erstellung von Assozaitionsregeln sind
    • Der Apriori Algorithmus
    • Der FP-Growth, der mit dem Frequent Pattern Tree arbeitet, der aus Transaktionen aufgebaut wird.
       
  • Clustering: Lassen sich vorab keine Klassen identifizieren (z.B. im Bereich der Ideenfindung) so werden beim Clustering die Daten so in „Anhäufungen/Gruppen“ von ähnlichen Merkmalen eingeteilt (z.B. in 4-Quadraten), dass mathematisch gesprochen die Summe der quadrierten Abweichungen von den Gruppenschwerpunkten ein Minimum annimmt. (k-Means-Algorithmus). Clustering kann dazu verwendet werden, große Datenmengen auf wenige, einander aber ähnliche „repräsentative“ Daten zu reduzieren.
    • k-Means Clustering: \({\sum\limits_{i = 1}^n {\sum\limits_{j = 1}^k {\left| {{x_{ij}} - {c_j}} \right|} } ^2}\) wobei der Term zwischen den Betragszeichen dem Abstand vom Datenpunkt i vom Clusterzentrum j definiert und \(i \gg j\)  gilt.