Kurze Geschichte und Grundlagen von KI

Was ist Künstliche Intelligenz?

Vorschlag

Es gibt keine eindeutige Definition für den Begriff (Künstliche) Intelligenz, aber oft wird folgendes verwendet:

1. Denken, Schlussfolgern und Handeln wie ein Mensch. Insbesondere beim Lösen von Aufgabenstellungen.
   
2. Fähigkeit gestellte Aufgaben selbstständig zu lösen. Ganz unabhängig von eingeschlagenen Lösungswegen.

Kurze Geschichte der KI

Folgend ein kurze Auflistung der wichtigsten Meilensteine in der Entwicklung der KI:

• 1950: Alan Turing schlägt mit dem Turing-Test einen frühen Test auf maschinelle Intelligenz vor:
  Ein Computer besteht den Turing-Test, wenn ein Mensch in einem Gespräch nicht zuverlässig erkennen kann, ob sein Gesprächspartner ein Mensch oder eine Maschine ist

• 1956: Auf der Dartmouth Konferenz treffen sich führende Wissenschaftler aus unterschiedlichen Bereichen und diskutieren zum Thema KI. Der Begriff Künstliche Intelligenz wird eingeführt.

• 1958: Frank Rosenblatt entwickelt das erste künstliche Neuron “Perzeptron”, welches die Grundlage für moderne Neuronale Netzwerke legt.

• 1966: Der erste Chatbot “ELIZA” kommt auf den Markt und simuliert erstmals Gespräche.

• 1970er: Erwartungen an die symbolische KI erfüllen sich nicht: erster “KI-Winter”. So nennt man die Zeiträume in denen kaum Geld in KI investiert wurde und wo es deshalb kaum Fortschritte gab.
  
• 1980er: Backpropagation revolutioniert neuronale Netzwerke und eröffnet neue Möglichkeiten.

• späte 1980er: Der zweite “KI-Winter”, damalige KI-Systeme sind zu teuer und nur eingeschränkt nutzbar.
• 2010er - 20er: Big Data und Fortschritte bei neuronalen Netzwerken ermöglichen die Entstehung erster großer Sprachmodelle (Large Language Models, LLMs) (z.B. ChatGPT) und generativer KI.

Die Entwicklung der KI verlief nicht geradlinig, vielmehr wechselten sich Durchbrüche mit Zeiträumen von Stillstand ab.

Nach mehreren “KI-Wintern” gelang erst mit Neuronalen Netzen und Deep Learning der entscheidende Fortschritt um moderne KI-Systeme möglich zu machen und Anwendungen zu ermöglichen, die vor wenigen Jahren noch undenkbar waren.

Einteilung von Künstlicher Intelligenz

Symbolische und Subsymbolische KI

Künstliche Intelligenz kann in zwei große Gruppen eingeteilt werden: Symbolische und Subsymbolische KI.

Symbolische Systeme beruhen auf klaren nachvollziehbaren Regeln, ähnlich wie Computerprogramme. Es ist eindeutig nachvollziehbar, warum die KI zu einem bestimmten Ergebnis gekommen ist.

Bei subsymbolischer KI ist das nicht möglich. Sie trifft ihre Entscheidungen aufgrund großer Datenmengen und mathematischer Modelle, die Zusammenhänge in den Daten erkennen. Die Ergebnisse entstehen dabei nicht durch klar formulierte Regeln, sondern durch erlernte Muster und Wahrscheinlichkeiten.

Die beiden Ansätze unterscheiden sich grundlegend. Die Kenntnis ihrer Unterschiede hilft dabei, die Funktionsweise von KI-Systemen besser zu verstehen und ihre Ergebnisse kritisch zu beurteilen.
Die Geschichte der KI war seit ihren Anfängen von der Auseinandersetzung zwischen diesen beiden Ansätzen geprägt. Lange Zeit dominierten die Vertreter der symbolischen KI. Die jüngsten großen Durchbrüche der KI sind jedoch überwiegend auf Fortschritte im Bereich der subsymbolischen KI zurückzuführen.
Den Unterschied werden wir an praktischen Beispielen demonstrieren.

Um die Leistungsfähgkeit einer KI darzustellen unterteilt man auch gern in:

1. schwache KI: Artificial Narrow Intelligence (ANI)
   ANI KIs sind auf spezialisierte Aufgaben beschränkt.
   
2. starke KI: Artificial General Intelligence (AGI)
   Eine AGI wäre in der Lage, Probleme aus unterschiedlichen Themenbereichen zu lösen, Gelerntes auf neue Situationen zu übertragen und selbstständig weiterzulernen. Sie würde in ihrer allgemeinen Problemlösungsfähigkeit mindestens mit Menschen vergleichbar sein.
   
3. Superintelligenz: Artificial Super Intelligence (ASI)
   Eine ASI wäre Menschen in allen geistigen Bereichen deutlich überlegen. Sie könnte Probleme schneller und besser lösen als Menschen.
   (Eine mögliche Folge einer künstlichen Superintelligenz ist die Fähigkeit zur Selbstverbesserung)

Schwache KI (1) ist bereits im Einsatz. Ob und wann starke KI (2) erreicht werden kann, ist fraglich. Aufgrund der beschleunigten Entwicklungen der letzten Jahre halten manche Experten dies in naher Zukunft für möglich, gesichert ist das aber nicht. Ob Superintelligenz (3) jemals erreicht werden kann, ist noch wesentlich unsicherer und beruht derzeit vor allem auf Vermutungen.

Technische Einteilung

Aus technischer Sicht umfasst die KI drei wichtige Bereiche:

1. Klassische KI
   
2. Maschinelles Lernen
   
3. Neuronale Netze und Deep Learning

Für jede der drei Gruppen wird nun ein einfaches Beispiel vorgestellt.

1. Klassische KI

• Klassische KI verwendet feste Regeln, Symbole und logische Schlussfolgerungen.
  
• Die darauf aufbauenden Algorithmen sind statisch und verändern sich nicht von selbst.
  
• Klassische KI-Algorithmen verfügen nicht über Lernfähigkeit. Sie sind darauf ausgelegt, strikt nach den programmierten Regeln zu arbeiten.

Betrachte wir dazu folgendes Python-Programm, welches anhand von Merkmalen herausfinden soll, um welches Tier es sich handelt:

# Diese Funktion klassifiziert ein Tier
# mithilfe von Merkmalen.
# Parameter:
#   merkmale:
#     Eine Datenstruktur, die die Eigenschaften
#     des Tiers enthält.
def bestimme_tier(merkmale):
    if merkmale["Anzahl Beine?"] == 6:
        if merkmale["hat Stachel?"] == True:
            return "Wespe"
        else:
            return "Ameise"
    elif merkmale["Anzahl Beine?"] == 8:
        if merkmale["hat Stachel?"] == True:
            return "Skorpion"
        else:
            return "Spinne"
    else:
        return "Unbekannt"

Erklärung
def steht für define und wird in Python verwendet, um eine Funktion zu definieren.
if bedeutet wenn und leitet eine Bedingung ein.
elif steht für else if und kann mit andernfalls wenn übersetzt werden.
else bedeutet andernfalls und wird ausgeführt, wenn keine der vorherigen Bedingungen erfüllt ist.
return beendet die Funktion und gibt das Ergebnis zurück.
merkmale[“Anzahl Beine?”] liest den Wert aus, der zur Eigenschaft “Anzahl Beine?” gehört.

Genaue Erklärung des Programms:
Wenn das übergebene Tier 6 Beine hat wird untersucht, ob es einen Stachel hat. Ist das der Fall dann wird “Wespe” zurückgeliefert, ansonsten “Ameise”.
Wenn das übergebene Tier 8 Beine hat wird auch untersucht, ob es einen Stachel hat. Ist das der Fall dann wird “Skorpion” zurückgeliefert, ansonsten “Spinne”.

Das vom Programm repräsentierte Verfahren ist fest vorgegeben. Es wurde individuell (nicht automatisch) entworfen und umgesetzt und ändert sich zum Einsatzzeitpunkt nicht mehr.
Solche Programme enthalten nur die Intelligenz, die die Entwickler vorab geplant und eingebaut haben.

2. Maschinelles Lernen

Maschinelles Lernen bezeichnet Verfahren, die aus vorhandenen Daten lernen und ihr Verhalten automatisch an diese Daten anpassen.

Entscheidungsbaum

Die Folgende Grafik zeigt einen Entscheidungsbaum zum obigen Thema:

Man startet beim Knoten ganz oben und beantwortet jeweils die im Knoten gestellte Frage. Abhängig von der Antwort folgt man der jeweiligen Linie (in dem Zusammenhang sagt man auch “Kante”). Der auf diese Art erreichte Blattknoten (die Knoten ganz unten ohne Nachfolger) liefert das Ergebnis des Vorgangs.

Auf den ersten Blick entspricht das Verfahren genau dem Programm oben. Auch hier kommen eindeutige Symbole und Entscheidungsregeln zur Anwendung.
Der Unterschied ist, dass der Entscheidungsbaum mit einem geeigneten Verfahren automatisch aus einer Tabelle, wie der unten gezeigten erstellt werden kann.

• Diese Vorgangsweise ermöglicht einerseits mit großen Datenmengen zu arbeiten, die sehr viele Merkmale aufweisen können, zum Beispiel hunderte verschiedene Merkmale (das sind die Spalte in der Tabelle) statt der zwei in diesem Beispiel und hunderttausende Datensätze (das sind die Zeilen in der Tabelle).
• Das Verfahren kann auch mit einem einfachen Baum starten und diesen dann erweitern, während es neue Daten sammelt. So kann das Verfahren sozusagen aus Erfahrung lernen. Der Entscheidungsbaum unten wurde zum Beispiel um ein Tier erweitert.

Das Verfahren beruht immer noch auf festen Symbolen und Regeln ist aber lernfähig. Statt einem statischen Verfahren wie in der klassischen KI, vertreten durch das Programm oben, haben wir ein Verfahren, welches anhand der vorliegenden Daten dazulernen kann. Aus dem Grund fällt diese Methode in die Kategorie “maschinelles Lernen”.

Warum kann man hier überhaupt von einem intelligenten System sprechen?

• Es speichert frühere Vorgaben
  
• Es kann Prognosen machen für Werte, die es nicht kennt. Die Prognosen müssen nicht immer richtig sein, aber mit einer gewissen Wahrscheinlichkeit.
  
• Weil der Entscheidungsbaum nicht manuell erstellt werden muss sondern laufend neu erzeugt oder verändert werden kann, kann er sich dadurch automatisch an neue Daten anpassen.

             Hat das Tier Kiemen?
                 /         \
               Ja           Nein
              /               \
      Hat das Tier Punkte?   Schwarz-weiß gefärbt?
            /      \             /      \
          Ja       Nein        Ja      Nein
         /           \         /         \
      Hecht         Hai   Schwertwal   Delfin

Entscheidungsgerade

Forscher haben auf einer Insel vorher noch nicht bekannte Käfer entdeckt und stellen fest, dass sich die Käfer anscheinend nur in der Länge der Fühler und in der Länge der zwei Punkte am Rücken unterscheiden.

Sie sind sich nicht sicher, ob es sich um eine oder mehrere Arten handelt. Um das zu klären, nehmen sie Messungen an 20 zufälligen männlichen Käfern vor und erhalten dabei folgende Daten:

Der Schritt ist zunächst nicht offensichtlich, aber wir betrachten nun die beiden Werte jeweils als x und y-Koordinate und tragen sie in ein Diagramm ein.
Dabei fällt sofort auf, dass es zwei Häufungspunkte gibt. Diese lassen sich gut durch eine Gerade trennen.
Die Biologen sind sich deshalb fast sicher, dass es sich um zwei unterschiedliche Arten handeln muss. (Hätten die beiden Gruppen gemeinsame Nachkommen, dann müsste es auch Zwischenwerte geben)

• Mit einem geeigneten Verfahren (zum Beispiel Clustering) können die beiden Gruppen automatisch erkannt werden.

Dieses Verfahren fällt in die Kategorie Unsupervised Learning (unüberwachtes Lernen), die KI lernt dabei selbstständig Strukturen, Zusammenhänge oder Muster in Daten zu erkennen, ohne vorher die richtigen Lösungen oder Zuordnungen zu kennen (nicht beschriftete Eingaben).
Im vorliegenden Fall findet das Verfahren die zwei Gruppen selbstständig, ohne Vorgabe (“Beschriftung”) von außen.
Nach diesem Vorbereitungsschritt könnten wir mit einem geeigneten Verfahren zwischen den beiden Gruppen eine Trenngerade einfügen.

• Alternativ dazu kann man aber auch vorab alle Elemente selbst gewünschten Gruppen zuweisen (=“beschriften”, durch die Farben angedeutet) und dann eine Trenngerade ermitteln:

Bei diesem Verfahren spricht man von Supervised Learning (überwachtes Lernen), die KI lernt anhand von Beispielen mit vorgegebenen Lösungen (beschrifteten Eingaben), Zusammenhänge in Daten zu erkennen und neue Daten passend zuzuordnen.
Im vorliegenden Fall ermittelt das Verfahren eine Trenngerade aus den vorher schon zugeordneten (“beschrifteten”) Gruppen.

Am Ende der Berechnung soll die Trenngerade “optimal” liegen und einen möglichst großen Abstand zu beiden Gruppen haben. Dazu wird die Lage der Geraden durch viele wiederholte numerische Berechnungen schrittweise verbessert, bis keine weitere Verbesserung mehr möglich ist.

Da die grüne Punktgruppe tiefer liegt als die rote, zieht sie den Stab leicht nach unten. Dadurch neigt sich dieser leicht nach rechts.

Zwei Beispiele verdeutlichen den Vorgang:

Beispiel 1

Stell dir vor bei den Gruppen handelt es sich um Nägel, die in ein Brett eingeschlagen wurden. Jeder Nagel (nur zwei Gummibänder sind eingezeichnet) ist mit einem Gummiband mit einem frei beweglichen Stab verbunden und übt so eine Kraft auf ihn aus.
Der Stab landet dort, wo sich die Zugkräfte aus beiden Richtungen genau aufheben.

Beispiel 2

Stell dir vor, an jedem Punkt befindet sich ein Luftballon. Werden alle Luftballons gleichmäßig aufgeblasen, drücken sie von beiden Seiten gegen den Stab. Der Stab verschiebt sich dabei in eine Lage, in der der Abstand zu beiden Gruppen möglichst groß ist.

Mit einer solchen Trenngerade kann man Vorhersagen für neue, bisher unbekannte Werte treffen. In diesem Zusammenhang spricht man auch von einer Entscheidungsgeraden.

Für einen neuen Datenpunkt wird geprüft, auf welcher Seite der Entscheidungsgeraden er liegt. Liegt er auf derselben Seite wie die roten Trainingsdaten, wird er der roten Gruppe zugeordnet. Liegt er auf der anderen Seite, wird er der blauen Gruppe zugeordnet.

Im folgenden Beispiel würde der als blauer Punkt eingezeichnete Käfer der roten Gruppe zugeordnet werden, da er auf der roten Seite der Entscheidungsgeraden liegt.

Die Gerade kann man durch zwei Punkte oder ihren Anstieg (Δx, Δy) und ihre Verschiebung (d) beschreiben.

Im Unterschied zum Entscheidungsbaum oben, besteht das Ergebnis also nicht aus Symbolen und Regeln, sondern aus Fließkommazahlen: Δx, Δy, d.

Erklärbarkeit

Die Erklärung, warum ein einzelner Käfer einer bestimmten Gruppe zugeordnet wird, ist zwar anschaulich, beruht aber nicht mehr auf klar formulierten festen Regeln wie beim Entscheidungsbaum, sondern auf statistischen Zusammenhängen in den Daten.
Bei neuronalen Netzen, deren Entscheidungen auf mehrstufigen und wesentlich komplexeren numerischen Berechnungen beruhen, wird dieser Umstand noch deutlicher.

Einordnung der Verfahren

Alle Verfahren der klassischen KI, den Entscheidungsbaum und einige andere Verfahren des maschinellen Lernens fallen in die Kategorie symbolische KI.

Das Verfahren mit der Entscheidungsgerade, viele Verfahren des maschinellen Lernens und insbesondere die Neuronalen Netze fallen in die Kategorie subsymbolische KI.

Lösung

Die Subsymboliker waren seit Beginn der KI in dem Gebiet vertreten, aber die Verfahren waren noch nicht ausgereift, es gab noch nicht so viele elektronische Daten wie heute und die Computerhardware war noch nicht leistungsfähig genug.

Deshalb dominierten die Symboliker die Disziplin über Jahrzehnte. Langsam wendete sich aber das Blatt und fast alle Durchbrüche der letzten Jahre gehen auf das Konto der Subsymboliker.

Perzeptron

Ein sogenanntes Perzeptron ist ein Modell in der Informatik, welches genau so eine Trenngerade verwendet und aktiviert ist, wenn zum Beispiel der durch die Eingangswerte erzeugte Punkt (= Koordinaten x, y, …) über der Trenngeraden liegt und inaktiv, wenn der durch die Eingangswerte erzeugte Punkt unterhalb der Trenngeraden liegt.
In unserem obigen Fall könnte also bei der Eingabe x die Fühlerlänge in mm angelegt werden und bei Eingabe y der Punktdurchmesser in mm. Dann wäre der Ausgang des Perzeptrons aktiv (Lampe leuchtet) wenn der Käfer zu Art 1 (Gruppe rot) gehört und inaktiv, wenn der Käfer zu Art 2 (Gruppe grün) gehört (Lampe leuchtet nicht).
So ein Perzeptron könnte also automatisch Käfer prüfen. Man legt die Daten eines Käfers an und wenn er zu Art 1 gehört leuchtet das Perzeptron auf (ist aktiviert) und wenn nicht, dann bleibt es dunkel (ist nicht aktiviert).

3. Neuronale Netze

Ein Perzeptron kann mithilfe der Entscheidungsgeraden einfache Entscheidungsaufgaben lösen. Perzeptrons haben heute kaum noch praktische Bedeutung und dienen vor allem als Erklärungsmodell. Sie kommen aber in leicht veränderter Form als Neuron in Neuronalen Netzen zum Einsatz, wo viele solcher einfacher Elemente miteinander kombiniert werden um anspruchsvolle Aufgaben zu lösen. Das wird hier mit einem dreischichtigen Netzwerk, bestehend aus Eingabeschicht, innerer Schicht und Ausgabeschicht, zur Ziffernerkennung gezeigt.

Erklärung

Die Eingabeschicht links besteht aus allen Pixeln der Zifferndarstellung. Jedes Neuron der mittleren Schicht kann mit jedem Pixel der Eingabeschicht verbunden sein (angedeutet). Über jedem Neuron der mittleren Schicht ist eine kleine Karte abgebildet welche Pixel der Eingabeschicht positiv (nicht hemmend) mit dem Neuron verdrahtet sind. Das oberste Neuron ist zum Beispiel auf Eingaben im obersten Teil der Ziffer empfindlich. Das zweite Neuron von oben reagiert auf Pixel rechts oben in der Ziffer.
Jedes Neuron der mittleren Schicht ist damit also auf die Erkennung von Teilmustern spezialisiert und leuchtet nur auf, wenn es das zugehörige Muster erkennt.

Nur die für das Beispiel wesentlichen Muster sind angezeigt.

In der dritten Schicht, der Ausgabeschicht, wird entschieden welches Ausgabeelement aktiv ist und damit eine Erkennung anzeigt (aktiv: hell, inaktiv: dunkel). Für die Erkennung der Ziffer 8 (Bild links) müssen alle dargestellten Muster vorhanden sein (grüne Verbindungslinien). Für die Erkennung der Ziffer 3 (Bild rechts) müssen 5 der 7 dargestellten Muster vorhanden sein. Die restlichen 2 dürfen nicht vorhanden sein (rote Verbindungslinien).

Im Bild links wurden alle Muster, die für die Erkennung einer “8” notwendig sind erkannt. Das Ausgabeneuron für “8” leuchtet deshalb auf. Das Ausgabeneuron “3” leuchtet nicht auf, weil zwei Muster erkannt wurden die bei der Erkennung einer “3” nicht vorhanden sein dürfen.

Im Bild rechts wurden alle Muster, die für die Erkennung einer “3” notwendig sind erkannt. Das Ausgabeneuron für “3” leuchtet deshalb auf. Das Ausgabeneuron “8” leuchtet nicht auf, weil zwei Muster die bei der Erkennung einer “3” notwendig sind nicht vorhanden sind.

Die hier vorgestellte, sehr grundlegende Netzwerkstruktur, bei der die Informationen schrittweise von der Eingabeschicht über die inneren Schichten zur Ausgabeschicht ohne Rückkopplungen oder Schleifen weitergegeben werden, nennt man Feed-Forward-Architektur.

Deep Learning

Als Deep Learning KIs oder tiefe neuronale Netze werden Neuronale Netzwerke mit drei oder mehr inneren (versteckten) Schichten bezeichnet.
Das effiziente Training tiefer neuronaler Netze wurde erst ab den späten 2000er- und insbesondere den 2010er-Jahren durch Fortschritte bei Rechenleistung von Computern und verbesserte Trainingsverfahren möglich. Diese Entwicklungen führten zu den meisten Durchbrüchen der modernen KI.

Netzwerkarchitekturen

Feed-Forward-Netze, wie das oben gezeigte Beispiel, eignen sich insbesondere für Aufgaben, bei denen Daten erkannt, unterschieden oder Vorhersagen getroffen werden, da sie eine direkte Abbildung von Eingaben auf Ausgaben lernen. Für komplexe generative Aufgaben kommen hingegen häufig eigens entwickelte Architekturen wie Transformer, Diffusionsmodelle oder Generative Adversarial Networks (GANs) zum Einsatz.
Diese Architekturen unterscheiden sich in der Anordnung der Schichten und den Verbindungsstrukturen innerhalb des Netzwerks

Generative KI

Generative KI-Systeme wurden erst durch Fortschritte bei Netzwerkarchitekturen, Trainingsverfahren und Rechenleistung möglich.
Beispiele für Generative KIs sind Chatbots, Bildgeneratoren oder Videogeneratoren.