Fortschritt im Lernpfad

0 von 3 abgeschlossen (0%)

Sprachmodell Unplugged

lock
Bevorstehend

Simulieren Sie ein Sprachmodell analog mit Grimm-Sätzen, einer Wahrscheinlichkeitstabelle und einer Münze — und verstehen Sie das Prinzip hinter ChatGPT.

Ziele dieses Moduls
  • Sie können das Prinzip der nächsten-Wort-Vorhersage anhand der Unplugged-Ăśbung mit einer Markov-Kette erklären.
    Verstehen
  • Sie können ein einfaches Sprachmodell trainieren (Satz einlesen) und daraus neue Sätze generieren (MĂĽnzwurf als Zufall).
    Anwenden
  • Sie können den Zusammenhang zwischen der Unplugged-Ăśbung und der Funktionsweise grosser Sprachmodelle (Training → Muster → Vorhersage) erklären.
    Verstehen

Ăśberblick

In diesem Modul spielen Sie selbst ein Sprachmodell. Mit einfachen Mitteln — Papier, Stift und einer Münze — simulieren Sie, wie ChatGPT Sätze generiert. Das Ziel: Sie verstehen, dass ein Sprachmodell nichts anderes macht, als das nächste Wort aufgrund von Wahrscheinlichkeiten vorherzusagen.

Kompetenzen

  • Das Prinzip der nächsten-Wort-Vorhersage verstehen
  • Wahrscheinlichkeitstabellen erstellen und ablesen
  • Den Zusammenhang zwischen Unplugged-Ăśbung und echtem LLM erklären

🧚 Grimm-Märchen neu erzählt

Jeden Abend liest Du Deinem kleinen Bruder etwas zum Einschlafen vor. Am liebsten mag er die Märchen der Gebrüder Grimm. Davon gibt es viele — aber Du näherst dich schon dem Ende des Buchs und brauchst Nachschub…

Was wäre, wenn ein Computer neue Märchen erfinden könnte? Genau das machen Sprachmodelle wie ChatGPT: Sie erzeugen neuen Text, Wort für Wort, basierend auf Mustern, die sie aus bestehenden Texten gelernt haben.

In diesem Modul spielen Sie selbst ein Sprachmodell — mit Papier, Stift und einer Münze. Kein Computer nötig.

Note

đź“‹ So funktioniert ein Sprachmodell

Ein einfaches Sprachmodell funktioniert so:

  • Training: Das Modell «liest» Sätze und merkt sich, welches Wort auf welches andere Wort folgt.
  • Generierung: Aus diesen Verbindungen wird zufällig das nächste Wort ausgewählt — und so ein neuer Satz erzeugt.

Dieses Prinzip heisst Markov-Kette: Das nächste Wort hängt nur vom aktuellen Wort ab. Jede Verbindung ist ein Pfeil zwischen zwei Wörtern. Mehrere Pfeile vom selben Wort bedeuten: es gibt mehrere mögliche Fortsetzungen.

Beispiel: Nach «Es» folgen die Pfeile zu «war» und «war einmal». Die Münze entscheidet zufällig, welchen Weg Sie gehen.

Damit genau verstehen Sie den Kernmechanismus, der auch in grossen Sprachmodellen wie ChatGPT steckt — nur dass ChatGPT Milliarden von Texten gelernt hat und komplexe mathematische Berechnungen nutzt.

Challenge

🎯 Aufgabe 1 — Einen Satz auslesen

Auf Ihrem Arbeitsblatt ist bereits ein Satz in das Sprachmodell eingespeichert (vorgegebene Pfeile).

Aufgabe: Lesen Sie den Satz aus dem Modell aus, indem Sie den Pfeilen folgen. Schreiben Sie den Satz auf.

Tipp: Beginnen Sie beim Wort «Es» und folgen Sie den Pfeilen von Wort zu Wort.

Challenge

🎯 Aufgabe 2 — Das Modell trainieren

Nun soll das Modell einen neuen Satz lernen.

Vorbereitung

  1. Nehmen Sie einen der Grimm-Beispielsätze (Pappstreifen).
  2. Falten Sie das Arbeitsblatt entlang der Linie nach innen, sodass eine HĂĽlle entsteht.
  3. Schieben Sie den Pappstreifen in die PapierhĂĽlle.

Schritt-fĂĽr-Schritt

  1. Ziehen Sie den Pappstreifen langsam nach links heraus, bis das erste Wort sichtbar wird.
  2. Suchen Sie das Wort im Sprachmodell. Falls es noch nicht enthalten ist, schreiben Sie es an eine freie Stelle.
  3. Verbinden Sie das vorherige Wort mit dem neuen durch einen Pfeil. (Wenn schon ein Pfeil da ist, zeichnen Sie einen weiteren dazu.)
  4. Wiederholen Sie ab Schritt 1 für das nächste Wort.

Trainieren Sie mindestens zwei Sätze in Ihr Modell, bevor Sie zur nächsten Aufgabe gehen.

Challenge

🎯 Aufgabe 3 — Einen neuen Satz generieren

Nun lassen Sie Ihr Modell einen neuen Satz erfinden.

So geht's

  1. Legen Sie eine MĂĽnze auf einen Satzanfang in Ihrem Modell.
  2. Schreiben Sie dieses Wort auf.
  3. Wählen Sie zufällig einen Pfeil aus (Münzwurf oder Zahlen auf Zettelchen ziehen) und folgen Sie ihm zum nächsten Wort.
  4. Schreiben Sie das nächste Wort auf.
  5. Wenn kein Pfeil mehr weiterfĂĽhrt, beenden Sie den Satz mit einem Punkt.
  6. Wiederholen Sie ab Schritt 2 für weitere Sätze.

Tipp: Nummerieren Sie die Pfeile gedanklich durch, schreiben Sie Zahlen auf Zettelchen und ziehen Sie blind ein Zettelchen.

Challenge

🎯 Aufgabe 4 — Team-Arbeit: Modelle kombinieren

Jetzt kombinieren wir mehrere Sprachmodelle, um aus einem grösseren Wortschatz zu schöpfen.

Ablauf

  1. Bilden Sie eine 3er- oder 4er-Gruppe und legen Sie alle Sprachmodelle auf den Tisch.
  2. Findet ein gemeinsames Wort für den Satzanfang (z.B. «Es»). Entscheidet zufällig, wer beginnt.

Gemeinsame Schritte

  1. Eine Spielerin legt die Münze auf einen Satzanfang auf ihrem Modell. Sie folgt zufällig einem Pfeil und sagt das nächste Wort.
  2. Alle Spieler schreiben dieses Wort auf und prĂĽfen ihre Modelle: Hat jemand dieses Wort auch?
  3. Ja: Die MĂĽnze wird an diese Person ĂĽbergeben. Haben mehrere das Wort, entscheidet der Zufall. Nein: Die aktuelle Spielerin ist weiter dran.
  4. Die Person mit der MĂĽnze legt sie auf das Wort in ihrem Modell und wiederholt ab Schritt 1.
  5. Der Satz endet mit einem Punkt, wenn auf keinem Modell mehr ein Pfeil weiterfĂĽhrt.

Vergleicht eure erzeugten Sätze — wie unterscheiden sie sich von den Original-Märchen?

Reflection

🧠 Von der Münze zum Mega-Modell

Was Sie gerade erlebt haben, ist der Kern jedes Sprachmodells — auch von ChatGPT:

  • Training: Texte einlesen und Muster speichern (Ihre Pfeile = Gewichte im neuronalen Netz)
  • Generierung: Nächstes Wort vorhersagen, basierend auf Wahrscheinlichkeiten (Ihre MĂĽnze = Temperatur-Parameter)
  • Korpus: Die Trainingsdaten bestimmen, was generiert wird (Ihre Grimm-Sätze = das Internet fĂĽr ChatGPT)

Der Philosoph Hannes Bajohr sagt zu ChatGPT: «Wir baden in unserer eigenen Buchstabensuppe.» — Was meint er damit?

Ruha Benjamin schreibt: «Sprachmodelle mit der Schönheit, Hässlichkeit und Grausamkeit der Welt zu füttern, aber zu erwarten, dass sie nur die Schönheit wiederspiegeln, ist eine Fantasie.» — Wie sieht das Ihre Grimm-Übung?

🔍 Reflexion

Beantworten Sie die folgenden Fragen:

  1. Vergleich: Vergleichen Sie die Sätze aus Aufgabe 1 (Original), Aufgabe 3 (eigenes Modell) und Aufgabe 4 (Gruppen-Modell). Wie unterscheiden sie sich, was haben sie gemeinsam?
  2. Wahrscheinlichkeit: Schätzen Sie ab, wie viele verschiedene Sätze Ihr Sprachmodell generieren kann. Berechnen Sie die Wahrscheinlichkeit für eine bestimmte Fortsetzung an einer Verzweigung.
  3. Stochastische Papageien: Sprachmodelle werden auch als «stochastische Papageien» bezeichnet. Erklären Sie diesen Begriff anhand Ihrer Unplugged-Übung.
Antwort wird geladen...
Lokal gespeichert — Login, um Antworten dauerhaft zu sichern.

Quellen & Attribution