Mini-Sprachmodell in Python

Challenge

Schritt 1: Trainingsdaten einlesen

Das Modell braucht Text zum Lernen. Wir nutzen wieder die Grimm-Märchen.

Erstellen Sie eine Liste von Trainingssätzen:

trainingsdaten = [
  "Es war einmal ein Königssohn der bekam Lust in der Welt umherzuziehen",
  "Es war einmal ein König und eine Königin die lebten in Frieden",
  "Es war ein armer Mann und eine arme Frau die hatten nichts als eine kleine Hütte"
]

Aufgabe: Zerlegen Sie jeden Satz in eine Liste von Wörtern (.split()) und speichern Sie alle Wortpaare (Bigramme) mit ihrer Häufigkeit.

Tipp: Ein Bigramm ist ein Paar (wort1, wort2). Zählen Sie mit defaultdict(int) oder einem normalen Dictionary.

Challenge

Schritt 2: Übergangswahrscheinlichkeiten berechnen

Für die Generierung brauchen wir nicht nur Häufigkeiten, sondern Wahrscheinlichkeiten: Wenn das aktuelle Wort X ist, wie wahrscheinlich ist Wort Y als nächstes?

Bauen Sie ein Dictionary dieser Form:

modell = {
  "Es": [("war", 1.0)],
  "war": [("einmal", 0.5), ("ein", 0.25), ("eine", 0.25)],
  ...
}

Aufgabe: Berechnen Sie für jedes Wort die relativen Häufigkeiten aller Folge-Wörter. Die Summe der Wahrscheinlichkeiten pro Wort muss 1.0 ergeben.

Challenge

Schritt 3: Text generieren

Nun bauen Sie die Generierungsfunktion. Das ist genau die Münze aus der Unplugged-Übung — nur in Code.

import random

def generiere_text(modell, start_wort, laenge=15):
    wort = start_wort
    satz = [wort]
    for _ in range(laenge):
        if wort not in modell:
            break
        nachfolger = modell[wort]
        # Zufällig wählen, gewichtet nach Wahrscheinlichkeit
        wort = random.choices(
            [w for w, p in nachfolger],
            weights=[p for w, p in nachfolger]
        )[0]
        satz.append(wort)
    return " ".join(satz)

Aufgabe: Rufen Sie die Funktion mit verschiedenen Startwörtern auf. Was passiert, wenn Sie mit «Es» starten? Was mit «ein»?