Large Language Models

Wie funktionieren Tools wie ChatGPT?

Was sind Large Language Models? Wie entstehen die Texte, die ein solches KI-System generiert? Und warum sollten Unternehmen die neue Technologie möglichst schnell in ihre Strukturen und Prozesse integrieren?

Large Language Models sind vor allem durch die Veröffentlichung von ChatGPT am 30. November 2022 bekannt und beliebt geworden. Sie ermöglichen es Nutzern, Fragen einzugeben und innerhalb von Sekunden KI-generierte Antworten zu erhalten – eben ähnlich wie in einem Chat –, die von menschengeschriebenen Antworten kaum zu unterscheiden sind.

Dieser Blogartikel bietet eine Einführung ins Thema Large Language Models, die sich vor allem an Business-Entscheider richtet und keine tiefgehenden technischen Kenntnisse voraussetzt.

Beginnen wollen wir mit der Definition:

Was sind Large Language Models?

Ein Large Language Model (LLM) ist ein KI-System, das darauf ausgelegt ist, Sprache zu verstehen und zu generieren. Es wird mittels riesiger Textmengen darauf trainiert, die jeweils nächsten Zeichen eines Textes vorherzusagen. Es handelt sich also im Prinzip um eine Autovervollständigung, wie man sie aus der Google-Suchleiste kennt – nur sehr viel komplizierter.

Da das Trainingsmaterial nicht nur Informationen darüber enthält, wie ein Satz korrekt aufgebaut wird, sondern auch die verschiedensten Themenbereiche abdeckt, entsteht so etwas wie „Wissen“ im KI-System. Dieses lässt sich durch eine entsprechende Frage oder Anweisung – einen sogenannten „Prompt“ – abrufen.

Natürlich hat das System nicht wie ein Mensch gelernt, wann Goethe seine berühmtesten Werke geschrieben hat oder dass die Sonne im Durchschnitt etwa 149,6 Millionen Kilometer von der Erde entfernt ist. Ein LLM speichert und verknüpft Informationen lediglich implizit in seinen „Parametern“: Milliarden von statistischen Gewichtungen für die Vorhersage der nächsten Zeichen, die während des Trainings optimiert werden.

Dass diese Methodik so gut funktionieren würde, dass wir den Antworten von ChatGPT vertrauen und kaum noch von einem menschlichen Gesprächspartner unterscheiden können, war übrigens selbst für die Entwickler erstaunlich – ein unerwartetes Ergebnis der Skalierung von Daten und Rechenleistung. (So ähnlich, wie laut einigen Experten auch unser Bewusstsein nur eine Art Nebenprodukt der Komplexität unseres Gehirns ist.)

Neben den Large Language Models, die in ChatGPT zur Auswahl stehen, gibt es mittlerweile viele weitere, zum Beispiel:

Jedes dieser Large Language Models hat seine Stärken und Schwächen und erhält gelegentlich Updates. Daher ist es empfehlenswert, diese Tools regelmäßig für verschiedene Use Cases zu testen.

Wie werden LLMs trainiert?

Der Trainingsprozess von Large Language Models besteht in der Verarbeitung von Milliarden oder sogar Billionen Wörtern aus Quellen wie Büchern, Fachmagazinen und Websites.

Das Modell lernt durch Mustererkennung. Beispielsweise könnte es lernen:

Nach „Wer A sagt, muss auch B“ folgt immer „sagen“.
Nach „Die Hauptstadt von Frankreich ist“ folgt fast immer „Paris“.
Nach „Sehr geehrte Damen“ folgt meist „und Herren“.
Nach „Die wichtigsten KPIs im Marketing sind„ folgt oft „Conversion Rate, Click-through Rate und Cost per Lead“ oder, etwas seltener, “Conversion Rate, Click-through Rate und Return on Ad Spend“.

Basierend auf dem Kontext werden Wahrscheinlichkeiten für mögliche Fortsetzungen berechnet. Die Textbausteine bezeichnet man dabei als „Tokens“. Es sind häufig vorkommende Zeichen oder Zeichenketten, die als Zahlen kodiert werden, damit das LLM besser damit arbeiten kann. Jedes LLM definiert seine eigenen Tokens.

Bei den Wahrscheinlichkeiten zwischen den Tokens spricht man von „Weights“, also „Gewichtungen“. Diese Parameter des neuronalen Netzwerks werden während des Trainings kontinuierlich angepasst, um immer bessere Vorhersagen zu erzielen – und, fast nebenbei, das gesammelte Wissen der Trainingsdaten im Modell abzubilden und abrufbar zu machen. Bei Open-Source-Modellen (wie Llama) können die Weights heruntergeladen werden, bei proprietären Modellen (wie GPT) bleiben sie geheim.

Entscheidend ist in dieser Phase die Qualität der Trainingsdaten. Meist werden die Quellen nicht wahllos zusammengestellt, sondern sorgfältig kuratierte Datensätze verwendet, um die bestmöglichen Ergebnisse zu erzielen.

Zusätzlich dazu wird das Modell durch menschliches Feedback verbessert. Beim „Reinforcement Learning from Human Feedback“ (RLHF) bewerten Trainer die Antworten der KI – Sind sie hilfreich? Wirken sie natürlich? –, woraufhin das Modell die Gewichtungen weiter anpasst. Dieser Schritt macht die KI nicht unbedingt intelligenter, aber nutzerfreundlicher.

Wie werden LLMs genutzt?

Die Modelle, die wir hier betrachten, sind sogenannte „Assistant Models” oder “Instruct Models“. Dabei handelt es sich um weiterentwickelte Versionen der sogenannten „Base Models“, feinjustiert für den Einsatz als Chatbot. Der Nutzer nimmt also eine Eingabe vor – in aller Regel stellt er eine Frage –, und das LLM generiert Token für Token eine Antwort basierend auf dem Input und den gelernten Mustern.

Die Anzahl der Tokens, die das Modell in seine Antwort einbeziehen kann, ist begrenzt und wird als „Kontextfenster“ bezeichnet. Anfangs waren die Kontextfenster klein – GPT-1 konnte 512 Tokens berücksichtigen –, mittlerweile soll Google ein Modell mit einem Kontextfenster von 10 Millionen Tokens testen, was etwa 90 durchschnittlich langen Romanen entspricht.

Use Cases

Für Unternehmen bieten LLMs zahlreiche Anwendungsmöglichkeiten, die Zeit und Kosten sparen können. Hier ein paar Beispiele:

Anwendungsbereich	Beispiel	Vorteil
Personalwesen	Erstellung und Optimierung von Stellenanzeigen	Ansprechende Texte, die Top-Talente anziehen
Finanzwesen	Erstellung von Finanzberichten	Zeitersparnis bei der Berichterstellung inklusive sorgfältiger Prüfung
IT	Automatisierte Beantwortung von IT-Tickets	Entlastung des Teams, mehr Zeit für IT-Projekte
Recht	Unterstützung bei der Vertragsprüfung	Minimierung von Risiken, mehr Zeit für komplizierte Fälle
Marketing	Generieren von Content und Copy inklusive Bildern	Schnelle Erstellung hochwertiger und überzeugender Inhalte
Vertrieb	Personalisierte Sales-E-Mails	Höhere Conversion Rates durch maßgeschneiderte Argumentation
Projektmanagement	Erstellung von Projektplänen	Perfekte Pläne mit allen wichtigen Details
Kundenservice	Chatbots für Kundenanfragen	Präzise Antworten ohne Verzögerung – rund um die Uhr
Datenanalyse	Zusammenfassung von Berichten	Wertvolle Erkenntnisse, vor allem aus riesigen Datenmengen
Öffentlichkeitsarbeit	Erstellung von Pressemitteilungen	Sachkundige und wirkungsvolle Kommunikation zu beliebigen Themen

Viele dieser Use Cases lassen sich über die Chat-Interfaces der Large Language Models abbilden. Für einige sind jedoch eine API-Anbindung und Programmierung erforderlich. Allerdings kann die KI auch hierbei behilflich sein, sodass Mitarbeiter mit rudimentärem technischem Know-how das Setup möglicherweise ohne IT oder Softwareentwicklung bewerkstelligen können.

Unbedingt zu empfehlen ist jedoch die Abstimmung mit der Geschäftsführung und/oder dem KI-Beauftragten, damit das LLM rechtssicher eingesetzt wird. Die neue KI-Verordnung der EU enthält einige strenge Vorgaben und setzt teilweise hohe Bußgelder an.

Ebenfalls zu bedenken: Large Language Models machen auch 2025 noch Fehler. Sie können Ungenauigkeiten aus ihren Trainingsdaten übernehmen, widersinnige Zusammenhänge herstellen oder sogar Unwahrheiten generieren (sogenannte „Halluzinationen“). Wenn Large Language Models die Antwort auf eine Frage nicht kennen, neigen sie dazu, falsche Antworten zu generieren und diese plausibel erscheinen zu lassen. Eine Prüfung und Überarbeitung der Texte ist daher grundsätzlich ratsam.

Zukünftige Entwicklungen

Die Technologie entwickelt sich rasant, LLMs werden immer leistungsfähiger. Die Qualität der Antworten verbessert sich und neue Anwendungsmöglichkeiten entstehen, beispielsweise in Form einer immer gründlicheren Internetrecherche (manchmal mehrere Minuten lang) oder der Anbindung an externe Datenquellen (wie Google Drive).

Experten gehen davon aus, dass die Modelle in ihrer aktuellen „Transformer“-Architektur durch die Skalierung von Daten und Rechenleistung (sowohl beim Training als auch bei der Inferenz, also der Generierung von Tokens) noch weiter verbessert werden können. Möglicherweise entstehen sogar weitere „Fähigkeiten“ als emergentes Verhalten, also als Begleiterscheinung der Komplexität.

Für Unternehmen bedeutet dies ein zunehmendes Potenzial, sich mittels KI entscheidende Wettbewerbsvorteile zu verschaffen. Sie sollten die Entwicklungen der Branche verfolgen – zum Beispiel, indem Sie Newsletter abonnieren oder sich Blogs lesezeichnen –, Events besuchen und mit Experten sprechen, um die besten Use Cases zu finden und die besten KI-Tools kennenzulernen.

Fazit

Large Language Models wie GPT sind mächtige Werkzeuge, die Sprache verstehen und erzeugen. Sie bieten Unternehmen, richtig eingesetzt, unzählige Vorteile in den verschiedensten Bereichen. Die Zukunft sieht vielversprechend aus – Unternehmen sollten unbedingt schon jetzt die Chancen der künstlichen Intelligenz nutzen, um wettbewerbsfähig zu bleiben, und sich regelmäßig über neue Modelle und Funktionen informieren.