A

Accuracy

Accuracy beschreibt die Genauigkeit eines KI-Modells und gibt an, wie viele Vorhersagen korrekt sind. Besonders bei Klassifikationsproblemen wird Accuracy als Verhältnis korrekt vorhergesagter Ergebnisse zur Gesamtzahl der Fälle berechnet. Allerdings kann Accuracy bei unausgewogenen Datensätzen irreführend sein, da ein Modell trotz hoher Accuracy schlecht performen kann. Deshalb wird Accuracy oft gemeinsam mit Precision, Recall und F1-Score bewertet. In der Praxis ist Accuracy eine grundlegende Kennzahl zur Bewertung der Modellleistung im Machine Learning.

Agent (KI-Agent)

Ein KI-Agent ist ein autonomes System, das mithilfe eines Large Language Models oder anderer KI-Komponenten eigenständig Entscheidungen trifft und Aktionen ausführt. Im Gegensatz zu einfachen Chatbots kann ein Agent Tools nutzen, APIs aufrufen, Daten analysieren und mehrstufige Aufgaben planen. Moderne KI-Agenten kombinieren Sprachmodelle, Gedächtnisstrukturen und Retrieval-Systeme. Besonders im Unternehmenskontext werden KI-Agenten zur Automatisierung komplexer Prozesse eingesetzt.

AI Alignment

AI Alignment beschreibt die Ausrichtung von KI-Systemen an menschlichen Werten, Sicherheitsrichtlinien und ethischen Prinzipien. Ziel ist es, sicherzustellen, dass künstliche Intelligenz keine schädlichen oder unerwünschten Handlungen ausführt. Alignment ist besonders bei Large Language Models wichtig, da diese komplexe und autonome Entscheidungen treffen können. Methoden wie Reinforcement Learning from Human Feedback (RLHF) tragen dazu bei, KI-Systeme sicherer und kontrollierbarer zu machen.

Algorithmus

Ein Algorithmus ist eine klar definierte Rechenvorschrift oder Schrittfolge zur Lösung eines Problems. In der künstlichen Intelligenz bilden Algorithmen die Grundlage für Trainingsprozesse, Datenverarbeitung und Entscheidungsfindung. Neuronale Netze basieren beispielsweise auf Optimierungsalgorithmen wie Gradient Descent. Ohne Algorithmen wäre Machine Learning nicht möglich, da sie steuern, wie Modelle aus Daten lernen.

Artificial Intelligence (AI)

Artificial Intelligence (AI) bezeichnet Systeme, die menschenähnliche kognitive Fähigkeiten simulieren. Dazu gehören Sprachverarbeitung, Mustererkennung, Entscheidungsfindung und Problemlösung. AI umfasst Teilbereiche wie Machine Learning, Deep Learning, Computer Vision und Natural Language Processing. Moderne AI-Systeme wie Large Language Models oder generative KI-Modelle sind leistungsfähiger denn je und verändern Wirtschaft, Bildung und Forschung grundlegend.

B

Backpropagation

Backpropagation ist ein Trainingsverfahren für neuronale Netze. Es berechnet den Fehler zwischen vorhergesagtem und tatsächlichem Ergebnis und passt die Gewichte des Modells entsprechend an. Dabei wird der Fehler rückwärts durch das Netzwerk propagiert. Dieses Verfahren ist zentral für Deep Learning und ermöglicht es Modellen, komplexe Muster in Daten zu erkennen.

Bias (KI-Verzerrung)

Bias beschreibt systematische Verzerrungen in Trainingsdaten oder Modellentscheidungen. Wenn Datensätze bestimmte Gruppen oder Perspektiven überrepräsentieren, kann das Modell diskriminierende Ergebnisse liefern. Bias ist ein zentrales Problem in der Entwicklung fairer und ethischer KI-Systeme. Methoden wie Datenausgleich und Fairness-Tests helfen, Verzerrungen zu reduzieren.

Big Data

Big Data bezeichnet extrem große und komplexe Datenmengen, die mit klassischen Methoden nicht verarbeitet werden können. KI-Systeme benötigen häufig Big Data, um leistungsfähige Modelle zu trainieren. Besonders Large Language Models basieren auf gigantischen Textkorpora. Big Data ist somit eine Grundlage moderner KI-Entwicklung.

C

Chatbot

Ein Chatbot ist ein dialogorientiertes System, das mithilfe von Natural Language Processing mit Nutzern kommuniziert. Moderne Chatbots basieren häufig auf Large Language Models. Sie werden im Kundenservice, Marketing oder internen Wissenssystemen eingesetzt. Die Qualität eines Chatbots hängt stark vom zugrunde liegenden Sprachmodell ab.

Classification

Classification ist ein Machine-Learning-Verfahren, bei dem Daten in vordefinierte Kategorien eingeordnet werden. Beispiele sind Spam-Erkennung oder medizinische Diagnosen. Klassifikationsmodelle lernen aus gelabelten Trainingsdaten und nutzen statistische Muster zur Vorhersage.

Clustering

Clustering ist ein unüberwachtes Lernverfahren, bei dem Datenpunkte anhand von Ähnlichkeiten gruppiert werden. Im Gegensatz zur Classification existieren keine vordefinierten Labels. Clustering wird häufig zur Marktsegmentierung oder Mustererkennung eingesetzt.

Computer Vision

Computer Vision ist ein Teilgebiet der KI, das sich mit der Verarbeitung und Analyse von Bild- und Videodaten beschäftigt. Anwendungen reichen von Gesichtserkennung bis hin zu autonomen Fahrzeugen. Deep Learning hat Computer Vision stark vorangebracht.

D

Data Augmentation

Data Augmentation ist eine Methode zur künstlichen Erweiterung von Trainingsdaten, um die Robustheit eines KI-Modells zu verbessern. Besonders im Deep Learning wird sie eingesetzt, um Overfitting zu vermeiden und die Generalisierungsfähigkeit zu erhöhen. Bei Bilddaten können etwa Drehungen, Spiegelungen oder Farbveränderungen angewendet werden. Im Bereich Natural Language Processing werden Synonymersetzungen oder Satzumstellungen genutzt. Ziel der Data Augmentation ist es, dem Modell mehr Variationen bereitzustellen, ohne neue reale Daten sammeln zu müssen. Sie ist ein wichtiger Bestandteil moderner Machine-Learning-Pipelines.

Data Mining

Data Mining bezeichnet den Prozess der systematischen Analyse großer Datenmengen, um Muster, Zusammenhänge und Trends zu identifizieren. Es kombiniert statistische Verfahren, Machine Learning und Datenbanktechnologien. Unternehmen nutzen Data Mining zur Kundensegmentierung, Betrugserkennung oder Marktprognose. Im KI-Kontext dient Data Mining häufig als Vorstufe für das Training von Modellen. Die Qualität der gewonnenen Erkenntnisse hängt stark von der Datenaufbereitung und -bereinigung ab.

Dataset

Ein Dataset ist eine strukturierte Sammlung von Daten, die für das Training, die Validierung oder das Testen eines KI-Modells verwendet wird. Ein Dataset kann Text, Bilder, Audiodaten oder strukturierte Tabellen enthalten. In der Praxis wird es häufig in Trainings-, Validierungs- und Testdaten unterteilt. Die Qualität und Diversität eines Datasets beeinflussen maßgeblich die Leistungsfähigkeit eines Machine-Learning-Modells.

Deep Learning

Deep Learning ist ein Teilbereich des Machine Learning, der auf künstlichen neuronalen Netzen mit vielen Schichten basiert. Diese tiefen Netzwerke ermöglichen es, komplexe Muster in großen Datenmengen zu erkennen. Deep Learning wird in Computer Vision, Sprachverarbeitung und generativer KI eingesetzt. Große Sprachmodelle wie LLMs sind direkte Anwendungen von Deep-Learning-Technologien.

Diffusion Model

Ein Diffusion Model ist ein generatives KI-Modell, das Daten schrittweise aus zufälligem Rauschen erzeugt. Es wird vor allem zur Bildgenerierung eingesetzt. Dabei lernt das Modell, Rauschen schrittweise zu entfernen, bis ein realistisches Bild entsteht. Diffusion Models gelten als besonders leistungsfähig in der modernen generativen KI.

Dimensionalität

Dimensionalität beschreibt die Anzahl der Merkmale oder Variablen in einem Datensatz oder Vektorraum. In KI-Systemen mit Embeddings kann die Dimensionalität mehrere hundert oder tausend Dimensionen umfassen. Eine hohe Dimensionalität ermöglicht detaillierte Repräsentationen, kann aber Rechenaufwand und Speicherbedarf erhöhen.

E

Embedding

Ein Embedding ist eine numerische Vektorrepräsentation von Text, Bildern oder strukturierten Daten in einem hochdimensionalen Raum. In der natürlichen Sprachverarbeitung (NLP) werden Wörter, Sätze oder ganze Dokumente in sogenannte Embedding-Vektoren umgewandelt, die semantische Bedeutung mathematisch abbilden. Ähnliche Inhalte liegen im Vektorraum näher beieinander als unähnliche Inhalte.

Embeddings sind die Grundlage moderner Large Language Models (LLM), semantischer Suchsysteme und Retrieval-Augmented Generation (RAG). Sie ermöglichen Kontextverständnis, Ähnlichkeitssuche und Clustering. Technisch entstehen Embeddings durch neuronale Netze, die während des Trainings semantische Muster lernen. Die Dimension eines Embeddings kann zwischen einigen hundert und mehreren tausend Werten liegen. Ohne Embeddings wären Vektor-Datenbanken, semantische Suche und moderne KI-Agenten nicht realisierbar.

Ensemble Learning

Ensemble Learning bezeichnet die Kombination mehrerer Machine-Learning-Modelle, um Genauigkeit, Stabilität und Robustheit zu erhöhen. Anstatt ein einzelnes Modell zu verwenden, werden mehrere Modelle aggregiert – entweder parallel (Bagging) oder sequenziell (Boosting).

Ein bekanntes Beispiel ist Random Forest, bei dem viele Entscheidungsbäume kombiniert werden. Gradient Boosting hingegen optimiert Modelle schrittweise, indem Fehler vorheriger Modelle korrigiert werden.

Der Vorteil von Ensemble Learning liegt in der Reduktion von Varianz und Bias. Während einzelne Modelle anfällig für Overfitting sein können, sorgt ein Ensemble für stabilere Vorhersagen. In produktiven KI-Systemen wird Ensemble Learning häufig zur Risikoabsicherung eingesetzt, etwa in Finanzprognosen oder medizinischer Diagnostik.

Epoch

Eine Epoch beschreibt einen vollständigen Trainingsdurchlauf durch das gesamte Dataset eines Machine-Learning-Modells. Während einer Epoch werden alle Trainingsdaten einmal verarbeitet und die Modellgewichte entsprechend angepasst.

In Deep-Learning-Systemen werden Modelle oft über viele Epochen trainiert, um die Loss Function schrittweise zu minimieren. Zu wenige Epochen führen zu Underfitting, während zu viele Epochen Overfitting verursachen können.

Die optimale Anzahl an Epochen hängt von Datengröße, Modellkomplexität und Regularisierungsmethoden ab. Moderne Trainingsprozesse nutzen häufig Early Stopping, um das Training automatisch zu beenden, sobald sich die Modellleistung auf Validierungsdaten nicht weiter verbessert.

Ethical AI

Ethical AI beschreibt die Entwicklung, Implementierung und Nutzung künstlicher Intelligenz unter Berücksichtigung ethischer Prinzipien. Dazu zählen Fairness, Transparenz, Datenschutz, Nicht-Diskriminierung und Rechenschaftspflicht.

Mit dem Aufstieg von Large Language Models und generativer KI gewinnt Ethical AI stark an Bedeutung. Verzerrte Trainingsdaten können zu diskriminierenden Entscheidungen führen. Ebenso besteht das Risiko von Desinformation oder Missbrauch.

Unternehmen implementieren deshalb Governance-Modelle, Risikoanalysen und Monitoring-Systeme. Regulatorische Rahmenwerke wie der EU AI Act unterstreichen die wachsende Relevanz ethischer KI-Standards. Ethical AI ist nicht nur eine moralische Frage, sondern zunehmend auch eine rechtliche Notwendigkeit.

Explainable AI (XAI)

Explainable AI (XAI) umfasst Methoden und Technologien, die Entscheidungen von KI-Systemen nachvollziehbar und transparent machen. Während Deep-Learning-Modelle oft als „Black Box“ gelten, versucht XAI, Entscheidungswege sichtbar zu machen.

Techniken wie Feature Importance, SHAP-Werte oder LIME helfen dabei, Modellentscheidungen zu interpretieren. Besonders in regulierten Branchen wie Finanzwesen, Gesundheitswesen oder Justiz ist Erklärbarkeit essenziell.

Explainable AI erhöht Vertrauen, erleichtert Compliance-Anforderungen und hilft bei der Fehlersuche. Mit zunehmender Modellkomplexität steigt die Herausforderung, Transparenz und Leistungsfähigkeit miteinander zu vereinen.

G

GAN (Generative Adversarial Network)

Ein Generative Adversarial Network (GAN) ist ein generatives KI-Modell, das aus zwei neuronalen Netzen besteht: einem Generator und einem Diskriminator. Beide Netze werden gleichzeitig trainiert und stehen in einem adversarialen Wettbewerb.

Der Generator erstellt synthetische Daten, während der Diskriminator versucht zu erkennen, ob diese echt oder künstlich sind. Durch diesen Wettbewerb verbessert sich die Qualität der generierten Daten kontinuierlich.

GANs werden vor allem in der Bildgenerierung, Deepfake-Technologie und Datenaugmentation eingesetzt. Sie gehören zu den wichtigsten Durchbrüchen der generativen KI vor der breiten Verfügbarkeit von Diffusion Models.

Generalization

Generalization beschreibt die Fähigkeit eines Machine-Learning-Modells, auf neue, bisher unbekannte Daten korrekt zu reagieren. Ein Modell mit guter Generalisierung erkennt zugrunde liegende Muster und überträgt diese auf neue Situationen.

Schlechte Generalisierung entsteht häufig durch Overfitting, wenn das Modell Trainingsdaten zu exakt lernt. Techniken wie Regularisierung, Dropout oder Data Augmentation verbessern die Generalisierungsfähigkeit.

In produktiven KI-Systemen ist Generalization entscheidender als reine Trainingsgenauigkeit. Nur Modelle mit hoher Generalisierung sind langfristig zuverlässig einsetzbar.

Generative AI

Generative AI bezeichnet KI-Systeme, die eigenständig neue Inhalte erzeugen können. Dazu gehören Text, Bilder, Musik, Code oder Videos. Large Language Models und Diffusion Models sind prominente Beispiele generativer KI.

Im Gegensatz zu klassischen Klassifikationssystemen erzeugt Generative AI neue Daten, statt nur bestehende Daten einzuordnen. Anwendungen reichen von Content-Erstellung über Softwareentwicklung bis hin zu automatisierten Designprozessen.

Generative AI verändert Produktionsprozesse, Wissensarbeit und kreative Industrien grundlegend. Gleichzeitig wirft sie Fragen zu Urheberrecht, Ethik und Regulierung auf.

Gradient Descent

Gradient Descent ist ein Optimierungsalgorithmus, der zur Minimierung der Loss Function eines Modells verwendet wird. Dabei werden Modellparameter iterativ in Richtung des negativen Gradienten angepasst, um Fehler zu reduzieren.

Varianten wie Stochastic Gradient Descent (SGD) oder Adam Optimizer verbessern Effizienz und Stabilität. Gradient Descent ist das Fundament des Trainingsprozesses neuronaler Netze und ermöglicht die Skalierung moderner Deep-Learning-Systeme.

Ohne Gradient Descent wären Large Language Models mit Milliarden Parametern nicht trainierbar.

Guardrails

Guardrails sind Sicherheitsmechanismen in KI-Systemen, die verhindern sollen, dass Modelle schädliche oder unerwünschte Inhalte erzeugen. Besonders bei Large Language Models werden Guardrails eingesetzt, um Richtlinien einzuhalten und Missbrauch zu minimieren.

Technisch können Guardrails durch Filter, Regelwerke oder Reinforcement Learning implementiert werden. Sie spielen eine zentrale Rolle im Bereich AI Alignment und Ethical AI.

I

Inferenz

Inferenz bezeichnet den Prozess, bei dem ein bereits trainiertes KI-Modell auf neue Eingabedaten angewendet wird, um Vorhersagen oder Antworten zu generieren. Während das Training die Modellparameter optimiert, nutzt die Inferenz diese festgelegten Gewichte zur praktischen Anwendung.

Bei Large Language Models bedeutet Inferenz die Berechnung der wahrscheinlichsten nächsten Tokens basierend auf dem Kontext eines Prompts. In produktiven Systemen ist die Effizienz der Inferenz entscheidend, da sie Rechenkosten, Latenzzeiten und Skalierbarkeit beeinflusst. Optimierungstechniken wie Quantisierung oder Modellkomprimierung werden eingesetzt, um Inferenzprozesse schneller und kosteneffizienter zu machen. Inferenz ist somit der operative Kern jedes KI-Systems.

Intelligent Agent

Ein Intelligent Agent ist ein System, das seine Umgebung wahrnimmt, Entscheidungen trifft und Handlungen ausführt, um ein definiertes Ziel zu erreichen. In der modernen KI kombiniert ein Agent oft Large Language Models mit Speichermechanismen, Tool-Zugriff und Retrieval-Systemen.

Im Gegensatz zu einfachen Chatbots kann ein intelligenter Agent mehrstufig planen, externe APIs aufrufen oder komplexe Aufgaben selbstständig strukturieren. Agentensysteme gelten als nächste Evolutionsstufe generativer KI und werden zunehmend in Automatisierung, Finanzanalyse und Wissensmanagement eingesetzt.

J

Jupyter Notebook

Jupyter Notebook ist eine interaktive Entwicklungsumgebung, die häufig in der KI- und Machine-Learning-Forschung verwendet wird. Sie ermöglicht die Kombination von Code, Visualisierungen und erklärendem Text in einem Dokument.

Besonders in Python-basierten KI-Projekten ist Jupyter ein Standardwerkzeug. Es unterstützt iterative Modellentwicklung, Datenanalyse und Visualisierung von Trainingsprozessen. Für Data Scientists ist es ein zentrales Tool zur Experimentation und Prototypentwicklung.

K

Knowledge Graph

Ein Knowledge Graph ist eine strukturierte Wissensdarstellung, bei der Entitäten (z. B. Personen, Orte oder Konzepte) als Knoten und deren Beziehungen als Kanten modelliert werden.

Knowledge Graphs ermöglichen semantische Verknüpfungen zwischen Informationen und werden häufig in Suchmaschinen oder Unternehmenssystemen eingesetzt. In Kombination mit Large Language Models können Knowledge Graphs die Faktentreue verbessern und strukturierte Kontextinformationen bereitstellen.

Künstliche Intelligenz (KI)

Künstliche Intelligenz (KI) bezeichnet Technologien, die menschenähnliche kognitive Prozesse simulieren. Dazu gehören Lernen, Mustererkennung, Sprachverarbeitung und Entscheidungsfindung.

Moderne KI-Systeme basieren häufig auf Machine Learning und Deep Learning. Large Language Models, Computer Vision und generative KI sind aktuelle Ausprägungen künstlicher Intelligenz. KI verändert zahlreiche Branchen, von Finanzwesen bis Medizin.

L

Large Language Model (LLM)

Ein Large Language Model ist ein großskaliges neuronales Sprachmodell mit Milliarden oder Billionen Parametern. Es basiert meist auf der Transformer-Architektur und wird auf riesigen Textkorpora vortrainiert.

LLMs sind in der Lage, Texte zu generieren, zu analysieren, zu übersetzen und komplexe Fragen zu beantworten. Sie arbeiten probabilistisch und berechnen Wahrscheinlichkeiten für Tokenfolgen. Moderne Anwendungen umfassen Chatbots, Content-Generierung, Code-Assistenz und KI-Agenten.

Latent Space

Der Latent Space ist ein mathematischer Raum interner Repräsentationen eines KI-Modells. Dort werden komplexe Eingabedaten in komprimierter Form gespeichert.

In generativen Modellen wie GANs oder Diffusion Models repräsentiert der Latent Space abstrakte Merkmalsstrukturen. Ähnliche Inhalte liegen näher beieinander. Das Verständnis des Latent Space ist zentral für Modellinterpretation und Generierung.

Learning Rate

Die Learning Rate ist ein Hyperparameter, der bestimmt, wie stark Modellgewichte bei jedem Trainingsschritt angepasst werden. Eine zu hohe Learning Rate kann zu instabilem Training führen, während eine zu niedrige das Lernen verlangsamt.

Optimierungsalgorithmen wie Adam passen die effektive Learning Rate dynamisch an. Die Wahl einer geeigneten Learning Rate ist entscheidend für erfolgreiche Modelloptimierung.

Loss Functio

Die Loss Function misst den Fehler zwischen Vorhersage und tatsächlichem Ergebnis. Ziel des Trainings ist es, diese Verlustfunktion zu minimieren.

Beispiele sind Mean Squared Error (Regression) oder Cross-Entropy Loss (Klassifikation). Die Wahl der Loss Function beeinflusst maßgeblich das Lernverhalten eines Modells.

M

Machine Learning

Machine Learning (ML) ist ein Teilbereich der Künstlichen Intelligenz, bei dem Modelle aus Daten lernen, ohne explizit programmiert zu werden. Anstatt feste Regeln vorzugeben, werden statistische Muster aus Trainingsdaten extrahiert.

Es gibt drei Hauptarten: Supervised Learning, Unsupervised Learning und Reinforcement Learning. Machine Learning bildet die Grundlage moderner KI-Systeme wie Large Language Models, Bildklassifikation oder Betrugserkennung.

Der Erfolg eines ML-Modells hängt stark von Datenqualität, Feature Engineering und Modellarchitektur ab. ML ist heute eine Schlüsseltechnologie in Finanzanalyse, Medizin, Industrie und digitalen Plattformen.

Model Drift

Model Drift beschreibt die Verschlechterung der Modellleistung über die Zeit hinweg, wenn sich reale Daten von den Trainingsdaten unterscheiden.

Es gibt zwei Hauptformen:

• Data Drift (Eingabedaten verändern sich)
• Concept Drift (Zielvariable ändert sich strukturell)

Model Drift ist besonders kritisch in Finanzsystemen, Empfehlungssystemen und Betrugserkennung. Unternehmen müssen Monitoring-Mechanismen implementieren, um Drift frühzeitig zu erkennen und Modelle regelmäßig neu zu trainieren.

Multimodal AI

Multimodal AI bezeichnet KI-Systeme, die mehrere Datentypen gleichzeitig verarbeiten können, etwa Text, Bild, Audio oder Video.

Moderne multimodale Large Language Models können beispielsweise ein Bild analysieren und eine textliche Beschreibung erzeugen. Multimodalität erhöht die Kontexttiefe und ermöglicht komplexere Anwendungen wie visuelle Assistenzsysteme oder KI-gestützte Diagnostik.

N

Natural Language Processing (NLP)

Natural Language Processing (NLP) ist ein Teilbereich der KI, der sich mit der Verarbeitung natürlicher Sprache beschäftigt. NLP umfasst Aufgaben wie Textklassifikation, Übersetzung, Sentiment-Analyse oder Named Entity Recognition.

Mit dem Aufstieg der Transformer-Architektur hat NLP enorme Fortschritte gemacht. Large Language Models gelten als Weiterentwicklung klassischer NLP-Modelle und ermöglichen kontextabhängige Sprachverarbeitung auf bisher unerreichtem Niveau.

Neural Network

Ein Neural Network ist ein künstliches neuronales Netz, das von biologischen Nervensystemen inspiriert ist. Es besteht aus Eingabe-, versteckten und Ausgabeschichten.

Durch Gewichtsanpassung mittels Backpropagation lernt das Netzwerk Muster in Daten. Tiefe neuronale Netze (Deep Learning) bestehen aus vielen Schichten und ermöglichen komplexe Sprach-, Bild- und Mustererkennung.

Named Entity Recognition (NER)

Named Entity Recognition ist ein NLP-Verfahren zur Identifikation und Klassifikation von Entitäten wie Personen, Orten oder Organisationen in Texten. NER wird in Suchmaschinen, Dokumentenanalyse und Informationssystemen eingesetzt. Moderne LLMs integrieren NER-Funktionalitäten implizit in ihre Sprachverarbeitung.

O

Overfitting

Overfitting tritt auf, wenn ein Modell Trainingsdaten zu exakt lernt und dadurch auf neuen Daten schlecht generalisiert. Ein überangepasstes Modell erkennt nicht nur relevante Muster, sondern auch zufälliges Rauschen. Methoden wie Regularisierung, Dropout oder Cross-Validation helfen, Overfitting zu vermeiden.

Open Source KI

Open Source KI bezeichnet frei zugängliche KI-Modelle oder Frameworks, deren Code öffentlich einsehbar ist. Open-Source-Modelle fördern Transparenz, Innovation und Anpassungsfähigkeit. Gleichzeitig entstehen neue Herausforderungen im Bereich Sicherheit und Missbrauch.

Optimization

Optimization bezeichnet den Prozess der Anpassung von Modellparametern, um die Loss Function zu minimieren. Algorithmen wie Gradient Descent oder Adam Optimizer sind zentrale Bestandteile moderner Deep-Learning-Systeme.

P

Parameter

Parameter sind die trainierbaren Gewichte eines neuronalen Netzes. Large Language Models verfügen über Milliarden oder Billionen Parameter, die während des Trainings angepasst werden. Die Anzahl der Parameter beeinflusst die Modellkapazität und Leistungsfähigkeit.

Pretraining

Pretraining ist die erste groß angelegte Trainingsphase eines Modells auf riesigen Datenmengen. Bei LLMs erfolgt das Pretraining meist durch Vorhersage des nächsten Tokens. Danach kann Fine-Tuning für spezialisierte Aufgaben erfolgen.

Precision

Precision misst den Anteil korrekt positiver Vorhersagen im Verhältnis zu allen positiv vorhergesagten Fällen. Sie ist besonders relevant bei Klassifikationsproblemen mit unausgewogenen Datensätzen.

Prompt

Ein Prompt ist die Eingabeanweisung für ein Large Language Model. Die Struktur, Klarheit und Kontexttiefe eines Prompts beeinflussen maßgeblich die Qualität der generierten Antwort.

Prompt Engineering

Prompt Engineering beschreibt die gezielte Optimierung von Eingabeanweisungen, um bessere Modellantworten zu erhalten. Es ist besonders relevant im Umgang mit generativen KI-Systemen.

Q

Query

Eine Query ist eine Suchanfrage an ein KI- oder Datenbanksystem. In RAG-Systemen wird eine Query in ein Embedding umgewandelt und gegen eine Vektor-Datenbank gematcht.

Quantisierung

Quantisierung reduziert die numerische Präzision von Modellparametern, um Speicherbedarf und Rechenkosten zu senken. Sie wird häufig eingesetzt, um Inferenzprozesse effizienter zu gestalten.

R

Reinforcement Learning from Human Feedback (RLHF)

Reinforcement Learning from Human Feedback (RLHF) ist eine Trainingsmethode, bei der menschliche Bewertungen genutzt werden, um ein KI-Modell weiter zu optimieren. Nach dem Pretraining eines Large Language Models bewerten menschliche Trainer verschiedene Modellantworten. Auf Basis dieser Bewertungen wird ein Belohnungsmodell erstellt, das das ursprüngliche Sprachmodell durch Reinforcement Learning weiter anpasst.

RLHF verbessert insbesondere die Qualität, Sicherheit und Nützlichkeit generativer KI-Systeme. Es hilft dabei, unerwünschte Inhalte zu reduzieren und Antworten stärker an menschlichen Erwartungen auszurichten. RLHF ist ein zentraler Bestandteil moderner LLM-Entwicklung.

Retrieval System

Ein Retrieval System ist ein Informationsabrufsystem, das relevante Dokumente oder Daten aus einer Datenbank identifiziert. In modernen KI-Architekturen, insbesondere bei Retrieval-Augmented Generation (RAG), wird das Retrieval System mit einer Vektor-Datenbank kombiniert.

Die Nutzeranfrage wird in ein Embedding umgewandelt und semantisch mit gespeicherten Dokumenten verglichen. Das Retrieval System wählt die relevantesten Inhalte aus und stellt sie dem Sprachmodell als Kontext zur Verfügung. Die Qualität des Retrieval Systems bestimmt maßgeblich die Genauigkeit der generierten Antworten.

Regularisierung

Regularisierung umfasst Techniken, die Overfitting in Machine-Learning-Modellen reduzieren. Ziel ist es, zu komplexe Modelle zu verhindern, die Trainingsdaten zu exakt lernen. Methoden wie L1- und L2-Regularisierung, Dropout oder Early Stopping sorgen dafür, dass Modelle besser generalisieren. Regularisierung ist ein essenzieller Bestandteil stabiler Deep-Learning-Trainingsprozesse.

S

Self-Attention

Self-Attention ist ein Mechanismus innerhalb der Transformer-Architektur, der es einem Modell ermöglicht, die Bedeutung einzelner Tokens im Kontext aller anderen Tokens zu bewerten. Jedes Wort eines Satzes „achtet“ auf jedes andere Wort, wodurch langfristige Abhängigkeiten erkannt werden. Self-Attention ist die technologische Grundlage moderner Large Language Models. Ohne diesen Mechanismus wären komplexe Sprachverarbeitung und kontextuelle Textgenerierung nicht möglich.

Semantic Search

Semantic Search ist eine Suchtechnologie, die nicht nur nach Schlüsselwörtern, sondern nach inhaltlicher Bedeutung sucht. Anstatt exakte Wortübereinstimmungen zu prüfen, werden Embeddings genutzt, um semantische Ähnlichkeit zu berechnen. Semantic Search ist zentral für Vektor-Datenbanken und RAG-Systeme. Sie ermöglicht präzisere Suchergebnisse in Wissenssystemen und Unternehmensdatenbanken.

Supervised Learning

Supervised Learning ist eine Form des Machine Learning, bei der Modelle mit gelabelten Daten trainiert werden. Das Modell erhält Eingabedaten und die korrekten Zielwerte, um Muster zu lernen. Klassifikation und Regression gehören zu den typischen Anwendungen. Supervised Learning ist die am weitesten verbreitete Lernform in der KI.

Synthetic Data

Synthetic Data sind künstlich erzeugte Datensätze, die reale Daten simulieren. Sie werden genutzt, wenn reale Daten knapp, sensibel oder teuer sind. Generative Modelle wie GANs oder Diffusion Models können synthetische Daten erzeugen, um Trainingsprozesse zu unterstützen.

T

Token

Ein Token ist die kleinste Verarbeitungseinheit eines Sprachmodells. Texte werden vor der Modellverarbeitung in Tokens zerlegt, die Wörter, Wortteile oder Zeichen darstellen können. Large Language Models berechnen Wahrscheinlichkeiten auf Token-Ebene. Die Anzahl der Tokens beeinflusst Kosten und Kontextfenster.

Tokenisierung

Tokenisierung ist der Prozess der Zerlegung eines Textes in Tokens. Je nach Modell werden Wörter in kleinere Subword-Einheiten zerlegt, um effizienter mit unbekannten Begriffen umzugehen. Tokenisierung ist ein zentraler Schritt im Natural Language Processing.

Transformer

Der Transformer ist eine neuronale Netzwerkarchitektur, die auf Self-Attention basiert. Er ermöglicht parallele Verarbeitung großer Textmengen und bildet die Grundlage moderner Large Language Models. Seit seiner Einführung hat der Transformer NLP grundlegend verändert.

Training Data

Training Data sind die Datensätze, mit denen ein KI-Modell trainiert wird. Die Qualität, Vielfalt und Größe der Trainingsdaten bestimmen maßgeblich die Leistungsfähigkeit des Modells. Verzerrte oder fehlerhafte Trainingsdaten führen zu Bias und Halluzinationen.

U

Unsupervised Learning

Unsupervised Learning ist eine Lernform, bei der keine gelabelten Daten vorhanden sind.

Modelle erkennen eigenständig Muster oder Gruppenstrukturen in Daten. Clustering und Dimensionalitätsreduktion sind typische Anwendungen.

Underfitting

Underfitting tritt auf, wenn ein Modell zu einfach ist, um zugrunde liegende Datenmuster zu erfassen.

Das Modell performt sowohl auf Trainings- als auch Testdaten schlecht. Ursache ist meist unzureichende Modellkomplexität oder zu wenige Trainingsschritte.

V

Vector Database

Eine Vector Database speichert Embeddings in hochdimensionalen Vektorräumen und ermöglicht semantische Ähnlichkeitssuche.

Sie ist ein Kernbestandteil von Retrieval-Augmented Generation (RAG). Vektor-Datenbanken erlauben schnelle Kontextabfragen auf Basis semantischer Relevanz statt Keyword-Suche.

Vector Embedding

Vector Embedding bezeichnet die numerische Darstellung von Text oder Daten in einem Vektorraum.

Embeddings sind mathematische Repräsentationen semantischer Inhalte. Sie ermöglichen Clustering, Similarity Search und Kontextintegration in KI-Systemen.

W

Weak AI

Weak AI bezeichnet spezialisierte KI-Systeme, die auf bestimmte Aufgaben beschränkt sind. Im Gegensatz zu hypothetischer „Strong AI“ verfügen Weak-AI-Systeme nicht über allgemeines Bewusstsein. Fast alle heutigen KI-Systeme, einschließlich Large Language Models, gelten als Weak AI.

Weight

Weights sind trainierbare Parameter innerhalb eines neuronalen Netzes. Sie bestimmen die Stärke von Verbindungen zwischen Neuronen. Während des Trainings werden Weights angepasst, um Fehler zu minimieren.

X

XAI (Explainable AI)

XAI steht für Explainable Artificial Intelligence und beschreibt Methoden zur Transparenz von KI-Entscheidungen. Mit steigender Modellkomplexität wird Erklärbarkeit immer wichtiger, insbesondere in regulierten Branchen. XAI erhöht Vertrauen und ermöglicht regulatorische Compliance.

Y

Yield Optimization (KI im Finanzbereich)

Yield Optimization beschreibt die KI-gestützte Optimierung von Renditen, etwa im Trading oder Portfolio-Management. Machine-Learning-Modelle analysieren Markt- und Sentiment-Daten, um Ertragschancen zu identifizieren. KI-basierte Yield-Strategien werden zunehmend im quantitativen Finanzbereich eingesetzt.

Z

Zero-Shot Learning

Zero-Shot Learning beschreibt die Fähigkeit eines Modells, Aufgaben zu lösen, ohne spezifisch darauf trainiert worden zu sein. Large Language Models zeigen starke Zero-Shot-Fähigkeiten, da sie generalisierte Sprachmuster aus dem Pretraining nutzen. Diese Eigenschaft macht LLMs besonders flexibel.