KI-Glossar
Transformer
Architektur für Sprachmodelle, die Aufmerksamkeit (Attention) nutzt.
Definition
Der Transformer ist die Architektur, die moderne Sprachmodelle möglich gemacht hat. Sein Kern ist der Attention-Mechanismus: Das Modell bewertet für jedes Wort, welche anderen Wörter im Satz dafür wichtig sind, und gewichtet sie entsprechend. So kann es Kontext und Zusammenhänge über lange Texte hinweg erfassen. GPT, Claude und Llama sind alles Transformer-basierte Modelle.
Verwandte Begriffe
Quellen: a16z AI Glossary · CNET AI Terms Glossary