Der Transformer ist die Architektur, die moderne Sprachmodelle möglich gemacht hat. Sein Kern ist der Attention-Mechanismus: Das Modell bewertet für jedes Wort, welche anderen Wörter im Satz dafür wichtig sind, und gewichtet sie entsprechend. So kann es Kontext und Zusammenhänge über lange Texte hinweg erfassen. GPT, Claude und Llama sind alles Transformer-basierte Modelle.
Kurz beantwortet
Was ist ein Transformer in der KI?
Der Transformer ist die Architektur moderner Sprachmodelle. Sein Kern ist der Attention-Mechanismus: Das Modell bewertet für jedes Wort, welche anderen Wörter wichtig sind, und gewichtet sie. So erfasst es Kontext über lange Texte hinweg. GPT, Claude und Llama basieren auf dieser Architektur.
KI im Unternehmen einsetzen?
Wir zeigen Ihnen, welche Anwendungen sich für Ihre Organisation lohnen.