Tokenisierung ist der Prozess, Text in kleinere Einheiten – sogenannte Tokens – zu zerlegen, die ein KI-Modell verarbeiten kann. Ein Token kann ein Wort, ein Wortteil oder auch ein einzelnes Zeichen sein. Die Anzahl Tokens beeinflusst Verarbeitungsgeschwindigkeit und Kosten bei KI-Modellen. Für Deutsch ist Tokenisierung oft weniger effizient als für Englisch, da Wörter länger und komplexer sind.
Kurz beantwortet
Was ist Tokenisierung bei KI-Modellen?
Tokenisierung ist der Prozess, Text in kleinere Einheiten (Tokens) zu zerlegen, die ein KI-Modell verarbeiten kann. Ein Token kann ein Wort, ein Wortteil oder ein Zeichen sein. Die Anzahl Tokens beeinflusst Verarbeitungsgeschwindigkeit und Kosten. Für Deutsch ist Tokenisierung oft weniger effizient als für Englisch.
KI im Unternehmen einsetzen?
Wir zeigen Ihnen, welche Anwendungen sich für Ihre Organisation lohnen.