KI-Glossar
Tokenisierung
Zerlegung von Text in verarbeitbare Einheiten (Tokens) für KI-Modelle.
Definition
Tokenisierung ist der Prozess, Text in kleinere Einheiten – sogenannte Tokens – zu zerlegen, die ein KI-Modell verarbeiten kann. Ein Token kann ein Wort, ein Wortteil oder auch ein einzelnes Zeichen sein. Die Anzahl Tokens beeinflusst Verarbeitungsgeschwindigkeit und Kosten bei KI-Modellen. Für Deutsch ist Tokenisierung oft weniger effizient als für Englisch, da Wörter länger und komplexer sind.
Verwandte Begriffe
Quellen: a16z AI Glossary · CNET AI Terms Glossary