Tokenizer
Outil qui découpe le texte brut en petits morceaux (tokens) compréhensibles par le modèle avant le traitement.
Envie d'aller plus loin ? L'espace membre fluidifia propose des quiz, des vidéos et des scénarios pratiques autour de « Tokenizer » et de centaines d'autres notions.
Découvrir l'Espace IA Essayer gratuitement