Discussion:token

Une définition du Jargon Français.
Aller à : Navigation, rechercher

L'aspect du “Tokenizer” mérite plus de mots.

Un token est le résultat intermédiaire de l'analyse lexicale, où soit un fragment correspond aux détails recherchés ou un fragment reste, quand un symbol limitant est éliminé. Un tokenizer simple est programmé avec une des divers fonctions split(), souvent associés au “String” (selon le language de programmation) ou par exemple strsep() en C (glibc/string.h). --Souris Libre (discussion) 12 février 2021 à 20:33 (CET)