KI Ordbok / T

Hva er Tokenisering?

Prosessen med å dele opp tekst i tokens før den sendes til modellen. Norsk tekst bruker ofte flere tokens per ord enn engelsk, noe som kan gjøre norske forespørsler dyrere.

Engelsk: Tokenization

Relaterte begreper

• Transformer
• Token

← Se alle begreper under T