KI Ordbok / T
Hva er Token?
Den minste enheten tekst en språkmodell jobber med. Et token tilsvarer omtrent 3/4 av et ord på engelsk, og litt mer på norsk. "Hei verden" er 2–3 tokens. Prisen på API-kall måles i antall tokens.
KI Ordbok / T
Den minste enheten tekst en språkmodell jobber med. Et token tilsvarer omtrent 3/4 av et ord på engelsk, og litt mer på norsk. "Hei verden" er 2–3 tokens. Prisen på API-kall måles i antall tokens.