KI Ordbok / T
Hva er Transformer?
Den dominerende arkitekturen for store språkmodeller, introdusert av Google i 2017. Bruker "attention"-mekanismen til å forstå sammenhenger mellom ord, uavhengig av avstand i teksten. Nesten alle moderne LLM-er bruker transformer-arkitektur.
Teknisk