KI Ordbok / M
Hva er Mixtral / MoE?
En arkitektur der modellen inneholder mange spesialister (eksperter), men bare aktiverer noen få for hvert spørsmål. Gir høy total kapasitet til lav kostnad per forespørsel. Qwen3.6 35B-A3B bruker denne arkitekturen.
Engelsk: Mixture of Experts
Teknisk