KI Ordbok / P
Hva er Prompt caching?
En teknikk der store, faste deler av prompten (som systeminstruksjoner) lagres mellom forespørsler. Reduserer kostnad og latens betraktelig i systemer med mange lignende forespørsler.
Teknikk
KI Ordbok / P
En teknikk der store, faste deler av prompten (som systeminstruksjoner) lagres mellom forespørsler. Reduserer kostnad og latens betraktelig i systemer med mange lignende forespørsler.
Teknikk