Hvordan finner vi ut hvilken AI-modell som fungerer best for våre oppgaver, uten å stole blindt på rangeringer?

Nye AI-modeller lanseres ofte, og hver lansering kommer med tall som skal vise at modellen er bedre enn de forrige. Tallene kan godt stemme, men de svarer på et annet spørsmål enn deres: hvilken modell gjør jobben best hos oss?

Denne artikkelen rangerer ingen modeller. Den viser hvordan dere kan finne svaret selv. Med AI-modell mener vi språkmodellen som ligger bak et AI-verktøy, for eksempel bak en chatteassistent.

Hvorfor rangeringer ikke er nok

Generelle tester måler generelle ferdigheter. Oppgavene deres er spesifikke: norske kundehenvendelser, egne produktnavn, en bestemt tone og et bestemt format. OpenAI advarer i sin veiledning mot å lene seg bare på generelle mål, som akademiske poengsummer, og anbefaler tester som gjenspeiler de faktiske oppgavene [1]. Anthropic gir samme råd: Testene bør ligne de virkelige oppgavene, også de vanskelige tilfellene [2].

En rangering kan likevel være nyttig for å lage en kort liste over modeller å teste. Den kan ikke erstatte testen.

Hva dere bør måle

Kvalitet er viktigst, men ikke det eneste. Skriv ned på forhånd hva som teller:

• Kvalitet: Er svaret riktig, komplett og i riktig form? Bestem hva som er «godt nok» før dere ser svarene.
• Feiltype: En modell som sier «jeg vet ikke», er ofte bedre enn en som gjetter overbevisende.
• Tid: Hvor lenge må brukeren vente, og hvor lang tid tar kontrollen etterpå?
• Kostnad: Regn ut kostnad per oppgave med egne eksempler, ikke bare pris per token. Token er enheten leverandørene bruker for å måle tekstmengde. Lange instrukser og mange steg koster.
• Datavilkår: Hvor behandles dataene, og finnes det databehandleravtale? En modell som ikke oppfyller kravene deres, er uaktuell uansett kvalitet [3].

Målene trekker ofte i hver sin retning. En modell som er litt svakere, men raskere og billigere, kan være riktig valg når kvaliteten er god nok for oppgaven. Bestem på forhånd hva som veier tyngst.

Slik lager dere en rettferdig test

1. Samle ekte eksempler. Hent oppgaver fra hverdagen, uten personopplysninger eller med dem fjernet. Ta med både vanlige og vanskelige tilfeller.
2. Ta med de rare tilfellene. Anthropic nevner blant annet input som mangler eller ikke er relevant, svært lange tekster og tvetydige spørsmål [2].
3. Skriv ned fasit eller vurderingskriterier før dere kjører testen. Ellers er det lett å la seg imponere av et godt formulert, men feil svar.
4. Gi alle modellene samme instruks og samme eksempler. Justerer dere instruksen for én modell, kjører dere den justerte versjonen på hele testsettet.
5. Vurder uten å vite hvilken modell som svarte. Bland svarene og skjul navnene for den som vurderer.
6. Velg heller mange enkle målinger enn få perfekte. Anthropic anbefaler flere testspørsmål med enklere, automatisk vurdering framfor få spørsmål som vurderes grundig for hånd [2]. Svar som kan sjekkes mot en fasit, kan ofte vurderes automatisk.

Vanlige feller

• Å teste på eksempler fra instruksen. Hold testeksemplene atskilt fra eksemplene dere bruker når dere skriver instruksen.
• Å velge vinner etter noen få forsøk. Små tester gir tilfeldige vinnere.
• Å glemme kontrolltiden. En raskere modell som krever mer retting, sparer ikke nødvendigvis tid.
• Å tro at resultatet varer. Modeller oppdateres og erstattes. OpenAI anbefaler å kjøre testene på nytt ved hver endring og bygge ut testsettet over tid [1].

Dokumenter valget

Skriv ned hvilke modeller og versjoner som ble testet, hvilken dato, hvilke eksempler og hvilke resultater. Da kan dere gjenta testen med samme oppsett når en ny modell kommer, og forklare valget for andre. NIST, det amerikanske standardiseringsinstituttet, har også «måle» og «håndtere» som to av fire hovedfunksjoner i sitt frivillige rammeverk for risiko ved AI [4]. Vurderingen er ikke ferdig når modellen er valgt.