Definition
Finjustering er processen med at tilpasse en prætrænet maskinlæringsmodel til en ny opgave ved hjælp af yderligere træning på mindre, domænespecifikke datasæt.
Formål
Formålet er at genbruge viden fra store modeller og forbedre ydeevnen på specialiserede opgaver med færre ressourcer.
Vigtighed
- Reducerer træningsomkostninger og -tid sammenlignet med at bygge modeller fra bunden.
- Forbedrer ydeevnen på domænespecifikke opgaver.
- Risici ved overfitting, hvis træningsdataene er for snævre.
- Relateret til transferlæring.
Hvordan det virker
- Vælg en forudtrænet basismodel.
- Erstat eller juster opgavespecifikke lag.
- Træn med mærkede data fra det nye domæne.
- Juster læringshastigheden for at afbalancere gammel og ny viden.
- Valider og test for generalisering.
Eksempler (den virkelige verden)
- BERT finjusteret til sentimentanalyse.
- GPT-modeller finjusteret til kundesupport-chatbots.
- Synsmodeller finjusteret til klassificering af medicinsk billeddannelse.
Referencer / Yderligere læsning
- Howard & Ruder. “Finjustering af universel sprogmodel” (ULMFiT). ACL 2018.
- Dokumentation om krammende ansigtstransformere.
- Pan & Yang. "En undersøgelse om overførselslæring." IEEE TKDE.
- Hvad er finjustering for store sprogmodeller? – Shaip
