Definition
Supervised fine-tuning (SFT) er processen med at træne en præ-trænet model på mærkede data til en specifik opgave, hvor alle eller nogle af dens parametre justeres.
Formål
Formålet er at tilpasse generelle modeller til specialiserede opgaver med forbedret nøjagtighed.
Vigtighed
- Kerneteknik i NLP og visionsopgaver.
- Kræver mærkede data af høj kvalitet.
- Risici ved overfitting med små datasæt.
- Ofte en forløber for RLHF.
Hvordan det virker
- Vælg en præ-trænet model.
- Indsaml mærkede data til målopgaven.
- Træn modellen med superviseret læring.
- Valider på et udeholdt testsæt.
- Implementer og overvåg ydeevne.
Eksempler (den virkelige verden)
- GPT finjusterede kundeservicesamtaler.
- BERT finjusteret til genkendelse af navngivne enheder.
- Synstransformere finjusteret til medicinsk billedklassificering.
Referencer / Yderligere læsning
- Devlin et al. “BERT: Forudtræning af dybe tovejstransformatorer.” NAACL 2019.
- Dokumentation om krammende ansigtstransformere.
- Stanford CS224N: NLP med dybdegående læring.
- Hvad er SFT? Hvorfor er det vigtigt?
