Retrieval-Augmented Generation (RAG)

Definition

Retrieval-Augmented Generation (RAG) er en teknik, der kombinerer generative modeller med informationssøgningssystemer. Den baserer output i eksterne kilder for at forbedre faktuel nøjagtighed.

Formål

Formålet er at reducere hallucinationer i generativ kunstig intelligens ved at forstærke svar med hentede dokumenter. Det er især nyttigt til besvarelse af spørgsmål og videnintensive opgaver.

Vigtighed

• Forbedrer den faktuelle nøjagtighed i LLM-output.
• Muliggør domænespecifik vidensintegration.
• Kræver pålidelige genfindingssystemer.
• Relateret til hybridsøgning og QA med åbne domæner.

Hvordan det virker

1. Brugeren angiver en forespørgsel eller prompt.
2. Hentningssystemet henter relevante dokumenter.
3. Dokumenter overføres til en generativ model.
4. Modellen genererer svar baseret på hentet indhold.
5. Feedback-loops forbedrer fremtidig ydeevne.

Eksempler (den virkelige verden)

• OpenAI ChatGPT med browsing- eller hentningsplugins.
• Meta RAG-model: forskning i retrieval-grounded LLMs.
• Perplexity AI: hentningsudvidet samtalesøgning.

Referencer / Yderligere læsning

• Lewis et al. “Retrieval-Augmented Generation for Knowledge-Intensive NLP.” NeurIPS 2020.
• Implementering af RAG med et krammeansigt.
• Stanford HAI-forskning i hentningsmetoder.
• Hvad er RAFT? RAG + Finjustering