Forbedring af søgeforespørgselsforståelse med menneskelig annotering
Udnyttelse af menneskelig dømmekraft og struktureret taksonomi til konsekvent at håndtere tvetydige edge cases og forbedre søgerelevansen for et førende Polen-baseret e-handelskonglomerat.
Projektoversigt
Kunden, en førende e-handelsvirksomhed med base i Polen, modtager millioner af søgeforespørgsler dagligt. Mange af disse forespørgsler er tvetydige , indeholder stavefejl eller refererer til flere produktkategorier , hvilket skaber udfordringer for automatiserede søgemaskiner.
For at forbedre søgenøjagtigheden og kundeoplevelsen udviklede Shaip et struktureret annotationsrammeværk inspireret af Baymards undersøgelse. Forespørgsler blev systematisk klassificeret i 11 kategorier (f.eks. Produktkategori, Tema, Specifik Attribut, Eksakt, Forhandler, Symptom, Ikke-produkt osv.) med prioritetsregler for at sikre ensartet kategorisering.
Nøglestatistikker
50,000+ kommenterede forespørgsler
på tværs af flere kategorier
11 annotationsklasser
med klare definitioner og prioritetsregler
3-trins arbejdsgang
Annotation ➔ QA ➔ SMV-voldgift
Projektets omfang
Projektet fokuserede på at udvikle en omfattende taksonomi , der kunne indfange hele spektret af brugernes søgeadfærd på en stor markedspladsplatform. Omfanget omfattede:
- Udvikling af en taksonomi med 11 kategorier med klare definitioner og et prioritetshierarki til at håndtere tilfælde, hvor forespørgsler kan passe ind i mere end én klasse.
- Annotering af tusindvis af rigtige forespørgsler på tværs af både produkt- og ikke-produktdomæner for at træne og kalibrere klassifikationssystemet.
- Løsning af tvetydige forespørgsler ved at eskalere til fageksperter (SMV'er) og sikre ensartethed i, hvordan kantsager blev håndteret.
- Giv kommenterede eksempler og begrundelser til QA-kalibrering, hvilket skaber et træningssæt, som fremtidige annotatorer kan stole på som reference.
Eksempel på annotationer inkluderet:
- De dietrich ELENSIO ➔ Præcis
- E 91 ➔ Svært at sige
- tezfiles ➔ Købmand
- Subaru BRZ Toyota GT86 ➔ Ikke-produkt
- okulary BHP ➔ Produktkategori
- Stawu skokowego ➔ Symptom
Udfordringer
Projektet skulle overvinde adskillige problemer med datakompleksitet , der er typiske i e-handelssøgemiljøer:
tvetydigheden
Søgeord som "E 91" kan svare til vidt forskellige produkter (en bilmodel, en sikringsholder, et aftryk af en kapsel), hvilket gør fortolkningen meget usikker.
Typografiske fejl og varianter
Stavefejl eller forkortelser, såsom "lampa uf zestaw", krævede kontekstuel menneskelig fortolkning for at blive forstået som "lampa UV zestaw".
Overlappende kategorier
Forespørgsler matchede ofte flere klasser (f.eks. Eksakt vs. Kompatibel vs. Specifik attribut), hvilket krævede prioritetsregler for at sikre konsistens.
Ugyldige input
Seriekoder eller identifikatorer uden produktmatch skulle mærkes som "Ugyldig sætning" i stedet for at blive fejlklassificeret.
Skalerbarhed
Konsekvent anvendelse af nuancerede klassificeringsregler på tværs af titusindvis af forespørgsler krævede stærk QA- og annotationsstyring.
Løsning
For at imødegå disse udfordringer blev der introduceret et struktureret annoteringsrammeværk , der balancerer automatisering med menneskelig overvågning:
Retningslinjer for anmærkning
Detaljerede definitioner, eksempler og instruktioner blev udarbejdet for at hjælpe annotatorer med at klassificere ensartet, selv i komplekse scenarier.
Prioritetsregler
Der blev etableret et hierarki (f.eks. Kompatibel > Eksakt > Specifik attribut), så overlappende sager blev løst systematisk.
Flerniveau QA-proces
- Indledende annotering af uddannede annotatorer.
- Sekundær gennemgang af QA-specialister.
- Eskalering til SMV'er med henblik på voldgift i marginalsager eller uenigheder
Praktisk anvendelse af retningslinjer med spørgsmål fra den virkelige verden
- 4008146044786 ➔ Ugyldig sætning
- miraculum królika ➔ Tematisk attribut
- zcd galaktisk grå ➔ Kompatibel
- owczarek belgisk ➔ Tema
Dette sikrede justering, kvalitet og pålidelighed på tværs af annotationspipelinen.
Resultat
Initiativet leverede målbare forbedringer af klientens søgeøkosystem:
- 50,000+ forespørgsler klassificeret med høj præcision, hvilket danner et robust træningsdatasæt til søgeforbedringer.
- Forbedret relevans af søgeresultater, hvilket direkte øger brugertilfredsheden og reducerer frustration fra irrelevante matches.
- Reduceret tvetydighed ved systematisk at løse edge-sager gennem SMV-drevet voldgift og præcedensregler.
- Forbedret produktopdagelse, hvilket sikrer, at brugerne kan finde varer mere præcist på tværs af kategorier, attributter og temaer.
Samlet set lagde projektet grundlaget for en mere intelligent, brugerfokuseret søgeoplevelse , der hjalp klienten med at bevare sin konkurrencefordel på e-handelsmarkedet.
Den menneskelige annoteringsproces har gjort komplekse søgeforespørgsler klarere. Den strukturerede taksonomi og prioritetsreglerne forbedrede vores søgemaskines nøjagtighed betydeligt og gjorde brugeroplevelsen mere problemfri.
