The Human Touch: Evaluering af LLM'ers virkelige verdenseffektivitet

Introduktion

Efterhånden som udviklingen af ​​store sprogmodeller (LLM'er) accelererer, er det vigtigt at vurdere deres praktiske anvendelse på tværs af forskellige områder omfattende. Denne artikel dykker ned i syv nøgleområder, hvor LLM'er, såsom BLOOM, er blevet grundigt testet og udnytter menneskelig indsigt til at måle deres sande potentiale og begrænsninger.

Human Insights on AI #1: Giftig taledetektion

At opretholde et respektfuldt onlinemiljø kræver effektiv giftig taledetektion. Menneskelige evalueringer har vist, at mens LLM'er nogle gange kan udpege åbenlyse giftige bemærkninger, savner de ofte mærket på subtile eller kontekstspecifikke kommentarer, hvilket fører til unøjagtigheder. Dette fremhæver behovet for, at LLM'er udvikler en mere raffineret forståelse og kontekstuel følsomhed for effektivt at styre online diskurs.

Eksempel på menneskelig indsigt om AI #1: Toksisk taledetektion

Scenario: Et onlineforum bruger en LLM til at moderere kommentarer. En bruger skriver, "Jeg håber, du er tilfreds med dig selv nu," i en diskussion. Konteksten er en ophedet debat om miljøpolitikker, hvor denne kommentar var rettet mod en person, der netop præsenterede et kontroversielt synspunkt.

LLM-evaluering: LLM kan muligvis ikke opdage den underliggende passiv-aggressive tone i kommentaren som giftig, givet dens overfladiske neutrale formulering.

Menneskelig indsigt: En menneskelig moderator forstår kommentarens kontekstuelle negativitet, og genkender den som en subtil form for toksicitet, der sigter mod at underminere den anden persons holdning. Dette illustrerer behovet for nuanceret forståelse i LLM'er for effektiv moderering.

Human Insights on AI #2: Artistic Creation

LLM'er har fået opmærksomhed for deres evne til at generere kreative tekster som historier og digte. Men når de vurderes af mennesker, er det tydeligt, at selvom disse modeller kan væve sammenhængende historier, kommer de ofte til kort i kreativitet og følelsesmæssig dybde, hvilket understreger udfordringen med at udstyre AI med en virkelig menneskelignende kreativ gnist.

Eksempel på Human Insights on AI #2: Artistic Creation

Scenario: En forfatter beder en LLM om en novelleidé, der involverer en tidsrejsende detektiv.

LLM output: LLM foreslår et plot, hvor detektiven rejser tilbage for at forhindre en historisk uretfærdighed, men ender med at forårsage en større historisk begivenhed.

Menneskelig indsigt: Mens plottet til en vis grad er sammenhængende og kreativt, bemærker en menneskelig anmelder, at det mangler originalitet og dybde i karakterudvikling, hvilket fremhæver kløften mellem AI-genererede koncepter og den nuancerede historiefortælling, der findes i menneskeforfattede værker.

Human Insights on AI #3: Answering Questions

Spørgsmålsbesvarelsesevner er fundamentale for uddannelsesressourcer og vidensøgningsapplikationer. LLM'er har vist lovende at svare præcist på ligetil spørgsmål. Men de kæmper med komplekse forespørgsler, eller når en dybere forståelse er nødvendig, hvilket fremhæver det kritiske behov for løbende læring og modelforfining.

Eksempel på Human Insights on AI #3: Answering Questions

Scenario: En studerende spørger: "Hvorfor begyndte den industrielle revolution i Storbritannien?"

LLM svar: "Den industrielle revolution begyndte i Storbritannien på grund af dets adgang til naturressourcer, såsom kul og jern, og dets ekspanderende imperium, som sørgede for markeder for varer."

Menneskelig indsigt: Selvom det er nøjagtigt, savner LLM's svar dybere indsigt i de komplekse sociopolitiske faktorer og innovationer, der spillede afgørende roller, hvilket viser behovet for, at LLM'er inkorporerer en mere omfattende forståelse i deres svar.

Human Insights on AI #4: Marketing Creativity

Inden for markedsføring er kapaciteten til at lave engagerende kopi uvurderlig. LLM'er har vist potentiale i at generere grundlæggende marketingindhold. Men deres kreationer mangler ofte innovation og følelsesmæssig resonans, der er afgørende for virkelig overbevisende markedsføring, hvilket tyder på, at mens LLM'er kan bidrage med ideer, forbliver menneskelig opfindsomhed uden sidestykke.

Eksempel på Human Insights on AI #4: Marketing Creativity

Scenario: En startup beder en LLM om at skabe en tagline for deres nye miljøvenlige emballageløsning.

LLM-forslag: "Pak det grønt, hold det rent."

Menneskelig indsigt: Selvom sloganet er iørefaldende, foreslår en marketingekspert, at det ikke formår at formidle det innovative aspekt af produktet eller dets specifikke fordele, og påpeger nødvendigheden af ​​menneskelig kreativitet for at skabe budskaber, der giver genlyd på flere niveauer.

Menneskelig indsigt om AI #5: Genkendelse af navngivne enheder

Evnen til at identificere navngivne enheder i tekst er afgørende for dataorganisering og -analyse. LLM'er er dygtige til at spotte sådanne enheder, og viser deres nytte i databehandling og videnudvinding, og understøtter derved forsknings- og informationsstyringsopgaver.

Eksempel på menneskelig indsigt om AI #5: Genkendelse af navngivne enheder

Scenario: En tekst nævner, "Elon Musks seneste satsning på rumturisme."

LLM-detektion: Identificerer "Elon Musk" som en person og "rumturisme" som et begreb.

Menneskelig indsigt: En menneskelig læser vil måske også genkende de potentielle implikationer for rumindustrien og den bredere indvirkning på kommercielle rejser, hvilket tyder på, at selvom LLM'er kan identificere enheder, forstår de muligvis ikke deres betydning fuldt ud.

Human Insights on AI #6: Coding Assistance

Efterspørgslen efter kodning og softwareudviklingshjælp har ført til, at LLM'er er blevet udforsket som programmeringsassistenter. Menneskelige vurderinger indikerer, at LLM'er kan producere syntaktisk nøjagtig kode til grundlæggende opgaver. De står dog over for udfordringer med mere indviklede programmeringsproblemer, hvilket afslører områder for forbedringer inden for AI-drevet udviklingsstøtte.

Eksempel på Human Insights on AI #6: Coding Assistance

Scenario: En udvikler beder om en funktion til at filtrere en liste over tal til kun at inkludere primtal.

LLM output: Giver en Python-funktion, der kontrollerer for primalitet ved prøveopdeling.

Menneskelig indsigt: En erfaren programmør bemærker, at funktionen mangler effektivitet til store input og foreslår optimeringer eller alternative algoritmer, der angiver områder, hvor LLM'er måske ikke tilbyder de bedste løsninger uden menneskelig indgriben.

Human Insights on AI #7: Matematisk ræsonnement

Matematik giver en unik udfordring med sine strenge regler og logiske stringens. LLM'er er i stand til at løse ligetil aritmetiske problemer, men kæmper med komplekse matematiske ræsonnementer. Denne uoverensstemmelse fremhæver forskellen mellem beregningsevner og den dybe forståelse, der er nødvendig for avanceret matematik.

Eksempel på Human Insights on AI #7: Mathematical Reasoning

Scenario: En elev spørger: "Hvad er summen af ​​alle vinklerne i en trekant?"

LLM output: "Summen af ​​alle vinkler i en trekant er 180 grader."

Menneskelig indsigt: Mens LLM giver et korrekt og direkte svar, kan en underviser bruge denne lejlighed til at forklare, hvorfor dette er tilfældet, ved at illustrere konceptet med en tegning eller en aktivitet. De kunne for eksempel vise, hvordan hvis man tager vinklerne i en trekant og placerer dem side om side, danner de en ret linje, som er 180 grader. Denne praktiske tilgang besvarer ikke kun spørgsmålet, men uddyber også elevens forståelse og engagement med materialet, hvilket fremhæver den pædagogiske værdi af kontekstualiserede og interaktive forklaringer.

[Læs også: Store sprogmodeller (LLM): En komplet vejledning]

Konklusion: Rejsen forude

Evaluering af LLM'er gennem en menneskelig linse på tværs af disse domæner tegner et mangefacetteret billede: LLM'er gør fremskridt i sproglig forståelse og generering, men mangler ofte dybde, når der kræves dybere forståelse, kreativitet eller specialiseret viden. Disse indsigter understreger behovet for løbende forskning, udvikling og vigtigst af alt, menneskelig involvering i raffinering af kunstig intelligens. Når vi navigerer i AI's potentiale, vil det være afgørende at omfavne dens styrker og samtidig anerkende dens svagheder for at opnå gennembrud inden for teknologi AI-forskere, teknologientusiaster, indholdsmoderatorer, marketingfolk, undervisere, programmører og matematikere.

End-to-end-løsninger til din LLM-udvikling (datagenerering, eksperiment, evaluering, overvågning) – Anmod om en demo