The Human Touch: Evaluering af LLM'ers virkelige verdenseffektivitet

Introduktion

Efterhånden som udviklingen af ​​store sprogmodeller (LLM'er) accelererer, er det vigtigt at vurdere deres praktiske anvendelse på tværs af forskellige områder omfattende. Denne artikel dykker ned i syv nøgleområder, hvor LLM'er, såsom BLOOM, er blevet grundigt testet og udnytter menneskelig indsigt til at måle deres sande potentiale og begrænsninger.

Human Insights on AI #1: Giftig taledetektion

At opretholde et respektfuldt onlinemiljø kræver effektiv giftig taledetektion. Menneskelige evalueringer har vist, at mens LLM'er nogle gange kan udpege åbenlyse giftige bemærkninger, savner de ofte mærket på subtile eller kontekstspecifikke kommentarer, hvilket fører til unøjagtigheder. Dette fremhæver behovet for, at LLM'er udvikler en mere raffineret forståelse og kontekstuel følsomhed for effektivt at styre online diskurs.

Eksempel på menneskelig indsigt om AI #1: Toksisk taledetektion

Scenario: Et onlineforum bruger en LLM til at moderere kommentarer. En bruger skriver, "Jeg håber, du er tilfreds med dig selv nu," i en diskussion. Konteksten er en ophedet debat om miljøpolitikker, hvor denne kommentar var rettet mod en person, der netop præsenterede et kontroversielt synspunkt.

LLM-evaluering: LLM'en kan muligvis ikke opfatte den underliggende passiv-aggressive tone i kommentaren som giftig, givet dens overfladisk neutrale formulering.

Menneskelig indsigt: En menneskelig moderator forstår kommentarens kontekstuelle negativitet og genkender den som en subtil form for toksicitet, der har til formål at underminere den anden persons holdning. Dette illustrerer behovet for nuanceret forståelse i LLM'er for effektiv moderering.

Human Insights on AI #2: Artistic Creation

LLM'er har fået opmærksomhed for deres evne til at generere kreative tekster som historier og digte. Men når de vurderes af mennesker, er det tydeligt, at selvom disse modeller kan væve sammenhængende historier, kommer de ofte til kort i kreativitet og følelsesmæssig dybde, hvilket understreger udfordringen med at udstyre AI med en virkelig menneskelignende kreativ gnist.

Eksempel på Human Insights on AI #2: Artistic Creation

Scenario: En forfatter beder en LLM om en novelleidé, der involverer en tidsrejsende detektiv.

LLM-output: LLM'en foreslår et plot, hvor detektiven rejser tilbage for at forhindre en historisk uretfærdighed, men ender med at forårsage en større historisk begivenhed.

Menneskelig indsigt: Selvom plottet er sammenhængende og kreativt til en vis grad, bemærker en menneskelig anmelder, at det mangler originalitet og dybde i karakterudviklingen, hvilket fremhæver kløften mellem AI-genererede koncepter og den nuancerede historiefortælling, der findes i menneskeskabte værker.

Human Insights on AI #3: Answering Questions

Spørgsmålsbesvarelsesevner er fundamentale for uddannelsesressourcer og vidensøgningsapplikationer. LLM'er har vist lovende at svare præcist på ligetil spørgsmål. Men de kæmper med komplekse forespørgsler, eller når en dybere forståelse er nødvendig, hvilket fremhæver det kritiske behov for løbende læring og modelforfining.

Eksempel på Human Insights on AI #3: Answering Questions

Scenario: En studerende spørger: "Hvorfor begyndte den industrielle revolution i Storbritannien?"

LLM Svar : "Den industrielle revolution begyndte i Storbritannien på grund af landets adgang til naturressourcer, såsom kul og jern, og dets voksende imperium, som skabte markeder for varer."

Menneskelig indsigt: Selvom svaret er nøjagtigt, mangler det dybere indsigt i de komplekse sociopolitiske faktorer og innovationer, der spillede en afgørende rolle, hvilket viser behovet for, at LLM'er inkorporerer en mere omfattende forståelse i deres svar.

[Læs også: Tankekæde-promptering – Alt du behøver at vide om det ]

Human Insights on AI #4: Marketing Creativity

Inden for markedsføring er kapaciteten til at lave engagerende kopi uvurderlig. LLM'er har vist potentiale i at generere grundlæggende marketingindhold. Men deres kreationer mangler ofte innovation og følelsesmæssig resonans, der er afgørende for virkelig overbevisende markedsføring, hvilket tyder på, at mens LLM'er kan bidrage med ideer, forbliver menneskelig opfindsomhed uden sidestykke.

Eksempel på Human Insights on AI #4: Marketing Creativity

Scenario: En startup beder en LLM om at skabe en tagline for deres nye miljøvenlige emballageløsning.

LLM-forslag: "Pak det grønt, hold det rent."

Menneskelig indsigt: Selvom sloganet er iørefaldende, antyder en marketingekspert, at det ikke formår at formidle produktets innovative aspekt eller dets specifikke fordele, og påpeger dermed nødvendigheden af ​​menneskelig kreativitet for at skabe budskaber, der giver genlyd på flere niveauer.

Menneskelig indsigt om AI #5: Genkendelse af navngivne enheder

Evnen til at identificere navngivne enheder i tekst er afgørende for dataorganisering og -analyse. LLM'er er dygtige til at spotte sådanne enheder, og viser deres nytte i databehandling og videnudvinding, og understøtter derved forsknings- og informationsstyringsopgaver.

Eksempel på menneskelig indsigt om AI #5: Genkendelse af navngivne enheder

Scenario: En tekst nævner, "Elon Musks seneste satsning på rumturisme."

LLM-detektion: Identificerer "Elon Musk" som en person og "rumturisme" som et koncept.

Menneskelig indsigt: En menneskelig læser kan muligvis også genkende de potentielle konsekvenser for rumindustrien og den bredere indvirkning på kommerciel rejseaktivitet, hvilket tyder på, at selvom LLM'er kan identificere enheder, forstår de muligvis ikke deres betydning fuldt ud.

Human Insights on AI #6: Coding Assistance

Efterspørgslen efter kodning og softwareudviklingshjælp har ført til, at LLM'er er blevet udforsket som programmeringsassistenter. Menneskelige vurderinger indikerer, at LLM'er kan producere syntaktisk nøjagtig kode til grundlæggende opgaver. De står dog over for udfordringer med mere indviklede programmeringsproblemer, hvilket afslører områder for forbedringer inden for AI-drevet udviklingsstøtte.

Eksempel på Human Insights on AI #6: Coding Assistance

Scenario: En udvikler beder om en funktion til at filtrere en liste over tal til kun at inkludere primtal.

LLM Output: Giver en Python-funktion, der kontrollerer for primalitet ved hjælp af prøvedivision.

Menneskelig indsigt: En erfaren programmør bemærker, at funktionen mangler effektivitet til store input og foreslår optimeringer eller alternative algoritmer, hvilket indikerer områder, hvor LLM'er muligvis ikke tilbyder de bedste løsninger uden menneskelig indgriben.

Human Insights on AI #7: Matematisk ræsonnement

Matematik giver en unik udfordring med sine strenge regler og logiske stringens. LLM'er er i stand til at løse ligetil aritmetiske problemer, men kæmper med komplekse matematiske ræsonnementer. Denne uoverensstemmelse fremhæver forskellen mellem beregningsevner og den dybe forståelse, der er nødvendig for avanceret matematik.

Eksempel på Human Insights on AI #7: Mathematical Reasoning

Scenario: En elev spørger: "Hvad er summen af ​​alle vinklerne i en trekant?"

LLM-output : "Summen af ​​alle vinkler i en trekant er 180 grader."

Menneskelig indsigt: Selvom LLM giver et korrekt og direkte svar, kan en underviser bruge denne mulighed til at forklare, hvorfor dette er tilfældet, ved at illustrere konceptet med en tegning eller en aktivitet. For eksempel kunne de vise, hvordan hvis man tager vinklerne i en trekant og placerer dem side om side, danner de en lige linje, hvilket er 180 grader. Denne praktiske tilgang besvarer ikke kun spørgsmålet, men uddyber også den studerendes forståelse og engagement i materialet og fremhæver den pædagogiske værdi af kontekstualiserede og interaktive forklaringer.

[Læs også: Store sprogmodeller (LLM): En komplet guide ]

Konklusion: Rejsen forude

Evaluering af LLM'er gennem en menneskelig linse på tværs af disse domæner tegner et mangefacetteret billede: LLM'er gør fremskridt i sproglig forståelse og generering, men mangler ofte dybde, når der kræves dybere forståelse, kreativitet eller specialiseret viden. Disse indsigter understreger behovet for løbende forskning, udvikling og vigtigst af alt, menneskelig involvering i raffinering af kunstig intelligens. Når vi navigerer i AI's potentiale, vil det være afgørende at omfavne dens styrker og samtidig anerkende dens svagheder for at opnå gennembrud inden for teknologi AI-forskere, teknologientusiaster, indholdsmoderatorer, marketingfolk, undervisere, programmører og matematikere.

Komplette løsninger til din LLM-udvikling (datagenerering, eksperimentering, evaluering, overvågning) – Anmod om en demo