ERROR: invalid target_lang (nso)

Tafole ya Dikgokagano

Abstract le 1 Matseno

2 LongFact: Go šomiša di-LLM go tšweletša tekanyetšo ya dihlogo tše ntši ya nnete ya sebopego se setelele

3 Safe:LLM baemedi bjalo ka factuality autoraters

4 Baemedi ba LLMs e ka ba bahlaloši ba dintlha tše kaone go feta batho

5 F1@k: Go katološa F1 ka go gopola go tšwa go botelele bjo bo kgethilwego ke batho

6 Di-LLM tše dikgolo di na le therešo kudu

7 Mošomo wo o Amanago

8 Dithibelo

9 Sephetho, Ditebogo, Seabe sa Mongwadi le Ditšhupetšo

Sehlomathišo

A. Dipotšišo tšeo di botšišwago gantši

B. Dintlha tša LongFact

C. Dintlha tše di bolokegilego

D. Dintlha tša metric

E. Tshekatsheko ye nngwe

NAGANWAGO

Mehlala ye megolo ya polelo (LLM) gantši e tšweletša diteng tšeo di nago le diphošo tša nnete ge di arabela ditšhišinyo tša go nyaka dintlha ka ga dihlogo tše di bulegilego. Go benchmark mohlala o telele-fomo factuality ka didomene bulehileng, re pele sebelisa GPT-4 ho hlahisa LongFact, sete ya potlako comprising likete tsa lipotso spanning 38 dihlogo. Ke moka re šišinya gore baemedi ba LLM ba ka šomišwa bjalo ka basekaseki ba go itiriša bakeng sa nnete ya sebopego se setelele ka mokgwa wo re o bitšago Search-Augmented Factuality Evaluator (SAFE). SAFE e šomiša LLM go arola karabelo ya sebopego se setelele ka sete ya dintlha tša motho ka o tee ka o tee le go sekaseka go nepagala ga ntlha ye nngwe le ye nngwe ka go šomiša tshepedišo ya go bea mabaka ya magato a mantši yeo e akaretšago go romela dipotšišo tša nyakišišo go Google Search le go bona ge e ba ntlha e thekgwa ke dipoelo tša nyakišišo. Go feta fao, re šišinya go katološa maemo a F1 bjalo ka metric ye e kgobokeditšwego ya nnete ya sebopego se setelele. Go dira bjalo, re lekalekanya phesente ya dintlha tše di thekgwago karabelong (go nepagala) le phesente ya dintlha tše di filwego ge di bapetšwa le hyperparameter yeo e emelago botelele bja karabelo yeo mosediriši a e ratago (go gopola).

Empirically, re bontša hore LLM baemeli ka outperform crowdsourced batho annotators-ka sete ya ∼16k lintlha motho ka mong, SAFE lumellana le crowdsourced batho annotators 72% ya nako, 'me ka subset tšohanyetso ya 100 melato e sa lumellane, SAFE hlola 76% ya nako. Ka nako e swanago, SAFE e theko e tlase ka makga a fetago a 20 go feta bahlalosi ba batho. Re lekanyetša gape dika tša polelo tše lesometharo go LongFact go ralala le malapa a mane a dika (Gemini, GPT, Claude, le PaLM-2), re hwetša gore dika tše kgolo tša polelo ka kakaretšo di fihlelela nnete ye kaone ya sebopego se setelele. LongFact, SAFE, le khoutu ka moka ya diteko di hwetšagala go https://github. com / google-deepmind / nako e telele-foromo-factuality.

1 MATSENO

Mehlala ya Polelo ye Kgolo (LLMs) e kaonafetše kudu mo mengwageng ya morago bjale (Brown et al., 2020; Chowdhery et al., 2022; Google, 2023; OpenAI, 2023; Gemini Team, 2023, gare ga tše dingwe) eupša e sa hloka go tshepagala ge e arabela dipotšišo tša nnete tše di tseneletšego. Ka mo go kgethegilego, gantši di tšweletša diphošo tša nnete tšeo go tšona tleleimi e thulanago le tsebo ya therešo ya fase yeo e hlomilwego (Huang et al., 2023; Zhang et al., 2023, gare ga tše dingwe).[1] Ka mohlala, dikai di ka arabela ka tshedimošo ye e fošagetšego mabapi le dintlha tše di hlomilwego tša go swana le matšatšikgwedi, dipalopalo, goba gaešita le mošomo wa motho yo a tumilego (Li et al., 2023; Min et al., 2023; Muhlgay et al., 2023). Diphošo tše tša nnete di fokodiša nnete ya mohlala wa polelo, di dira gore mohlala o se tshepagale maemong a mantši a lefase la nnete moo go letetšwego karabelo ye e nepagetšego ya nnete.

Pampiring ye, re šišinya sete ye mpsha ya go hlohleletša yeo e bitšwago LongFact, mokgwa wa kelo wo o bitšwago SAFE, le metric (F1@K) ya go lekanyetša nnete ya sebopego se setelele sa karabelo ya sebopego se setelele. Ke moka re benchmark kudu dika tše di tumilego tša polelo ye kgolo re šomiša disete tše tše mpsha tša data le mekgwa ya kelo. Meneelo ya rena ke ye e latelago:

• Re šomiša GPT-4[2] go tšweletša sete ye mpsha ya kgopelo ya go lekanyetša nnete ya sebopego se setelele dikaong tše kgolo tša polelo, tšeo re di bitšago LongFact (Karolo 2). LongFact e na le ditšhišinyo tša go nyaka dintlha tše 2,280 tšeo di kgopelago dikarabo tša sebopego se setelele go ralala le dihlogo tše 38 tšeo di kgethilwego ka seatla. Go ya ka tsebo ya rena, LongFact ke sete ya mathomo ya kgopelo ya go sekaseka nnete ya sebopego se setelele ka dikarolong tše di fapafapanego. Re dira gore LongFact e hwetšagale phatlalatša go https://github.com/google-deepmind/ long-form-factuality/tree/main/longfact.

• Re šišinya mokgwa wa go šomiša moemedi wa LLM go sekaseka ka go itiriša nnete ya sebopego se setelele dikarabong tša mohlala. Re šomiša mohlala wa polelo go thoma ka go bola karabelo ya sebopego se setelele go ba dintlha tša motho ka o tee ka o tee, ke moka bakeng sa ntlha ye nngwe le ye nngwe, šišinya dipotšišo tša go hlahloba dintlha go di romela go API ya Nyakišišo ya Google le go bea mabaka mabapi le ge e ba nnete e thekgwa ke dipoelo tša nyakišišo (Karolo 3). Re reela mokgwa wo leina la SAFE (Search-Augmented Factuality Evaluator).[3] Ka diphihlelo, SAFE e feta ditlhaloso tša batho tšeo di hwetšwago ka lešaba, e dumelelana le 72% ya ditlhalošo tša batho go tšwa go Min et al. (2023) le go thopa 76% ya melato ya go se kwane go tšwa go sampole ya go se kgethe ya melato ye 100 ya go se kwane (Karolo 4). SAFE e boetse e 20 × theko e tlaase ho feta annotators batho. Re lokolla SAFE go https://github.com/ google-deepmind/long-form-factuality/sehlare/main/eval/safe.

• Re šišinya gore ge re lekanyetša bonnete bja sebopego se setelele bja karabelo ya mohlala, F1 e ka šomišwa ka hyperparameter yeo e akanyetšago palo ya dintlha ye e “kgethilwego” yeo e kgethilwego ke batho karabong. Ka fao re tsebagatša F1@K, yeo (go tlaleletša go ela go nepagala ga dintlha tša karabo bjalo ka tekanyo ya dintlha tše di thekgwago) e elago go gopola bjalo ka tekanyo ya dintlha tše di thekgwago tše di filwego godimo ga palo ye e fetogago ye e nyakegago ya dintlha tše di thekgwago K.

• Re dira tekanyetšo ye e nabilego ya dika tše kgolo tša polelo tše lesometharo go ralala le malapa a mane a dika (Gemini, GPT, Claude, le PaLM-2) go LongFact (Karolo 6). Re sekaseka dikarabo tša mohlala ka go šomiša SAFE le go lekanyetša tshepedišo ka go šomiša F1@K, re hwetša gore, ka kakaretšo, dika tše kgolo tša polelo di fihlelela nnete ye kaone ya sebopego se setelele.

[1] Re tsepamiša kgopolo go nnete le diphošo tša nnete, e sego go bona dilo ka leihlo la kgopolo, ka ge mokgwa wa rena wa kelo wo o šišintšwego o lebeletše kudu go bona ge e ba karabelo e le ya nnete mabapi le tsebo ye e hlomilwego ya ka ntle (factuality) go e na le ge e ba karabelo e sepelelana le tsebo ya ka gare ya mohlala (go bona dilo ka leihlo la kgopolo).

[2] Re diriša gpt-4-0613 bakeng sa GPT-4.

[3] Ka phethagatšo ya rena ya SAFE, re šomiša gpt-3.5-turbo-0125 bjalo ka mohlala wa polelo le Serper (yeo e hwetšagalago go https://serper.dev/) bjalo ka Google Search API.