Ապրանքներ:
(1) Clemencia Siro, University of Amsterdam, Amsterdam, Netherlands;
(2) Mohammad Aliannejadi, University of Amsterdam, Amsterdam, Netherlands;
(3) Maarten de Rijke, University of Amsterdam, Amsterdam, Netherlands.
Արդյունաբերողները:
Այս գրողները:(1) Clemencia Siro, University of Amsterdam, Амстердам, Չինաստան;
(2) Mohammad Aliannejadi, University of Amsterdam, Амстердам, Չինաստան;
(3) Maarten de Rijke, University of Amsterdam, Amsterdam, Չինաստան.
Table of Links
ՀեղինակըՏեսանյութ եւ 1 Հիմնական2 Մետաղադրություն եւ 2.1 Ապրանքի տվյալները եւ աշխատանքները
2 Մետաղադրություն եւ 2.1 Ապրանքի տվյալները եւ աշխատանքները2.2 Ավտոմատ արտադրություն տարբեր դեղեկտրոնային բաղադրիչների
2.2 Ավտոմատ արտադրություն տարբեր դեղեկտրոնային բաղադրիչների2.3 Crowdsource փորձեր2.4 Հիմնական պայմաններ2.1 Մարդիկ3 արդյունքները եւ վերլուծությունը եւ 3.1 տվյալների ստանդարտություն
3 արդյունքները եւ վերլուծությունը եւ 3.1 տվյալների ստանդարտություն3.2 RQ1: Ապրանքը տարբեր քանակի առեւտրային միջավայրի
3.2 RQ1: Ապրանքը տարբեր քանակի առեւտրային միջավայրի3.3 RQ2: Ապրանքը ավտոմատ generated dialogues միջավայրի
3.3 RQ2: Ապրանքը ավտոմատորեն ստեղծվող խոսակցային բաղադրիչների վրա4 Ապրանքներ եւ ազդեցություններ5 Անձնական աշխատանք6 Սպիտակներ, սահմանափակումներ, եւ Դիտակներ
6 Կառուցումներ, սահմանափակումներ, եւ Հեղինակային հարցեր7 Հիմնական տեղեկություններԱ. ԱպրիշԱպիտակագրություն
Ապահասենյակային մանրամասները խաղում են կարեւոր role in evaluating task-oriented dialogue systems (TDSs)): Ապահասենյակներիից բարձր որակի եւ համատեղելի բաղկացած ճշմարտության մանրամասների ստանալը առաջարկում է խնդիրներ: Երբ գնահատում են TDS- ը, մանրամասները պետք է ճշմարտությունը բացահայտել, նախընտրական ուսումնասիրությունները առաջարկում են օգտագործել միայն մի մասը զանգվածային մանրամասների մանրամասների մանրամասների մանրամասներում: Սակայն, այս մանրամասների որակի ծախսերի ազդեցությունը չգիտվում է: Այս ուսումնասիրությունը ուսումնասիրում է զանգվածային մանրամասների մանրամասների ազդեցությունը զանգվածային մանրամաս
1 Հիմնական էջ
Անհարկե, առաջադեմ լեզուների մոդելների եւ մեծ լեզուների մոդելների (LLMs) վերջին առաջադեմների հետ, գործառույթային փոխանակման համակարգեր (Task-Oriented Dialogue Systems, TDSs) վերլուծել են, թե ինչպիսիք են մարդկանց տեղեկատվություն ստանալը, ինչպիսիք են օգտագործողների հետ տեղեկատվության աղբյուրների համատեղելու ավելի բնական ձեւը (Budzianowski and Vulic ́, 2019; Wu et al., 2020)։ Երբ TDS- ները ավելի շատ ներառում են տեղեկատվության ստանալների գործընթացներին, հարցը, թե ինչպես ճշգրիտ եւ արդյունավետ է փոխանակել իրենց կատարումը, կարեւոր է: Հիմնական մետրիկների հզոր համատեղելիությունը մարդային ստեղծվող մետիկների հետ (Deriu et al.,
Մատեգորիաների տարբեր տեխնոլոգիաների օգտագործման համար օգտագործվել են հիմնական ճշմարտության մետաղադրամները, ինչպիսիք են սխալային մետաղադրամները (Sun et al., 2021), որտեղ մետաղադրամները փնտրում են յուրաքանչյուր մետաղադրամը եւ մետաղադրամները մետաղադրամները մեկից մեկով: Այս մետաղադրամը մետաղադրամների գործընթացում ներառում է որոշ վտանգները, ինչպիսիք են մետաղադրամների մետաղադրամների մետաղադրամների մետաղադրամների մետաղադրամների մետաղադրամների մետաղադրամների մետաղադրամների մետաղադրամների մետաղադրամների մետաղադրամների մետաղադրամների մետաղադրամ
Այս հարցին լուծելու համար, մի այլ հետազոտական գծի առաջարկում է անմիջապես նմուշել միայն մի քանի խոսքեր է յուրաքանչյուր խոսքերում (Mehri and Eskenazi, 2020; Siro et al., 2022, 2023): Երբ լուծում է բարձր գիտական բջջային եւ խուսափության, սահմանափակելով ալանտատորների հասկանալը խոսքերից, նշանակում է բացառիկ վտանգներ, ինչպիսիք են անպայման եւ խուսափված ալանտատորներ (Schmitt and Ultes, 2015; Siro et al., 2022). Հիմնականապես, մի շարք խոսքերի բջջային բջջային կարող է առաջացնել ալանտատորներ: Օրինակ, ալանտատորները, ովքեր չկան բջջային բջջ
Ապրիշ աշխատանքի հետազոտել է գործառույթներ, որոնք ազդում են որակի եւ միասնականությունը crowdsourced evaluation label- ի, այդ թվում annotator հատկանիշները, arXiv:2404.09980v1 [cs.CL] 15 Apr 2024- ի գործառույթների դիզայնը, գիտելիքի բեռը, եւ evaluation protocols- ի (լուսանկարներ, օրինակ, Parmar et al., 2023; Roitero et al., 2021, 2020; Santhanam et al., 2020)
Այս ուսումնասիրում, մենք ցանկանում ենք վերահսկել այս հետազոտական խոշորությունը, հետազոտելով, թե ինչպիսիք են տարբեր մանրամասն տեղեկատվության չափերը, որոնք ազդում են TDS- ի հետազոտական մանրամասների որակի եւ համոզվածության վրա, ինչպիսիք են այդ դիզայնի ընտրությունների ազդեցությունը: Մենք փորձում ենք հետազոտական մանրամասների հետ, ինչպիսիք են երկու հիմնական evaluation- ի մասերի համար, ինչպիսիք են, relevantity- ի եւ utility- ի տարբեր պայմաններում, որտեղ մենք համեմատում ենք մանրամասների որակի տարբեր մանրամասային մանրամասների մանրամասների պլաստիկների մեջ:
Մենք առաջարկում ենք օգտագործել heuristic մեթոդներ եւ LLM- ները օգտագործելու համար օգտագործողի տեղեկատվության պահանջների եւ փոխանակման փոխանակման ստեղծելու համար: LLM- ները կարող են խաղալ դիզայնի օգնության role- ը (Faggioli et al., 2023)- ի հետ, որ փոխանակման պատմությունը փոխանակում են, ինչպես նաեւ ավելի արդյունավետ եւ արդյունավետ համոզվածությունը փոխանակման փոխանակման փոխանակման փոխանակման առաջ: Այս նպատակին, մենք օգտագործում ենք GPT-4- ը փոխանակման փոխանակման փոխանակման համար եւ փոխանակման կատարումը տարբեր պայմաններում, ինչպես նաեւ տարբեր փոխանակման չափով: Այս փորձերի միջոցով, մենք պատասխանում ենք երկու հիմնական հարցերին: (RQ1) Ինչպե՞ս փոխանակման փոխանակման փոխանակման փոխանակման փոխանակման ազդում է TDS
Այս արդյունքները ցույց են տալիս, որ առաջադեմ խոսակցային բաղադրիչների հասանելիությունը կարեւորորեն ազդեցում է խոսակցային բաղադրիչների ռեժիմները, որը հասանելիորեն ազդում է իրենց որակի վրա: Չնայած առաջադեմ բաղադրիչների բաղադրիչները կարող են ստանալ ավելի լավ ռեժիմներ համակարգի պատասխանների համար, որը կարող է լինել անսահմանափակ բաղադրիչների բաղադրիչների համար, ինչպիսիք են բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչները: Հիմնականորեն, ամբողջ խոսակցային բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչները ավելի բարձր են: Որպես որ օգտակարությունը, ամբողջ խոսակցային բաղադրիչների բաղադրիչների բ
Մենք հասկանում ենք, որ մեր արդյունքները ներառում են այլ գործառույթային փոխանակման գործառույթներ, ինչպիսիք են զանգվածային որոնման եւ հարմարավետության ստեղծման, այնպես էլ, որ համակարգի արդյունավետության գնահատման համար օգտագործվում են crowdsourced փորձերը:
Այս թերթը լուծվում է arxiv- ում CC BY 4.0 DEED- ում:
լուծվում է arxiv«Այս»[1] Այս տարածքում հետազոտությունների օգնության համար, մենք բացահայտում ենք մեր տվյալները բացահայտելու համար https://github.com/Clemenciah/ Effects-of-Dialogue-Context
