Histori e mpsha

Kamoo Datha ya Theko ya Tlhokomelo ya Maphelo e Šomišwago ka gona go Lekola Botshepegi bja Moabi

ka Text Mining6m2024/12/22

NSO

NSO

Nako e telele kudu; Go bala

Karolo ye e ahlaahla go raragana ga datha ya theko ya tlhokomelo ya maphelo, go tsepelela go ditokomane tša dithendara le tša difoka tša sefala sa TED tša maleme a mantši le tšeo di sa rulaganywago, le tlhabollo ya polokelo ya tshedimošo ye e rulagantšwego ya go dira diprofaele tša kotsi ya baabi.

featured image - Kamoo Datha ya Theko ya Tlhokomelo ya Maphelo e Šomišwago ka gona go Lekola Botshepegi bja Moabi

Tafole ya Dikgokagano

2. Domain le Mošomo

Mošomo wo o lebane kudu le theko ya tlhokomelo ya maphelo, yeo e ithutilwego ka sewelo ka dingwalweng. Maikemišetšo a magolo a protšeke ye ke go hlama sefala seo se dumelelago tlholo ye e fetogago ya ‘profaele ya kotsi ya moabi’ go moabi yo mongwe le yo mongwe wa tlhokomelo ya maphelo. Re nagana gore profaele ye bjalo e bopilwe ka ‘ditšhupetšo’ tše di fapanego tšeo di sekasekago dipono tše di fapanego (mohlala, bokgoni bja go aba ditšweletšwa tše itšego, khupetšo ya lefelo) ya ‘dikotsi’ gore bareki bao ba ka bago gona ba saene dikonteraka le moabi. Se se be se tla kgontšha dipotšišo tša go swana le ‘ke bomang baabi bao ba kgonago go aba dihlare tša mohuta wo’, ‘go fihla bokgoleng bofe bao ba kgonago go aba bakeng sa naga ye’, goba ‘na ba kgona go aba bontši bjo bjalo’ go arabja gabonolo. Dipotšišo tše bjalo gantši di bohlokwa kudu bakeng sa go dira diphetho ga moreki. Le ge go le bjalo, tshepedišo ya bjale ya theko e ithekgile ka go sefa ka seatla ditokomane tše ntši tše telele go nyaka dikarabo. Ye ke tshepedišo yeo e jago methopo kudu. Go a kwešišega, selo seo se kgontšhago nepo ya rena ya mathomo e tla ba polokelo ya tshedimošo ye e rulagantšwego ya datha ya histori ya konteraka ya baabi ba tlhokomelo ya maphelo. Ka go realo nepo ya bobedi ya protšeke ye ke go hlama polokelo ya tshedimošo ye bjalo le go e tlatša ka datha ya histori ya theko ya tlhokomelo ya maphelo. Le ge e le gore datha ya theko ya setšhaba e hwetšagala kudu, bjalo ka ge re tla hlaloša go tše di latelago, go na le motswako wa datha ya maleme a mantši ye e rulagantšwego, ye e sego ya rulaganywa gabotse, le ye e sa rulaganywago yeo e swanetšego go epiwa le go kgokaganywa. Ka fao, karolo ye kgolo ya mošomo wa protšeke ye ke go hlama meepo ya sengwalwa le ditharollo tša NLP tšeo ka go itiriša di šomago ka bontši bja datha ya theko ye e sa rulaganywago go epa tshedimošo yeo e ka šomišwago go tlatša polokelo ya tshedimošo. Maikemišetšo a sengwalwa se ka fao, go bega tlhabollo ya mekgwa ye ya meepo ya sengwalwa le ya NLP.

2.1.1. Mehlodi ya data le go raragana

Protšeke ye e nepišitše datha ya theko go tšwa go sefala sa ‘Tenders Electronic Daily’ (TED), seo se šomišwago ke mebušo ya EU go phatlalatša diprotšeke tša bona tše di amanago le theko ya setšhaba. TED e phatlalatša dipitšo tše fetago 460 000 tša dithendara le difoka tša dikonteraka ka maleme a 26 a semmušo a Yuropa ka ngwaga, ka boleng bjo bo ka bago di-euro tše dimilione tše dikete tše 420. Thentara ye nngwe le ye nngwe e ka arolwa ka ‘dilotho’ tše ntši, moo lotho e lego yuniti ye nnyane ya konteraka. Lotho ye nngwe le ye nngwe e ka ba le dilo tše ntši tšeo di nyakegago. Bjalo ka mohlala, tsebišo ya thentara ya ‘2019/S 180-437985’[1] e lokeletša dilotho tše 47 go tšwa go thentara ya NHS (UK), ka bogolo bja tšona go tloga go dilo tše 2 go ya go tše di fetago tše 30. Ge thendara e kgonthišiša dipeeletšo tše di atlegilego, ‘kabo ya konteraka’ (goba dikabo tše ntši) e tla dirwa gomme ya rekotwa ka go TED bakeng sa thendara. Go tše di latelago, ka lebaka la go hlalošwa, re tšea gore go na le sefoka se tee go thendara ye nngwe le ye nngwe (le ge go le bjalo ka tirišo, mekgwa ya rena e dirišwa go difoka ka moka tšeo di lego gona bakeng sa thendara). Hlokomela dilotho tšeo di fiwago ka thentara gomme dikabo tša konteraka di bopa kamano ya ‘ba bantši go ya go ba bantši’. E lego, dilotho tše ntši di ka fiwa setheo se tee gomme tša ngwalwa ka sefokeng se tee sa konteraka; lotho e tee e ka fiwa gape go ditheo tše ntši, ya bopa dikabo tše ntši tša dikonteraka; go ya pele sefoka se tee sa konteraka se ka akaretša lotho e tee goba tše ntši.

Go TED, thentara ye nngwe le ye nngwe le sefoka (difoka) sa yona sa konteraka ye e swanetšego di na le faele ya XML ye e rulagantšwego yeo e ngwalago dielemente tše bohlokwa tša tshedimošo. Re bitša tše bjalo ka ‘XML ya thendara’ le ‘XML ya go aba’. Mohlala wa XML ya thentara o bontšhitšwe go Seswantšho 1. Di-XML tša difoka ka kakaretšo di latela sebopego se se swanago. Di-XML tša thendara di ngwala tshedimošo ya go swana le moreki, dilotho, dilo tša dilotho, dikelo tša konteraka, bj.bj.Di-XML tša sefoka di ngwala moreki, dilotho, baabi bao ba filwego bakeng sa lotho ye nngwe le ye nngwe, boleng bja konteraka, bontši, bj.bj.Thentara ye nngwe le ye nngwe e ka ba gape le a kgoboketšo ya ‘ditokomane tša go kgomaretšwa’ tšeo di fago dintlha tše dingwe tša thendara, kudukudu ka ga dilotho le dilo (‘dihlomathišo tša thendara’) .

Ka lebaka la go hwetšagala ga di-XML tša dithendara le tša go aba, motho a ka tšea mošomo wa go hlabolla le go tlatša polokelo ya tshedimošo e le wo bonolo. Lega go le bjalo, ya data ge e le gabotse e raragane kudu. Sa pele le sa bohlokwa kudu, di-XML tša thentara le tša sefoka gantši ga di felele. Tshedimošo ye e hlaelelago ye kgolo ke tshedimošo ya lotho le ya selo. Bjalo ka mohlala, XML ya thentara ya '2019/S 180-437985', e bolela ka dilotho tše 47 ka thentara, ntle le go hlaloša ka botlalo dilo tše itšego eupša nomoro ya tšhupetšo ya lotho. Tshedimošo ye ya bohlokwa e hwetšagala go tšwa go go taonelouta ka bontši ga dihlomathišo tša dithendara tše 7 (PDF). Bobedi di-XML tša thentara le tša kabo ke moka di šupa methopo ye ya datha ka tšhomišo ya ditšhupetšo tša lotho. Go bušetša tshedimošo ye bjalo go bohlokwa kudu go aga profaele ya kotsi ya moabi, yeo e swanetšego go ikarabela ka mohuta le bontši bja ditšweletšwa tšeo moabi a di filego nakong ye e fetilego. Sa bobedi, ga se selo se sengwe le se sengwe seo se kgomareditšwego sa thendara seo se lego maleba bakeng sa morero wa rena. Gare ga tšeo tša '2019/S 180-437985', di-PDF tše pedi di lokeletša dilotho tša nnete le dilo (mohlala, Seswantšho 2), mola tše dingwe di ngwala ditlhalošo, dinyakwa, melawana le diprothokhole bj.bj.. Sa boraro, ga se letlakala le lengwe le le lengwe la sehlomathišo sa maleba leo le nago le tše di lebanego tshedimošo. Mohlala, Seswantšho 3 se bontšha gore thentara ye nngwe, dilotho le dilo di hlalošitšwe letlakaleng le tee eupša dikarolo tše di fapanego tša tokomane ye telele. Sa bone, bjalo ka ge go šetše go bontšhitšwe go Ditshwantšho 2 le 3, go na le go se dumelelane mo gogolo ka fao tshedimošo ya lotho le aetheme e hlalošwago ka gona ka gare ga naga ye tee, goba ka nnete, gaešita le mokgatlo o tee. Go se dumelelane mo go lemogilwe maemong a go fapana go swana le: tšhomišo ya fomete ye e rulagantšwego (mohlala, sengwalwa sa mahala vs ditafola/mananeo); palo ya tshedimoo yeo e ngwadilwego ka khoutu (mohlala, tafola yeo e lego go Seswantšho 2 e lokeletša dikholomo tše 16 (dika) tša selo se sengwe le se sengwe) le ge e le bakeng sa mehuta ye e swanago ya ditšweletšwa/ditirelo; le semantiki ya sebopego moo dibopego di amogelwago (mohlala, tatelano le maina a dikholomo). Maemo a godimo gakaakaa a go raragana le go se dumelelane e ka ba lebaka le tee le legolo leo ka lona go bilego le tlhaelelo ya meepo ya sengwalwa le dithuto tša NLP goba dikgopelo tša theko ya tlhokomelo ya maphelo.