Valavisisi va IBM Va Endla Modele wa Mini AI Lowu Vulavulaka Vumundzuku

Tafula ra Swihlanganisi

• Xitlhokovetselo na 1. Xingheniso

• 2 Swiphemu swa TTM

• 3 Mafambiselo ya Ntirho ya TTM na 3.1 Mafambiselo ya Ntirho ya le mahlweni ka ndzetelo

  • 3.2 Ku lulamisa kahle Mafambiselo ya Ntirho

• 4 Swikambelo na Mimbuyelo

  • 4.1 Xiyimiso xa Xikambelo
  • 4.2 Matirhelo ya TTM ya Zero/Few-shot
  • 4.3 Mimbuyelo ya xibalo ya TTM na 4.4 Ku tirha kahle ka TTM eka ku endla xikombiso xa cross-channel na exogenous
  • 4.5 Tidyondzo ta ku susa na 4.6 Ku pimanisiwa na mintirho ya sweswinyana ya nkarhi wun’we

• 5 Mahetelelo na Ntirho wa Nkarhi lowu taka, na Swikombo

  • Xiengetelo xa A

Xianakanyiwa

Timodelo letikulu leti leteriweke ka ha ri emahlweni ta dyondzo ya zero/swibalesa swi nga ri swingani ti humelela eka tidomeni ta ririmi na xivono kambe ti hlangana na mintlhontlho eka nxaxamelo wa nkarhi wo hambana (TS) hikwalaho ka muxaka wo hambana na ku pfumaleka ka datha ya ndzetelo wa le mahlweni leyi kumekaka erivaleni. Hikwalaho, ku vile na ku tlakuka ka sweswinyana eka ku tirhisa timodeli ta tindzimi letikulu leti leteriweke ka ha ri emahlweni (LLMs) leti nga na ku cinca ka swikombiso eka ku vhumbha ka TS. Maendlelo lawa ya tirhisa dyondzo yo hundzisela eka swiyenge swo hambana naswona hi ndlela yo hlamarisa ya humesa mbuyelo wo hlamarisa. Hambiswiritano, timodeli leti hi ntolovelo ti nonoka swinene naswona tikulu (∼billion parameters) naswona a ti tekeli enhlokweni ku yelana ka cross-channel. Ku lulamisa leswi, hi humesa Tiny Time Mixers (TTM), modele lowuntsongo swinene lowu simekiweke eka architecture ya TSMixer yo vevuka. TTM yi fungha ku humelela ko sungula eku tumbuluxeni ka timodeli to hatlisa na letitsongo to angarhela leti leteriweke ka ha ri emahlweni (≤1M parameters), leti leteriweke ntsena eka tidathaseti ta TS ta mani na mani, leti nga na vuswikoti byo dyondza ku hundzisela lebyi tirhaka bya ku vhumbha. Ku langutana na ku rharhangana ka ndzetelo wa le mahlweni eka tidathaseti to tala leti nga na swiboho swo hambana swa nkarhi, hi nghenisa ku antswisiwa ko hlayanyana ka novhele ku fana na ku patching loku pfumelelanaka, ku engeteriwa ka dataset hi ku tirhisa downsampling, na ku thyunisiwa ka swirhangi swa swiboho. Ku tlula kwalaho, hi tirhisa maqhinga ya ku modela ya swiyimo swo tala ku modela hi ndlela leyinene ku yelana ka tichanele na ku nghenisa swikombiso swa le handle hi nkarhi wa ku lulamisa kahle, vuswikoti bya nkoka lebyi pfumalaka eka swipimelo leswi nga kona. TTM yi kombisa ku vuyeriwa lokukulu ka ku pakanisa (12-38%) eka swipimelo leswi dumeke eka ku vhumbha ka switsongo/zero-shot. Swi tlhela swi hunguta swinene swilaveko swa xibalo loko swi pimanisiwa na tindlela ta LLM-TS, hi ku tsemiwa ka 14X eka tipharamitha leti dyondziwaka, 106X ehansi ka tipharamitha hinkwato, na ku hunguteka lokukulu eka ku lulamisa kahle (65X) na nkarhi wa ku ehleketa (54X). Entiyisweni, zero-shot ya TTM yi tala ku tlula mimbuyelo ya swibalesa swi nga ri swingani eka swipimelo swo tala leswi dumeke, leswi kombisaka ku tirha kahle ka endlelo ra hina. Timodelo na khodi ya xihlovo swi kumeka eka https://huggingface.co/ibm/TTM

1 Xingheniso

Ku vhumbha ka nxaxamelo wa nkarhi wo cinca-cinca (TS) ku katsa ku vhumbha mimpimo ya nkarhi lowu taka eka nxaxamelo wa nkarhi wo tala lowu fambelanaka hi ku ya hi datha ya vona ya matimu. Nsimu leyi yi ye emahlweni swinene, yi tirhisa tindlela ta tinhlayo na ku dyondza hi muchini (ML) [Hyndman na Athanasopoulos, 2021] eka tidomeni hinkwato to fana na maxelo, vutleketli, vuxavisi, na eneji. Hi ku angarhela, nxaxamelo wun’wana na wun’wana wa nkarhi wu yimela xihlawulekisi kumbe xiteji[1]. Eka matirhiselo yo karhi, swilo leswi cinca-cincaka leswi nga vhumbhiki, leswi hambanisiweke tanihi swilo swa le handle leswi lawuriwaka na leswi nga lawulekiki, swi khumba swilo leswi cinca-cincaka ku vhumbha. Hi vitana swilo leswi swi cinca-cincaka leswi nga riki swa ku vhumbha tanihi swa le handle, naswona swilo leswi cinca-cincaka leswi lavaka ku vhumbha tanihi swilo leswi cinca-cincaka leswi kongomisiweke.

Ntirho lowu fambelanaka: Nhluvuko wa sweswinyana eka ku vhumbha ka swilo swo hambana-hambana wu kombisiwile hi ku fika ka maendlelo lama simekiweke eka titransformer [Vaswani na van’wana, 2017], lama kombisiweke hi timodeli to fana na PatchTST [Nie na van’wana, 2023], Autoformer [Wu na van’wana, 2021], Informer [Zhou na van’wana, 2021], na FEDFormer [Zhou na van’wana, 2022]. Timodelo leti ti kombisile ku antswisiwa loku xiyekaka eka maendlelo ya ndhavuko ya tinhlayo na ML. Ku ya emahlweni, ti architectures leti simekiweke eka MLPMixer [Tolstikhin et al., 2021], to fana na TSMixer [Ekambaram et al., 2023], ti humelerile tanihi swin’wana swa titransformer leswi tirhaka kahle, ti tinyungubyisa hi 2-3X leyi hungutiweke ya swilaveko swa xibalo na memori leswi nga riki na ku pfumelelana ka ku pakanisa loko ku pimanisiwa na vatirhikulobye va ti transformer. Hambiswiritano, ku hava na yin’we ya maendlelo lawa ya xiyimo xa le henhla leyi kombiseke hi ndlela leyi humelelaka vuswikoti byo tumbuluxa timodeli to angarhela leti leteriweke ka ha ri emahlweni leti nga hundziselaka hi ku humelela dyondzo eka dataset ya TS leyi kongomisiweke leyi nga voniwiki, hi ndlela leyi fanaka tanihilaha swi voniweke hakona hi ndlela leyi dumeke eka mintirho ya NLP na xivono. Leswi swi na ntlhontlho swinene eka domain ya TS hikwalaho ka muxaka wo hambana wa tidathaseti eka switirhisiwa hinkwaswo na ku kumeka loku nga nyawuriki ka vaaki ka datha ya TS eka ndzetelo wa le mahlweni. Ku na maendlelo ya TS ya ku tilangutela ya le mahlweni ka ndzetelo lama nga kona hi ku tirhisa ku modela loku nga na xisirhelelo na tithekiniki ta dyondzo yo hambana ku fana na SimMTM [Dong et al., 2023] na TF-C [Zhang et al., 2022] leti nyikaka dyondzo yo hundzisela exikarhi ka tidathaseti timbirhi loko ti hlawuriwile hi vukheta hi ku ya hi swihlawulekisi swa dataset. Hambiswiritano, va tsandzeka ku nyika vuswikoti byo dyondza ku hundzisela bya misava hinkwayo eka tidathaseti hinkwato. Hikwalaho, ku vile na ntshamiseko wa sweswinyana lowu kulaka wo tirhisa timodeli ta tindzimi letikulu leti leteriweke ka ha ri emahlweni (LLMs) eka ku vhumbha ka TS, ku yi teka tanihi ntirho wo dyondza ku hundzisela ku tsemakanya tidomeni. Maendlelo lawa ya ku hundzisela hi ku tsemakanya ya misava hinkwayo, ngopfungopfu mintirho ya sweswinyana yo fana na LLMTime [Gruver et al., 2023] na GPT4TS [Zhou et al., 2023] ya humesa mbuyelo lowu tshembisaka eka maendlelo ya vuprofeta bya switsongo/ziro-shot. Timodelo leti ti bootstrapped kusuka eka GPT-2/3 kumbe LLAMA-2 na tindlela leti faneleke ta tokenization ku pfumelelana na ti time-series domains.

Hambiswiritano, maendlelo lawa ya TS lama simekiweke eka LLM a ma khomi hi ku kongoma ku yelana ka tichanele na nseketelo wa le handle eka xiyimo xa ku vhumbha ka swilo swo hambana. Ku tlula kwalaho, timodeli leti letikulu, leti nga na tibiliyoni ta tipharamitha, ti lava switirhisiwa swa nkoka swa xibalo na nkarhi wo famba. Hikwalaho, eka phepha leri, hi kongomisa eka ku aka timodeli leti leteriweke ka ha ri emahlweni ku suka eka xiyimo xa le hansi ntsena hi ku tirhisa datha ya TS. Ku hambana na ririmi, leri nga na datha yo tala ya le mahlweni ka ndzetelo wa mani na mani hi titerabayiti, datha ya nxaxamelo wa nkarhi yi kayivela swinene, yi hambanile swinene naswona yi ringaniseriwile erivaleni. Ku pfumaleka ka yona swi yisa eka ku ringanela ku tlula mpimo loko ku dyondzisiwa ka ha ri emahlweni timodeli “letikulu” ntsena eka datha ya timeseries. Leswi swi hlohlotela xivutiso: Xana timodeli letitsongo leti leteriweke ka ha ri emahlweni ntsena eka tidathaseti ta TS to hambana ta mani na mani leti nga nyawuriki ti nyika ku pakanisa ko antswa ka ku vhumbha ka zero/few-shot? Lexi hlamarisaka, nhlamulo ya kona i ina! Ku ya eka leswi, hi ringanyeta Multi-level Tiny Time Mixers (TTM), modele lowutsongo swinene (≤1M parameters) lowu simekiweke eka architecture ya TSMixer yo vevuka, leyi leteriweke hi ku hlawuleka eka tikhopora to hambana ta TS eka ku vhumbha loku tirhaka ka zero/fewshot multivariate TS hi ku tirhisa dyondzo yo hundzisela.

Ngopfungopfu, TTM yi leteriwile ka ha ri emahlweni hi ku tirhisa tidathaseti to tala ta mani na mani (∼ 244M swikombiso) ku suka eka vuhlayiselo bya datha ya Monash[2] [Godahewa et al., 2021]). Xiya leswaku tidathaseti ti kombisa ku hambana lokukulu hi ku ya hi swihlawulekisi, ku fana na tidomeni to hambana, ku lulamisiwa ka nkarhi[3] (ku hlanganisa ku suka eka ya vumbirhi ku ya eka siku na siku), ku leha, na nhlayo ya tichanele. Ku leteriwa ka ha ri emahlweni eka tidathaseti to tano ta heterogeneous a swi nge khomiwi hi ku kongoma hi TSMixer kumbe timodeli ta xiyimo xa le henhla (SOTA) leti nga kona. Hikwalaho, TTM yi ringanyeta ku antswisiwa loku landzelaka eka xivumbeko xa TSMixer: (i) Adaptive Patching eka ti layers, ku tekela enhlokweni ku faneleka ko hambana ka ku leha ka patch eka ti datasets to hambana, (ii) Dataset Augmentation hi ku tirhisa Downsampling ku engetela ku hlanganisiwa na swikombiso eka swiboho swo hambana, (iii) Resolution Prefix Tuning ku nghenisa hi ku kongoma mahungu ya resolution eka patch yo sungula, ku olovisa ku endliwa ka xikombiso hi swiyimo swa xiboho, ngopfungopfu leswi vuyerisaka eka swiyimo leswi nga na ku leha ka matimu yo koma. Ku tlula kwalaho, endlelo ra hina ri tirhisa ku modela ka swiyimo swo tala, laha ti-TTM ti sungulaka ku leteriwa ka ha ri emahlweni hi ndlela leyi nga tiyimeleki hi tichanele ivi endzhaku ti hlanganisa hi ndlela yo pfumala swiphiqo hi nkarhi wa ku lulamisiwa kahle ku modela ku kongomisiwa ka data-specific channel-correlations na exogenous infusion

Laha hansi, hi andlala tinyiko ta nkoka ta phepha leri:

• Exikarhi ka ku hangalaka ka timodeli letikulu leti leteriweke ka ha ri emahlweni leti lavaka nkarhi wa nkoka wa xibalo na ndzetelo (hi mavhiki), ntirho wa hina i wo sungula ku kombisa ku tirha kahle ka ku aka timodeli ta Fast na Tiny leti leteriweke ka ha ri emahlweni (≤1M parameters) leti leteriweke ntsena eka tidathaseti ta Public TS hi ku hatlisa ka tiawara ti nga ri tingani ntsena (4-8 wa tiawara, 6 wa ti-GPU ta A100). TTM yi kombisa hi ndlela leyi humelelaka ku dyondza ku hundzisela eka tidathaseti to hambana, leti nga voniwiki leti kongomisiweke eka ku vhumbha ka zero/swibalesa swi nga ri swingani, ku lulamisa timhaka ta ku pfumaleka ka datha leti hangalakeke eka nxaxamelo wa nkarhi.

• Vuleteri bya le mahlweni eka tidathaseti ta swiboho swo tala ta heterogeneous a byi nge khomiwi hi ndlela leyinene hi TSMixer kumbe timodeli tin’wana ta SOTA. Hikwalaho, hi ringanyeta ku antswisiwa ko hambana ka vumaki na ndzetelo , ku fana na ku patcha loku pfumelelanaka, ku engeteriwa ka datha hi ku tirhisa downsampling, na (ku hlawula) ku yingiseta xirhangi xa xiboho xa ndzetelo wa le mahlweni lowu tiyeke.

• TTM yi tirhisa maqhinga ya ku modela ya swiyimo swo tala ku modela hi ku kongoma ku yelana ka tichanele, naswona yi katsa swikombiso swa le handle – vuswikoti bya nkoka lebyi pfumalaka eka maendlelo ya TS lama simekiweke eka LLMs.

• Hi ku kamberiwa lokukulu eka tidathaseti ta 11, TTM yi kombisa ku vuyeriwa lokukulu ka ku pakanisa eka swipimelo leswi dumeke (12- 38% eka ku vhumbha ka switsongo/swibalesa swa zero). Swi tlhela swi hunguta swinene swilaveko swa xibalo loko swi pimanisiwa na tindlela ta LLM-TS, hi ku tsemiwa ka 14X eka tipharamitha leti dyondziwaka, 106X ehansi ka tipharamitha hinkwato, na ku hunguteka lokukulu eka finetuning (65X), nkarhi wa inference (54X), na matirhiselo ya memori (27X). • Mimbuyelo ya zero-shot ya TTM yi tala ku tlula mimbuyelo ya swibalesa swi nga ri swingani ya maendlelo yo tala ya SOTA, leswi kombisaka ku humelela ka maendlelo ya hina.

[1] “Channel” yi kombetela eka nxaxamelo wa nkarhi wa munhu hi xiyexe eka datha ya multivariate (i.e., TS ya multivariate i xikombiso xa tichannel to tala).

[2] Yi kumeka eka https://forecastingdata.org/ .

[3] Xiboho xi kombetela eka mpimo wa ku tekeriwa swikombiso wa nxaxamelo wa nkarhi wa ku nghenisa (xikombiso, awara na awara, timinete ta khume, timinete ta 15, na swin’wana) .