Kay Huch'uy tikrayqa AI Modelokunata aswan yachaysapata ruwan mana riqsisqa willakuykunapi

• Resumen y 1 Riqsichikuy
• 2 Ñawpaqmanta willakuy
  • 2.1 Sasachakuypa sut’inchaynin
  • 2.2 Chaywan tupaq llamkay
  • 2.3 Ukhu Determinista Incertidumbre nisqa
  • 2.4 L2 Normalización del Espacio de Características y Colapso Neural nisqa
• 3 Métodología nisqa
  • 3.1 Modelos y Funciones de Perdida nisqa
  • 3.2 Collapso Neural nisqa tupuy
• 4 Experimentokuna
  • 4.1 Aswan utqaylla hinaspa aswan kallpasapa OoD Resultados
  • 4.2 Colapso Neural nisqawan OoD Detección nisqawan tinkuchiy
• 5 Tukuchiy hinaspa Hamuq Llamkay, hinaspa Referenciakuna
  • Huk Apéndice nisqa
  • A.1 Yachachiymanta Willakuykuna
  • A.2 L2 Normalización nisqapa ruwaynin Softmax Puntuacionkunapi OoD Detección nisqapaq
  • A.3 GMMs nisqakunata Logit Space nisqapi churay
  • A.4 L2 Normalización nisqawan sobreentrenamiento
  • A.5 NC chinkachiy intervención nisqapaq Colapso Neural nisqa tupuykuna
  • A.6 Yapa siqikuna

Mana riqsisqa

Huk sanu tikrayta ResNet arquitecturakuna estándar kaqman–L2 normalización ruway espaciomanta–chayqa sustancialmente allinchan mana rakisqa (OoD) ruwayta ñawpaq yuyaychasqa Ukhu Determinista Incertidumbre (DDU) benchmark kaqpi. Qawachiyku kay tikrayqa ñawpaq Colapso Neural (NC) kaqtapas inducin, huk efectota aswan allin OoD ruwaywan tinkisqa. Métodoykuqa tupachisqa utaq aswan allin OoD tariy puntuacionkunata chaymanta clasificación exactitudta huk uchuy fracción kaqpi entrenamiento pachamanta chay benchmark kaqmanta chayan. Chaymanta, sustancialmente allinchan aswan mana allin caso OoD ruwayta achka, random qallarisqa modelokunamanta. Manaña yuyaychaykuchu NC sapalla mecanismo kaqta utaq huk tukuypaq sut’inchay OoD ruwaymanta ukhu neuronal llikakunapi (DNN), iñiyku NCpa sasan matemáticas chaymanta geométricas estructuran huk marcota quyta atinman kay complejo fenómenomanta hamuq llamk’aypi.

1 Riqsichikuy

Allin riqsisqam Ukhu Neural Redes (DNNs) nisqakuna mana kallpayuq kasqankuta rakinakuypa tikrakuyninman hinaspapas manapaschá confiablementechu qawachinmanku mana rakinakuymanta (OoD) yaykuykunata chaskiptinku (Rabanser et al., 2018; Chen et al., 2020). Específicamente, llikakuna qunmanku confianza willakuykunata casokunapi maypichus yaykuykuna tukuyninpi mana chaniyuq kanku, p.h. huk siq'i huk avión yaykuymanta huk llikaman yachachisqa allqukunata utaq misikunata clasificanapaq hatun confianza puntuacionkunata ruwanman allqukunapaq utaq misikunapaq. Kay mana atiy llikakuna "mana yachasqankuta yachanankupaq" harkan makina yachaypa ruwayninta ingeniería kaqpi chaymanta wak seguridad critica dominiokunapi (Henne et al., 2020).

Kay llakita allichinata munashkakunami kunan pachakunapi achka ruraykuna, ashtawanka Monte Carlo Dropout (MCD) shinallatak conjuntokuna (Gal y Ghahramani, 2016; Lakshminarayanan et al., 2017). Sichus huk razonable teórico antecedentewan yanapasqa, MCD wakin aplicacionkunapi mana ruwayniyuqchu, chaymi achka ñawpaqman pasaykunata modelomanta necesitan capacitacionmanta (Haas y Rabus, 2021; Ovadia et al., 2019). Conjuntos nisqakunaqa aswan allin chiqap kaytam quyta atinku MCD nisqamantaqa, chaynallataqmi aswan allin OoD nisqa tariyta aswan hatun rakinakuy tikraykunapi, ichaqa yupaypi hatun yapakuynintam munanku (Ovadia et al., 2019).

Kay limitacionkunam kallpancharqa interesta determinista hinaspa sapallan ñawpaqman pasay ruwaykunapi. Chaykuna ukhupi reparanapaqmi Incertidumbre Determinista Profunda (DDU) (Mukhoti et al., 2021). DDUqa aswan sasan achka atipanakuy ruwaykunamantaqa (Liu et al., 2020; Van Amersfoort et al., 2020; van Amersfoort et al., 2021), atipanakuy ruwaykunata ruwan, chaymi mana seguridad nisqa ruwaykunapaq huk benchmark hina yuyaychasqa. Huk limitación, experimentoykupi rikuchisqa hina, DDU unay entrenamiento pachakunata mañan chaymanta mana tupaq ruwayniyuq modelokunata ruwan.

Qawachiyku DDU sustancialmente allinchasqa kanman L2 normalización kaqninta ruwanakuna espaciomanta ResNet arquitecturakuna estándar kaqpi. Aswanta kay ruway gananciakunata quymanta kay exactitud kaqpi chanta kay OoD tariypi, kay L2 normalización kay colapso neural (NC) kaqta aswan ñawpaqta induce kay entrenamiento estándar kaqmanta. NCqa chayllaraqmi tarikurqa achka NN arquitecturakunapi rikurimusqanmanta, llumpay yachachisqa kaptinku (Papyan et al., 2020). Kayqa huk ñanta qunman ukhu neural llikakunap complejidadninta aswan tratable kananpaq, chaywantaq simplex Equiangular Tight Frames (simplex ETF) nisqap relativa geométrica chanta matemática simplicidadninwan t’aqwirikunman (Mixon et al., 2022; Zhu et al., 2021; Lu y Steinerberger, 2020; Ji et al., 2021). Kay simplex ETF ruwanakuna qataman chaymanta tanteay clasificador kaqman limitasqa kaptinpas, kay qatanakuna huk hatun llika ruwanakunata resumenpi ruwanku. Mientras Papyan et al. rikuchinku yapasqa robustez adversarial NC nisqapi, allin yachayniykuman hina, ñawpaq estudiota riqsichiyku chay relación OoD detecciónwan NCwan.

Yanapakusqaykutam kayhinata pisillapi qillqayku:

1)L2 normalización espacio de características kaqpi ukhu yachay modelokuna OoD tariypi chaymanta clasificación ruwaypi ruwan mayqinchus atipanakuyniyuq utaq ruwaymanta aswan hatun DDU benchmark kaqmanta. Aswan riqsisqaqa, aswan mana allin caso OoD tariy ruwayqa tukuy modelo muhukunapim anchata allinchasqa kachkan.

2)Modelokuna yachachisqa L2 normalización kaqwan espacio de características kaqpi ruwanku ñawpaq rimasqa ruway allinkunata 17% (ResNet18) kaqmanta 29% (ResNet50) kaqkama kay DDU benchmark kaqmanta yachachiy pachamanta. Normalización L2 nisqa yuyaykusqaykuqa manan yapanchu ima tiempo de entrenamiento significativotapas mana chaywan modelokunawan tupachisqaqa.

3)L2 normalización espacio de características nisqapi NC nisqataqa pichqa kuti aswan utqaylla induce entrenamiento estándar nisqamanta. NCpa tasanta controlayqa allinmi kanman DNNpa ruwayninta qawarinapaq.

4)NC OoD tariywan tinkisqa kachkan kay DDU ruwayman tikray yuyaykusqaykuwan. Pruebakunata rikuchiyku kay usqhayta NC huk ruwayta ruwan OoD tariy ruwayta aypaypi pisi yachachiywan, chaymanta kay yachachiyqa chiqamanta NC kaqpi huk sustancialmente hukniray efectota OoD ruwaypi kan kay entropía cruzada (CE) yachachiymanta estándar kaqmanta. Kay tinkiynin ETFs simples kaqwan mayqinkunachus naturalmente DNNs kaqpi rikhurinku chaymanta OoD ruwaypi permite huk elegante marco analítico aswan yachaypaq mecanismos subyacentes kaqmanta mayqinkunachus kamachinku incertidumbre chaymanta robustez kay DNNs kaqpi.