Ti Chanjman sa a fè modèl AI pi entelijan sou done ki pa abitye

• Abstract ak 1 Entwodiksyon
• 2 Background
  • 2.1 Definisyon Pwoblèm
  • 2.2 Travay ki gen rapò
  • 2.3 Ensètitid Detèminist pwofon
  • 2.4 L2 Nòmalizasyon Espas Karakteristik ak Efondreman Neural
• 3 Metodoloji
  • 3.1 Modèl ak Fonksyon Pèt
  • 3.2 Mezire efondreman neral
• 4 Eksperyans
  • 4.1 Pi vit ak pi solid rezilta OoD
  • 4.2 Lyen efondreman neral ak Deteksyon OoD
• 5 Konklizyon ak Travay lavni, ak Referans
  • Yon Apendis
  • A.1 Detay Fòmasyon
  • A.2 Efè Nòmalizasyon L2 sou Nòt Softmax pou Deteksyon OoD
  • A.3 Fitting GMM sou espas Logit
  • A.4 Surantrenman ak nòmalizasyon L2
  • A.5 Mezi Efondreman Neral pou Entèvansyon Pèt NC
  • A.6 Chif Lòt

Résumé

Nou pwopoze yon modifikasyon senp nan achitekti ResNet estanda yo – nòmalizasyon L2 sou espas karakteristik – ki amelyore pèfòmans andeyò distribisyon (OoD) sou referans Deep Deterministic Uncertainty (DDU) yo te pwopoze deja. Nou montre ke chanjman sa a tou pwovoke byen bonè Neural Collapse (NC), yon efè lye nan pi bon pèfòmans OoD. Metòd nou an reyalize nòt deteksyon OoD konparab oswa siperyè ak presizyon klasifikasyon nan yon ti fraksyon nan tan fòmasyon an nan referans la. Anplis de sa, li anpil amelyore pi move ka pèfòmans OoD sou plizyè modèl inisyalize owaza. Menmsi nou pa sijere ke NC se sèl mekanis oswa yon eksplikasyon konplè pou konpòtman OoD nan rezo neral gwo twou san fon (DNN), nou kwè senp estrikti matematik ak jeyometrik NC a ka bay yon fondasyon pou analiz fenomèn konplèks sa a nan travay nan lavni.

1 Entwodiksyon

Li se byen li te ye ke Deep Neural Networks (DNNs) manke solidite nan chanjman distribisyon epi yo pa ka endike echèk lè yo resevwa soti nan distribisyon (OoD) entrées (Rabanser et al., 2018; Chen et al., 2020). Espesyalman, rezo yo ka bay prediksyon konfyans nan ka kote entrées yo konplètman petinan, pa egzanp, yon imaj yon antre nan avyon nan yon rezo ki resevwa fòmasyon pou klasifye chen oswa chat ka pwodwi nòt konfyans segondè pou swa chen oswa chat. Sa a enkapasite pou rezo yo "konnen sa yo pa konnen" anpeche aplikasyon an nan aprantisaj machin nan jeni ak lòt domèn sekirite kritik (Henne et al., 2020).

Yon kantite devlopman resan yo te eseye adrese pwoblèm sa a, pi lajman itilize se Monte Carlo Dropout (MCD) ak ansanbl (Gal and Ghahramani, 2016; Lakshminarayanan et al., 2017). Pandan ke yo sipòte pa yon background teyorik rezonab, MCD manke pèfòmans nan kèk aplikasyon epi li mande plizyè pas avanse nan modèl la apre fòmasyon (Haas and Rabus, 2021; Ovadia et al., 2019). Ansanm yo ka bay pi bon presizyon pase MCD, osi byen ke pi bon deteksyon OoD anba pi gwo chanjman distribisyon, men mande pou yon ogmantasyon sibstansyèl nan kalkil (Ovadia et al., 2019).

Limit sa yo te ankouraje enterè nan metòd detèminist ak yon sèl pas avanse. Remakab pami sa yo se Deep Deterministic Uncertainty (DDU) (Mukhoti et al., 2021). DDU se pi senp pase anpil apwòch konpetisyon (Liu et al., 2020; Van Amersfoort et al., 2020; van Amersfoort et al., 2021), pwodui rezilta konpetitif e li te pwopoze kòm yon referans pou metòd ensètitid. Yon limit, jan yo montre nan eksperyans nou yo, se ke DDU mande tan fòmasyon long epi pwodui modèl ak pèfòmans enkonsistan.

Nou demontre ke DDU ka amelyore anpil atravè nòmalizasyon L2 sou espas karakteristik nan achitekti ResNet estanda. Anplis ofri pwogrè pèfòmans nan presizyon ak deteksyon OoD, nòmalizasyon L2 pwovoke efondreman neral (NC) pi bonè pase fòmasyon estanda. NC te dènyèman jwenn nan anpil achitekti NN lè yo twò antrenman (Papyan et al., 2020). Sa a ka bay yon fason pou rann konpleksite rezo neral gwo twou san fon yo pi fasil, pou yo ka analize yo atravè senplisite jeyometrik ak matematik ki senp Equiangular Tight Frames (simplex ETF) (Mixon et al., 2022; Zhu et al., 2021; Lu and Steinerberger, 2020; 202 et al.1). Malgre ke ETF senp sa a limite a kouch karakteristik ak klasifikasyon desizyon, kouch sa yo rezime yon kantite konsiderab nan fonksyonalite rezo a. Pandan ke Papyan et al. demontre ogmante solidite advèsè anba NC, nan pi bon nan konesans nou an, nou prezante etid la premye nan relasyon ki genyen ant deteksyon OoD ak NC.

Nou rezime kontribisyon nou yo jan sa a:

1) Nòmalizasyon L2 sou espas karakteristik modèl aprantisaj pwofon rezilta nan deteksyon OoD ak pèfòmans klasifikasyon ki konpetitif ak oswa depase pèfòmans referans DDU a. Pi miyò, pèfòmans deteksyon OoD ki pi mal la atravè grenn modèl yo amelyore anpil.

2) Modèl ki resevwa fòmasyon ak nòmalizasyon L2 sou espas karakteristik yo pwodwi benefis pèfòmans yo mansyone pi wo a nan 17% (ResNet18) a 29% (ResNet50) nan tan fòmasyon an nan referans DDU a. Nòmalizasyon L2 pwopoze nou an pa ajoute okenn tan fòmasyon enpòtan kont modèl san li.

3) Nòmalizasyon L2 sou espas karakteristik pwovoke NC otan ke senk fwa pi vit pase fòmasyon estanda. Kontwole pousantaj NC ka itil pou analize konpòtman DNN.

4)NC lye ak deteksyon OoD dapre modifikasyon nou pwopoze nan metòd DDU a. Nou montre prèv ke NC rapid jwe yon wòl nan reyalize pèfòmans deteksyon OoD ak fòmasyon mwens, e ke fòmasyon dirèkteman sou NC gen yon efè sibstansyèlman diferan sou pèfòmans OoD pase fòmasyon estanda kwa entropi (CE). Koneksyon sa a ant ETF senp ki parèt natirèlman nan DNN ak pèfòmans OoD pèmèt yon kad analitik elegant pou plis etid sou mekanis ki kache ki gouvène ensètitid ak solidite nan DNN yo.