මෙම කුඩා වෙනස නුහුරු දත්ත මත AI මාදිලි වඩාත් දක්ෂ කරයි

• සාරාංශය සහ 1 හැඳින්වීම
• 2 පසුබිම
  • 2.1 ගැටළු අර්ථ දැක්වීම
  • 2.2 අදාළ වැඩ
  • 2.3 ගැඹුරු නියතිවාදී අවිනිශ්චිතතාව
  • 2.4 L2 විශේෂාංග අවකාශය සහ ස්නායු බිඳවැටීම සාමාන්‍යකරණය කිරීම
• 3 ක්‍රමවේදය
  • 3.1 ආකෘති සහ අලාභ ශ්‍රිත
  • 3.2 ස්නායු බිඳවැටීම මැනීම
• 4 අත්හදා බැලීම්
  • 4.1 වේගවත් සහ වඩාත් ශක්තිමත් OoD ප්‍රතිඵල
  • 4.2 ස්නායු බිඳවැටීම OoD අනාවරණය සමඟ සම්බන්ධ කිරීම
• 5 නිගමනය සහ අනාගත වැඩ, සහ යොමු
  • උපග්‍රන්ථයක්
  • A.1 පුහුණු විස්තර
  • A.2 OoD හඳුනාගැනීම සඳහා Softmax ලකුණු මත L2 සාමාන්‍යකරණයේ බලපෑම
  • A.3 ලොජිට් අවකාශයේ GMM සවි කිරීම
  • A.4 L2 සාමාන්‍යකරණය සමඟ අධික පුහුණුව
  • A.5 NC පාඩු මැදිහත්වීම සඳහා ස්නායු බිඳවැටීමේ මිනුම්
  • A.6 අතිරේක සංඛ්‍යා

වියුක්ත

සම්මත ResNet ගෘහ නිර්මාණ ශිල්පයට සරල වෙනස් කිරීමක් අපි යෝජනා කරමු - විශේෂාංග අවකාශය මත L2 සාමාන්‍යකරණය - එය කලින් යෝජනා කරන ලද ගැඹුරු නිර්ණය අවිනිශ්චිතතා (DDU) මිණුම් ලකුණෙහි බෙදාහැරීමෙන් පිටත (OoD) කාර්ය සාධනය සැලකිය යුතු ලෙස වැඩිදියුණු කරයි. මෙම වෙනස මුල් ස්නායු බිඳවැටීම (NC) ද ඇති කරන බව අපි පෙන්වමු, එය වඩා හොඳ OoD කාර්ය සාධනයට සම්බන්ධ බලපෑමකි. අපගේ ක්‍රමය මිණුම් ලකුණෙහි පුහුණු කාලයෙන් කුඩා කොටසකින් සැසඳිය හැකි හෝ උසස් OoD හඳුනාගැනීමේ ලකුණු සහ වර්ගීකරණ නිරවද්‍යතාවය ලබා ගනී. ඊට අමතරව, එය බහු, අහඹු ලෙස ආරම්භ කරන ලද ආකෘතිවලට වඩා නරකම අවස්ථාවක OoD කාර්ය සාධනය සැලකිය යුතු ලෙස වැඩි දියුණු කරයි. ගැඹුරු ස්නායු ජාල (DNN) හි OoD හැසිරීම සඳහා NC එකම යාන්ත්‍රණය හෝ පුළුල් පැහැදිලි කිරීමක් බව අපි යෝජනා නොකරමු, NC හි සරල ගණිතමය සහ ජ්‍යාමිතික ව්‍යුහයට අනාගත කාර්යයේදී මෙම සංකීර්ණ සංසිද්ධිය විශ්ලේෂණය කිරීම සඳහා රාමුවක් සැපයිය හැකි බව අපි විශ්වාස කරමු.

1 හැඳින්වීම

ගැඹුරු ස්නායුක ජාල (DNNs) බෙදා හැරීමේ මාරුවට ශක්තිමත් බවක් නොමැති බව හොඳින් දන්නා අතර බෙදා හැරීමෙන් පිටත (OoD) යෙදවුම් ලබා ගැනීමේදී විශ්වාසදායක ලෙස අසාර්ථකත්වයක් පෙන්නුම් නොකළ හැකිය (Rabanser et al., 2018; Chen et al., 2020). විශේෂයෙන්, යෙදවුම් සම්පූර්ණයෙන්ම අදාළ නොවන අවස්ථාවන්හිදී ජාල විශ්වාසදායක අනාවැකි ලබා දිය හැකිය, උදා: බල්ලන් හෝ බළලුන් වර්ගීකරණය කිරීමට පුහුණු කරන ලද ජාලයකට තල ආදානයක රූපයක් බල්ලන් හෝ බළලුන් සඳහා ඉහළ විශ්වාසනීය ලකුණු නිපදවිය හැකිය. ජාලවලට "ඔවුන් නොදන්නා දේ දැන ගැනීමට" ඇති මෙම නොහැකියාව ඉංජිනේරු විද්‍යාව සහ අනෙකුත් ආරක්ෂක තීරණාත්මක වසම්වල යන්ත්‍ර ඉගෙනීමේ යෙදීමට බාධා කරයි (Henne et al., 2020).

මෑත කාලීන වර්ධනයන් ගණනාවක් මෙම ගැටලුව විසඳීමට උත්සාහ කර ඇති අතර, වඩාත් බහුලව භාවිතා වන්නේ මොන්ටේ කාලෝ ඩ්‍රොප්අවුට් (MCD) සහ එන්සෙම්බල් (Gal and Ghahramani, 2016; Lakshminarayanan et al., 2017). සාධාරණ න්‍යායික පසුබිමකින් සහාය දක්වන අතර, MCD සමහර යෙදුම්වල කාර්ය සාධනය අඩු වන අතර පුහුණුවෙන් පසු ආකෘතියේ බහු ඉදිරි ගමන් අවශ්‍ය වේ (Haas and Rabus, 2021; Ovadia et al., 2019). එන්සෙම්බල් වලට MCD වලට වඩා හොඳ නිරවද්‍යතාවයක් මෙන්ම විශාල බෙදාහැරීමේ මාරුවීම් යටතේ වඩා හොඳ OoD හඳුනාගැනීමක් ලබා දිය හැකි නමුත් ගණනය කිරීමේ සැලකිය යුතු වැඩි වීමක් අවශ්‍ය වේ (Ovadia et al., 2019).

මෙම සීමාවන් නිර්ණායකවාදී සහ තනි ඉදිරි ගමන් ක්‍රම කෙරෙහි උනන්දුවක් ඇති කර ඇත. මේවා අතර කැපී පෙනෙන දෙයක් වන්නේ ගැඹුරු නිර්ණායක අවිනිශ්චිතතාවය (DDU) (Mukhoti et al., 2021). DDU බොහෝ තරඟකාරී ප්‍රවේශයන්ට වඩා බෙහෙවින් සරල ය (Liu et al., 2020; Van Amersfoort et al., 2020; van Amersfoort et al., 2021), තරඟකාරී ප්‍රතිඵල නිපදවන අතර අවිනිශ්චිතතා ක්‍රම සඳහා මිණුම් ලකුණක් ලෙස යෝජනා කර ඇත. අපගේ අත්හදා බැලීම්වල පෙන්වා ඇති පරිදි සීමාවක් නම්, DDU සඳහා දිගු පුහුණු කාලයක් අවශ්‍ය වන අතර අනනුකූල කාර්ය සාධනයක් සහිත ආකෘති නිෂ්පාදනය කිරීමයි.

සම්මත ResNet ගෘහ නිර්මාණ ශිල්පයේ විශේෂාංග අවකාශයට වඩා L2 සාමාන්‍යකරණය හරහා DDU සැලකිය යුතු ලෙස වැඩිදියුණු කළ හැකි බව අපි පෙන්නුම් කරමු. නිරවද්‍යතාවයේ සහ OoD හඳුනාගැනීමේ කාර්ය සාධන වාසි ලබා දීමට අමතරව, L2 සාමාන්‍යකරණය සම්මත පුහුණුවට වඩා බොහෝ කලකට පෙර ස්නායු බිඳවැටීමක් (NC) ඇති කරයි. මෑතකදී NN ගෘහ නිර්මාණ ශිල්පයේ බොහෝ NN ගෘහ නිර්මාණ ශිල්පයන්හි ඒවා අධික ලෙස පුහුණු කරන විට සිදුවන බව සොයා ගන්නා ලදී (Papyan et al., 2020). මෙය ගැඹුරු ස්නායු ජාල වල සංකීර්ණත්වය වඩාත් පහසු කිරීමට ක්‍රමයක් සැපයිය හැකිය, එමඟින් ඒවා සරල සමකෝණික තද රාමු (සරල ETF) හි සාපේක්ෂ ජ්‍යාමිතික සහ ගණිතමය සරල බව හරහා විශ්ලේෂණය කළ හැකිය (Mixon et al., 2022; Zhu et al., 2021; Lu and Steinerberger, 2020; Ji et al., 2021). මෙම සරල ETF විශේෂාංග ස්ථරයට සහ තීරණ වර්ගීකරණයට සීමා වුවද, මෙම ස්ථර සැලකිය යුතු ජාල ක්‍රියාකාරිත්වයක් සාරාංශ කරයි. පැපියන් et al. අපගේ දැනුමේ හැටියට, NC යටතේ වැඩි වූ එදිරිවාදී ශක්තිමත් බව පෙන්නුම් කිරීමට, OoD හඳුනාගැනීම සහ NC අතර සම්බන්ධතාවය පිළිබඳ පළමු අධ්‍යයනය අපි ඉදිරිපත් කරමු.

අපගේ දායකත්වයන් අපි පහත පරිදි සාරාංශ කරමු:

1) ගැඹුරු ඉගෙනුම් ආකෘතිවල විශේෂාංග අවකාශය මත L2 සාමාන්‍යකරණය කිරීමෙන් DDU මිණුම් ලකුණෙහි කාර්ය සාධනය සමඟ තරඟකාරී හෝ ඉක්මවා යන OoD හඳුනාගැනීම සහ වර්ගීකරණ කාර්ය සාධනය ඇති වේ. වඩාත්ම කැපී පෙනෙන ලෙස, ආකෘති බීජ හරහා නරකම අවස්ථාව වන OoD හඳුනාගැනීමේ කාර්ය සාධනය සැලකිය යුතු ලෙස වැඩිදියුණු කර ඇත.

2) විශේෂාංග අවකාශයට වඩා L2 සාමාන්‍යකරණය සමඟ පුහුණු කරන ලද ආකෘති, DDU මිණුම් ලකුණෙහි පුහුණු කාලයෙන් 17% (ResNet18) සිට 29% (ResNet50) දක්වා ඉහත සඳහන් කළ කාර්ය සාධන ප්‍රතිලාභ ලබා දෙයි. අපගේ යෝජිත L2 සාමාන්‍යකරණය එය නොමැතිව ආකෘති වලට සාපේක්ෂව සැලකිය යුතු පුහුණු කාලයක් එකතු නොකරයි.

3) විශේෂාංග අවකාශය මත L2 සාමාන්‍යකරණය සම්මත පුහුණුවට වඩා පස් ගුණයකින් වේගවත් NC ඇති කරයි. DNN හැසිරීම විශ්ලේෂණය කිරීම සඳහා NC අනුපාතය පාලනය කිරීම ප්‍රයෝජනවත් විය හැකිය.

4) DDU ක්‍රමයට අපගේ යෝජිත වෙනස් කිරීම යටතේ NC OoD හඳුනාගැනීම සමඟ සම්බන්ධ වේ. අඩු පුහුණුවක් සමඟ OoD හඳුනාගැනීමේ කාර්ය සාධනය සාක්ෂාත් කර ගැනීමේදී වේගවත් NC කාර්යභාරයක් ඉටු කරන බවට අපි සාක්ෂි පෙන්වමු, සහ NC මත සෘජුවම පුහුණුව සම්මත හරස් එන්ට්‍රොපි (CE) පුහුණුවට වඩා OoD කාර්ය සාධනය කෙරෙහි සැලකිය යුතු ලෙස වෙනස් බලපෑමක් ඇති කරයි. DNN වල ස්වභාවිකව පැන නගින සරල ETF සහ OoD කාර්ය සාධනය අතර මෙම සම්බන්ධතාවය DNN වල අවිනිශ්චිතතාවය සහ ශක්තිමත් බව පාලනය කරන යටින් පවතින යාන්ත්‍රණයන් පිළිබඳ වැඩිදුර අධ්‍යයනය සඳහා අලංකාර විශ්ලේෂණ රාමුවක් සඳහා ඉඩ සලසයි.