لیکوالان:
(۱) بین اتیواراتکون، د AWS AI لابراتوارونه؛
(2) سوجن کمار ګونګونډلا، د AWS AI لابراتوار؛
(۳) سنجې کرشنا ګوډا، د AWS AI لابراتوارونه؛
(4) Haifeng Qian، AWS AI لابراتوار؛
(۵) سنجې کرشنا ګوډا، د AWS AI لابراتوارونه؛
(۶) هانټین ډینګ، د AWS AI لابراتوارونه؛
(۷) کینګ سن، د AWS AI لابراتوارونه؛
(۸) جون وانګ، د AWS AI لابراتوارونه؛
(9) جیاچینګ ګو، د AWS AI لابراتوار؛
(10 Liangfu Chen، AWS AI لابراتوار؛
(۱۱) پرمیندر بهټیا، د جي ای روغتیا پاملرنې (په AWS کې کار شوی)؛
(12) رمیش نالپتي، ایمیزون AGI (په AWS کې کار شوی)؛
(۱۳) سودیپتا سینګوپتا، د AWS AI لابراتوارونه؛
(۱۴) بینګ ژیانګ، ګولډمن سیکس (په AWS کې ترسره شوی کار).
د لینکونو جدول
۳.۱. یادښت او ۳.۲. د ژبې ماډل استنباط
۳.۳. څو پوښتنې، څو سرلیکونه او عمومي شوي څو پوښتنې پاملرنه
۴. د شرایطو په اړه دوه اړخیزه پاملرنه او ۴.۱. هڅونه
۴.۲. فورمولیشن او ۴.۳. د حافظې IO پیچلتیا
۵.۱. د څو سرونو، څو پوښتنو، او څو ګروپونو پاملرنې وړتیاوو پرتله کول
۵.۲. د وړتیاوو د مساوي ماډلونو ځنډونه
ه. د شرایطو په اړه دوه اړخیزه پاملرنه
ج. د اټکلي کوډ کولو او ګړندي کوډ کولو تخنیکونو سره مطابقت
ب. اړوند کار
ب.۱. د واحد-مشابه بیچ نمونې اخیستنې غوښتنلیکونه
هغه لیدل شوی ځنډ کمول چې موږ یې ترلاسه کوو کولی شي په ډیری غوښتنلیکونو ژوره اغیزه ولري. د دې غوښتنلیکونو څخه ځینې یې پدې کې شامل دي:
• د کوډ تولید: د سافټویر پراختیا کې، د مصنوعي ذهانت په مرسته د کوډ تولید کولی شي د کم شوي ځنډ څخه ډیره ګټه پورته کړي، په ځانګړې توګه کله چې د یو ټاکل شوي شرایطو لپاره ډیری کوډ ټوټې یا وړاندیزونه رامینځته کړي. دا کولی شي د پراختیا کونکو لپاره د AI لخوا پرمخ وړل شوي مدغم پراختیا چاپیریال (IDEs) یا د کوډ بشپړولو وسیلو کارولو سره د ډیر ځواب ویونکي او اغیزمن کارونکي تجربې لامل شي (نیجکیمپ او نور، 2023؛ 2022؛ چن او نور، 2021؛ لی او نور، 2022؛ فریډ او نور، 2022؛ لی او نور، 2022؛ علال او نور، 2023؛ لی او نور، 2023؛ احمد او نور، 2021).
• ماشیني ژباړه: په هغو شرایطو کې چې د یو واحد ان پټ لپاره څو ژباړو ته اړتیا وي، لکه د مختلفو درجو رسمي ژباړو سره ژباړې رامینځته کول یا د مختلفو ژبو لپاره ژباړې رامینځته کول، د شرایطو څخه خبر ویشل شوی پاملرنه کولی شي ډیر اغیزمن محاسبه چمتو کړي، چې په پایله کې یې ګړندي او ډیر د اندازې وړ ماشیني ژباړې خدمات رامینځته کیږي (کوسټاجوس او نور، ۲۰۲۲؛ فرهاد او نور، ۲۰۲۱؛ ټران او نور، ۲۰۲۱؛ یی او نور، ۲۰۱۹).
• چیټ بوټونه او د خبرو اترو مصنوعي ذهانت: د خبرو اترو اجنټان ډیری وخت اړتیا لري چې د کارونکي د معلوماتو مختلف تفسیرونو اداره کولو یا د ډیری وړاندیزونو چمتو کولو لپاره ډیری ځوابونه رامینځته کړي. د وړاندیز شوي میتود لخوا وړاندیز شوی کم شوی ځنډ کولی شي د چیټ بوټونو ځواب ویلو ته د پام وړ وده ورکړي، چې د کاروونکو سره ډیر طبیعي او مایع خبرې اترې ته لار هواروي (ګوګل، ۲۰۲۳).
• د تخلیقي محتوا تولید: د شعر، کیسې، یا اعلاناتو تولید په څیر غوښتنلیکونو کې، د ورکړل شوي پرامپټ لپاره د څو ډولونو د تولید وړتیا خورا مهمه ده. وړاندیز شوی میتود د متنوع محتوا ډیر اغیزمن تولید ته اجازه ورکوي، چې دا د ریښتیني وخت یا لوی پیمانه غوښتنلیکونو لپاره ډیر ممکن کوي (لین او ریډل، 2021؛ میروسکي او نور، 2023؛ ټیم، 2023؛ یوان او نور، 2022).
• د معلوماتو زیاتوالی: د ماشین زده کړې لپاره د معلوماتو زیاتوالي په شرایطو کې، د ورکړل شوي ان پټ لپاره د څو بدیل مثالونو رامینځته کول کولی شي د ماډل پیاوړتیا او عمومي کولو ته وده ورکړي. د شرایطو څخه خبر شوي دوه اړخیز پاملرنې لخوا چمتو شوي کم شوي ځنډ سره، د زیات شوي معلوماتو رامینځته کولو پروسه ګړندۍ کیدی شي، چې د روزنې پرمهال د کمپیوټري سرچینو ډیر اغیزمن کارول فعالوي.
• د لویې کچې عمومي ارزونه: د پورته ذکر شویو کارولو قضیو سربیره، ډیری ځانګړي کارونې قضیې شتون لري چیرې چې LLM او نور خلاص پای نسل ماډلونه د زهرجنیت لپاره سپړل کیږي (داتاتري او نور، 2019؛ ګهمان او نور، 2020؛ ندیم او نور، 2020)، په نسلونو کې د زیان منونکي کوډ کشف (پیرس او نور، 2022)، د فعالیت ښه کولو کوډ ایډیټ نسل (مدان او نور، 2023)، د پروګرام کولو ژبې ژباړې (روزیر او نور، 2020) او ډیری نور. په دې ټولو سناریوګانو کې د هر پرامپټ لپاره ډیری نسلونه د ماډلونو ژورې پوهاوي لپاره راټول شوي، دوه اړخیزه پاملرنه کولی شي په داسې قضیو کې د نسل پروسه په ډراماتیک ډول ګړندۍ کړي.
په پایله کې، د وړاندیز شوي شرایطو څخه خبرتیا دوه اړخیزه پاملرنې میتود کولی شي د حافظې I/O لګښت د پام وړ کم کړي او په مختلفو غوښتنلیکونو کې ځنډ ښه کړي، چې د موثریت او پیمانه کولو زیاتوالي لامل کیږي. دا میتود د نوي کارونې قضیې فعالولو او په ډیری AI ځواکمن سیسټمونو کې د کارونکي تجربې ته وده ورکولو وړتیا لري، چې دوی د ریښتینې نړۍ ځای پرځای کولو لپاره ډیر عملي کوي.
ب.۲. د اوږدې مودې شرایطو ملاتړ کول د IO- اغیزمن پاملرنې ته اړتیا لري
لکه څنګه چې د ژبې ماډلونه عمومي هدف او خورا وړتیا لري، د اوږدې مودې شرایطو ترتیبونو اداره کولو لپاره د ژبې ماډلونو غوښتنه د پام وړ وده کړې. پدې وروستیو کې، په هغو ماډلونو باندې دوامداره تمرکز شتون لري چې حتی اوږدې شرایطو ترتیبونه اداره کولی شي (بولاتوف او نور، 2023؛ اوپن AI، 2023؛ ټیم، 2023). تر نن ورځې پورې، GPT-4 (اوپن AI، 2023) د 32k ټوکنونو د شرایطو اوږدوالی ملاتړ کوي، او MPT-7B (ټیم، 2023) دا 64k ته غځوي پداسې حال کې چې د انټروپیک کلاډ [3] د 100k ان پټ اوږدوالی ملاتړ کوي. په دې وروستیو کې، بولاتوف او نورو د ټرانسفارمرونو لپاره د 1M ټوکن ان پټ شرایطو اوږدوالی وړاندیز وکړ. دا ماډلونه د شرایطو پوهاوي او تولید وړتیاو حدود زیاتوي، چې د ډیرو جامع خبرو اترو پوهاوي او په شرایطو سره باخبره ځوابونو ته اجازه ورکوي.
دا رجحان د Retrieval-Augmented Generation (RAG) په څیر غوښتنلیکونو کې د جامع بحث پوهاوي اړتیا، او همدارنګه د ډیری پیچلو هڅونې میتودونو لخوا پرمخ وړل کیږي. غوښتنلیکونه لکه RAG (Guu et al., 2020; Izacard et al., 2022; Menick et al., 2022; Zhen et al., 2022) د بهرني کارپورا څخه پراخه برخې یا اسناد بیرته ترلاسه کوي، د ځوابونو رامینځته کولو لپاره بډایه او ځمکني شرایط چمتو کوي. سربیره پردې، ماډلونه لکه Toolformer (Schick et al., 2023) او WebGPT (Nakano et al., 2021) د شرایطو پراخولو او نسل لوړولو لپاره بهرني وسایل، لکه APIs او د لټون انجنونه، کاروي.
د ټرانسفارمر کورنۍ ماډلونو لپاره اوږد شرایط په غیر متناسب ډول ګران دي ځکه چې د وینیلا ځان پاملرنې لپاره حافظه او د وخت پیچلتیا دواړه د ترتیب اوږدوالي سره څلور اړخیز دي. د اوږدې شرایطو ترتیبونو په مؤثره توګه اداره کولو لپاره، د حافظې I/O اصلاح کول او د محاسبې سر کمول خورا مهم دي. اوس مهال، د دې ننګونې د حل لپاره غالبې لارې چارې د پاملرنې محاسبه لږ ګران کول دي. بیلټاګي او نور. (2020) وړاندیز وکړ چې د مختلفو پاملرنې نمونو په کارولو سره د ځان پاملرنې لنډیز وکړي. وانګ او نور. (2020) د ځان پاملرنې ټیټ رتبه نږدې والی سپړي. د محاسبې پورې تړلو پرمختګونو سربیره، د حافظې اغیزمن پاملرنې میکانیزمونو او د حافظې I/O کمولو لپاره تخنیکونو کې پرمختګونه به ساحه مخ په وړاندې بوځي، د ژبې ماډلونو کې د اوږدې شرایطو ترتیبونو اداره کول اسانه کوي. FlashAttention (Dao et al.، 2022) وړاندیز شوی چې د ځان پاملرنې ګړندی کړي او پرته له کوم نږدې والي څخه د حافظې فوټ پرینټ کم کړي. دا د میټریکس ضرب او سافټ میکس عملیاتو لپاره فیوز شوي کرنل څخه ګټه پورته کوي کوم چې د روزنې پرمهال د حافظې IO خورا کموي.
دا مقاله د CC BY 4.0 DEED جواز لاندې په arxiv کې شتون لري .
[3] https://www.anthropic.com/index/100k-context-windows
