Dilema Tenaga AI: Bolehkah LLM Mengoptimumkan Penggunaan Kuasa Mereka Sendiri?

Apabila OpenAI melancarkan ChatGPT pada akhir 2022, ia mencetuskan kegembiraan dan kebimbangan. AI Generatif menunjukkan potensi yang luar biasa—membuat esei, menyelesaikan masalah pengekodan, dan juga mencipta seni. Tetapi ia juga menimbulkan penggera di kalangan ahli alam sekitar, penyelidik, dan teknologi. Kebimbangan terbesar? Penggunaan tenaga besar yang diperlukan untuk melatih dan menjalankan Model Bahasa Besar (LLM), menimbulkan persoalan tentang kemampanan jangka panjangnya.

Memandangkan LLM terus membentuk semula industri seperti pendidikan dan penjagaan kesihatan, impaknya tidak boleh diabaikan. Makalah ini menimbulkan persoalan penting: Bolehkah sistem pintar ini mengoptimumkan diri mereka sendiri untuk mengurangkan penggunaan kuasa dan meminimumkan jejak alam sekitar mereka? Dan jika ya, bagaimana ini boleh mengubah landskap AI?

Kami akan memecahkan cabaran tenaga LLM, daripada latihan kepada inferens, dan meneroka strategi penalaan kendiri yang inovatif yang boleh menjadikan AI lebih mampan.

Memahami Cabaran Tenaga AI

Latihan lwn Inferens

Latihan Google untuk model bahasa besar seperti GPT-4 atau PaLM memerlukan sejumlah besar sumber pengiraan. Sebagai contoh, latihan GPT-3 mengambil beribu-ribu GPU berjalan selama berminggu-minggu, menggunakan tenaga sebanyak beratus-ratus isi rumah AS dalam setahun. Jejak karbon bergantung pada campuran tenaga yang menjanakan pusat data. Walaupun selepas latihan, fasa inferens—di mana model mengendalikan tugas dunia sebenar—menambah penggunaan tenaga. Walaupun tenaga yang diperlukan untuk satu pertanyaan adalah kecil, apabila kami menganggap bahawa terdapat berbilion-bilion interaksi sedemikian berlaku merentasi pelbagai platform setiap hari, ia menjadi masalah yang ketara.

Mengapa LLM Mengambil Tenaga Terlalu Banyak?

• Saiz Model: LLM hari ini adalah sensitif parameter; mereka mempunyai berbilion malah bertrilion parameter yang memerlukan banyak sumber untuk diproses, dikemas kini dan disimpan.

  
  

• Kekangan Perkakasan: Penggunaan cip berasaskan silikon dihadkan oleh kapasiti pemprosesannya dan oleh itu keperluan untuk kelompok GPU atau TPU untuk meningkatkan penggunaan tenaga secara eksponen.

• Keperluan Penyejukan: Pusat data yang menyokong beban kerja pengiraan tinggi adalah hangat dan sistem penyejukan boleh menggunakan sebanyak 40% kuasa jika ia tidak cekap tenaga.

Tol Alam Sekitar dan Ekonomi

Kos dari segi alam sekitar termasuk pelepasan karbon serta penggunaan air dalam penyejukan manakala perbelanjaan operasi menjadi masalah bagi syarikat AI yang lebih kecil. Kos tahunan mungkin mencecah berbilion-bilion, yang menjadikan kelestarian penting bukan sahaja isu alam sekitar tetapi juga ekonomi.

Pecahan Penggunaan Tenaga Model AI

Untuk memahami cara LLM menggunakan tenaga, mari kita pecahkan:

Strategi untuk Pengoptimuman Kendiri

Penyelidik sedang meneliti cara LLM boleh mengoptimumkan penggunaan tenaga mereka, menggabungkan kerja perisian dengan perubahan perkakasan.

Pemangkasan Model dan Kuantiti

• Pemangkasan: Parameter berlebihan yang menjejaskan ketepatan pada tahap terhad dialih keluar, mengakibatkan pengurangan saiz model tanpa menjejaskan ketepatan.
• Pengkuantitian: Ini mengurangkan ketepatan (cth, daripada 32-bit kepada 8-bit) data, yang mengurangkan keperluan memori dan pengiraan.

Pengkuantitian dan Pemangkasan berguna tetapi apabila digunakan dengan gelung maklum balas di mana model dapat menentukan bahagian mana yang penting dan bahagian mana yang boleh dikuantisasi maka ia menjadi agak berkesan. Ini adalah kawasan baharu, tetapi potensi wujud dalam rangkaian mengoptimumkan diri.

Inferens Dinamik (Pengiraan Bersyarat)

Idea pengiraan bersyarat membolehkan model hanya menggunakan neuron atau lapisan yang berkaitan dengan tugasan tertentu. Sebagai contoh, pendekatan Campuran Pakar (MoE) Google membahagikan rangkaian kepada subrangkaian khusus yang meningkatkan latihan dan pengurangan penggunaan tenaga dengan mengehadkan bilangan parameter aktif.

Pembelajaran Pengukuhan untuk Penalaan

Pembelajaran pengukuhan boleh mengoptimumkan hiperparameter seperti kadar pembelajaran dan saiz kelompok, mengimbangi ketepatan dan penggunaan tenaga untuk memastikan model beroperasi dengan cekap.

Pengoptimuman Pelbagai Objektif

Selain mengoptimumkan ketepatan, LLM juga boleh mengoptimumkan untuk objektif lain: ketepatan, kependaman dan penggunaan kuasa, menggunakan alatan seperti Google Vizier atau Ray Tune. Baru-baru ini, kecekapan tenaga telah menjadi objektif penting dalam rangka kerja ini.

Inovasi Perkakasan dan Reka Bentuk Bersama AI

• Litar Bersepadu Khusus Aplikasi (ASIC): Cip tujuan khas untuk meningkatkan kecekapan dalam pelaksanaan tugas AI.
• Pengkomputeran Neuromorphic: Cip yang diilhamkan oleh otak, masih dalam pembangunan untuk meminimumkan penggunaan kuasa apabila melakukan pengiraan rangkaian saraf sedang dalam pembangunan.
• Pengkomputeran Optik: Pengiraan menggunakan cahaya boleh mengatasi batasan sistem elektronik untuk mengurangkan penggunaan kuasa sistem.

Sistem AI yang dicipta melalui reka bentuk bersama perkakasan dengan perisian membolehkan pelarasan serentak algoritma perisian dan sumber perkakasan.

Membandingkan Teknik Pengoptimuman Tenaga AI

Model AI masa depan berkemungkinan akan menggabungkan pelbagai teknik untuk mencapai 60-70% pengurangan tenaga keseluruhan.

Cabaran untuk Mengoptimumkan Kendiri AI

• Pertukaran Ketepatan : Sesetengah ciri, seperti pemangkasan dan pengkuantitian, mungkin menjejaskan sedikit ketepatan.
• Had Infrastruktur Pusat Data: Kami masih beroperasi di bawah andaian pergantungan pada cip silikon yang tidak cekap.
• Jurang Pengukuran Prestasi Tenaga: Pada masa ini tiada standard universal untuk menjejak kecekapan tenaga.
• Peraturan Kerajaan: Peraturan kemampanan yang ketat mungkin memaksa penggunaan model yang cekap.

Implikasi Masa Depan

LLM yang mengoptimumkan sendiri boleh mengurangkan penggunaan tenaga sebanyak 20% atau lebih untuk berbilion-bilion pertanyaan, yang akan membawa kepada penjimatan kos dan pelepasan yang sangat besar. Ini selaras dengan sasaran sifar bersih global dan memberi kesan kepada beberapa sektor:

• Perusahaan : LLM cekap tenaga boleh meningkatkan penggunaan dalam perkhidmatan pelanggan dan analitis.
• Penyelidikan : Inisiatif sumber terbuka seperti Hugging Face boleh mempercepatkan lagi inovasi.
• Dasar : Piawaian mengenai ketelusan tenaga boleh mendorong pengoptimuman kendiri sebagai satu norma.

Kesimpulan

LLM telah membawa tahap kecanggihan baharu dalam pemprosesan bahasa tetapi masalah penggunaan tenaga mereka adalah kebimbangan utama. Walau bagaimanapun, kecerdasan yang sama yang menimbulkan model ini menyediakan penyelesaiannya. Teknik seperti pemangkasan, pengkuantitian, pengiraan bersyarat dan reka bentuk bersama perkakasan menunjukkan bahawa adalah mungkin untuk mereka bentuk LLM yang mengurus penggunaan tenaga mereka sendiri. Apabila penyelidikan semakin maju, isu menjadi kurang sama ada AI yang mampan adalah mungkin dan lebih kepada seberapa cepat industri teknologi boleh bersatu untuk mencapainya-tanpa mengorbankan inovasi untuk alam sekitar.

Rujukan

1. Brown, T., et al. (2020). "Model Bahasa adalah Pelajar Sedikit Ditangkap." Kemajuan dalam Sistem Pemprosesan Maklumat Neural , 33, 1877-1901. (Sumber hipotesis untuk data latihan GPT-3.)
2. Strubell, E., Ganesh, A., & McCallum, A. (2019). "Pertimbangan Tenaga dan Dasar untuk Pembelajaran Mendalam dalam NLP." Prosiding Mesyuarat Tahunan ke-57 ACL , 3645-3650. (Sumber ilustrasi tentang kos tenaga AI.)
3. Fedus, W., et al. (2021). "Tukar Transformers: Menskalakan kepada Trilion Model Parameter dengan Keterlaluan yang Mudah dan Cekap." pracetak arXiv arXiv:2101.03961 . (Asas untuk perbincangan Campuran Pakar.)
4. Patterson, D., et al. (2021). "Pelepasan Karbon dan Latihan Rangkaian Neural Besar." pracetak arXiv arXiv:2104.10350 . (Sumber untuk anggaran tenaga latihan.)
5. Penyelidikan Google. (2023). "Wazir: Perkhidmatan untuk Pengoptimuman Kotak Hitam." Blog AI Google . (Rujukan alat ilustrasi.)