Text-to-SQL Sepatutnya Menjadi Apl Pembunuh AI. Bukan.

Di tengah kegilaan awal ChatGPT, saya mendapat teks daripada bekas rakan sekerja. Dia mahu menjalankan idea oleh saya. Sentiasa orang yang suka sumbang saran, kami membuat panggilan dan dia memulakan dengan "Ingat bagaimana anda selalu meminta saya untuk menarik data untuk anda? Bagaimana jika anda boleh melakukannya sendiri?” Dan kemudian dia terus mengemukakan idea kepada saya bahawa beribu-ribu (berpuluh-puluh ribu?) orang lain berfikir pada masa yang sama: LLM boleh digunakan untuk teks-ke-SQL untuk membantu mereka yang kurang teknikal menjawab soalan data mereka sendiri.

Saya tertarik dengan idea itu, tetapi sebelum menyelam dalam kepala dahulu, saya memberitahu Lei (kini CTO saya) bahawa kami perlu melakukan beberapa pengesahan. Kami menghubungi rakan dan bekas rakan sekerja dari pelbagai industri. Terdapat minat yang kuat terhadap "analitik layan diri" sebenar. Kami tahu ia akan menjadi lebih rumit daripada yang kelihatan, tetapi peluang itu terasa terlalu baik untuk dilepaskan. Jadi Lei dan saya meninggalkan The Shire dan memulakan perjalanan kami untuk mencipta visi kami: Fabi.ai .

Siaran ini bukan mengenai produk kami sendiri (walaupun, jika anda ingin tahu, anda boleh membaca lebih lanjut tentang cara beberapa idea di bawah memaklumkan produk terbaru kami berfungsi di sini ). Sebaliknya, saya ingin berkongsi pembelajaran teras yang telah kami kumpulkan daripada bekerja dengan LLM untuk analisis data sepanjang perjalanan kami.

Nota: Perjalanan ini sangat kekurangan ahli sihir dan pertempuran epik Middle-earth. 🧙

Mengapa menggunakan AI untuk analisis layan diri?

Kami tidak akan terlalu lama memikirkan "mengapa". Jika anda membaca ini, anda mungkin termasuk dalam salah satu daripada dua kumpulan:

1. Anda seorang yang ingin anda mempunyai analitis layan diri yang tersedia dan tidak mahu sentiasa menunggu pasukan data anda
2. Anda berada dalam pasukan data dan telah mendengar tentang cara AI akan membantu anda menyelesaikan masalah permintaan ad hoc anda.

Mengabaikan keprihatinan terhadap peranan penganalisis dan saintis data, idea AI yang serba tahu yang boleh menjawab sebarang soalan tentang data organisasi terdengar bagus. Atau sekurang-kurangnya, ia kedengaran bagus untuk organisasi dan pemimpin perniagaannya yang kreativiti mereka untuk cara bertanya soalan tidak terhad. AI ini boleh menjadi penyelesaian untuk mewujudkan organisasi "didorong data" di mana setiap pemimpin bersandar pada bukti empirikal untuk membuat keputusan strategik mereka. Dan semuanya pada sebahagian kecil daripada kos yang biasanya diambil. Akhirnya! Organisasi boleh memanfaatkan "minyak baharu" yang telah mereka dengari sejak 2010.

Tetapi jika ini adalah masalah yang sangat berharga untuk diselesaikan dan AI telah menjadi begitu baik, mengapa tiada produk yang benar-benar menyelesaikannya setakat ini?

Mengapa AI untuk analisis layan diri telah gagal setakat ini

Tinjauan industri baru-baru ini menggambarkan gambaran kompleks penggunaan AI dalam perusahaan. 61 peratus syarikat sedang mencuba ejen AI. Walau bagaimanapun, ramai yang bimbang tentang kebolehpercayaan dan keselamatan. Malah, 21% organisasi tidak menggunakannya sama sekali. Keraguan ini amat dirasai dalam pasukan data, di mana ketepatan dan kebolehpercayaan adalah misi yang penting untuk keupayaan kami untuk melakukan kerja.

Pengguna pakai AI–terutamanya dalam perusahaan–mempunyai bar yang tinggi dalam hal jangkaan teknologi. Dalam konteks analisis data dan impian layan diri, kami mengharapkan alatan AI kami untuk:

1. Menyediakan cerapan: Jadual dan carta bagus, tetapi itu adalah subset daripada apa yang boleh dipanggil "cerapan". Cerapan ialah "Aha!" detik yang datang daripada mengesan perkara dalam data anda yang bertentangan dengan gerak hati anda dan tidak akan dipertimbangkan sebaliknya. Kadangkala pertanyaan SQL atau pivot boleh menyerlahkan cerapan ini, tetapi secara amnya ia lebih terasa seperti mencari jarum dalam timbunan jerami.
2. Bekerja dengan pasti hampir 100% setiap masa: Satu-satunya perkara yang lebih teruk daripada tiada data ialah data yang buruk. Jika AI tidak boleh dipercayai atau mengkhayalkan jawapan dan data, itu menandakan berita buruk untuk semua orang. Ini bermakna apabila AI mempunyai data, ia harus menggunakannya dengan betul. Tetapi apabila ia kekurangan data, ia harus mengelak daripada memberikan jawapan (sesuatu yang LLM terkenal buruk).
3. Boleh diakses kepada pelbagai set kemahiran teknikal: Keindahan LLM ialah anda boleh berinteraksi dengan mereka seperti yang anda lakukan dengan rakan sekerja berbanding Slack. Anda boleh menggunakan bahasa yang tidak jelas. Orang atau benda lain mungkin dapat memahami permintaan anda dalam konteks perniagaan. Sebaliknya, semakin banyak sistem memerlukan penggunaan istilah yang tepat dalam bentuk yang tepat, semakin kurang ia dapat diakses. Sistem jenis ini memerlukan latihan dan pengukuhan, yang kita semua tahu, boleh mencabar.

Malangnya, kebanyakan penyelesaian semasa menggunakan rangka kerja AI monolitik tradisional, yang sering gagal memenuhi jangkaan. Dalam beberapa tahun kebelakangan ini, saya dan pasukan Fabi.ai bekerja keras dalam isu ini. Kami membina prototaip untuk perusahaan dan meneroka banyak pilihan. Pada akhirnya, kami menyedari bahawa Retrieval Augment Generation (RAG) mahupun penalaan halus tidak dapat menyelesaikan masalah ini dengan rangka kerja monolitik semasa.

Apabila kami menguji pendekatan ini, beberapa perkara menjadi jelas kepada kami:

• RAG adalah rapuh. Terlalu sedikit konteks dan AI tidak dapat menjawab soalan dan berisiko berhalusinasi. Terlalu banyak konteks dan AI menjadi keliru dan kehilangan ketepatannya.
• AI satu pukulan tidak membawa anda ke mana-mana. AI terbaik di dunia tidak akan dapat menarik dan menganalisis data dengan tepat dalam satu pukulan. Terdapat terlalu banyak nuansa dalam data dan soalan. Mari kita ambil contoh paling mudah: Anda mempunyai medan "Jenis akaun" yang 95% diisi dengan 10 nilai yang berbeza. Jika anda meminta AI menapis pada set jenis akaun, ia mungkin gagal mengenali bahawa terdapat nilai kosong, sekali gus menghasilkan pertanyaan SQL yang tidak sah. "Pasti," anda mungkin berkata, "tetapi kami hanya boleh mengira statistik untuk setiap medan dan nilai sampel dan menyimpannya dalam stor vektor konteks kami." Jenis isu hampir tidak terhingga dan semuanya unik dengan cara mereka sendiri.
• Data perusahaan tidak kemas. Ini berkaitan dengan dua perkara pertama, tetapi patut ditekankan. Walaupun untuk seketika, organisasi boleh mempunyai beberapa jadual emas dengan lapisan semantik yang ditakrifkan dengan sempurna, yang semuanya akan runtuh sebaik sahaja pemimpin RevOps memutuskan untuk melaraskan model perniagaan. Saya suka melukis analogi sebuah rumah: Anda secara umumnya boleh memastikan rumah itu kemas, tetapi sentiasa ada sesuatu yang perlu dibersihkan atau diperbaiki.
• Teks-ke-SQL terlalu terhad. Untuk kebanyakan soalan analitis data, menulis SQL untuk menarik data hanyalah langkah pertama. Ini adalah langkah yang perlu anda ambil sebelum anda boleh mula bertanya soalan yang lebih menarik. SQL tidak dapat mengendalikan analisis kompleks yang ditanya oleh pengguna perniagaan. LLM dan Python sebaliknya sangat sesuai untuk tugas itu. Alat ini boleh mengambil keluaran SQL anda dan mencari jarum itu dalam timbunan jerami. Mereka juga boleh menjalankan analisis regresi untuk mendedahkan arah aliran yang lebih besar.

Selepas melihat isu ini, kami memikirkan cara menjadikan AI menyesuaikan diri dengan lebih baik kepada masalah. Ketika itulah ejen AI mula bermain dan mengukuhkan konsep ini untuk kami.

Masa depan: Ejen berjerat

Sebaik sahaja kami melihat rangka kerja agenik, kami tahu ia akan mengubah permainan. Kami tiba-tiba merasakan kami boleh membiarkan AI memutuskan cara menjawab soalan. Ia boleh berfungsi melalui langkah-langkah dan menyelesaikan masalah dengan sendirinya. Jika AI menulis pertanyaan SQL yang terlepas nilai nol dalam medan "Jenis akaun", ia boleh mengeringkan pertanyaan, mengesan ralat dan membetulkannya sendiri. Tetapi bagaimana jika kita boleh mengambil langkah ini lebih jauh dan membiarkan AI beroperasi kebanyakannya dalam Python dan memanfaatkan LLM? Kini, AI melakukan lebih daripada menarik data. Ia boleh menggunakan pakej Python atau LLM untuk mencari outlier, arah aliran atau cerapan unik, yang biasanya anda perlu cari secara manual.

Tetapi kami masih mempunyai satu masalah: data perusahaan yang tidak kemas. Kami percaya organisasi boleh menyelesaikannya dengan menggunakan amalan kejuruteraan data yang kukuh, seperti a seni bina medallion dan lapisan semantik yang ketat. Walau bagaimanapun, kami jarang menemui organisasi yang benar-benar melakukan ini dalam kehidupan sebenar. Kebanyakan organisasi menggunakan hamparan, jadual separuh masak dan model data yang sentiasa berubah. Dari sini, kami mendapat idea untuk membina ejen AI khusus yang boleh dibina dengan cepat untuk menjawab set soalan tertentu.

Apabila syarikat berkembang, mereka mengendalikan lebih banyak data dan mempunyai lebih ramai pengguna. Idea mesh ejen membantu mengimbangi pembuatan keputusan yang cepat dengan kawalan yang diperlukan untuk tadbir urus. Ejen khusus membantu menetapkan sempadan dan tanggungjawab yang jelas untuk setiap AI. Mereka juga mencipta cara berskala untuk ejen berkomunikasi. Selain itu, mereka boleh membantu mengurus sumber dengan cekap merentas pasukan dan syarikat.

Ejen AI khusus

Idea di sebalik ejen khusus ialah ejen ini boleh dan hanya akan menjawab soalan pada set data yang ditakrifkan dengan sangat ketat. Sebagai contoh, anda boleh membuat dan melancarkan ejen AI yang menjawab soalan tentang kempen pemasaran. Atau anda boleh membina satu lagi untuk menjawab soalan tentang saluran pemasaran, seterusnya dan seterusnya.

Kami baru-baru ini melancarkan Agen Penganalisis , menggunakan seni bina ini. Tanda-tanda awal sangat menjanjikan. Apabila set data disusun dengan teliti dan pada tahap butiran yang betul, ejen ini boleh menjawab set soalan tertentu dengan sangat boleh dipercayai. Pembina ejen ini boleh berkongsinya dengan pengguna bukan teknikal dan tenang kerana mengetahui bahawa AI tidak akan menjawab soalan yang di luar skop.

Hanya ada satu kelemahan: Pengguna perlu tahu ejen mana yang hendak dituju untuk soalan mana. Ia seperti perlu mengetahui penganalisis pemasaran yang betul untuk bertanya soalan berbanding hanya bertanya soalan umum. Dengan soalan umum, seseorang dalam pasukan boleh mengarahkannya kepada orang yang betul. Di sinilah konsep "jaringan ejen" dimainkan.

Menghubungkan ejen bersama

Jika ejen tunggal boleh menjawab soalan khusus domain dengan pasti, maka mengapa tidak membiarkan ejen bercakap antara satu sama lain? Mengapa tidak, sebagai contoh, ejen kempen pemasaran hanya bertanya kepada ejen saluran paip jika mereka boleh menjawab soalan dengan lebih mudah? Kami percaya ia sepatutnya boleh. Sebenarnya, kami berpendapat bahawa pada masa hadapan akan ada rangkaian ejen dengan struktur hierarki. Anda boleh membayangkan "ejen GTM" yang memanggil "Ejen pemasaran." Ejen ini kemudiannya memanggil kedua-dua "ejen Saluran Paip" dan "Ejen kempen Pemasaran."

Idea ini adalah seperti idea yang lebih umum yang terapung di sekitar AI yang dikenali sebagai " Internet Agen ." Ia adalah masa depan di mana ejen AI bekerjasama dengan lancar merentas pelbagai organisasi. Mereka melakukan ini sambil memastikan keselamatan dan kepercayaan kekal kukuh.

Pendekatan mesh ini menawarkan beberapa kelebihan utama berbanding AI monolitik (pada lapisan semantik murni):

• Kebolehlihatan: Memandangkan ejen tunggal memberikan jawapan berdasarkan data tertentu, anda boleh mengesan setiap jawapan kembali kepada ejen tersebut. Ini membantu memastikan ketepatan melalui pengauditan. Untuk memberikan contoh yang konkrit, walaupun terlalu mudah, bayangkan anda mempunyai dua jadual acara: satu untuk pemasaran dan satu untuk produk. Jika pengguna bertanya, "Peristiwa yang manakah telah menjana hasil paling banyak?" AI mungkin menganggap ia bermaksud acara produk. Walaupun ia salah, pengguna boleh melihat ejen yang bertindak balas dan boleh membimbing AI.
• Kebolehselenggaraan: Sama seperti enjin kereta, jika anda boleh mencari masalah dengan mudah dan menukar alat ganti dengan cepat, kereta menjadi lebih dipercayai. Jika seorang ejen mula gagal kerana peralihan dalam model data, maka boleh dikesan dengan cepat dan ejen itu boleh dikemas kini.
• Ketepatan: Dengan setiap ejen beroperasi dalam lingkungannya sendiri, tiada ruang untuknya keluar dari landasan. Ia mungkin tidak mempunyai jawapan, tetapi ia tidak akan menjadikan sesuatu yang khayalan.

Pada penghujung hari, idea mesh ini bukan novel. Ini mencerminkan konsep gabungan pakar yang telah ditunjukkan untuk meningkatkan ketepatan untuk LLM. Ia hanya mengambil idea yang sama dan membawanya kepada ejen AI.

Cabaran teknikal jerat ejen

Di Fabi.ai, kami mempunyai perjalanan yang jauh untuk membina jaringan Agen Penganalisis. Tetapi, kami telah pun mengatasi beberapa cabaran infrastruktur teknikal yang besar sepanjang perjalanan.

Ejen penganalisis data AI memerlukan seni bina yang unik. Reka bentuk ini mesti membenarkan mereka menggunakan Python atau LLM untuk menjawab soalan, kekal selari dengan sumber data dan sesuai dengan platform kolaboratif, sambil kekal selamat dan berskala. Setiap ejen perlu beroperasi dalam kernel Python sendiri, yang perlu diputar ke atas atau ke bawah dengan cepat untuk mengurangkan kos dan kekal selari dengan data sumber.

Seni bina yang tidak menyediakan kernel individu kepada setiap ejen boleh menghadapi salah satu daripada risiko berikut:

• Nyatakan konflik untuk pembolehubah antara ejen AI. Dua ejen berasingan boleh menjana pembolehubah "foo" untuk menjawab soalan, menyebabkan pertembungan. Mungkin terdapat cara lain untuk menjana pengecam unik, tetapi ini meningkatkan kemungkinan AI menjana kod tidak sah.
• Risiko keselamatan yang disebabkan oleh perkongsian data antara pasukan yang berbeza atau organisasi yang berbeza.
• Kesesakan prestasi jika seorang ejen menggunakan jumlah sumber pengiraan yang tidak seimbang.

Cabaran membina platform jenis ini adalah sama seperti cabaran AI kerana ia adalah cabaran DevOps.

Memandang ke hadapan: Merangkul ejen AI yang ditadbir khusus dalam data

Memandangkan syarikat perusahaan menguruskan lebih banyak aplikasi AI dalam operasi mereka, mereka memerlukan pendekatan khusus dan ditadbir dengan baik. Rangka kerja mesh ejen menggunakan ejen data AI khusus sebagai cara untuk menskalakan AI dalam analisis data. Pendekatan ini memastikan keselamatan, kebolehpercayaan dan prestasi tetap utuh.

Kami mungkin menjangkakan AI berada di mana-mana sekarang, menjawab kebanyakan soalan data. Tetapi, jika kita lihat dengan teliti, kemajuan dalam masa dua tahun sahaja sejak ChatGPT dilancarkan adalah mengagumkan. Masih banyak yang perlu kita pelajari dalam perjalanan ini. Walau bagaimanapun, dalam fikiran saya, ejen dan rangka kerja ejen akan menjadi kunci kepada AI perusahaan.