Sjećam se sjedenja jednog vikenda, uvjeren sam da ću konačno izgraditi pristojan prototip istraživačkog asistenta.Ništa fantastično - samo nešto što bi moglo pročitati PDF, izvlačiti ključne informacije, možda odgovoriti na nekoliko pitanja za praćenje.

Umjesto toga, proveo sam bolji dio dva dana skakanjem između poludokumentiranih repos, mrtvih GitHub problema i nejasnih blog postova. Jedan alat je izgledao obećavajuće dok nisam shvatio da nije ažuriran u osam mjeseci.

Ali ono što me zadržalo nije bila frustracija - to je bila znatiželja.Koji su instrumenti koje stvarni graditelji koriste?Ne one koje se pojavljuju na sjajnim VC kartama, već one koje tiho instalirate, držite u svom kupu i zaklinjete se.

To traženje dovelo me do iznenađujuće čvrste zbirke knjižnica otvorenog koda - alata koji su lagani, pouzdani i izgrađeni s programerima na umu.

Dakle, ako ste u tranšama pokušavajući dobiti agente da stvarno rade, ovo je za vas.

So, you’re ready to build AI agents?

Odlično je.

Možda se pitate:

Svijet
• Što ljudi koriste za izgradnju glasovnih agenata?
Svijet
• Koji je najbolji alat otvorenog koda za analiziranje dokumenata?
Svijet
• Kako mogu dati svoj agent pamćenje bez duct-tapping vektor DB na sve?
Svijet

Ovaj vodič ne pokušava pokriti sve tamo - i to je namjerno. To je kurirani popis alata koje sam zapravo koristio, držao u mom kupu, i vratio se kada je izgradio prave prototipe agenata. Ne oni koji su izgledali cool u demo ili se pojavili u svakoj hype nit, ali oni koji su mi pomogli da se preselim od "ideje" do "radne stvari" bez gubljenja.

Ovdje je stack, podijeljen u kategorije:

Svijet
1. Okvir za agente za izgradnju i orkestriranje
Svijet

Počnite ovdje ako gradite od nule.Ovi alati vam pomažu strukturirati logiku vašeg agenta - što učiniti, kada to učiniti i kako rukovati alatima.Pomislite na to kao na temeljni mozak koji pretvara sirovi model jezika u nešto autonomnije.

2. Computer and Browser Use

Ova kategorija uključuje alate koji omogućuju agentu da klikne gumbe, otkuca polja, skrapa podatke i općenito kontrolira aplikacije ili web-mjesta poput čovjeka.

3. Voice

Ako vaš agent treba govoriti ili slušati, ovi alati upravljaju audio stranom – pretvarajući govor u tekst i nazad. Korisno za slučajeve korištenja bez ruku ili glasovne agente.

4. Document Understanding

Mnogi podaci u stvarnom svijetu žive u PDF-ovima, skeniranjima ili drugim neredovitim formatima.Ovi alati pomažu vašem agentu da zapravo pročita i osmisli taj sadržaj - bilo da je riječ o računima, ugovorima ili datotekama zasnovanim na slikama.

5. Memory

Ove knjižnice pomažu mu da zapamti što se upravo dogodilo, što ste mu ranije rekli ili čak izgraditi dugoročni profil tijekom vremena.

6. Testing and Evaluation

Ti vam alati pomažu da uhvatite pogreške prije nego što dođu u proizvodnju - pokretanjem scenarija, simuliranjem interakcija i provjeravanjem ima li ponašanje agenta smisla.

7. Monitoring and Observability

Nakon što je vaš agent živ, morate znati što radi i kako dobro funkcionira.Ovi alatovi vam pomažu u praćenju upotrebe, problemima debugiranja i razumijevanju učinaka troškova ili zakašnjenja.

8. Simulation

Prije nego što bacite svog agenta u divljinu, testirajte ga u sigurnom, pješčanom svijetu.Simulirana okruženja omogućuju vam da eksperimentišete, rafinirate logiku odluka i pronađete slučajeve granica u kontroliranom okruženju.

9. Vertical Agents

To su gotovi agenti izrađeni za određene poslove - kao što su kodiranje, istraživanje ili korisnička podrška.

Okvir za agente za izgradnju i orkestriranje

Da biste izgradili agente koji stvarno rade stvari, trebate čvrstu osnovu - nešto za rukovanje tokovima rada, pamćenjem i integracijom alata, a da se ne pretvorite u nered skriptova.

Svijet
• CrewAI – Orkestrira više agenata koji rade zajedno, idealan za zadatke koji zahtijevaju koordinaciju i ponašanje utemeljeno na ulogama.
Svijet
• Phidata – fokusira se na pamćenje, korištenje alata i dugoročne interakcije. Odličan za pomoćnike koji se trebaju sjetiti i prilagoditi.
Svijet
• Camel – dizajniran za multi-agent suradnju, simulaciju i specijalizaciju zadataka.
Svijet
• AutoGPT – Automatizira složene tokove rada s ciklusom planiranja i izvršenja. Najbolje za agente koji trebaju samostalno raditi.
Svijet
• AutoGen – dopušta agentima da međusobno komuniciraju kako bi riješili složene probleme.
Svijet
• SuperAGI - Streamlined setup za izgradnju i isporuku autonomnih agenata brzo.
Svijet
• Superagent – fleksibilan alat s otvorenim izvorom za stvaranje prilagođenih AI pomoćnika.
Svijet
• LangChain & LlamaIndex – Go-to alat za upravljanje memorijom, prikupljanjem i alatnim lancima.
Svijet

Korištenje računala i preglednika

Nakon što vaš agent može razmišljati, sljedeći korak je pomoćidoTo znači interakciju s računalima i mrežom na način na koji bi čovjek – klikom na gumbe, popunjavanjem obrazaca, navigacijom na stranicama i pokretanjem zapovijedi.

Svijet
• Prevodi prirodni jezik u izvršivi kod na vašem računalu. želite premjestiti datoteke ili pokrenuti scenarij?
Svijet
• Samooperativni računalo – daje agentima potpunu kontrolu nad vašim radnim okruženjem, omogućujući im da komuniciraju s vašim OS-om kao što bi to učinila osoba.
Svijet
• Agent-S – fleksibilan okvir koji omogućuje AI agentima da koriste aplikacije, alate i sučelje kao pravi korisnik.
Svijet
• LaVague - Omogućuje web agentima da navigiraju web-mjesta, popunjavaju obrasce i donose odluke u realnom vremenu - idealno za automatizaciju zadataka preglednika.
Svijet
• Playwright – Automatizira web akcije preko preglednika. Handy za testiranje ili simuliranje korisničkih tokova.
Svijet
• Puppeteer – pouzdan alat za kontrolu Chrome ili Firefox. Odličan za brisanje i automatiziranje front-end ponašanja.
Svijet

3. glasovi

Glas je jedan od najintuitivnijih načina na koji ljudi mogu komunicirati s agentima umjetne inteligencije.Ovi alati rješavaju prepoznavanje govora, sintezu glasa i interakcije u realnom vremenu – čineći da se vaš agent osjeća malo ljudskijim.

Speech2speech

Svijet
• Ultravox – vrhunski model govora do govora koji glatko obrađuje glasovne razgovore u realnom vremenu.
Svijet
• Moshi - Još jedna snažna opcija za zadatke govora-govora. pouzdan za interakciju govora uživo, iako Ultravox ima prednost u učinkovitosti.
Svijet
• Pipecat – Full-stack framework za izgradnju glasovnih agenata, uključujući podršku za govorno-tekstualne, tekstualne i čak video interakcije.
Svijet

Speech2text

Svijet
• Whisper – OpenAI-ov model govora prema tekstu – odličan je za transkripciju i prepoznavanje govora na više jezika.
Svijet
• Stable-ts – programer-prijateljski omotač oko Whisper.Dodaje vremenske oznake i podršku u realnom vremenu, što ga čini odličnim za razgovorne agente.
Svijet
• Speaker Diarization 3.1 – Pyannoteov model za otkrivanje tko govori kada.
Svijet

Text2speech

Svijet
• ChatTTS – Najbolji model koji sam do sada pronašao. brz je, stabilan i spreman za proizvodnju za većinu slučajeva uporabe.
Svijet
• ElevenLabs (komercijalno) – Kada je kvaliteta važnija od otvorenog izvora, to je idealan način.
Svijet
• Cartesia (komercijalna) - Još jedna snažna komercijalna opcija ako tražite izrazitu, visoku vjerodostojnost sinteze glasa izvan onoga što otvoreni modeli mogu ponuditi.
Svijet

Miscellaneous Tools

Ovi se ne uklapaju uredno u jednu kategoriju, ali su vrlo korisni prilikom izgradnje ili rafiniranja glasovnih sredstava.

Svijet
• Vocode – alat za izgradnju glasovnih LLM agenata. olakšava povezivanje ulaza/izlaza govora s jezikovnim modelima.
Svijet
• Voice Lab – okvir za testiranje i evaluaciju glasovnih agenata. Korisno za pozivanje u pravom pozivu, glasovnoj osobi ili postavljanju modela.
Svijet

Razumijevanje dokumenata

Većina korisnih poslovnih podataka još uvijek živi u nestrukturiranim formatima – PDF-ovima, skeniranjima, izvješćima zasnovanima na slikama.Ovi alati pomažu vašem agentu da pročita, izvlači i osjeća taj nered, bez potrebe za krhkim OCR cijevima.

Svijet
• Qwen2-VL - Moćan model jezika vizije od Alibabe. nadmašuje GPT-4 i Claude 3.5 Sonnet na zadatcima dokumenata koji miješaju slike i tekst - odličan za rukovanje složenim, stvarnim formatima.
Svijet
• DocOwl2 – lagani multimodalni model izrađen za razumijevanje dokumenata bez OCR-a, brz, učinkovit i iznenađujuće točan za izvlačenje strukture i značenja iz nerazumnih ulazaka.
Svijet

5. sjećanje

Bez memorije, agenti su zaglavljeni u krugu – tretirajući svaku interakciju kao prvu.Ovi alati im daju sposobnost da se sjećaju prošlih razgovora, prate preferencije i grade kontinuitet.To je ono što pretvara jednokratnog asistenta u nešto korisnije tijekom vremena.

Svijet
• Mem0 – samostalno poboljšavajući se sloj memorije koji omogućuje vašem agentu da se prilagodi prethodnim interakcijama.
Svijet
• Letta (bivši MemGPT) - Dodaje dugoročnu memoriju i upotrebu alata LLM agentima.
Svijet
• LangChain – uključuje plug-and-play memorijske komponente za praćenje povijesti razgovora i korisničkog konteksta – korisno prilikom izgradnje agenata koji trebaju ostati uzeti u obzir tijekom više okretaja.
Svijet

6. ispitivanje i evaluacija

Kako vaši agenti počinju raditi više od samo razgovora - navigacije web stranicama, donošenja odluka, glasno govoreći - morate znati kako će se nositi s slučajevima na rubu.Ovi alati vam pomažu testirati kako se vaši agenti ponašaju u različitim situacijama, uhvatiti bugove rano i pratiti gdje se stvari raspadaju.

Svijet
• eeVoice Lab – sveobuhvatan okvir za testiranje glasovnih agenata, osiguravajući da su prepoznavanje govora i odgovori vašeg agenta točni i prirodni.
Svijet
• AgentOps – skup alata za praćenje i usporedbu AI agenata, koji vam pomažu u otkrivanju problema i optimizaciji performansi prije nego što utječu na korisnike.
Svijet
• AgentBench – referentni alat za evaluaciju LLM agenata u različitim zadaćama i okruženjima, od pregledavanja weba do igranja, osiguravajući svestranost i učinkovitost.
Svijet

7. praćenje i promatranost

Da biste osigurali da vaši agenti za umjetnu inteligenciju djeluju glatko i učinkovito na razini, potrebna vam je vidljivost u njihovom djelovanju i korištenju resursa.Ovi alati pružaju potrebne uvidove, omogućujući vam da pratite ponašanje agenata, optimizirate resurse i uhvatite probleme prije nego što utječu na korisnike.

Svijet
• openllmetry - pruža krajnje posmatranost za LLM aplikacije koristeći OpenTelemetry, dajući vam jasan pogled na performanse agenata i pomažući vam brzo rješavanje problema i optimizaciju.
Svijet
• AgentOps – sveobuhvatan alat za praćenje koji prati performanse agenata, troškove i benchmarking, pomažući vam da osigurate da su vaši agenti učinkoviti i unutar proračuna.
Svijet

8. simulacija

Simuliranje stvarnih okruženja prije implementacije je igra koja mijenja igru.Ovi alatovi omogućuju vam stvaranje kontroliranih, virtualnih prostora u kojima vaši agenti mogu komunicirati, učiti i donositi odluke bez rizika od neželjenih posljedica u živim okruženjima.

Svijet
• AgentVerse - Podržava razmještanje višestrukih agenata koji se temelje na LLM-u u različitim aplikacijama i simulacijama, osiguravajući učinkovito funkcioniranje u različitim okruženjima.
Svijet
• Tau-Bench – alat za benchmarking koji ocjenjuje interakcije agenata i korisnika u specifičnim industrijama kao što su maloprodaja ili zračne tvrtke, osiguravajući glatko rukovanje zadaćama specifičnim za domene.
Svijet
• ChatArena – multi-agencijsko jezično gaming okruženje u kojem agenti surađuju, idealno za proučavanje ponašanja agenata i rafiniranje komunikacijskih uzoraka u sigurnom, kontroliranom prostoru.
Svijet
• AI Town – virtualno okruženje u kojem AI likovi komuniciraju društveno, testiraju donošenje odluka i simuliraju scenarije u stvarnom svijetu, pomažući u usklađivanju ponašanja agenata.
Svijet
• Generativni agenti – Stanfordov projekt usmjeren na stvaranje ljudskih agenata koji simuliraju složeno ponašanje, savršeno za testiranje pamćenja i donošenje odluka u društvenim kontekstima.
Svijet

Vertikalni agenti

Vertikalni agenti su specijalizirani alati dizajnirani za rješavanje specifičnih problema ili optimizaciju zadataka u određenim industrijama.

Coding:

Svijet
• OpenHands – platforma za agente za razvoj softvera zasnovana na umjetnoj inteligenciji, dizajnirana za automatizaciju zadataka kodiranja i ubrzanje procesa razvoja.
Svijet
• aider – alat za parno programiranje koji se integrira izravno s vašim terminalom, nudeći AI co-pilot kako bi pomogao u vašem okruženju za kodiranje.
Svijet
• GPT inženjer – Izgradite aplikacije pomoću prirodnog jezika; jednostavno opišite što želite, a AI će razjasniti i generirati potrebni kod.
Svijet
• Screenshot-to-code – pretvara screenshope u potpuno funkcionalne web stranice pomoću HTML-a, Tailwind-a, React-a ili Vue-a, savršeno za brzo pretvaranje dizajnerskih ideja u live kod.
Svijet

Research:

Svijet
• GPT istraživač – autonomni agent koji provodi sveobuhvatna istraživanja, analizira podatke i piše izvješća, racionalizirajući istraživački proces.
Svijet

SQL:

Svijet
• Interakcija s vašom SQL bazom podataka pomoću upita prirodnog jezika; nema složenijih SQL zapovijedi, samo postavljajte pitanja i Vanna preuzima podatke.
Svijet

Zaključak

Razmišljajući o mojim ranim pokušajima izgradnje istraživačkog asistenta, mogu vidjeti da sam prekomplicirao stvari. Projekt se ispostavio kao nered - zastarjeli kod, polupakirani alati i sustav koji se borio s nečim tako jednostavnim kao PDF.

No, paradoksalno, to je mjesto gdje sam najviše naučio.

Ne radi se o pronalaženju savršenog alata; radi se o držanju onoga što radi i održavanju jednostavnosti.Taj neuspjeh me naučio da su najpouzdaniji agenti izgrađeni s pragmatičnim, jednostavnim stackom - a ne pronalaskom svakog sjajnog novog alata.

Uspješan razvoj agenta ne zahtijeva ponovno izmišljanje kotača.

Radi se o odabiru pravih alata za posao, njihovu promišljenom integraciji i rafiniranju vaših prototipova.Bilo da automatizirate tokove rada, gradite glasovne agente ili analizirate dokumente, dobro odabrani stack može proces učiniti glatkim i učinkovitijim.

Dakle, započnite, eksperimentirajte i pustite da vas radoznalost vodi.

Želite li čuti od mene češće?

Pridružite nam se na LinkedInu!

DijelimoDnevnipraktične uvidove, savjete i ažuriranja kako biste izbjegli skupe pogreške i ostali ispred svijeta AI-a.

Jeste li tehnološki profesionalac koji želi povećati svoju publiku kroz pisanje?

Ne propustite naš newsletter!

MojTehnički akceleratorPuna je djelotvornih copywritinga i strategija izgradnje publike koje su pomogle stotinama profesionalaca da se ističu i ubrzaju njihov rast.