KI-Agenten erobern die Welt und markieren den nächsten großen Schritt in der KI-Evolution 🦖. Was haben all diese Agenten gemeinsam? Sie verwenden Markdown anstelle von reinem HTML zur Verarbeitung von Webseiteninhalten ⛓️. Neugierig, warum?
Dieser Blogbeitrag zeigt Ihnen, wie Sie mit diesem einfachen Trick bis zu 99 % an Token und Geld sparen können!
KI-Agenten und Datenverarbeitung: Eine Einführung
KI-Agenten sind Softwaresysteme, die die Leistungsfähigkeit künstlicher Intelligenz nutzen, um Aufgaben zu erledigen und Ziele im Auftrag ihrer Nutzer zu verfolgen. Ausgestattet mit Denkvermögen, Planungsvermögen und Gedächtnis können diese Agenten Entscheidungen treffen, lernen und sich anpassen – ganz selbstständig. 🤯
In den letzten Monaten haben KI-Agenten insbesondere in der Browserautomatisierung an Bedeutung gewonnen. Diese KI-Agenten-Browser ermöglichen die programmgesteuerte Steuerung von Browsern mithilfe von LLMs und die Automatisierung von Aufgaben wie dem Hinzufügen von Produkten zum Amazon-Warenkorb 🛒.
Haben Sie sich jemals gefragt, welche Bibliotheken und Frameworks KI-Agenten wie Crawl4AI , ScrapeGraphAI und LangChain unterstützen?
Bei der Verarbeitung von Daten von Webseiten konvertieren diese Lösungen HTML oft automatisch in Markdown – oder bieten entsprechende Methoden an – bevor die Daten an LLMs gesendet werden. Aber warum bevorzugen diese KI-Agenten Markdown gegenüber HTML? 🧐
Die kurze Antwort lautet: um Token zu sparen und die Verarbeitung zu beschleunigen! ⏩
Zeit, tiefer zu graben! Aber zuerst werfen wir einen Blick auf einen anderen beliebten Ansatz, den KI-Agenten zur Reduzierung der Datenlast verwenden. 👀
Von der Datenüberflutung zur Klarheit: Der erste Schritt der KI-Agenten
Stellen Sie sich vor, Ihr KI-Agent soll:
Verbindung zu einer E-Commerce-Site (z. B. Amazon) herstellen
Suche nach einem Produkt (zB PlayStation 5)
Extrahieren Sie Daten von dieser bestimmten Produktseite
Das ist ein typisches Szenario für KI-Agenten, denn E-Commerce-Scraping ist eine wilde Angelegenheit 🎢. Schließlich sind Produktseiten ein chaotisches Durcheinander mit ständig wechselnden Layouts, was die programmatische Datenanalyse zu einem Albtraum macht. Hier spielen KI-Agenten ihre Superkräfte 💪 aus und nutzen LLMs, um Daten nahtlos zu extrahieren – egal wie chaotisch die Seitenstruktur ist!
Nehmen wir an, Sie möchten alle interessanten Details von der PlayStation 5-Produktseite auf Amazon 🎮 erfahren:
So können Sie Ihrem KI-Agent-Browser den Befehl geben, dies zu erreichen:
Navigate to Amazon's homepage. Search for 'PlayStation 5' and select the top result. Extract the product title, price, availability, and customer ratings. Return the data in a structured JSON format.
Das ist, was der KI-Agent (hoffentlich 🤞) tun sollte:
Amazon im Browser öffnen 🌍
Suche nach „PlayStation 5“ 🔍
Identifizieren Sie das richtige Produkt 🎯
Extrahieren Sie die Produktdetails von der Seite und geben Sie sie in JSON zurück 📄
Aber hier ist die wahre Herausforderung – Schritt 4. Die Amazon-Produktseite der PlayStation 5 ist ein Monster! Das HTML ist vollgepackt mit unzähligen Informationen, von denen Sie die meisten gar nicht brauchen.
Sie wollen einen Beweis? Kopieren Sie das komplette HTML der Seite aus dem DOM Ihres Browsers und legen Sie es in einem Tool wie dem LLM Token Calculator ab:
🚨 Machen Sie sich bereit …
896.871 Token?! 😱 Ja, Sie haben richtig gelesen – achthundertsechsundneunzigtausendachthunderteinundsiebzig verdammte Token!
Das ist eine RIESIGE Datenmenge – also eine Menge Geld! 💸 (Über 2 $ pro Anfrage auf GPT-4o! 😬)
Wie Sie sich vorstellen können, ist die Weitergabe all dieser Daten an einen KI-Agenten mit erheblichen Einschränkungen verbunden:
- Möglicherweise sind Premium-/Pro-Pläne erforderlich, die eine hohe Token-Nutzung unterstützen 💰
- Kostet ein Vermögen – besonders wenn Sie häufige Abfragen durchführen 🤑
- Verlangsamt die Antworten, da die KI eine unglaubliche Menge an Informationen verarbeiten muss ⏳
Die Lösung: Fett wegschneiden
Die meisten KI-Agenten ermöglichen die Angabe eines CSS-Selektors, um nur relevante Abschnitte einer Webseite zu extrahieren. Andere nutzen heuristische Algorithmen zur automatischen Inhaltsfilterung, beispielsweise das Entfernen von Kopf- und Fußzeilen (die in der Regel keinen Mehrwert bieten). ✂️
Wenn Sie sich beispielsweise die Produktseite der PlayStation 5 bei Amazon ansehen, werden Sie feststellen, dass sich der Großteil des nützlichen Inhalts im HTML-Element befindet, das durch den CSS-Selektor #ppd gekennzeichnet ist:
Was wäre, wenn Sie Ihrem KI-Agenten sagen, er solle sich nur auf das #ppd -Element konzentrieren, anstatt auf die gesamte Seite? Würde das einen Unterschied machen? 🤔
Lasst es uns im folgenden direkten Vergleich auf die Probe stellen! 🔥
Markdown vs. HTML in der KI-Datenverarbeitung: Ein direkter Vergleich
Vergleichen Sie die Token-Verwendung bei der direkten Verarbeitung eines Teils einer Webseite mit der Konvertierung in Markdown.
HTML
Kopieren Sie in Ihrem Browser das HTML des #ppd Elements und legen Sie es in einem LLM-Token-Rechner-Tool ab:
Von 896.871 Token auf nur 309.951 – fast eine Ersparnis von 65 %!
Das ist zwar ein gewaltiger Rückgang, aber seien wir ehrlich – es sind immer noch viel zu viele Token! 😵💸
Markdown
Lassen Sie uns nun den Trick der KI-Agenten nachahmen, indem wir ein Online-Tool zur Konvertierung von HTML in Markdown nutzen. Bedenken Sie jedoch zunächst, dass KI-Agenten eine Vorverarbeitung durchführen, um inhaltsinrelevante Tags wie <style> und <script> -Tags zu entfernen.
Sie können das HTML des Zielelements mit diesem einfachen Skript in der Konsole Ihres Browsers filtern:
function removeScriptsAndStyles(element) { let htmlString = ppdElement.innerHTML; // Regex to match all <script>...</script> and <style>...</style> tags const scriptRegex = /<script[^>]*>[\s\S]*?<\/script>/gi; const styleRegex = /<style[^>]*>[\s\S]*?<\/style>/gi; // Remove all <script> and <style> tags let cleanHTML = htmlString.replace(scriptRegex, ''); cleanHTML = cleanHTML.replace(styleRegex, ''); } // select the target element and get its cleaned HTML const ppdElement = document.getElementById('ppd'); removeScriptsAndStyles(ppdElement);
Kopieren Sie als Nächstes das bereinigte HTML und konvertieren Sie es mithilfe eines Online -HTML-zu-Markdown-Konvertierungstools in Markdown:
Das resultierende Markdown ist deutlich kleiner , enthält aber dennoch alle wichtigen Textdaten!
Fügen Sie nun diesen Markdown in das LLM-Token-Rechner-Tool ein:
Boom! 💣 Von 896.871 Token auf nur 7.943 Token. Das ist eine atemberaubende Ersparnis von ~99 % !
Durch einfaches Entfernen von Inhalten und die Konvertierung von HTML in Markdown erhalten Sie eine schlankere Nutzlast, geringere Kosten und eine deutlich schnellere Verarbeitung. Ein großer Gewinn! 💰
Markdown vs. HTML: Der Kampf um Token und Kosteneinsparungen
Im letzten Schritt überprüfen Sie, ob der Markdown-Text noch alle wichtigen Daten enthält. Übergeben Sie ihn dazu mit dem letzten Teil der ursprünglichen Eingabeaufforderung an ein LLM. Hier sehen Sie das JSON-Ergebnis:
{ "product_title": "PlayStation®5 console (slim)", "price": "$499.00", "availability": "In stock", "customer_ratings": { "rating": 4.6, "total_ratings": 5814 } }Das ist genau das, was Ihr KI-Agent zurückgeben würde – genau richtig!
Einen schnellen Überblick erhalten Sie in der folgenden abschließenden Übersichtstabelle:
Verfahren | Token | o1-mini Preis | gpt-4o-mini Preis | gpt-4o Preis |
|---|---|---|---|---|
Gesamtes HTML | 896.871 | 13,4531 USD | 0,1345 USD | 2,2422 USD |
| 309.951 | 4,6493 USD | 0,0465 USD | 0,7749 USD |
| 7.943 | 0,0596 USD | 0,0012 USD | 0,0199 USD |
Wo KI-Agenten versagen
Alle diese Tricks zum Token-Sparen sind nutzlos, wenn Ihr KI-Agent von der Zielsite blockiert wird 😅 (haben Sie schon einmal gesehen , wie witzig KI-CAPTCHA-Fehler sein können? 🤣).
Warum passiert das? Ganz einfach! Die meisten Websites nutzen Anti-Scraping-Maßnahmen , die automatisierte Browser problemlos blockieren können. Möchten Sie die vollständige Aufschlüsselung? Sehen Sie sich unten unser bevorstehendes Webinar an:
Wenn Sie unseren Leitfaden zum erweiterten Web Scraping gelesen haben, wissen Sie, dass das Problem nicht bei den Browser-Automatisierungstools (den Bibliotheken, die Ihre KI-Agenten unterstützen) liegt. Nein, der wahre Übeltäter ist der Browser selbst . 🤖
Um Blockaden zu vermeiden, benötigen Sie einen Browser, der speziell für die Cloud-Automatisierung entwickelt wurde. Hier kommt der Scraping Browser ins Spiel:
- Läuft im Header-Modus wie ein normaler Browser, wodurch es für Anti-Bot-Systeme viel schwieriger ist, Sie zu erkennen. 🔍
- Lässt sich mühelos in der Cloud skalieren und spart Ihnen Zeit und Geld bei der Infrastruktur. 💰
- Löst automatisch CAPTCHAs, verarbeitet Browser-Fingerprinting, passt Cookies/Header an und führt Wiederholungsversuche durch, damit alles reibungslos läuft. ⚡
- Rotiert IPs aus einem der größten und zuverlässigsten Proxy-Netzwerke auf dem Markt. 🌍
- Lässt sich nahtlos in beliebte Automatisierungsbibliotheken wie Playwright, Selenium und Puppeteer integrieren. 🔧
Erfahren Sie mehr über den Scraping Browser von Bright Data, das perfekte Tool zur Integration in Ihre KI-Agenten :
Abschließende Gedanken
Jetzt wissen Sie, warum KI-Agenten Markdown für die Datenverarbeitung verwenden. Es ist ein einfacher Trick, um Token (und Geld) zu sparen und gleichzeitig die LLM-Verarbeitung zu beschleunigen.
Möchten Sie, dass Ihr KI-Agent reibungslos läuft? Werfen Sie einen Blick auf die KI-Tools von Bright Data ! Machen Sie mit und machen Sie das Internet für alle zugänglich – auch über automatisierte KI-Agent-Browser. 🌐
Bis zum nächsten Mal und surfen Sie weiterhin frei im Internet! 🏄♂️
