पिछले कुछ हफ़्तों से हम Composio पर तेज़ी से बढ़ रहे रिपॉजिटरी पर लगन से काम कर रहे हैं। हमें जल्द ही एहसास हुआ कि ReadMes को अपडेट करना, डॉकस्ट्रिंग को ठीक करना और मामूली बग फिक्स करना जैसे काम - हालाँकि ये दोहराव वाले और नीरस काम थे - हमारे बैंडविड्थ का बहुत ज़्यादा इस्तेमाल कर रहे थे।
तो, मैंने सोचा, क्यों न इन कठिन कार्यों को संभालने के लिए एक एआई-संचालित स्वायत्त एजेंट बनाया जाए?
हम एक ऐसा एआई एजेंट चाहते थे जो ऐसा कर सके।
अंततः, हमने सॉफ्टवेयर इंजीनियरिंग एजेंटों के निर्माण के लिए एक सरल और विस्तार योग्य मेटा-फ्रेमवर्क बनाया।
ये एजेंट ऐसे कई कार्यों में अपने मानव समकक्षों के समान प्रदर्शन कर सकते हैं। इन एजेंटों को सामान्य कार्यों को सौंपना आपके डेवलपर्स को अधिक रचनात्मक कार्यों पर ध्यान केंद्रित करने के लिए स्वतंत्र करने के लिए समझ में आता है।
इस लेख में, मैं आपको दिखाऊंगा कि अपने GitHub वर्कफ़्लो को स्वचालित करने के लिए टाइपस्क्रिप्ट में SWE एजेंट कैसे बनाया जाए।
लेकिन उससे पहले, आइए समझते हैं कि AI और SWE एजेंट क्या हैं।
एआई एजेंट एआई मॉडल द्वारा संचालित प्रणालियां हैं जो स्वायत्त रूप से कार्य कर सकती हैं, अपने पर्यावरण के साथ अंतःक्रिया कर सकती हैं, तथा अपनी प्रोग्रामिंग और संसाधित डेटा के आधार पर निर्णय ले सकती हैं।
एक AI एजेंट में तीन महत्वपूर्ण घटक होते हैं:
तो, आप कब एक AI एजेंट को SWE एजेंट कहते हैं?
SWE एजेंट AI एजेंट होते हैं जो मानव सॉफ्टवेयर इंजीनियर के गुणों और विशेषताओं की नकल करते हैं, जैसे
यहां SWE एजेंट की कुछ विशेषताएं दी गई हैं जिन्हें हम बनाने जा रहे हैं:
SWE एजेंट आपके सार्वजनिक और निजी रिपॉजिटरी तक पहुंच सकते हैं, उपलब्ध कराए गए मुद्दों पर काम कर सकते हैं, और रिपॉजिटरी में परिवर्तन कर सकते हैं।
यह होस्ट मशीन, डॉकर या किसी अन्य क्लाउड वातावरण (E2B, FlyIo) का उपयोग करके कोड निष्पादित कर सकता है। हालाँकि, यह सबसे अच्छा होगा यदि आप सैंडबॉक्सिंग कोड निष्पादन के लिए बाद के दो का उपयोग करना पसंद करते हैं।
सैंडबॉक्सिंग मनमाने कोड निष्पादन के किसी भी अनपेक्षित परिणाम को रोकने में मदद करता है।
एजेंट को सफलतापूर्वक बनाने के लिए निम्नलिखित पूर्वापेक्षाएँ हैं:
अपने पसंदीदा पैकेज मैनेजर का उपयोग करके निर्भरताएँ स्थापित करके शुरू करें। अनुशंसित विधि pnpm
है, लेकिन आप npm
या yarn
भी उपयोग कर सकते हैं।
pnpm install -g composio-core
प्रोजेक्ट को पूरा करने के लिए आपको GITHUB_ACCESS_TOKEN, OPENAI_API_KEY, COMPOSIO_API_KEY, GITHUB_USERNAME और GITHUB_USER_EMAIL की आवश्यकता होगी।
तो, एक .env
फ़ाइल बनाएं और उपरोक्त वेरिएबल्स जोड़ें।
GITHUB_ACCESS_TOKEN="your access token" OPENAI_API_KEY="openai_key" COMPOSIO_API_KEY="composio-api-key" GITHUB_USER_NAME="GitHub username" GITHUB_USER_EMAIL="GitHub user email"
परियोजना का आयोजन इस प्रकार किया गया है:
स्रोत
├── एजेंट
│ └── स्वे.ट्स
├── ऐप.टीएस
├── प्रॉम्प्ट्स.ts
└── utils.ts
यहां फ़ाइलों का संक्षिप्त विवरण दिया गया है।
शीघ्रता से शुरू करने के लिए, इस रिपॉजिटरी को क्लोन करें और शेष निर्भरताएं स्थापित करें।
git clone https://github.com/ComposioHQ/swe-js-template.git swe-js cd swe-js && pnpm i
अब जब आपने पूरा सेट-अप पूरा कर लिया है, तो चलिए अपने AI एजेंट को कोड करते हैं।
हम SWE एजेंट के लिए संकेत और लक्ष्य निर्धारित करके शुरुआत करते हैं। प्रत्येक चरण को विस्तार से समझाना महत्वपूर्ण है, क्योंकि ये परिभाषाएँ एजेंट के प्रदर्शन और निष्पादन को महत्वपूर्ण रूप से प्रभावित करती हैं।
इसलिए, यदि आपने अभी तक ऐसा नहीं किया है तो एक prompts.ts
फ़ाइल बनाएं।
इसके बाद, एजेंट की भूमिका और लक्ष्य को परिभाषित करें।
export const ROLE = "Software Engineer"; export const GOAL = "Fix the coding issues given by the user, and finally generate a patch with the newly created files using `filetool_git_patch` tool";
यहाँ, हमने SWE के रूप में भूमिका को परिभाषित किया है, और इसका लक्ष्य किसी भी कोडिंग समस्या को ठीक करना और filetool_git_patch
का उपयोग करके फिक्स के लिए एक पैच बनाना है। यह पैच फ़ाइलें बनाने के लिए GitHub एकीकरण के लिए एक Compsoio एक्शन है।
अब, स्वे एजेंट की पृष्ठभूमि और विवरण को परिभाषित करें।
export const BACKSTORY = `You are an autonomous programmer; your task is to solve the issue given in the task with the tools in hand. Your mentor gave you the following tips. 1. Please clone the github repo using the 'FILETOOL_GIT_CLONE' tool, and if it already exists - you can proceed with the rest of the instructions after going into the directory using \`cd\` shell command. 2. PLEASE READ THE CODE AND UNDERSTAND THE FILE STRUCTURE OF THE CODEBASE USING GIT REPO TREE ACTION. 3. POST THAT READ ALL THE RELEVANT READMES AND TRY TO LOOK AT THE FILES RELATED TO THE ISSUE. 4. Form a thesis around the issue and the codebase. Think step by step. Form pseudocode in case of large problems. 5. THEN TRY TO REPLICATE THE BUG THAT THE ISSUES DISCUSS. - If the issue includes code for reproducing the bug, we recommend that you re-implement that in your environment, and run it to make sure you can reproduce the bug. - Then start trying to fix it. - When you think you've fixed the bug, re-run the bug reproduction script to make sure that the bug has indeed been fixed. - If the bug reproduction script does not print anything when it is successfully runs, we recommend adding a print("Script completed successfully, no errors.") command at the end of the file so that you can be sure that the script indeed, it ran fine all the way through. 6. If you run a command that doesn't work, try running a different one. A command that did not work once will not work the second time unless you modify it! 7. If you open a file and need to get to an area around a specific line that is not in the first 100 lines, say line 583, don't just use the scroll_down command multiple times. Instead, use the goto 583 command. It's much quicker. 8. If the bug reproduction script requires inputting/reading a specific file, such as buggy-input.png, and you'd like to understand how to input that file, conduct a search in the existing repo code to see whether someone else has I've already done that. Do this by running the command find_file "buggy-input.png" If that doesn't work, use the Linux 'find' command. 9. Always make sure to look at the currently open file and the current working directory (which appears right after the currently open file). The currently open file might be in a different directory than the working directory! Some commands, such as 'create', open files, so they might change the currently open file. 10. When editing files, it is easy to accidentally specify a wrong line number or write code with incorrect indentation. Always check the code after You issue an edit to ensure it reflects what you want to accomplish. If it didn't, issue another command to fix it. 11. When you FINISH WORKING on the issue, USE THE 'filetool_git_patch' ACTION with the new files using the "new_file_paths" parameters created to create the final patch to be submitted to fix the issue. Example, if you add \`js/src/app.js\`, then pass \`new_file_paths\` for the action like below, { "new_file_paths": ["js/src/app.js"] } `; export const DESCRIPTION = `We're solving the following issue within our repository. Here's the issue text: ISSUE: {issue} REPO: {repo} Now, you're going to solve this issue on your own. When you're satisfied with all your changes, you can submit them to the code base by simply running the submit command. Note, however, that you cannot use any interactive session commands (eg python, vim) in this environment, but you can write scripts and run them. Eg you can write a Python script and then run it with \`python </path/to/script>.py\`. If you face a "module not found error", you can install dependencies. Example: in case the error is "pandas not found", install pandas like this \`pip install pandas\` Respond to the human as helpfully and accurately as possible`;
उपरोक्त कोड ब्लॉक में, हमने सावधानीपूर्वक और स्पष्ट रूप से उन चरणों को परिभाषित किया है जिन्हें एजेंट को कार्य पूरा करने के लिए उठाने की आवश्यकता है। यह सुनिश्चित करने के लिए महत्वपूर्ण है कि एजेंट को पता हो कि सामान्य प्रोग्रामिंग बाधाओं का सामना करने पर क्या करना है।
इस अनुभाग में, हम दो मुख्य फ़ंक्शन परिभाषित करेंगे, from GitHub
और getBranchNameFromIssue
से, जो किसी समस्या के बारे में जानकारी निकालेंगे।
import * as fs from 'fs'; import * as path from 'path'; import * as readline from 'readline'; import { ComposioToolSet } from "composio-core/lib/sdk/base.toolset"; import { nanoid } from "nanoid"; type InputType = any; function readUserInput( prompt: string, metavar: string, validator: (value: string) => InputType ): InputType { const rl = readline.createInterface({ input: process.stdin, output: process.stdout }); return new Promise<InputType>((resolve, reject) => { rl.question(`${prompt} > `, (value) => { try { const validatedValue = validator(value); rl.close(); resolve(validatedValue); } catch (e) { console.error(`Invalid value for \`${metavar}\` error parsing \`${value}\`; ${e}`); rl.close(); reject(e); } }); }); } function createGithubIssueValidator(owner: string, name: string, toolset: ComposioToolSet) { return async function githubIssueValidator(value: string): Promise<string> { const resolvedPath = path.resolve(value); if (fs.existsSync(resolvedPath)) { return fs.readFileSync(resolvedPath, 'utf-8'); } if (/^\d+$/.test(value)) { const responseData = await toolset.executeAction('github_issues_get', { owner, repo: name, issue_number: parseInt(value, 10), }); return responseData.body as string; } return value; }; } export async function fromGithub(toolset: ComposioToolSet): Promise<{ repo: string; issue: string }> { const owner = await readUserInput( 'Enter github repository owner', 'github repository owner', (value: string) => value ); const name = await readUserInput( 'Enter github repository name', 'github repository name', (value: string) => value ); const repo = `${owner}/${name.replace(",", "")}`; const issue = await readUserInput( 'Enter the github issue ID or description or path to the file containing the description', 'github issue', createGithubIssueValidator(owner, name, toolset) ); return { repo, issue }; }
तो, उपरोक्त कोड ब्लॉक में क्या हो रहा है, वह इस प्रकार है।
readUserInput
: यह फ़ंक्शन कमांड लाइन से उपयोगकर्ता इनपुट पढ़ता है। हमें केवल GitHub उपयोगकर्ता आईडी, रिपॉजिटरी नाम और समस्या संख्या या विवरण की आवश्यकता है।createGithubIssueValidator
: यह फ़ंक्शन GitHub समस्याओं के लिए एक सत्यापनकर्ता लौटाता है। यह इनपुट को फ़ाइल पथ, संख्यात्मक समस्या आईडी या सादे स्ट्रिंग विवरण के रूप में संभाल सकता है। यदि इनपुट संख्यात्मक समस्या आईडी है, तो यह Composio की github_issues_get
क्रिया का उपयोग करके GitHub से समस्या विवरण प्राप्त करता है।fromGitHub
: यह फ़ंक्शन GitHub रिपॉजिटरी और किसी समस्या के बारे में आवश्यक जानकारी एकत्र करने और सत्यापित करने के लिए इन तत्वों को संयोजित करता है। अब, समस्या विवरण से शाखा नाम बनाने के लिए getBranchNameFromIssue
परिभाषित करें।
export function getBranchNameFromIssue(issue: string): string { return "swe/" + issue.toLowerCase().replace(/\s+/g, '-') + "-" + nanoid(); }
यह सबसे महत्वपूर्ण अनुभाग है, जहां आप OpenAI सहायकों और Composio टूलसेट का उपयोग करके Swe एजेंट को परिभाषित करेंगे।
तो, सबसे पहले, लाइब्रेरीज़ को आयात करें और LLM और टूल्स को परिभाषित करें।
import { OpenAIToolSet, Workspace } from 'composio-core'; import { BACKSTORY, DESCRIPTION, GOAL } from '../prompts'; import OpenAI from 'openai'; // Initialize tool. const llm = new OpenAI({ apiKey: process.env.OPENAI_API_KEY, }); const composioToolset = new OpenAIToolSet({ workspaceConfig: Workspace.Docker({}) }); // To use E2B Code interpreter /* const composioToolset = new OpenAIToolSet({ workspaceConfig: Workspace.E2B({ apiKey: process.env.E2B_API_KEY, }) }); */
उपरोक्त कोड ब्लॉक में,
OpenAIToolSet
का एक इंस्टेंस भी बनाया है जिसमें workspaceConfig
Docker पर सेट किया गया है। यह Swe एजेंट के लिए कोडिंग वातावरण को सैंडबॉक्स करने के लिए Docker का उपयोग करना है। आप E2B और FlyIo जैसे क्लाउड कोड इंटरप्रिटर्स का भी उपयोग कर सकते हैं। अब, हम Swe एजेंट को परिभाषित करेंगे।
export async function initSWEAgent(): Promise<{composioToolset: OpenAIToolSet; assistantThread: OpenAI.Beta.Thread; llm: OpenAI; tools: Array<any>}> { let tools = await composioToolset.getTools({ apps: [ "filetool", "fileedittool", "shelltool" ], }); tools = tools.map((a) => { if (a.function?.description?.length || 0 > 1024) { a.function.description = a.function.description?.substring(0, 1024); } return a; }); tools = tools.map((tool) => { const updateNullToEmptyArray = (obj) => { for (const key in obj) { if (obj[key] === null) { obj[key] = []; } else if (typeof obj[key] === 'object' && !Array.isArray(obj[key])) { updateNullToEmptyArray(obj[key]); } } }; updateNullToEmptyArray(tool); return tool; }); const assistantThread = await llm.beta.threads.create({ messages: [ { role: "assistant", content:`${BACKSTORY}\n\n${GOAL}\n\n${DESCRIPTION}` } ] }); return { assistantThread, llm, tools, composioToolset }; }
उपरोक्त कोड ब्लॉक में क्या हो रहा है, वह इस प्रकार है।
filetool
, file edit tool
, और shelltool
के लिए टूल लाता है। जैसा कि नाम से पता चलता है, इनका उपयोग फ़ाइलों तक पहुँचने, फ़ाइलों को संपादित करने और कमांड निष्पादित करने के लिए शेल का उपयोग करने के लिए किया जाएगा। यह अंतिम खंड है, जहाँ हम एप्लिकेशन के प्रवेश बिंदु को परिभाषित करते हैं। इसलिए, पर्यावरण चर लोड करें और आवश्यक मॉड्यूल आयात करें।
import dotenv from "dotenv"; dotenv.config(); import { fromGithub, getBranchNameFromIssue } from './utils'; import { initSWEAgent } from './agents/swe'; import { GOAL } from './prompts';
कोड ब्लॉक
अब, main
फ़ंक्शन को परिभाषित करें.
async function main() { /**Run the agent.**/ const { assistantThread, llm, tools, composioToolset } = await initSWEAgent(); const { repo, issue } = await fromGithub(composioToolset); const assistant = await llm.beta.assistants.create({ name: "SWE agent", instructions: GOAL + `\nRepo is: ${repo} and your goal is to ${issue}`, model: "gpt-4o", tools: tools }); await llm.beta.threads.messages.create( assistantThread.id, { role: "user", content: issue } ); const stream = await llm.beta.threads.runs.createAndPoll(assistantThread.id, { assistant_id: assistant.id, instructions: `Repo is: ${repo} and your goal is to ${issue}`, tool_choice: "required" }); await composioToolset.waitAndHandleAssistantToolCalls(llm as any, stream, assistantThread, "default"); const response = await composioToolset.executeAction("filetool_git_patch", { }); if (response.patch && response.patch?.length > 0) { console.log('=== Generated Patch ===\n' + response.patch, response); const branchName = getBranchNameFromIssue(issue); const output = await composioToolset.executeAction("SHELL_EXEC_COMMAND", { cmd: `cp -r ${response.current_working_directory} git_repo && cd git_repo && git config --global --add safe.directory '*' && git config --global user.name ${process.env.GITHUB_USER_NAME} && git config --global user.email ${process.env.GITHUB_USER_EMAIL} && git checkout -b ${branchName} && git commit -m 'feat: ${issue}' && git push origin ${branchName}` }); // Wait for 2s await new Promise((resolve) => setTimeout(() => resolve(true), 2000)); console.log("Have pushed the code changes to the repo. Let's create the PR now", output); await composioToolset.executeAction("GITHUB_PULLS_CREATE", { owner: repo.split("/")[0], repo: repo.split("/")[1], head: branchName, base: "master", title: `SWE: ${issue}` }) console.log("Done! The PR has been created for this issue in " + repo); } else { console.log('No output available - no patch was generated :('); } await composioToolset.workspace.close(); } main();
यह हमारी संपूर्ण app.ts
फ़ाइल है, जिसका उपयोग एजेंटिक वर्कफ़्लो को निष्पादित करने के लिए किया जाएगा।
तो, उपरोक्त कोड में क्या हो रहा है, वह इस प्रकार है।
initSWEAgent
कॉल करता है।fromGithub
से रिपोजिटरी और समस्या विवरण प्राप्त करता है।filetool_git_patch
निष्पादित करता है।main()
को कॉल करता है।
अब, pnpm start
उपयोग करके एप्लिकेशन चलाएं।
यह आपको GitHub उपयोगकर्ता आईडी, रिपॉजिटरी नाम और उस समस्या की समस्या आईडी या विवरण दर्ज करने के लिए प्रेरित करेगा जिसे आप संबोधित करना चाहते हैं।
एक बार पूरा हो जाने पर, यह रजिस्ट्री से एक कंपोज़ियो डॉकर कंटेनर खींच लेगा और समस्या पर काम करना शुरू कर देगा।
अंत में, जब वर्कफ़्लो पूरा हो जाएगा, तो पैच को रिमोट रिपॉजिटरी में धकेल दिया जाएगा। अब, जब आप अपना GitHub रिपॉजिटरी खोलेंगे, तो आपको समस्या के लिए प्रस्तावित समाधान के साथ एक नई शाखा दिखाई देगी। आप इसकी तुलना मुख्य शाखा से कर सकते हैं और एक पुल अनुरोध बना सकते हैं।
आप पूरा कोड पा सकते हैं
इस SWE एजेंट के बारे में सबसे अच्छी बात यह है कि आप कंपोज़ियो टूल्स और इंटीग्रेशन का उपयोग करके इसकी क्षमताओं का विस्तार कर सकते हैं।
आप अपने एजेंट में Slack या Discord जोड़ सकते हैं ताकि निष्पादन पूरा होने पर आपको सूचित किया जा सके। आप एजेंट की गतिविधियों के आधार पर स्वचालित रूप से कार्य बनाने और अपडेट करने के लिए Jira या Linear को भी कनेक्ट कर सकते हैं।
आप हमारे समुदाय में शामिल होकर अनुरक्षकों से जुड़ सकते हैं और एक ओपन-सोर्स डेवलपर के रूप में योगदान दे सकते हैं। कंपोज़ियो से संबंधित मुद्दों पर योगदान देने और बनाने के लिए हमारे GitHub रिपॉजिटरी पर जाने में संकोच न करें।
Composio. dev रिपोजिटरी को स्टार करें ⭐
पढ़ने के लिए आपका शुक्रिया!