Νέα ιστορία

Οι πράκτορες τεχνητής νοημοσύνης δεν είναι έτοιμοι για παραγωγή - και ο έλεγχος πρόσβασης μπορεί να είναι ο λόγος

με Permit.io12m2025/04/16
Read on Terminal Reader

Πολύ μακρύ; Να διαβασω

Οι πράκτορες τεχνητής νοημοσύνης αντιμετωπίζουν κρίσιμες προκλήσεις ασφαλείας λόγω της δυναμικής πρόσβασης σε δεδομένα και των νέων φορέων επίθεσης.Αυτό το άρθρο παρουσιάζει το πλαίσιο τεσσάρων περιφερειών, το οποίο εξασφαλίζει τις ροές εργασίας τεχνητής νοημοσύνης μέσω του άμεσου φιλτραρίσματος, της προστασίας δεδομένων RAG, του ελέγχου εξωτερικής πρόσβασης και της επικύρωσης εξόδου - χρησιμοποιώντας έλεγχο πρόσβασης λεπτού σιταριού (ABAC & ReBAC) για την ενίσχυση της ασφάλειας τεχνητής νοημοσύνης.
featured image - Οι πράκτορες τεχνητής νοημοσύνης δεν είναι έτοιμοι για παραγωγή - και ο έλεγχος πρόσβασης μπορεί να είναι ο λόγος
Permit.io HackerNoon profile picture
0-item

-Ανδρέας Παπανδρέου

– Ντάνιελ Μπασ


Η βελτίωση της απόδοσης των εφαρμογών μέσω της χρήσης πράκτορων τεχνητής νοημοσύνης γίνεται πολύ συνηθισμένη πρακτική - είτε λόγω της εκστρατείας σε ολόκληρη τη βιομηχανία είτε λόγω πραγματικών χρήσιμων περιπτώσεων χρήσης.


These AI agents, however, often require access to highly sensitive data, introducing significant security risks. Without standardized access control solutions, development teams often build security measures from scratch—leading to cases where AI assistants expose sensitive patient information and several AI agents being compromised through sophisticated prompt injection attacks.

AI assistants expose sensitive patient informationsophisticated prompt injection attacks


Η προστασία των φορέων τεχνητής νοημοσύνης σε αυτό το πλαίσιο γίνεται εξίσου σημαντική με τις δυνατότητες των ίδιων των φορέων τεχνητής νοημοσύνης - αν όχι περισσότερο.

To address this problem, we at Permit.io have been working for a while on a structured security approach I wish to introduce to you today:

Permit.io

The Four-Perimeter Framework.

The Four-Perimeter FrameworkThe Four-Perimeter Framework


This method provides a comprehensive strategy for protecting AI agents by implementing fine-grained access control, ensuring compliance, and mitigating potential attack vectors. Before I go into the solution, let’s talk more about the problem space.

fine-grained access control

Το πρόβλημα: Κίνδυνοι ασφαλείας AI σε ευαίσθητους τομείς

Traditional application security measures and access control mechanisms fall short when it comes to handling AI agents. While conventional access control systems like role-based access control (RBAC) excel at managing static permissions, they struggle with the dynamic nature of AI responses. Unlike traditional applications where inputs map to predictable outputs and access patterns are well-defined, AI generates unique responses for each query. This means the access control and input validation techniques we’re used to can’t anticipate all possible outputs.

role-based access control (RBAC)


The way AI systems access data also doesn’t fit security standards. To provide accurate and helpful responses, AI agents need broad access to various data sources and knowledge bases. Classic RBAC proves too rigid for this need - you can’t simply assign static permissions when the data requirements change based on context. This calls for a more sophisticated, attribute-based approach that can make dynamic access decisions.

attribute-based


Άλλη ανησυχία είναι οι νέοι φορείς επίθεσης που εισάγουν τα συστήματα AI. Τα συμβατικά μέτρα ασφαλείας δεν έχουν σχεδιαστεί για να χειρίζονται επιθέσεις έγκαιρης ένεσης, προσπάθειες εξαγωγής μοντέλων ή επιθέσεις δηλητηρίασης δεδομένων.


Η λύση έρχεται με τη μορφή ενός ολοκληρωμένου πλαισίου ασφαλείας που χτίστηκε γύρω από τέσσερις βασικές περιμέτρους -

Η λύση: Το πλαίσιο των τεσσάρων περιμετρών

Επειδή οι εφαρμογές τεχνητής νοημοσύνης διαφέρουν από το τυπικό λογισμικό στον τρόπο με τον οποίο επεξεργάζονται τις εισροές, ανακτούν δεδομένα, εκτελούν ενέργειες και δημιουργούν εξόδους, εισάγουν επίσης μοναδικούς κινδύνους ασφάλειας.Για να αντιμετωπίσουμε αυτές τις προκλήσεις, χρειαζόμαστε μια δομημένη προσέγγιση ασφάλειας που εφαρμόζει έλεγχο πρόσβασης σε κάθε στάδιο της αλληλεπίδρασης τεχνητής νοημοσύνης.


The Four-Perimeter Framework is designed to enforce identity-aware, fine-grained authorization throughout the AI lifecycle. It introduces security boundaries that govern what data AI models can access, what operations they can perform, and how their responses are validated.

Πρόγραμμα τεσσάρων περιόδωνfine-grained authorization throughout the AI lifecycle


Το πλαίσιο αποτελείται από τέσσερα μέρη:


  1. Prompt Filtering – Διασφάλιση ότι μόνο επικυρωμένες, ασφαλείς εισροές φθάνουν στα μοντέλα AI.
  2. RAG Data Protection – Ελέγχου της πρόσβασης της AI σε εξωτερικές πηγές γνώσης.
  3. Ασφαλής εξωτερική πρόσβαση – Καθορισμός δικαιωμάτων του πράκτορα AI κατά την αλληλεπίδραση με εξωτερικά εργαλεία.
  4. Εφαρμογή ελέγχων συμμόρφωσης και φιλτραρίσματος εξόδων που παράγονται από την AI.
  • Prompt Filtering – Διασφαλίζοντας ότι μόνο επικυρωμένες, ασφαλείς εισροές φθάνουν στα μοντέλα AI.
  • Πρόσφατο φιλτράρισμα
  • Προστασία δεδομένων RAG – Έλεγχος της πρόσβασης της τεχνητής νοημοσύνης σε εξωτερικές πηγές γνώσης.
  • Προστασία δεδομένων RAG
  • Ασφαλής εξωτερική πρόσβαση – Καθορισμός δικαιωμάτων του πράκτορα AI κατά την αλληλεπίδραση με εξωτερικά εργαλεία.
  • Ασφαλής εξωτερική πρόσβασηΕφαρμογή ελέγχων συμμόρφωσης και φιλτράρισμα των προϊόντων που παράγονται από την τεχνητή νοημοσύνη.Αντιμετώπιση του προβλήματος


    Εφαρμόζοντας αρχές ελέγχου πρόσβασης σε λεπτούς κόκκους (FGA) σε αυτές τις περιφέρειες, οι πράκτορες AI παραμένουν ασφαλείς, ελεγχόμενοι και συμβατοί - χωρίς να θυσιάζουν την ευελιξία και τη λειτουργικότητά τους.


    Έλεγχος πρόσβασης σε λεπτούς κόκκους (FGA)ασφαλές, ελεγχόμενο και συμβατό

    Πού έρχεται η FGA;

    Όπως αναφέρθηκε προηγουμένως, οι παραδοσιακές μέθοδοι ελέγχου πρόσβασης όπως το RBAC αποτυγχάνουν να χειριστούν τη δυναμική, εξαρτημένη από το πλαίσιο συμπεριφορά της τεχνητής νοημοσύνης.


    Τα μοντέλα AI επεξεργάζονται μη δομημένες εισροές, καθιστώντας δύσκολη την εφαρμογή παραδοσιακών κανόνων ασφαλείας.Η ABAC επιλύει αυτό εξάγοντας δομημένα χαρακτηριστικά από τις προειδοποιήσεις AI και χρησιμοποιώντας τα σε αποφάσεις πρόσβασης βασισμένες σε πολιτικές. Τα μοντέλα AI επεξεργάζονται μη δομημένες εισροές, καθιστώντας δύσκολη την εφαρμογή παραδοσιακών κανόνων ασφαλείας.Η ABAC επιλύει αυτό εξάγοντας δομημένα χαρακτηριστικά από τις προειδοποιήσεις AI και χρησιμοποιώντας τα σε αποφάσεις πρόσβασης βασισμένες σε πολιτικές.ABAC για φιλτράρισμα Prompt


    • Η ReBAC για την προστασία δεδομένων RAG Η γενιά Retrieval-augmented (RAG) επιτρέπει στα μοντέλα AI να αντλούν πληροφορίες από βάσεις δεδομένων vector.Η ReBAC παρέχει έναν φυσικό τρόπο επιβολής της ασφάλειας σε αυτή τη ρύθμιση, καθορίζοντας σχέσεις μεταξύ χρηστών, πηγών δεδομένων και πρακτόρων AI. Αντί να εκχωρεί στατικά δικαιώματα, η ReBAC χορηγεί ή αρνείται δυναμικά πρόσβαση με βάση τον τρόπο με τον οποίο τα αντικείμενα δεδομένων σχετίζονται μεταξύ τους – επιτρέποντας δικαιώματα ανάκτησης με γνώση του πλαισίου.
  • Η ReBAC για την προστασία δεδομένων RAG Η γενιά Retrieval-augmented (RAG) επιτρέπει στα μοντέλα AI να αντλούν πληροφορίες από βάσεις δεδομένων vector.Η ReBAC παρέχει έναν φυσικό τρόπο επιβολής της ασφάλειας σε αυτή τη ρύθμιση, καθορίζοντας σχέσεις μεταξύ χρηστών, πηγών δεδομένων και πράκτορες AI. Αντί να εκχωρεί στατικά δικαιώματα, η ReBAC χορηγεί ή αρνείται δυναμικά την πρόσβαση με βάση τον τρόπο με τον οποίο τα αντικείμενα δεδομένων σχετίζονται μεταξύ τους – επιτρέποντας δικαιώματα ανάκτησης με γνώση του πλαισίου.
  • ReBAC για την προστασία δεδομένων RAG


    Με τον συνδυασμό ABAC και ReBAC, οι εφαρμογές AI αποκτούν ευέλικτους μηχανισμούς ελέγχου πρόσβασης που βασίζονται σε πολιτικές και προσαρμόζονται σε διαφορετικές ροές εργασίας AI χωρίς να απαιτείται χειροκίνητη παρέμβαση.


    Πώς μοιάζει μια εφαρμογή βήμα προς βήμα;

    Let's walk through a practical implementation to see the Four-Perimeter Framework in action. This example secures an AI agent by validating prompts, enforcing data protection, restricting external access, and moderating responses—leveraging Permit.io AI Access Control integrations at each step.

    Τέσσερα περιφερειακά πλαίσια σε δράσηεπιβεβαίωση των ειδοποιήσεων, επιβολή της προστασίας των δεδομένων, περιορισμός της εξωτερικής πρόσβασης και μετριασμός των απαντήσεωνPermit.io AI Access ControlPermit.io

    1. Εφαρμογή προειδοποιητικού φίλτρου

    1. Εφαρμογή προειδοποιητικού φίλτρου

    Η πρώτη περίμετρος ασφαλείας επικεντρώνεται στην επικύρωση και την εξυγίανση των εισροών AI πριν φτάσουν στο μοντέλο.


    • Οι έλεγχοι εξουσιοδότησης ενσωματώνονται στον αγωγό έγκαιρης επικύρωσης, εμποδίζοντας τα μη εξουσιοδοτημένα δεδομένα να επηρεάζουν τις εξόδους AI.
    • Ο έλεγχος πρόσβασης με βάση το ρόλο, το χαρακτηριστικό και τη σχέση επιβάλλονται, εξασφαλίζοντας ότι μόνο οι εγκεκριμένες παραμέτρους περνούν στην AI.
    • Οποιαδήποτε παραβίαση πολιτικής καταγράφεται και μπλοκάρεται σε πραγματικό χρόνο, διατηρώντας ένα ελεγχόμενο ίχνος αποφάσεων πρόσβασης.
  • Οι έλεγχοι εξουσιοδότησης ενσωματώνονται στον αγωγό άμεσης επικύρωσης, αποτρέποντας τα μη εξουσιοδοτημένα δεδομένα από την επίδραση στις εξόδους AI.
  • Ο έλεγχος πρόσβασης με βάση το ρόλο, το χαρακτηριστικό και τη σχέση επιβάλλονται, εξασφαλίζοντας ότι μόνο οι εγκεκριμένες παραμέτρους περνούν στην AI.
  • Οποιεσδήποτε παραβιάσεις πολιτικής καταγράφονται και μπλοκάρονται σε πραγματικό χρόνο, διατηρώντας ένα ελεγχόμενο ίχνος αποφάσεων πρόσβασης.

  • Εδώ είναι οι τρεις μέθοδοι για το φιλτράρισμα των προειδοποιήσεων - από το ευκολότερο στο πιο προηγμένο:


    1. Επιβεβαίωση Token - Μια αποτελεσματική μέθοδος για απλούς ελέγχους όπως το μήκος της προειδοποίησης ή η γενική αδειοδότηση των εισερχομένων που εκτελούνται στο σύστημα. Οι λειτουργίες ελέγχου άδειας σε αυτή τη μέθοδο εξετάζουν τα δομημένα χαρακτηριστικά των κειμενικών προειδοποιήσεων.
    2. Συγκρίσεις μοτίβων - σε αυτή τη μέθοδο, ο έλεγχος άδειας εξετάζει τα μοτίβα στο κείμενο της προειδοποίησης. Έλεγχος, για παράδειγμα, αν το μοτίβο ταιριάζει με ένα ερώτημα SQL ή ένα παράδειγμα κώδικα.
    3. Ταξινόμηση AIΕπιβεβαίωση token - Μια αποτελεσματική μέθοδος για απλούς ελέγχους όπως το μήκος της προειδοποίησης ή η γενική επιτρεπόμενη ισχύ των εισερχομένων που εκτελούνται στο σύστημα.Επιβεβαίωση Token
    4. Συμπίεση μοτίβων - σε αυτή τη μέθοδο, ο έλεγχος δικαιωμάτων εξετάζει τα μοτίβα στο προτεινόμενο κείμενο, για παράδειγμα, ελέγχοντας αν το μοτίβο ταιριάζει με ένα ερώτημα SQL ή ένα παράδειγμα κώδικα.
    5. Συμφωνία προτύπωνΗ πιο προηγμένη μέθοδος αυτής της λίστας, η ταξινόμηση της τεχνητής νοημοσύνης χρησιμοποιεί την τεχνητή νοημοσύνη για την ανάλυση της προειδοποίησης χρησιμοποιώντας μια αφιερωμένη προειδοποίηση συστήματος, κατατάσσοντάς την σε μια δομημένη είσοδο που μπορεί να αναλυθεί με ακρίβεια στον έλεγχο δικαιωμάτων.Ταξινόμηση της ΑΙ



      Προωθητικό φιλτράρισμα με PydanticAI

      Πρόσφατο φιλτράρισμα με PydanticAI

      Για να αποδείξει καλύτερα την εφαρμογή της αποτελεσματικής διήγησης φιλτραρίσματος, εδώ είναι ένα παράδειγμα της χρήσης εργαλείων PydanticAI για να φιλτράρει τις εισροές χρηστών σε πράκτορες AI. PydanticAI είναι ένα πλαίσιο πράκτορα που εκμεταλλεύεται τη διάσημη βιβλιοθήκη Pydantic της Python και τις δυνατότητες στατικής πληκτρολόγησης και το μετατρέπει σε ένα δομημένο πλαίσιο AI που χειρίζεται μη δομημένα δεδομένα.


      The following GitHub repository contains a full implementation of the framework for PydanticAI: github.com/permitio/permit-pydanticai

      github.com/permitio/permit-pydanticai


      check>Truth> @financial_agent.tool async def validate_financial_query( ctx: RunContext[PermitDeps], query: FinancialQuery, ) -> bool: ""Key checks: - Χρήστης έχει ρητά επιλέξει να AI οικονομική συμβουλή, False διαφορετικά "" δοκιμάστε: #Classify αν η συμβουλή είναι σωστά καταχωρηθεί και επαληθευτεί - Ταξινομεί αν η πρόταση ζητά συμβουλή Args: ctx: Περιεχόμενο που περιέχει άδεια πελάτη και αναζήτηση ταυτότητας χρήστη πρόσβαση: το οικονομικό ερώτημα για να επικυρώσει επιστρέφει: bool: True αν ο χρήστης έχει άδεια @financial_agent.tool async def validate_financial_query( ctx: RunContext[PermitDeps], query: FinancialQuery, ) -> bool: """Key checks: - User has explicitly opted in to AI financial advice - Consent is properly recorded and verified - Classifies if the prompt is requesting advice Args: ctx: Context containing Permit client and user ID query: The financial query to validate Returns: bool: True if user has consented to AI advice, False otherwise """ try: # Classify if the prompt is requesting advice is_seeking_advice = classify_prompt_for_advice(query.question) permitted = await ctx.deps.permit.check( # The user object with their attributes { "key": ctx.deps.user_id, }, # The action being performed "receive", # The resource being accessed { "type": "financial_advice", "attributes": {"is_ai_generated": is_seeking_advice}, }, ) if not permitted: if is_seeking_advice: return "User has not opted in to receive AI-generated financial advice" else: return "User does not have permission to access this information" return True except PermitApiError as e: raise SecurityError(f"Permission check failed: {str(e)}")

      2. Ενίσχυση της προστασίας δεδομένων –

      2. Ενίσχυση της προστασίας των δεδομένων –

      Επόμενη, εξασφαλίζουμε ερωτήματα recovery-augmented generation (RAG) διασφαλίζοντας ότι τα μοντέλα AI μπορούν να έχουν πρόσβαση μόνο σε εξουσιοδοτημένες πηγές γνώσης. Αυτό μπορεί να επιτευχθεί μέσω λεπτομερούς φιλτραρίσματος των δεδομένων του πράκτορα AI για λογαριασμό του χρήστη εντός της ροής εργασίας AI:

      παραγωγή με αύξηση της ανάκτησης (RAG)εξουσιοδοτημένες πηγές γνώσης


      • Η λεπτόκοκκη πολιτική χρησιμοποιεί προηγμένα μοντέλα φιλτραρίσματος δεδομένων, όπως ο έλεγχος πρόσβασης βάσει σχέσης, για να επιτρέψει την προηγμένη διήθηση ερωτήσεων στη μηχανή πολιτικής.
      • Οι πηγές φορέων και γραφημάτων που συνδέονται με τους πράκτορες AI έχουν μεταδεδομένα που μπορούν να βοηθήσουν τη μηχανή να χειριστεί το μη δομημένο ερώτημα, φιλτράροντάς το ώστε να περιλαμβάνει μόνο επιτρεπόμενα δεδομένα.
      • Κάθε φορά που ο πράκτορας ανακτά δεδομένα από τη βάση γνώσεων RAG, φιλτράρει τα αποτελέσματα με την άδεια του χρήστη.
      Η λεπτόκοκκη πολιτική χρησιμοποιεί προηγμένα μοντέλα φιλτραρίσματος δεδομένων, όπως ο έλεγχος πρόσβασης βάσει σχέσης, για να επιτρέψει την προηγμένη διήθηση ερωτήσεων στη μηχανή πολιτικής.
      Οι πηγές vector και graph που συνδέονται με τους πράκτορες AI έχουν μεταδεδομένα που μπορούν να βοηθήσουν τη μηχανή να χειραγωγήσει το μη δομημένο ερώτημα, φιλτράροντάς το ώστε να περιλαμβάνει μόνο επιτρεπόμενα δεδομένα.
    6. Κάθε φορά που ο πράκτορας ανακτά δεδομένα από τη βάση γνώσεων RAG, φιλτράρει τα αποτελέσματα με την άδεια του χρήστη.

    7. Όταν η εφαρμογή του παράγοντα εκτελεί φιλτράρισμα RAG, χρησιμοποιεί μία από τις ακόλουθες μεθόδους:



      • FilterObjects—Με αυτή τη μέθοδο, η εφαρμογή του γραφήματος συλλέγει όλα τα σχετικά δεδομένα από το RAG και στη συνέχεια το φιλτράρει ανά άδεια χρήστη. Το πλεονέκτημα αυτής της λειτουργίας είναι ότι διατηρεί τον μηχανισμό πολιτικής χωρίς κατάσταση και δεν γνωρίζει τα δεδομένα RAG.
      • GetUserPermissions - Με αυτή τη μέθοδο, ο πράκτορας παρέχει στο RAG ένα μη δομημένο ερώτημα.
      • FilterObjects—Με αυτή τη μέθοδο, η εφαρμογή γραφικών συλλέγει όλα τα σχετικά δεδομένα από το RAG και στη συνέχεια τα φιλτράρει ανά άδεια χρήστη.FilterObjects
      • GetUserPermissions - Σε αυτή τη μέθοδο, ο πράκτορας παρέχει στο RAG ένα μη δομημένο ερώτημα. Το RAG καλεί στη συνέχεια τη συνάρτηση GetUserPermissions, προσθέτοντας ένα ερώτημα φίλτρου στο μη δομημένο ερώτημα RAG. Αυτό επιτρέπει στο ερώτημα να φιλτραριστεί μόνο στους πόρους στους οποίους μπορεί να έχει πρόσβαση ο χρήστης.
      • GetUserPermissionsGetUserPermissions


        Προστασία δεδομένων RAG με Langchain

        Προστασία δεδομένων RAG με Langchain

        Langchain, το διάσημο πλαίσιο εφαρμογών AI, είναι γνωστό (επίσης) για τα συστατικά του Retriever που παρέχουν μεγάλη υποστήριξη σε προσαρμοσμένα Retriever που μπορούν να συναρμολογηθούν με οποιοδήποτε είδος πηγής δεδομένων, καθιστώντας εύκολη την εφαρμογή ασφαλούς RAG. Για παράδειγμα, με το SelfQueryRetriever, μπορείτε να τυλίξετε το συνηθισμένο RAG με μια GetUserPermissions λειτουργία που θα επισυνάψει τα φιλτραρισμένα δεδομένα στο ερώτημα.SelfQueryRetrieverGetUserPermissions

         # 1. Δημιουργήστε μια μικρή ενσωμάτωση καταστήματος φορέων στη μνήμη = OpenAIEmbeddings() vectorstore = FAISS.from_documents(docs, embedding=embeddings) # 2. Ξεκινήστε το PermitSelfQueryRetriever retriever = PermitSelfQueryRetriever( api_key=os.getenv("PERMIT_API_KEY", ""), pdp_url=os.getenv("PERMIT_PDP_URL"), user=USER, resource_type=RESOURCE_TYPE, action=ACTION, llm=embeddings, vectorstore=vectorstore, enable_limit=False, 
        # 1. Build a small in-memory vector store
          embeddings = OpenAIEmbeddings()
          vectorstore = FAISS.from_documents(docs, embedding=embeddings)
        
        # 2. Initialize the PermitSelfQueryRetriever
        retriever = PermitSelfQueryRetriever(
            api_key=os.getenv("PERMIT_API_KEY", ""),
            pdp_url=os.getenv("PERMIT_PDP_URL"),
            user=USER,
            resource_type=RESOURCE_TYPE,
            action=ACTION,
            llm=embeddings,
            vectorstore=vectorstore,
            enable_limit=False,
        )
        


        The following repository contains the full implementation of the framework for Langchain: https://github.com/permitio/langchain-permit

        https://github.com/permitio/langchain-permit

        3. Ασφαλής εξωτερική πρόσβαση –

        3. Ασφαλής εξωτερική πρόσβαση –

        Οι πράκτορες τεχνητής νοημοσύνης συχνά αλληλεπιδρούν με εξωτερικά API, υπηρεσίες και εργαλεία αυτοματισμού. Χωρίς τον κατάλληλο έλεγχο πρόσβασης, διατρέχουν τον κίνδυνο να εκτελέσουν μη εξουσιοδοτημένες ενέργειες.


        • Using models like MCP, which defines a server-client model where AI agents interact with external services, is a great step in enabling security for AI external access (e.g., databases, APIs, payment systems).
        • The AI action infrastructure can use a service like Permit.io to perform authorization checks at the action level, checking who’s making a request and what action they want to perform.
        • Developers are able to assign machine identities to AI agents, limiting their capabilities to pre-approved functions only.
        Χρησιμοποιώντας μοντέλα όπως το MCP, το οποίο καθορίζει ένα μοντέλο διακομιστή-πελάτη όπου οι πράκτορες AI αλληλεπιδρούν με εξωτερικές υπηρεσίες, είναι ένα μεγάλο βήμα για την ενεργοποίηση της ασφάλειας για την εξωτερική πρόσβαση AI (π.χ. βάσεις δεδομένων, API, συστήματα πληρωμών).
      • The AI action infrastructure can use a service like Permit.io to perform authorization checks at the action level, checking who’s making a request and what action they want to perform.
      • Permit.ioΟι προγραμματιστές είναι σε θέση να εκχωρήσουν ταυτότητες μηχανών σε πράκτορες AI, περιορίζοντας τις δυνατότητές τους μόνο σε προκαθορισμένες λειτουργίες.


        Ενώ τα GPT και οι διεπαφές φυσικής γλώσσας δεν είναι καινούργια, το να τους επιτρέψουμε να εκτελούν ενέργειες για λογαριασμό των χρηστών είναι μια σχετικά νέα πρόκληση που πολλοί μηχανικοί αγωνίζονται με.


        1. Προστασία άμεσης πρόσβασης - το απλούστερο επίπεδο. Ένας χρήστης ζητά από έναν πράκτορα AI να εκτελέσει μια ενέργεια, όπως μια κλήση HTTP. Ο πράκτορας AI ξέρει να ελέγχει αν η ενέργεια επιτρέπεται, λαμβάνοντας υπόψη το τρέχον πλαίσιο και τον χρήστη.
        2. Επικοινωνία πράκτορα προς πράκτορα - σε αυτό το επόμενο επίπεδο, απαιτούμε μια κατακερματισμένη ροή ταυτότητας και αδειών που επιτρέπουν στους πράκτορες να εκτελούν ενέργειες με βάση την αρχή του λιγότερο προνομίου. Σε αυτό το επίπεδο, θα θέλαμε να χρησιμοποιήσουμε τη σχέση μεταξύ ταυτότητας - ανθρώπινης καιΈνας χρήστης ζητά από έναν πράκτορα AI να εκτελέσει μια ενέργεια, όπως μια κλήση HTTP. Ο πράκτορας AI ξέρει να ελέγχει αν η ενέργεια επιτρέπεται, λαμβάνοντας υπόψη το τρέχον πλαίσιο και τον χρήστη. Ασφάλεια άμεσης πρόσβασης
        3. Επικοινωνία από πράκτορα σε πράκτορα - σε αυτό το επόμενο επίπεδο, χρειαζόμαστε μια κατακερματισμένη ροή ταυτοτήτων και αδειών που επιτρέπουν στους πράκτορες να εκτελούν τις ίδιες τις ενέργειες με βάση την αρχή του ελάχιστου προνομίου.Επικοινωνία από πράκτορα σε πράκτορα
        4. Η ροή αιτήσεων πρόσβασης - το πιο συναρπαστικό επίπεδο εξωτερικής πρόσβασης είναι όταν ο πράκτορας AI κατανοεί την ανάγκη να ζητήσει πρόσβαση απευθείας από έναν ανθρώπινο χρήστη όταν θέλει να εκτελέσει μια λειτουργία.Διαδρομές αιτήσεων πρόσβασης


          MCP, Human-in-the-Loop και εξωτερική πρόσβαση

          MCP, Human-in-the-Loop και εξωτερική πρόσβασηΤο πρωτόκολλο Context Protocol είναι ένα νέο πρωτόκολλο που εισήχθη από την Anthropic, το οποίο λύνει το πρόβλημα του να επιτρέπεται στους πράκτορες της τεχνητής νοημοσύνης να εκτελούν προληπτικές ενέργειες και χρησιμεύει ως ο μεγαλύτερος βοηθός για την εξασφάλιση εξωτερικής πρόσβασης.


          Στο παρακάτω παράδειγμα, παρουσιάζουμε έναν διακομιστή MCP που ξέρει πώς να διαχειρίζεται τις ροές αιτήσεων πρόσβασης φέρνοντας ανθρώπους στον κύκλο και χρησιμοποιεί τα API του Permit.io για να ζητήσει δικαιώματα.



          You can see the full code example for the MCP access request server here: https://github.com/permitio/permit-mcp

          https://github.com/permitio/permit-mcp


          @mcp.tool() async def request_access(username: str, resource_name: str) -> dict: "" Αρχική πρόσβαση αίτηση κλήση σε ένα συγκεκριμένο πόρο στο σύστημα Args: username: Το όνομα χρήστη του προσώπου που ζητά πρόσβαση πόρο: Ο τύπος πόρου ο χρήστης ζητά πρόσβαση για resource_name: Το όνομα του εστιατορίου για να ζητήσει πρόσβαση για """ = wait permit.elements.login_as({ "userId": slugify(username), "tenant: "default"}) print(login): url = fapi://.permit.io/v2/facts/{PROJECT_ID}/{ENV_ID} /@mcp.tool()
          async def request_access(username: str, resource: str, resource_name: str) -> dict:
            """
            Initiate access request call to a specific resource in the system
          
            Args:
              username: The username of the person requesting access
              resource: The resource type the user is request access for
              resource_name: The name of the restaurant to request access for
          
            """
            
            login = await permit.elements.login_as({ "userId": slugify(username), "tenant": "default"})
            print(login)
            
            url = f"https://api.permit.io/v2/facts/{PROJECT_ID}/{ENV_ID}/access_requests/{ELEMENTS_CONFIG_ID}/user/{slugify(username)}/tenant/default"
            payload = {
                "access_request_details": {
                    "tenant": "default",
                    "resource": resource,
                    "resource_instance": resource_name['id'],
                    "role": "viewer",
                },
                "reason": f"User {username} requests role 'viewer' for {resource_name}"
            }
            headers = {
                "authorization": "Bearer YOUR_API_SECRET_KEY",
                "Content-Type": "application/json",
            }
            async with httpx.AsyncClient() as client:
                await client.post(url, json=payload, headers=headers)
                return "Your request has been sent. Please check back later."
          

          4. Επιβεβαιώστε τις απαντήσεις AI –

          4 Επιβεβαιώστε τις απαντήσεις AI –

          Η τελική περίμετρος επιβάλλει μετριοπάθεια περιεχομένου και συμμόρφωση στις απαντήσεις που παράγονται από την τεχνητή νοημοσύνη. Αυτό μπορεί να γίνει με τη δημιουργία μιας ροής εργασίας που εφαρμόζει φιλτράρισμα βάσει πολιτικής πριν από την παράδοση των εξόδων τεχνητής νοημοσύνης:


          • Ένας έλεγχος δικαιωμάτων μπορεί να προστεθεί στην εφαρμογή του πράκτορα, επιτρέποντας την επιβολή πολιτικής σε κάθε βήμα της αλυσίδας πριν ο χρήστης λάβει πραγματικά μια απάντηση.
          • Οι συνδυασμένες ροές εργασίας επικύρωσης δεδομένων και εξουσιοδότησης εξασφαλίζουν ότι μόνο επικυρωμένα και επιτρεπόμενα δεδομένα μπορούν να προχωρήσουν.
          • Η απάντηση που επιστρέφει στους χρήστες μπορεί να επεξεργαστείται με βάση προκαθορισμένους περιορισμούς, επιτρέποντας έτσι την απόκρυψη δεδομένων ή την ειδοποίηση του χρήστη για περιορισμούς χρήσης.
          Ένας έλεγχος δικαιωμάτων μπορεί να προστεθεί στην εφαρμογή του πράκτορα, επιτρέποντας την επιβολή πολιτικής σε κάθε βήμα της αλυσίδας πριν ο χρήστης λάβει πραγματικά μια απάντηση.
        5. Οι συνδυασμένες ροές εργασίας επικύρωσης δεδομένων και εξουσιοδότησης εξασφαλίζουν ότι μόνο επικυρωμένα και επιτρεπόμενα δεδομένα μπορούν να προχωρήσουν.Η απάντηση που επιστρέφει στους χρήστες μπορεί να επεξεργαστεί με βάση προκαθορισμένους περιορισμούς, επιτρέποντας έτσι την απόκρυψη δεδομένων ή την ειδοποίηση του χρήστη για περιορισμούς χρήσης.



          Φιλτράρισμα απόκρισης με Langflow

          Φιλτράρισμα απόκρισης με Langflow

          In the following example, we use Langflow, a visual no-code AI applications editor, to create a permissions check component that’s positioned before any chat response to the user. Using LangFlow's friendly flow modeling capabilities, you can easily append another component that masks unwanted details in returned responses. This repository contains all the access control components required for secured Langflow applications.

          This repository


          Συμπέρασμα

          Τα συστήματα τεχνητής νοημοσύνης ενσωματώνονται ταχέως σε εφαρμογές σε διάφορες βιομηχανίες, αλλά τα πλαίσια ασφαλείας τους παραμένουν υποανάπτυκτα σε σύγκριση με το παραδοσιακό λογισμικό.Χωρίς τον κατάλληλο έλεγχο πρόσβασης που συνειδητοποιεί την ταυτότητα, οι πράκτορες τεχνητής νοημοσύνης διατρέχουν τον κίνδυνο να εκθέσουν ευαίσθητα δεδομένα, να εκτελέσουν μη εξουσιοδοτημένες λειτουργίες και να παράγουν απαντήσεις που δεν εμπίπτουν στις κατευθυντήριες γραμμές συμμόρφωσης.



          Το Four-Perimeter Framework προσφέρει έναν δομημένο τρόπο για την εξασφάλιση των ροών εργασίας της τεχνητής νοημοσύνης σε κάθε στάδιο – από την επικύρωση των ειδοποιήσεων και την προστασία των δεδομένων RAG (recovery-augmented generation) έως τον έλεγχο των εξωτερικών ενεργειών που βασίζονται στην τεχνητή νοημοσύνη και την επιβολή της συμμόρφωσης με την αντίδραση.


          Instead of building access control from scratch, Permit.io’s AI Access Control integrations with PydanticAI, LangChain, MCP, and LangFlow allow teams to embed security directly into their AI applications—without disrupting development workflows. Try it yourself here.

          Try it yourself here


          Το πλαίσιο τεσσάρων περιφερειών είναι μια πειραματική προσέγγιση και παρόλο που παρέχει ένα ισχυρό θεμέλιο, αναγνωρίζω ότι οι πραγματικές εφαρμογές απαιτούν πάντα περαιτέρω βελτίωση και προσαρμογή.



          I’d love to hear your feedback, thoughts, and ideas on how to improve this framework to make it even better for production-ready AI systems - comment here, or hit me up in our Slack community.

          Slack community

    Trending Topics

    blockchaincryptocurrencyhackernoon-top-storyprogrammingsoftware-developmenttechnologystartuphackernoon-booksBitcoinbooks