Il tuo chatbot non legge le parole, conta i token

La tokenizzazione è il gateway attraverso cui il testo grezzo si trasforma in un formato utilizzabile da modelli linguistici di grandi dimensioni (LLM) come GPT. Agisce come ponte tra il contenuto leggibile dall'uomo e i dati numerici che i modelli elaborano. Prima che un modello possa comprendere o generare testo coerente, deve suddividere l'input in unità più piccole chiamate token .

Nelle architetture GPT, la tokenizzazione è fondamentale per le prestazioni e le capacità del modello, influenzando l'efficienza, l'utilizzo della finestra di contesto e la qualità dell'output. La tokenizzazione è il processo di suddivisione del testo in unità più piccole chiamate token, che possono rappresentare parole, sotto-parole, caratteri o persino simboli speciali. Questi token sono i blocchi di base che il modello elabora. Il modo in cui il testo viene tokenizzato ha un impatto diretto sull'efficienza con cui il modello può gestire i dati, sulla quantità di informazioni che rientrano nella sua finestra di contesto e sulla qualità delle risposte che genera.

La finestra di contesto è il numero massimo di token che il modello può elaborare in una singola operazione, inclusi sia l'input che l'output generato. Ad esempio, un modello con una finestra di contesto da 32.000 token deve contenere tutto, il testo di input, le istruzioni di sistema e la risposta del modello, entro questo limite. Una tokenizzazione efficiente riduce il numero di token necessari per rappresentare un dato testo, consentendo di includere più contenuti o ottenere output più lunghi e più ricchi senza superare il limite. Una tokenizzazione scadente, d'altro canto, può aumentare inutilmente i conteggi dei token, sprecando spazio prezioso nella finestra di contesto e limitando l'usabilità del modello per attività più lunghe.

Una volta tokenizzato il testo, ogni token viene convertito in un embedding numerico , una rappresentazione matematica in uno spazio ad alta dimensione (spesso centinaia o migliaia di dimensioni). Questo embedding cattura il significato e le relazioni del token nel contesto dell'intero vocabolario. Ad esempio, i token per parole simili come "run" e "running" saranno posizionati più vicino in questo spazio rispetto a token non correlati come "run" e "table". Questi embedding consentono al modello di comprendere la sequenza di token e di prevedere il token successivo più probabile durante la generazione del testo. Questo processo è ciò che consente a GPT di produrre output coerenti e contestualmente rilevanti, sia che si tratti di rispondere a una query, completare una frase o generare contenuti creativi.

In sostanza, la tokenizzazione non è solo una fase di pre-elaborazione: è un elemento fondamentale affinché i modelli GPT funzionino in modo efficiente e forniscano risultati di alta qualità.

Come funziona la tokenizzazione

La tokenizzazione non è un processo valido per tutti; varia a seconda di regole predefinite o algoritmi progettati per suddividere il testo in unità gestibili chiamate token.

Ecco uno sguardo più approfondito al suo funzionamento:

Scissione

Ciò comporta la suddivisione del testo in unità più piccole come parole, sotto-parole o caratteri. Gli LLM moderni spesso si basano sulla tokenizzazione delle sotto-parole perché offre un equilibrio tra efficienza e robustezza. Questo equilibrio si verifica perché la tokenizzazione delle sotto-parole può gestire parole rare o sconosciute suddividendole in componenti più piccole e più comuni, pur continuando a codificare le parole frequenti come token singoli.

Esempio :
Considera la parola unhappiness . Utilizzando la tokenizzazione delle sottoparole, potrebbe essere suddivisa in:

• un , happi e ness .

Questo approccio garantisce:

• Efficienza : componenti comuni come un e ness vengono riutilizzati in parole diverse, riducendo la dimensione del vocabolario.
• Robustezza : parole rare come unhappiness possono comunque essere elaborate suddividendole in sottocomponenti note, evitando così problemi di vocabolario indesiderato.

In termini pratici, ciò consente ai modelli di generalizzare meglio tra diversi input di testo senza appesantire eccessivamente il vocabolario.

Codifica

La codifica assegna un intero univoco a ciascun token in base a un vocabolario predefinito, una raccolta di tutti i possibili token che un modello riconosce. Nel contesto di GPT e modelli simili, il vocabolario viene creato durante l'addestramento e rappresenta l'insieme di sotto-parole (o caratteri) che il modello utilizza per comprendere e generare testo.

Ad esempio, in GPT:

• La parola hello potrebbe essere un singolo token con una rappresentazione intera come 1356 .
• Un termine raro come micropaleontology potrebbe essere suddiviso in sotto-parole come micro , paleo e ntology , ciascuna con il proprio numero intero.

Per ChatGPT, questo significa che quando un utente inserisce del testo, il tokenizzatore mappa la stringa di input in una sequenza di numeri interi in base al vocabolario del modello. Questa sequenza viene quindi elaborata dalla rete neurale. La dimensione del vocabolario influisce sull'utilizzo della memoria del modello e sull'efficienza computazionale, raggiungendo un equilibrio tra la gestione di costrutti linguistici complessi e il mantenimento delle prestazioni del sistema.

Decodifica

La decodifica è il processo inverso: convertire una sequenza di token interi in testo leggibile dall'uomo. Per la tokenizzazione delle sottoparole, ciò comporta il riassemblaggio delle sottoparole in parole complete, ove possibile.

Come funziona :

1. Il modello genera una sequenza di numeri interi (token) durante l'output.
2. Il decodificatore cerca ogni numero intero nel vocabolario e recupera la sottoparola o il carattere corrispondente.
3. Le sottoparole vengono concatenate per formare parole, applicando delle regole per garantirne la coerenza (ad esempio, rimuovendo gli spazi non necessari attorno alle sottoparole).

Esempio :
Supponiamo che il modello generi i token per un , happi e ness . La decodifica ricostruisce questo in unhappiness concatenando le sotto-parole. La corretta gestione degli spazi assicura che un non venga trattato come una parola separata.

Questo sistema consente ai modelli basati sulle sotto-parole di generare testo in modo efficiente, mantenendo al contempo la capacità di rappresentare correttamente termini rari o complessi.

Perché dovrei interessarmi come sviluppatore?

Mentre l'API ChatGPT gestisce automaticamente la tokenizzazione, gli sviluppatori utilizzano direttamente tiktoken per ottenere un controllo più preciso sulle loro applicazioni. Consente di controllare in anticipo e gestire i limiti dei token , assicurando che il testo di input e le risposte rientrino nei vincoli del modello. Ciò è particolarmente importante per evitare errori quando si lavora con lunghe conversazioni o documenti. Inoltre, gli sviluppatori possono ottimizzare l'utilizzo dei token per ridurre i costi dell'API tagliando o riassumendo gli input.

tiktoken aiuta anche nel debug dei problemi di tokenizzazione , fornendo trasparenza su come il testo viene tokenizzato e decodificato. Per gestire input lunghi , tiktoken può dividere il testo in blocchi più piccoli, consentendo l'elaborazione di documenti di grandi dimensioni in parti. Infine, per casi di utilizzo avanzati, come l'incorporamento o le manipolazioni a livello di token, tiktoken garantisce un controllo preciso su come i token vengono generati ed elaborati.

 import openai import tiktoken openai.api_key = "your-api-key" # Initialize tokenizer for GPT-4 encoding = tiktoken.get_encoding("cl100k_base") # Function to count tokens def count_tokens(text): return len(encoding.encode(text)) # Example input user_input = "Explain the theory of relativity in detail with examples." conversation_history = [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "What is the theory of relativity?"} ] # Combine inputs for token counting conversation_text = "".join([msg["content"] for msg in conversation_history]) + user_input # Pre-check input token limit (Use Case 1) token_limit = 4096 if count_tokens(conversation_text) > token_limit: print("Trimming conversation to fit within token limit.") conversation_history = conversation_history[1:] # Trim oldest message # Optimize input by summarizing if too long (Use Case 2) def summarize_if_needed(text, max_tokens=500): if count_tokens(text) > max_tokens: print("Input too long, summarizing...") response = openai.ChatCompletion.create( model="gpt-3.5-turbo", messages=[ {"role": "system", "content": "Summarize the following text."}, {"role": "user", "content": text} ], max_tokens=200 ) return response.choices[0].message["content"] return text long_text = "A very long text input that exceeds the desired token limit ... (more text)" optimized_text = summarize_if_needed(long_text, max_tokens=500) # Debug tokenization (Use Case 3) tokens = encoding.encode("OpenAI's ChatGPT is amazing!") print("Tokenized:", tokens) for token in tokens: print(f"Token ID: {token}, Token: '{encoding.decode([token])}'") # Handle long documents by splitting into chunks (Use Case 4) def split_into_chunks(text, chunk_size): tokens = encoding.encode(text) for i in range(0, len(tokens), chunk_size): yield encoding.decode(tokens[i:i + chunk_size]) document = "A very long document... (more text)" chunks = list(split_into_chunks(document, chunk_size=1000)) # Process each chunk separately responses = [] for chunk in chunks: response = openai.ChatCompletion.create( model="gpt-3.5-turbo", messages=[{"role": "user", "content": chunk}], max_tokens=300 ) responses.append(response.choices[0].message["content"]) full_response = " ".join(responses) # Advanced token manipulation (Use Case 5) custom_text = "Analyze the sentiment of this text." tokens = encoding.encode(custom_text) response = openai.ChatCompletion.create( model="gpt-3.5-turbo", messages=[{"role": "user", "content": encoding.decode(tokens)}], max_tokens=100 ) print("Final Response:", response.choices[0].message["content"])

Punti salienti nel codice:

1. Il controllo preventivo dei limiti dei token garantisce che l'input rientri nei vincoli del modello, evitando troncamenti o errori.
2. La sintesi degli input riduce l'utilizzo dei token quando si lavora con testi lunghi.
3. Il debug della tokenizzazione fornisce trasparenza sul modo in cui i token vengono codificati e decodificati.
4. Suddividere i documenti lunghi in blocchi gestibili consente di elaborare input di grandi dimensioni in modo efficiente.
5. La manipolazione avanzata dei token dimostra un controllo preciso sugli input tokenizzati.

Questo approccio garantisce sia prestazioni ottimali che efficienza dei costi quando si sviluppa sull'API ChatGPT.

3. Esplorazione tiktoken : Tokenizer di GPT

La libreria tiktoken di OpenAI è progettata per tokenizzare in modo efficiente e comprendere i vincoli dei modelli GPT. Esploriamo come funziona:

Esempio di utilizzo

Ecco un esempio Python di come tokenizzare il testo usando tiktoken . Mi piace usare https://colab.research.google.com/ per eseguire i miei notebook Python.

 import tiktoken # Choose a model-specific tokenizer encoding = tiktoken.get_encoding("o200k_base") # Input text text = "Tokenization is crucial for GPT models." # Tokenize text tokens = encoding.encode(text) print("Tokens:", tokens) # Decode back to text decoded_text = encoding.decode(tokens) print("Decoded Text:", decoded_text)

Produzione

 Tokens: [4421, 2860, 382, 19008, 395, 174803, 7015, 13] Decoded Text: Tokenization is crucial for GPT models.

4. Leve degli sviluppatori per la tokenizzazione nelle API ChatGPT

Quando si utilizzano le API ChatGPT, comprendere la tokenizzazione aiuta a ottimizzare:

1. Efficienza di input :
   • Mantieni gli input concisi. Ogni token costa potenza di elaborazione e ha un impatto sul limite del token (ad esempio, 8k per GPT-3.5, 32k per GPT-4).
   • Riutilizzare il contesto in modo efficace conservando solo le informazioni essenziali.
2. Selezione del modello :
   • Diversi modelli GPT hanno comportamenti di tokenizzazione diversi. I modelli con finestre di contesto più grandi consentono un input più ampio ma comportano costi più elevati.
3. Strutturazione rapida :
   • Sperimenta formattazione e fraseggio per ridurre al minimo i token non necessari. Ridurre la verbosità può massimizzare il budget dei token senza perdere significato.
4. Ottimizzazione e manipolazione dei token :
   • Utilizzare operazioni a livello di token come padding e troncamento per garantire input uniformi in tutte le applicazioni.

5. Esempio di implementazione in Python

Ecco un esempio pratico per calcolare l'utilizzo del token quando si interroga l'API ChatGPT:

 import tiktoken import openai def calculate_tokens(api_input, model="gpt-3.5-turbo"): encoding = tiktoken.encoding_for_model(model) tokens = encoding.encode(api_input) return len(tokens) # Example API call with token usage calculation api_input = "Explain the significance of tokenization in LLMs." model = "gpt-4" token_count = calculate_tokens(api_input, model) print(f"Token count for input: {token_count}") response = openai.ChatCompletion.create( model=model, messages=[{"role": "user", "content": api_input}] ) print("API Response:", response['choices'][0]['message']['content'])

Questo codice aiuta a monitorare l'utilizzo del token, il che è fondamentale per l'ottimizzazione dei costi e delle prestazioni.

6. Conclusioni

La comprensione della tokenizzazione è essenziale per gli ingegneri che creano applicazioni AI perché ha un impatto diretto sul modo in cui i dati testuali vengono elaborati dai modelli linguistici. La tokenizzazione implica la suddivisione del testo grezzo in unità più piccole e significative, come parole, sotto-parole o caratteri, che sono gli input di base per questi modelli. Questo processo consente agli sviluppatori di gestire con precisione le dimensioni degli input, ottimizzare i costi riducendo l'utilizzo non necessario di token e migliorare le prestazioni del modello assicurando che il testo sia segmentato in modo da mantenere il significato contestuale. Inoltre, l'incorporazione della tokenizzazione direttamente nel codice lato client può semplificare le operazioni riducendo il sovraccarico e la latenza della trasmissione dei dati, consentendo una memorizzazione nella cache più efficiente e una pre-elaborazione più rapida. Padroneggiando la tokenizzazione, gli ingegneri possono creare sistemi AI che siano sia robusti che convenienti, migliorando in definitiva la reattività e la scalabilità delle loro applicazioni.