Incrustación de texto explicada: cómo la IA entiende las palabras

Grandes modelos de lenguaje.

Debes haber escuchado estas palabras antes. Representan un tipo específico de algoritmo basado en aprendizaje automático que comprende y puede generar lenguaje, un campo a menudo llamado procesamiento de lenguaje natural o NLP.

Seguro que has oído hablar del modelo de lenguaje más conocido y potente: .

GPT-3, como lo describí en el video que lo cubre, es capaz de tomar lenguaje, entenderlo y generar lenguaje a cambio. Pero tenga cuidado aquí; realmente no lo entiende. De hecho, está lejos de comprender. GPT-3 y otros modelos basados en lenguaje simplemente usan lo que llamamos diccionarios de palabras para representarlas como números, recuerdan sus posiciones en la oración y eso es todo.

Profundicemos en esos poderosos modelos de aprendizaje automático e intentemos comprender lo que ven en lugar de palabras, llamadas incrustaciones de palabras, y cómo producirlas con un ejemplo proporcionado por Cohere.

Conoce más en el vídeo...

Referencias

►Lea el artículo completo: https://www.louisbouchard.ai/text-embedding/
►Tutorial de incrustaciones de palabras BERT: https://mccormickml.com/2019/05/14/BERT-word-embeddings-tutorial/#why-bert-embeddings
►Cohere's Notebook del ejemplo de código: https://colab.research.google.com/github/cohere-ai/notebooks/blob/main/notebooks/Basic_Semantic_Search.ipynb
►Cohere Repos enfocado en incrustaciones: https://github.com/cohere-ai/notebooks
►My Newsletter (¡Una nueva aplicación de IA explicada semanalmente en sus correos electrónicos!): https://www.louisbouchard.ai/newsletter/

Transcripción del vídeo

0:07

modelos de lenguaje que debes haber escuchado

0:10

estas palabras antes de que representen un

0:13

tipo específico de aprendizaje automático

0:14

algoritmos que entienden y pueden

0:16

generar lenguaje un campo a menudo llamado

0:19

procesamiento de lenguaje natural o NLP

0:22

seguro que has oído hablar de los más conocidos

0:24

y poderosos modelos de lenguaje como gpt3

0:26

gpt3 como lo he descrito en el video

0:28

cubriéndolo es capaz de tomar lenguaje

0:30

entenderlo y generar lenguaje en

0:33

regresa pero ten cuidado aqui no

0:35

realmente lo entiendo, de hecho, está lejos

0:38

de entender gbd3 y otros

0:41

los modelos basados en el lenguaje simplemente usan lo que

0:44

llamar diccionarios de palabras para representar

0:46

ellos como números recuerdan sus posiciones

0:49

en la oración y eso es todo usando un

0:52

pocos números y números posicionales

0:53

llamados incrustaciones que son capaces de

0:55

reagrupar oraciones similares que también

0:58

significa que son capaces de tipo de

1:00

entender frases comparándolas

1:02

a oraciones conocidas como nuestro conjunto de datos

1:05

es el mismo proceso para la oración de imagen

1:07

modelos que llevan tu frase a

1:10

generar una imagen que en realidad no

1:11

entenderlo pero pueden compararlo con

1:13

imágenes similares que producen algún tipo de

1:16

comprensión de los conceptos en su

1:18

frase en este video tendremos una

1:20

mira lo que hacen esas poderosas maquinas

1:22

modelos de aprendizaje ver en lugar de palabras

1:24

llamadas incrustaciones de palabras y cómo

1:27

producirlos con un ejemplo proporcionado por

1:29

el patrocinador de este video un gran

1:31

empresa en el campo de la PNL coherente que yo

1:35

hablare al final del video

1:36

ya que tienen una plataforma fantástica para

1:39

PNL hemos hablado de incrustaciones y

1:42

gpt3 pero cuál es el vínculo entre los dos

1:44

las emisiones son lo que ven los modelos

1:47

y cómo procesan las palabras que conocemos

1:50

y por qué usar incrustaciones bien porque como

1:53

de ahora las máquinas no pueden procesar palabras y

1:56

necesitamos números para entrenar a esos

1:59

modelos grandes gracias a nuestro cuidado

2:01

conjunto de datos construido podemos usar las matemáticas para

2:04

medir la distancia entre incrustaciones

2:06

y corregir nuestra red en base a esto

2:08

distancia obteniendo iterativamente nuestra

2:10

predicciones más cercanas al significado real

2:12

y mejorando los resultados y reuniones

2:15

son también lo que les gusta a las modelos clip

2:17

difusión estable o Dali solía

2:19

comprender oraciones y generar imágenes

2:21

esto se hace comparando ambas imágenes

2:24

y texto en el mismo espacio de incrustación

2:26

lo que significa que el modelo no

2:28

entender el texto o las imágenes, pero

2:31

puede entender si una imagen es similar a

2:33

un texto específico o no así si encontramos

2:36

suficientes pares de subtítulos de imagen que podemos entrenar

2:38

un modelo enorme y poderoso como Dalí para

2:41

tomar una oración incrustarla encontrar su

2:43

clon de imagen más cercano y generarlo en

2:46

regresar para que el aprendizaje automático con texto sea

2:48

todo sobre comparar incrustaciones, pero cómo

2:51

¿Conseguimos esas incrustaciones? Las conseguimos

2:53

usando otro modelo entrenado para encontrar el

2:56

la mejor manera de generar incrustaciones similares

2:58

para oraciones similares manteniendo el

3:01

diferencias en el significado de palabras similares

3:03

en comparación con el uso de uno por uno directo

3:06

diccionario las frases suelen ser

3:08

representado con marcas especiales de fichas

3:10

el principio y el final de nuestro texto entonces

3:13

como dije tenemos nuestras poses de todos

3:15

incrustaciones que indican la posición

3:17

de cada palabra en relación con los demás

3:19

a menudo usando funciones sinusoidales I

3:22

vinculó un gran artículo sobre esto en el

3:25

descripción si desea obtener más información

3:26

finalmente tenemos nuestras incrustaciones de palabras

3:29

empezar con todas nuestras palabras divididas

3:31

en una matriz como una tabla de palabras

3:34

a partir de ahora ya no hay palabras

3:36

son solo fichas o números de la

3:40

todo el diccionario de ingles se puede ver

3:42

aquí que todas las palabras ahora son

3:44

representado por un número que indica dónde

3:46

están en el diccionario teniendo así

3:49

el mismo número para la palabra banco incluso

3:51

aunque su significado es diferente en

3:53

la oración que tenemos ahora necesitamos agregar

3:56

un poco de inteligencia a eso pero

3:58

no demasiado esto se hace gracias a un

4:00

modelo entrenado para tomar esta nueva lista de

4:03

números y luego codificarlo en

4:05

otra lista de números que mejor

4:08

representar la frase por ejemplo it

4:10

ya no tendrá la misma incrustación

4:13

para el banco de dos palabras aquí esto es

4:15

posible porque el modelo solía hacer

4:17

que ha sido entrenado en un montón de

4:19

anotó datos de texto y aprendió a

4:21

codificar oraciones de significado similar junto a

4:24

entre sí y oraciones opuestas lejos

4:27

unos de otros permitiendo así que nuestros

4:29

incrustaciones para estar menos sesgados por nuestra

4:31

elección de palabras luego el simple inicial

4:34

uno por una palabra incrustando nosotros inicialmente

4:37

tenía esto es lo que parece el uso de imágenes

4:39

como en un ejemplo muy corto de PNL allí

4:42

hay más enlaces a continuación para obtener más información sobre

4:44

incrustaciones y cómo codificarlas tú mismo

4:46

aquí tomaremos algunas publicaciones de Hacker News

4:49

y construya una etiqueta de modelo para recuperar el

4:51

publicación más similar de una nueva entrada

4:53

oración para comenzar necesitamos un conjunto de datos en

4:56

este caso es un conjunto pre-incrustado de

4:58

3000 publicaciones de Hacker News que ya han

5:01

se ha emitido en números y luego construimos

5:04

un recuerdo guardando todas esas incrustaciones para

5:07

comparación futura básicamente solo

5:09

guardó estas incrustaciones en un eficiente

5:11

manera cuando se realiza una nueva consulta, por ejemplo

5:13

aqui preguntando cual es tu mas profundo

5:16

la vida dentro de ti puede generar su

5:18

incrustación usando la misma incrustación

5:20

Red por lo general es pájaro o una versión

5:23

de ella y comparamos la distancia

5:25

entre el espacio de incrustación a todos los demás

5:27

Publicaciones de Hacker News en nuestra nota de memoria

5:30

que es muy importante aquí para

5:32

utilice siempre la misma red, ya sea para

5:34

generar su conjunto de datos o para consultar

5:36

como dije no hay real

5:38

inteligencia aquí ni que en realidad

5:40

entiende las palabras que acaba de ser

5:42

entrenado para incrustar oraciones similares

5:45

cerca en el espacio sin tripulación nada

5:47

más si envías tu sentencia a un

5:50

red diferente para generar una

5:51

incrustación y comparar la incrustación con

5:53

las que tenías de otra Red

5:55

nada funcionará solo será como

5:58

la gente agradable que trata de hablar conmigo

5:59

en hebreo en eccv la semana pasada solo

6:02

no estaba en un espacio incrustado mi cerebro

6:04

pudo entender afortunadamente para nosotros nuestro

6:06

el cerebro puede aprender a transferir de una

6:08

incrustando espacio a otro como puedo con

6:11

Francés e inglés pero requiere mucho

6:13

de trabajo y práctica y es lo mismo

6:16

para máquinas de todos modos volviendo a nuestro

6:18

problema podríamos encontrar el más similar

6:21

publicaciones que son geniales, pero ¿cómo podría

6:23

logramos esto como mencioné es

6:25

por el nacimiento de la red en este

6:28

caso de que aprenda a crear similares

6:30

incrustaciones de oraciones similares podemos

6:32

incluso visualizarlo en dos dimensiones como

6:35

aquí donde se puede ver cómo dos similares

6:37

los puntos representan temas similares que usted

6:39

puede hacer muchas otras cosas una vez que tiene

6:41

esas incrustaciones como extraer

6:43

palabras clave realizando una búsqueda semántica

6:45

hacer análisis de sentimientos o incluso

6:47

generando imágenes como decíamos y

6:49

demostrado en videos anteriores tengo un

6:52

muchos videos que cubren esos y enumerados

6:55

unos cuantos cuadernos interesantes para aprender a

6:57

jugar con codificaciones gracias al cohere

6:59

equipo ahora déjame hablar un poco sobre

7:02

kohilu ya que son muy relevantes para

7:05

este video cook aquí proporciona una

7:07

todo lo que necesitas si estas trabajando

7:09

en el campo de la PNL incluyendo un super

7:11

forma sencilla de utilizar modelos incrustados en

7:14

su aplicación literalmente con solo un

7:16

Llamada API puede incrustar el texto sin

7:18

saber algo acerca de cómo la incrustación

7:21

los modelos funcionan, la API lo hace por usted en

7:23

el fondo aquí se puede ver el

7:25

cuaderno de búsqueda semántica que utiliza

7:27

cohere API para crear incrustaciones de un

7:30

archivo de preguntas y preguntas

7:32

consultas para luego realizar la búsqueda de

7:34

preguntas similares usando cook here you

7:37

puede hacer fácilmente cualquier cosa relacionada con el texto

7:39

generar categorizar y organizar en

7:42

casi cualquier escala que puedas integrar

7:44

grandes modelos de lenguaje entrenados en

7:46

miles de millones de palabras con unas pocas líneas de

7:48

código y funciona en cualquier biblioteca que

7:51

ni siquiera necesita habilidades de aprendizaje automático

7:53

para empezar tienen hasta aprendizaje

7:55

recursos como el reciente cohere para

7:57

el programa de colores de ai que me gusta mucho

8:00

este programa es increible

8:01

oportunidad para el talento emergente en PNL

8:04

investigar alrededor del mundo si es seleccionado

8:06

trabajarás junto a su equipo

8:08

y tener acceso a gran escala

8:10

marco experimental y coherencia

8:12

expertos, lo cual es genial, yo también

8:15

te invito a unirte a su gran Discord

8:17

Comunidad ingeniosamente llamada Co Unidad I

8:21

espero que hayas disfrutado este video y

8:23

intente cohesionarse usted mismo con el

8:25

primer enlace a continuación, estoy seguro de que lo hará

8:27

Benefíciese de ello muchas gracias por

8:29

viendo el video completo y gracias a

8:31

cualquiera que apoye mi trabajo dejando un

8:33

como comentar o probar nuestros patrocinadores

8:36

que selecciono cuidadosamente para estos videos