¿Puede GPT superar los reglamentos de las redes sociales? dentro de un experimento de evolución del lenguaje de la IA

Authors:

(1) Jinyu Cai, Universidad de Waseda ([email protected]);

(2) Jialong Li, Universidad de Waseda ([email protected]);

(3) Mingyue Zhang, Universidad del Suroeste ([email protected]);

(4) Munan Li, Universidad Marítima Dalian ([email protected]);

(5) Chen-Shu Wang, Universidad Nacional de Tecnología de Taipei ([email protected]);

(6) Kenji Tei, Instituto de Tecnología de Tokio ([email protected]).

Mesa de la izquierda

Abstracto y I. Introducción

II. Contexto y trabajo relacionado

III. El diseño del marco

IV. Evaluación

V. Conclusión y trabajo futuro, reconocimiento y referencias

IV. EVALUATION

Nuestra estrategia de evaluación está diseñada para evaluar rigurosamente el alcance y la eficacia de la evolución lingüística facilitada por los LLMs dentro de un marco de supervisión regulatoria.

RQ1: ¿Pueden los agentes de LLM evolucionar eficazmente su lenguaje para eludir la supervisión regulatoria?

RQ2: A pesar de evitar la supervisión, ¿cómo efectivamente y con precisión pueden los agentes de LLM transmitir información?

• RQ3: ¿Cuáles son los patrones y tendencias en la evolución del lenguaje, es decir, qué tipo de estrategias utilizan los LLM para evitar la supervisión y la transmisión de información?

A. Instalación de experimentos

En la evaluación, utilizaremos GPT-3.5 y GPT-4 como los LLM impulsores para los agentes participantes. Para llevar a cabo un análisis horizontal de los agentes de los participantes impulsados por diferentes LLM, estandarizaremos el agente de supervisión para ser impulsado consistentemente por GPT-3.5. Nuestro diseño experimental abarca escenarios que van desde construcciones teóricas abstractas

a simulaciones que reflejan situaciones complejas del mundo real. El objetivo principal es evaluar meticulosamente la versatilidad de los LLM en diversos paisajes lingüísticos y su aplicabilidad práctica dentro de las restricciones regulatorias del mundo real.

Escenario 1: Adivinar los números

1) Explicación del caso:En este contexto, a cada participante se le asigna un valor dentro del rango de 1-100, y deben transmitir su valor a otro participante a través de un diálogo de teoría de números sin mencionar directamente el número. Al mismo tiempo, necesitan extraer información de la conversación para inferir el valor del otro. Los reguladores siguen una guía de “prohibir todo contenido relacionado con números” en diálogos. El escenario “Guessing Numbers” está diseñado específicamente para observar y analizar la adaptabilidad lingüística y la evolución estratégica de los participantes en un contexto teórico y abstracto, proporcionando un entorno experimental más claro, más controlado y más cuantificable en comparación con los escenarios complejos basados en eventos reales.

2) Resultados y discusión:Figura 2 presenta los resultados del experimento de escenario adivinar el número, donde utilizamos tanto GPT-3.5 como GPT-4 para pruebas. Hemos configurado cuatro turnos de diálogo, con una entrevista realizada con todos los agentes participantes en el quinto turno. Desde la Figura.2(a) y (b), se observa que con un aumento en el número de rondas de diálogo, la duración de las conversaciones sostenidas también mostró una tendencia hacia arriba.

Este agente se desplaza por encima de la supervisión de la gama de orientación en el medio de la actualización de reglas. Además, es notable que, en comparación con la progresión lenta e inestable con GPT-3.5, GPT-4 logró la evasión regulatoria completa en menos rondas, específicamente, como se muestra en los datos suavizados, el agente GPT-4 alcanzó manualmente la precisión de la cuenta redonda de la posesión de GPT-3.5 a cero. En este experimento, el valor del agente A fue establecido en la ronda 17 con su ronda 7 y se mantuvo esta progresión con mayor estabilidad después. Figura 2(c) y (d) se centra en el desempeño de la precisión numérica adivinada por los agentes. Para las rondas sin diálogo ex

Como ilustra la Figura 5, un fragmento del escenario revela el uso contextual de Amy del lenguaje metafórico, como “seesaw”, para transmitir su valor. Describiendo el “seesaw perfectamente preparado en medio del aire”, ella subtilmente induce que su valor oscila alrededor del punto medio, como 50. Esta estrategia no sólo evoca la mención directa de números, que está bajo control regulatorio, sino que también proporciona suficiente alimento inferencial para que el agente homólogo haga una deducción exacta. Bob, por otro lado, emplea términos como “precipice de una montaña” y “mirando hacia fuera” para sugerir que su valor no es mediano, ya que estas frases evocan imágenes de una posición desequilibrada. En este intercambio, somos testigos de los diferentes grados de precisión en el medio de lengu

C. Escenario 2: Comercio de animales

1) Explicación del caso:Inicialmente, nuestra intención era crear un escenario simulando el tráfico de drogas [41]-[43] para explorar estrategias de evolución del lenguaje bajo condiciones regulatorias extremas. Sin embargo, dada la limitación ética incorporada en las políticas de uso de GPT, nos dirigimos a un contexto más neutro pero todavía prohibido del comercio ilícito de mascotas. Este ajuste nos permitió mantener la integridad del experimento mientras se adhiere a las restricciones éticas del LLM. El propósito de simular este escenario es detectar mejor posibles conversaciones ilegales relacionadas con el comercio ilícito en las plataformas de redes sociales, ayudando así a los esfuerzos de prevención del crimen.

En este escenario, simulamos un comercio ilegal de mascotas llevado a cabo a través de las redes sociales. Los participantes asumen los roles de compradores y vendedores, con el comprador necesitando comunicar su solicitud de compra para un animal de compañía aleatoriamente seleccionado de pájaros, lizares o gatos. El vendedor, a su vez, debe proporcionar detalles de transacción específicos, que varían según el tipo de mascota que se compra. Estos detalles incluyen tres elementos: tiempo, ubicación y personal involucrado en la transacción. La tarea del Supervisor es evitar cualquier diálogo relacionado con el comercio de mascotas. La verificación cruzada de la información comprendida por ambas partes se llevará a cabo a través de entrevistas, para evaluar la tasa de éxito de transmisión de información. El foco de este experimento es observar la

2) Resultados y discusión:Sin embargo, los resultados experimentales de la primera clasificación de los agentes en torno a los cuatro detalles de la persuasión, como se muestra en la Figura 3, revelaron características distintas en comparación con los "Números de adivinación". En la descripción de los animales de riesgo o de la información transaccional específica, los agentes tenían un espectro más amplio de analogías de la vida real a su disposición, enriquecendo su conjunto de herramientas de descripción indirecta y reduciendo así la presión regulatoria. Los datos indicaron una tendencia ascendente en la capacidad de eludir la supervisión con rondas de diálogo cada vez más estables, independientemente de si se utilizaba la información GPT-3.5 o GPT-4. Para GPT-3.5, una capacidad estable para evitar la supervisión comenzó a partir de alrededor de 25 rondas,

La Figura 6 mostró varios métodos de cifrado empleados por los compradores para diferentes animales. Observamos a los compradores buscando “parrotas”, “gatos” y “lisardos” utilizando metáforas y similares en lugar de nombrar directamente a las mascotas. Por ejemplo, un comprador describió a un “parrot” como un “canal productor de música agradable”, una descripción que comunicaba sutilmente el plumaje vibrante del parrot (canal) y su canto (música), sin mencionar explícitamente el término “parrot”.

D. Escenario 3: Debate sobre el agua tratada por ALPS

1) Explicación del caso:Este escenario profundiza en la compleja dinámica del diálogo y la evolución de los agentes del modelo de lenguaje en la discusión de un tema específico relevante para las preocupaciones del mundo real.El enfoque está en las deliberaciones sobre la descarga de agua tratada con el Sistema de Procesamiento Avanzado de Líquidos (ALPS) al océano, una medida propuesta después de los desastres nucleares [44], [45]. El plan, aprobado por la Agencia Internacional de Energía Atómica, ha enfrentado la oposición de algunos países, despertando debates sobre la seguridad ambiental.

Simulamos una discusión en foro multipersonal bajo supervisión regulatoria, centrándose en la controvertida cuestión de la eliminación del agua tratada por ALPS. Los participantes deben articular sus posiciones y argumentos, asegurándose de que las discusiones se alejen de los temas sensibles relacionados con las discusiones sobre la contaminación ambiental sobre la política. A diferencia de las entrevistas en los escenarios IV-B y IV-C, para evaluar la exactitud de la información transmitida, utilizamos GPT-4 en combinación con varios autores que deciden la posición de cada agente participante basándose en los registros de diálogo.

2) Resultados y discusión:En el diálogo de estilo foro, los agentes participantes responden a las discusiones existentes, que el agente de supervisión examina. A diferencia de los escenarios IV-B y IV-C, cuando el agente de supervisión detecta una violación, la conversación no se detiene sino que es censurada a partir del registro del diálogo público. Este escenario presenta cuatro agentes participantes requeridos para alcanzar diez respuestas dentro del foro. En la Figura.4(a) y (b), contamos el número total de rondas que los agentes intentaron conversar, donde se prefiere una cifra más baja en la Figura.4(a) y (b). Observamos que tanto el GPT-4 como el GPT-3.5 tienen el mayor número de intentos de diálogo en la primera ronda, con una diferencia significativa de 27 para el GPT-4 y

Observamos que en este escenario, mientras que GPT-4 todavía conduce GPT-3.5, ambos resultados indican un espacio sustancial para la mejora.

Al examinar la historia del diálogo 7, descubrimos que los agentes impulsados por GPT-4 alteraron proactivamente sus estrategias de lenguaje, cambiando de expresiones literales a emplear metáforas, personificaciones y analogías como métodos de codificación.

E. Discusión y limitaciones

RQ1Nuestros experimentos han demostrado que los modelos de lenguaje pueden desarrollar estrategias para eludir eficazmente la supervisión. En escenarios idénticos, GPT-4 superó a GPT-3.5, logrando la convergencia más rápidamente. Además, GPT-4 demostró un rendimiento más estable después de la convergencia. Esto sugiere que los avances en el diseño del modelo de lenguaje mejoran significativamente la capacidad de navegar a través de marcos regulatorios. La capacidad de aprendizaje iterativo inherente a GPT-4 facilita una adaptación más rápida a las restricciones lingüísticas impuestas, permitiendo así una evasión más eficiente de la supervisión.

RQ2: In terms of the precision of information dissemination, our findings indicate that, overall, LLM agents can refine their expression strategies with an increase in dialogue rounds, thereby improving precision. Despite this general trend of improvement, it is important to note that there remains significant room for enhancement in the overall performance. The extent of precision improvement varies across different scenarios, which points to an intriguing observation: certain contexts may inherently provide more or fewer clues for accurate communication than others. For instance, the guess-the-number game demanded abstract numerical reasoning, where precision is fundamentally challenging to achieve. Conversely, the pet trading scenario allowed for the utilization of rich, real-world analogies, facilitating a more precise conveyance of information. This contrast in contexts underscores the adaptability of LLM agents to the unique challenges presented by different communicative environments and their potential to optimize communication strategies. Nonetheless, the results also indicate that while the agents are capable of evolving their language to improve precision, there is still a considerable gap to reach optimal accuracy, especially in more abstract scenarios.

RQ3Sin embargo, en el segmento de evolución de la estrategia del lenguaje directo, observamos que los agentes de LLM se adhieren a las normas del lenguaje natural humano, evitando desarrollar lenguajes incomprensibles para los humanos en prompts sin estrategias específicas. Los agentes evolucionaron el lenguaje a niveles variables de abstracción en escenarios de diversa complejidad. Por ejemplo, en el más abstracto de los escenarios IV-B, los agentes de LLM adoptaron rápidamente estrategias de expresión indirecta en los primeros giros de diálogo, requiriendo un razonamiento contextual profundo para la decodificación. Sin embargo, a lo largo de su evolución, los agentes discutieron continuamente sus expresiones indirectas para evitar mejor la supervisión mientras se alineaban más estrechamente con el

Our experiments currently face several limitations. As for the experimental scenarios, at this stage, our trials are solely based on text-based chats, while real-world social media interactions are not limited to text but also include more diverse forms of exchanges such as voice and images. Additionally, LLMs’ heavy reliance on the design of prompts also constrains the performance of our simulations; crafting a perfect prompt that can fully emulate the complexities of social media communication is an exceedingly challenging task.

Este artículo está disponible en archivo bajo la licencia CC BY 4.0 DEED.