Producto 'largoplacista' y el peligro que puede traer

No hay garantías de que el futuro tenga los mismos valores que nosotros, entonces, ¿qué derecho tenemos para codificar los nuestros sobre ellos?

En la película Tenet de Christopher Nolan, el futuro está en guerra con el pasado “porque los océanos crecieron y los ríos se secaron”.

Gracias al catastrófico cambio climático, nuestros descendientes no tenían camino por recorrer y su única esperanza era labrarse un futuro orquestando un genocidio en nuestro pasado.

Como explica el protagonista de la película, Neil:

“Cada generación busca su propia supervivencia”.

Es difícil ver una película como Tenet y no contemplar las consecuencias a largo plazo de nuestras acciones: ¿cómo nos juzgará el futuro?

Al trabajar en producto, tendemos a abordar la mayoría de las oportunidades con buenas intenciones. Queremos identificar y resolver problemas valiosos, llevar una vida cómoda y dejar esta roca giratoria en un lugar mejor que cuando nos unimos a ella.

A veces, sin embargo, cuando se planifican buenos resultados a largo plazo, el universo tiene formas de recordarnos lo cortos que podemos ser.

Me pregunto, por ejemplo, si el equipo de productos de Facebook tuvo alguna noche de insomnio después de descubrir cómo Cambridge Analytica secuestró su Open Graph para influir en los resultados de las elecciones presidenciales de EE. UU. de 2016.

O cuando sus investigadores se dieron cuenta de que el 64% de las veces una persona se une a un grupo extremista, lo hace porque Facebook lo recomendó.

¿Qué haces cuando te enteras de que tu producto promueve la insurrección social?

¿O cuando su algoritmo les da a las mujeres un límite de crédito más bajo?

¿O cuando su máquina de juego está armada para crear una amenaza a la seguridad nacional?

Intente, por un minuto, imaginar a la peor persona tomando el control del trabajo de su vida. ¿Cómo podrían cooptarlo para algún fin nefasto? ¿Qué hábitos de pensamiento y atención podrían cultivar?

Es desafiante mirar nuestro mundo políticamente fragmentado de opiniones polarizadas y creencias subjetivas y no querer hacer algo. Dada la oportunidad, es tentador trabajar hacia enfoques decisivos para hacer frente a los problemas epidemiológicos, climatológicos y políticos del mundo. Si tan solo todos pudieran escuchar nuestros sabios pensamientos.

“La herejía de una era se convierte en la ortodoxia de la siguiente” – Helen Keller

El riesgo de infligir tejido cicatricial social no intencional a través de prejuicios, mal uso y agenda política a través de nuestro trabajo nos invita a cuestionar la responsabilidad moral de los equipos de productos para limitar el daño de las cosas que construimos.

Nuestra reacción es comenzar a construir cosas para evitar futuros abusos. Empezamos a pensar en cómo medir los eventos de uso indebido. ¿Qué sistemas de alerta temprana podríamos implementar? ¿Qué limitaciones podríamos imponer?

Aunque creo que tales experimentos mentales son válidos, como explora este artículo, corremos el riesgo de hacer más daño al tratar de imponer el bien a largo plazo.

Todos corremos el riesgo de lo que Evgeny Morozov denominó en 2013 ' solucionismo tecnológico '. La gente de productos tiende a suponer, en lugar de investigar abiertamente, los problemas que nos propusimos abordar; llegar a soluciones antes de que se hayan formulado todas las preguntas.

Para marcar el comienzo de un paradigma tecnológico más maduro, debemos comenzar a ver los productos no solo como soluciones, sino como instrumentos que nos enseñan cómo ver el mundo de manera más completa.

Todos estamos obligados (usuarios de tecnología, críticos y equipos de productos) a preguntar "qué pasaría si" y "por qué no" sobre la posibilidad de tecnologías diseñadas para respaldar un espíritu de cuestionamiento a largo plazo. Hasta que lo hagamos, la persona más arriesgada en el control de nuestro trabajo siempre seremos nosotros .

El futuro está en guerra con el presente

La idea de tratar de orquestar las cosas para crear un mundo mejor es un deseo humano bien entendido. No importa si nos postulamos para un cargo político, diseñamos un sistema de puntaje crediticio más justo, administramos una organización benéfica o simplemente somos un viejo dictador. Nuestros motivos son los mismos: todos creemos en construir cosas que nos sobrevivan y que guiarán a la humanidad hacia un futuro mejor. Dicho de otra manera; estamos practicando una forma de largoplacismo.

El largoplacismo es una postura altruista de que deberíamos dar prioridad a mejorar la vida de las personas en el futuro sobre nosotros mismos.

“Las personas del futuro importan moralmente tanto como las personas vivas hoy; (…) bien puede haber más gente viva en el futuro de la que hay en el presente o ha habido en el pasado; y (…) podemos influir positivamente en la vida de las personas del futuro” , resume la periodista de Vox Sigal Samuel.

El largoplacismo argumenta que nuestro objetivo por encima de todo es elevar el cumplimiento del potencial de la humanidad.

En una frase: las personas existen por el bien de maximizar el valor, en lugar de que el valor exista por el bien de beneficiar a las personas.

Los a largo plazo llevan esta cosmovisión moral al extremo al invitarnos a imaginar el impacto que nuestras acciones tienen en el futuro a muy largo plazo del universo: miles, millones, miles de millones e incluso billones de años a partir de ahora.

El problema es que bajo esta ideología, incluso una catástrofe climática que reduzca la población humana en un 75 por ciento durante los próximos dos milenios, en el gran esquema de las cosas, no será más que un pequeño problema, el equivalente a un 90 años. viejo golpeándose el dedo del pie.

Por ejemplo, el cambio climático bajo esta ideología está justificado siempre y cuando permita que una pequeña parte de la humanidad avance y proponga en algún momento en el futuro.

Es fácil ver esto y decir: "No pienso así", pero si trabajas en un producto, probablemente lo hayas hecho. De hecho, la correlación entre el largo plazo y la planificación para el éxito del producto es aterradoramente estrecha.

Los ingresos, la retención o la referencia son objetivos típicos a largo plazo para la mayoría de los productos, que afectan profundamente la forma en que los mercados, el espíritu empresarial y nuestra cultura de inicio priorizan el trabajo. Claro que tales principios ayudan a desarrollar la mayoría de las innovaciones, pero estas soluciones también son las más vulnerables a los riesgos y daños sociales no intencionales.

Un modelo mental de producto típico como el principio de Pareto **(Regla 80/20)**funciona de manera similar al Longtermism en el sentido de que nos obliga a considerar un objetivo a largo plazo como los ingresos, luego priorizar el 80% de las ventas, que pueden provenir de solo 20 % de sus usuarios. El argumento es ignorar el 20% que son difíciles, porque requerirán el 80% del esfuerzo.

Imagínese si otros sectores adoptaran el mismo reduccionismo:

• Si los cafés se trataran solo de la entrega eficiente de calorías.

  
  

• Si los hoteles se centraran únicamente en su número de camas por metro cuadrado.

  
  

• Si el cuidado de la salud se tratara únicamente de la longevidad.

En ninguna parte es esto más peligroso que en los servicios que utilizan IA o sistemas basados en reglas para influir en el comportamiento del usuario.

Cuando construimos soluciones que corrigen las injusticias por el bien de la humanidad, tenemos dos opciones: hacer cumplir lo que creemos que es justo hoy o confiar en las personas para que tomen mejores decisiones en el futuro.

En definitiva, nuestra pregunta debería ser: ¿qué oportunidades perdemos al ignorar ese otro 80%?

Hacer que otros hagan lo correcto

Suponga que su objetivo es reducir el sesgo y la discriminación a largo plazo de sus servicios. Es razonable comenzar acordando cómo se ve la discriminación, qué segmentos demográficos usar (p. ej., raza, edad o género) y cómo medirla y corregirla.

Nos sentimos atraídos a desarrollar soluciones basadas en nuestras suposiciones dominantes, pero en ausencia de eso, hacemos lo siguiente peor: tratar de descifrar la 'verdad' de un problema buscando su promedio mítico.

Probablemente puedas adivinar por qué esto es tan difícil de lograr. Incluso ponerse de acuerdo sobre qué medidas corregir requiere un grupo homogéneo considerable dentro de un entorno estéril, limpio y estático. Esa no es la realidad para nadie, pero ciertamente no es la realidad si usted es un caso atípico o una pequeña minoría.

El riesgo es que al tratar de consagrar la equidad en los servicios, siempre corremos el riesgo de imponer nuevos sesgos a las personas en el futuro al hacerles ver el mundo como lo vemos hoy. Nuestras herramientas nos imponen reglas como si todas las personas fueran iguales y el contexto no cambiaría.

Incluso si acordamos con éxito alguna cuantificación imparcial, nuestra representación de cómo son las cosas no es mejor que medir una duna de arena en un día ventoso. Podrías estar en un desierto durante MIL MILLONES DE AÑOS esforzándote al máximo para obtener las medidas y precisar exactamente qué es esa duna de arena y TODAVÍA fallar, sin que sea tu culpa. Esa duna de arena, como una sociedad, es un proceso, no algo estático que podamos cuantificar.

“Ningún hombre (persona) se mete dos veces en el mismo río, porque no es el mismo río y él no es el mismo hombre”. — Heráclito

También hay cosas más amplias a considerar. Si todos nuestros sistemas, por ejemplo, requieren que los individuos sean fácilmente clasificables, ¿podría eso en sí mismo inhibir el progreso social? Cuando se cuantifica su género, etnia o edad, ¿cómo podrían verse afectados los movimientos de inclusión como la integración cultural, la transición de género o la autoidentificación? ¿Podría reforzar la asociación de identidad malsana o incluso fomentar la elaboración de perfiles sociales y raciales?

Nuestro problema es que al tratar de arreglar las cosas, comenzamos a ver a la sociedad en términos de redes de daño.

Por lo tanto, se vuelve más fácil ver soluciones a todos nuestros problemas en términos de redes de datos, cobertura de vigilancia e interacciones entre personas y dispositivos distribuidos que deben ser regulados.

Muchos sistemas de IA incorporados en instituciones, agencias gubernamentales y corporaciones son modelos de caja negra. Se basan cada vez más en clasificaciones hiperparamatizadas tan complejas del mundo que será cada vez más difícil saber cómo esas soluciones llegan a una decisión, predicción o recomendación en particular.

El algoritmo de perfiles de empleo de Austria, por ejemplo, fue diseñado para "servir a un número creciente de solicitantes de empleo con un presupuesto estancado" utilizando un algoritmo para predecir las perspectivas de empleo de un solicitante de empleo en función de factores como el género, el grupo de edad, la ciudadanía, la salud, la ocupación y el trabajo. experiencia.

El objetivo del bot de empleo de Austria era optimizar el gasto público apoyando a las personas con perspectivas de empleo moderadas y reduciendo el apoyo a aquellos con perspectivas de empleo bajas o altas (el razonamiento es que dicho apoyo tendría un efecto insignificante en sus posibilidades de contratación).

Lamentablemente, fueron los académicos y los grupos de la sociedad civil, al final, quienes identificaron cómo este algoritmo laboral se volvió injustamente discriminatorio hacia las mujeres mayores de 30 años, las mujeres con obligaciones de cuidado de niños, las migrantes o las personas con discapacidad. Resultó que el modelo estaba amplificando la discriminación racial y étnica demostrada por los empleadores en algunas partes del país.

La lección aquí es que a pesar de todas sus habilidades superiores, estos sistemas no han evitado los tipos de patrones a los que los humanos son propensos.

Debido a que muchas decisiones algorítmicas se basan en datos históricos, como préstamos aprobados en el pasado o delitos que han estado sujetos a sentencias severas, tienden a reforzar los sesgos históricos, un problema que el periodista Cade Metz compara con “los niños que adquieren malos hábitos de sus hijos”. padres."

El resultado, argumentaría la filósofa francesa Simone Weil, es una sociedad que funciona “sin que un solo ser humano comprenda nada de lo que estaba haciendo”.

Nuestras opiniones históricas corren el riesgo de convertirse en fantasmas en la máquina que acechará a las generaciones venideras.

Cuando se emplean estrategias a largo plazo de productos para el bien de la sociedad, quizás la creación de soluciones basadas en la clasificación binaria y las correcciones no sea el camino a seguir. En cambio, debemos esforzarnos por nunca resolver un problema a largo plazo sin primero construir plataformas que nos ayuden a comprender sus matices y complejidad.

En otras palabras: crear productos que proporcionen una conciencia expansiva.

El consentimiento informado debe ser nuestro objetivo a largo plazo

Incluso si creamos con éxito algoritmos que animen a los usuarios a actuar de la manera que consideremos "correcta", el problema es que no significa necesariamente que las personas estén reflexionando sobre los problemas que provocaron tales "correcciones" en primer lugar. En cambio, deberíamos hacer más para informar a los usuarios sobre los sesgos a los que están expuestos.

Por ejemplo, en 2015, un estudio de la Universidad de Washington criticó a Google por la elaboración de perfiles, la sexualización y la subrepresentación de las mujeres en sus resultados de búsqueda de imágenes para consultas como "director ejecutivo" o "trabajador de la construcción". Dudo que los equipos de productos de Google pretendieran tal resultado. Lo más probable es que esto refleje los peligros de codificar datos de clics históricos con la esperanza de que los usuarios encuentren resultados relevantes.

Sin embargo, gracias al objetivo a largo plazo de Google de aumentar la participación de los visitantes, han ayudado inconscientemente a imponer estereotipos de género históricos en las generaciones futuras.

Ahora, Google ha intentado corregir esto desde entonces, pero desafortunadamente, sus objetivos a largo plazo no parecen haber cambiado.

Sarah McQuate de la Universidad de Washington notó recientemente que un simple cambio de palabra clave de 'CEO' a 'CEO estados unidos' resurgió los mismos problemas de género. Sin mencionar la falta de representación demográfica: no todos los directores ejecutivos son blancos, jóvenes, tienen cortes de pelo lisos y usan trajes.

Casi siete años desde ese estudio inicial, sugeriría que corregir por la fuerza el sesgo de género para búsquedas específicas no ha ayudado a progresar el sesgo inconsciente de la población en general. Más preocupante es cuánto tiempo se tarda en volver a plantear estas preocupaciones.

El candidato a doctorado Peter Polack de UCLA resume mejor el problema aquí:

Que "al incorporar correcciones humanas en los sistemas computacionales y luego diseñarlos para que respondan dinámicamente al entorno, corremos el riesgo de automatizar discusiones éticas tan extrañas como la equidad y la representación".

En otras palabras, las correcciones impuestas crearon una falsa sensación de seguridad, lo que llevó al estancamiento.

La creación de productos y servicios no debe ser solo un esfuerzo enfocado de migrar a los usuarios del problema a la solución; pero también herramientas de percepción e introspección. En lugar de imponer un comportamiento de usuario correcto, Google debería haberse centrado en crear conciencia.

Cada vez que un usuario busca, los usuarios deben entender por qué están viendo lo que están viendo, cómo puede desviarse de un fiel reflejo de la sociedad y qué parámetros han definido eso.

Introducir este tipo de transparencia en todas nuestras soluciones basadas en reglas puede ayudar a romper los efectos dañinos de los modelos, la IA, los gobiernos o los equipos de productos que imponen puntos de vista específicos sobre el mundo. La diferencia clave ahora es que las personas son más libres para tomar decisiones informadas sobre los sesgos en los que desean participar.

Claro, algunos optarán por quedarse con una perspectiva limitada, buscando opiniones e imágenes que se alineen con su visión del mundo. Pero la diferencia es que el proceso ya no es pasivo; se convierte en una elección continua y consciente. En algún momento, tenemos que confrontar y reflexionar continuamente sobre nuestros sesgos, algo que no tiene por qué suceder cuando las correcciones están automatizadas para nosotros.

Debemos recordar que ninguna solución única es correcta a largo plazo. Una vez diseñados, independientemente de cuán bien intencionados o diversos sean sus apoyos, los modelos marchan hacia su propósito preconcebido de acuerdo con una lógica objetiva.

Las soluciones a largo plazo no tienen en cuenta cómo cambia el yo con el tiempo, cómo adquirimos y perdemos rasgos en virtud de nuevas ubicaciones y relaciones sociales. Si queremos planificar un cambio positivo a largo plazo, debemos asegurarnos de que estamos imponiendo correcciones en el comportamiento de las personas de manera transparente, con las herramientas adecuadas para optar por no participar.

Los sistemas de reglas invisibles tienen una desagradable tendencia a hacer que sirvamos a los objetivos de nuestra tecnología más que a nosotros mismos. Al igual que el historial de clics de búsqueda de imágenes de Google, generamos los datos y los comportamientos que necesita para operar de manera más eficiente. Aún así, con el tiempo comenzamos a vivir de maneras que no sirven a nuestros objetivos sino a los de la tecnología.

El filósofo Martin Heidegger argumentaría que debemos tener cuidado de que la tecnología tenga una lógica propia más allá de los motivos e intenciones humanos. Por lo tanto, depende de nosotros garantizar que la agencia humana siempre tenga un lugar en esa lógica.

Pero Sr. Gray, no hay inspiración en la lógica. No hay coraje en la lógica. Ni siquiera hay felicidad en la lógica. Sólo hay satisfacción. El único lugar que tiene la lógica en mi vida es darme cuenta de que cuanto más esté dispuesto a hacer por mi familia, más podré hacer por mí mismo. — El denominador común del éxito , por Albert EN Gray

¿Quieren más? Encontré leer los siguientes artículos una gran fuente de inspiración para este artículo.

1. Mantenimiento de rutina, Meghan O'Gieblyn

   
   

2. Falso positivismo , Peter Polack

   
   

3. La monomanía es antiliberal y estupefaciente , Jonathan Haidt

Apéndice

Sentí que valía la pena mencionar cómo creo que elReglamento de inteligencia artificial de la UE cuyo objetivo es garantizar un "mercado interno que funcione bien para los sistemas de inteligencia artificial" que se base en los "valores y derechos fundamentales de la UE". es un paso en la dirección correcta.

Abarca muchos de mis principios en torno a las salvaguardas que sacan a la luz las desigualdades y las fallas en la protección adecuada de los derechos. Me tranquilizó ver cómo se prohibieron los sistemas de clasificación como las puntuaciones de "confiabilidad" y cómo se regularán formalmente los sistemas de IA de alto riesgo.