Semana 4

Plan

Dos historias
Armas de destrucción matemática
Del almacen multinacional de Google a la tienda de la esquina: casos concretos

Dos historias

Cortesía de GPT

Technostalgia

En el país ficticio de Technostalgia, la mayoría de los procesos administrativos y laborales siguen basándose en tecnologías del siglo pasado. En lugar de utilizar algoritmos avanzados y análisis de datos para determinar la asignación de empleos, el país sigue confiando en métodos manuales y obsoletos. Las solicitudes de empleo se presentan en papel, y los candidatos deben rellenar formularios extensos a mano. Estas solicitudes se recopilan en grandes archivos físicos que se almacenan en oficinas gubernamentales llenas de archivadores y estanterías.

Los encargados de la selección de personal son burócratas que revisan cada solicitud individualmente. Utilizan criterios rígidos y arcaicos para evaluar a los candidatos, como la caligrafía y el prestigio de la universidad de la que provienen. No existen bases de datos centralizadas ni sistemas electrónicos que faciliten el análisis de las competencias y experiencias de los postulantes. Las entrevistas se realizan en persona, y los entrevistadores se basan en su intuición y experiencia personal para tomar decisiones, sin el apoyo de herramientas modernas de evaluación psicológica o técnica.

En este contexto, la asignación de empleos es lenta y propensa a errores humanos. Los candidatos pueden esperar meses para recibir una respuesta, y las decisiones a menudo son subjetivas y susceptibles a favoritismos. La falta de transparencia y la ineficiencia del sistema generan frustración entre los ciudadanos, quienes sienten que sus oportunidades laborales dependen más de la suerte que de su mérito real. A medida que el resto del mundo avanza hacia la automatización y la inteligencia artificial, Technostalgia se queda cada vez más rezagado, atrapado en un ciclo de ineficiencia y descontento.

Technofuturo

En el país ficticio de Technofuturo, la asignación de empleos está completamente dominada por la tecnología más avanzada del siglo XXI. En lugar de confiar en la evaluación humana, los procesos de selección de personal son gestionados por algoritmos de inteligencia artificial y modelos predictivos que analizan grandes volúmenes de datos. Los candidatos deben enviar sus solicitudes en plataformas en línea, donde cada detalle de su perfil, desde su historial académico hasta su actividad en redes sociales, es analizado minuciosamente por programas sofisticados.

Estos algoritmos clasifican y filtran a los candidatos en función de parámetros predeterminados que supuestamente identifican el “ajuste perfecto” para cada posición. Sin embargo, el sistema, aunque eficiente, es profundamente injusto. Los algoritmos están sesgados por los datos históricos en los que fueron entrenados, perpetuando discriminaciones basadas en género, raza y antecedentes socioeconómicos. Candidatos de minorías o aquellos que provienen de universidades menos prestigiosas son sistemáticamente relegados a posiciones inferiores o rechazados sin que un ser humano revise sus solicitudes.

Además, la falta de transparencia en los criterios utilizados por los algoritmos deja a los candidatos en la oscuridad sobre por qué fueron rechazados o aceptados. Los procesos son rápidos, pero deshumanizantes, y las personas sienten que son evaluadas como meros números en un sistema implacable.

Los ciudadanos de Technofuturo experimentan una creciente frustración y desesperanza. Saben que sus méritos y habilidades son secundarios frente a los algoritmos que dictan sus oportunidades laborales. La eficiencia tecnológica ha eliminado la subjetividad humana, pero a costa de la justicia y la equidad. Mientras el país avanza tecnológicamente, la brecha de desigualdad y la percepción de injusticia se amplían, dejando a muchos cuestionando el verdadero costo del progreso.

Armas de destrucción matemática

Definición

Armas de destrucción matemática -> Weapons of math destruction -> Weapons of Mass destruction -> Armas de destrucción masiva (ej. Bombas nucleares)

ADM: la opacidad, la escala y el daño

No porque se usen datos, se hagan predicciones y se implementen decisiones con base en esos resultados tenemos una ADM.

A veces los puntos ciegos de un modelo no tienen ninguna importancia. Cuando pedimos a Google Maps que nos indique cómo llegar a un lugar, modela el mundo como una serie de carreteras, túneles y puentes. Ignora los edificios, porque no son relevantes para la tarea. Cuando el software de aviónica guía a un avión, modela el viento, la velocidad del avión y la pista de aterrizaje en tierra, pero no las calles, los túneles, los edificios, ni las personas.Los puntos ciegos de un modelo reflejan las opiniones y prioridades de sus creadores
Pero ignora la seguridad, por ejemplo.

“Los modelos son opiniones integradas en matemáticas”.

Escala:

La tercera pregunta que debemos hacernos es si el modelo tiene la capacidad de crecer exponencialmente. O, como lo diría un estadístico, ¿es escalable? Esto puede sonar a una objeción quisquillosa de un empollón de las matemáticas, pero la escala es lo que marca la diferencia entre que un ADM sea una pequeña molestia localizada o un auténtico tsunami que define y delimita nuestras vidas.

Falta de transparencia:

Un algoritmo procesa un montón de estadísticas y produce como resultado una cierta probabilidad de que una persona concreta pueda ser un mal empleado, un prestatario de riesgo, un terrorista o un pésimo maestro. Esa probabilidad se condensa en una puntuación, que puede llegar a destrozar la vida de alguien. Y, sin embargo, cuando esa persona decide defenderse, las «sugerentes» pruebas en contra del veredicto son insuficientes para aclarar las cosas.

Daño:

Y las víctimas? Bueno, un científico de datos nos diría que ningún sistema estadístico es perfecto. Esas personas son daños colaterales. Y, con frecuencia, como en el caso de Sarah Wysocki, son consideradas indignas y prescindibles. Olvidémonos de las víctimas por un momento, nos diría, y pensemos en todas las personas que reciben sugerencias provechosas de los motores de recomendación y que encuentran música que les apasiona en la radio en línea Pandora, su trabajo ideal en LinkedIn o quizá el amor de su vida en Match.com. Pensemos en la prodigiosa escala de estos modelos e ignoremos las imperfecciones

(Sarah Wysocki fue retirada de su trabajo como profesora de colegio por una ADM)

Modelos de beisbol

Los modelos del béisbol, en general, son razonables. Son transparentes y se actualizan constantemente, y tanto los supuestos como las conclusiones son claros y accesibles para cualquiera. Estos modelos se nutren de las estadísticas de cada partido, no de valores sustitutivos, y las personas que son objeto de la modelación entienden el proceso y comparten el objetivo del modelo: ganar la Serie Mundial de béisbol (aunque esto no evite que muchos jugadores refunfuñen por las valoraciones de algún modelo cuando llega la temporada de fichajes: «Es cierto que tuve 200 outs, pero ¿qué pasa con todos mis jonrones…?»).

Modelo de comidas para la familiar

Desde mi posición estratégica dentro del segundo modelo, creo que tampoco hay nada de malo en el hipotético modelo de comidas para mi familia. Si mis hijos quisieran conocer las premisas subyacentes al modelo, tanto las de naturaleza económica como las dietéticas, yo estaría encantada de facilitárselas. Y, aunque a veces se quejan cuando ven algo verde en el plato, si se les pregunta en serio, admiten que comparten los objetivos de comodidad, economía, salud y buen sabor —aunque puede que los ponderen de manera diferente en sus propios modelos (y podrán crearlos en cuanto empiecen a comprarse su propia comida)—.

Debo añadir que es muy poco probable que mi modelo llegue a alcanzar una gran escala. No me imagino a los grandes almacenes de descuento Walmart, al Departamento de Agricultura de Estados Unidos ni a ningún otro titán adoptando mi app e imponiéndosela a cientos de millones de personas, como hacen con algunas de las ADM de las que hablaremos en este libro. No, mi modelo es benigno, especialmente porque es muy poco probable que llegue a salir de mi cabeza y alguien lo formalice para convertirlo en un programa informático.

Modelo reincidencia

El ejemplo del modelo de reincidencia que hemos visto al final del capítulo, sin embargo, es algo completamente diferente. Despide un olor familiar y nocivo. Hagamos con él un rápido ejercicio de taxonomía de las ADM y veamos dónde encaja. La primera pregunta; aunque el participante sea consciente de que es objeto de una modelación o de para qué se utiliza el modelo, ¿es el modelo opaco o incluso invisible? Bien, la mayoría de los detenidos a los que se les pide que rellenen un cuestionario obligatorio no son tontos. Como mínimo tendrán razones para sospechar que la información que faciliten será utilizada contra ellos para controlarlos durante su estancia en prisión o quizá para encerrarlos durante más tiempo. Saben de qué va la cosa. Pero los funcionarios de prisiones también lo saben. Y no dirán nada sobre la finalidad del cuestionario LSI-R. Saben que, si explican para qué se utiliza, muchos reclusos intentarán hacer trampas y contestarán a las preguntas de forma que parezca que serán ciudadanos ejemplares en cuanto salgan del trullo. Por lo tanto, a los reclusos se les dice lo menos posible y nunca se les informa de la puntuación de riesgo que han obtenido.

Y esto es algo que se repite en muchos otros casos. Los modelos opacos e invisibles son lo habitual, mientras que los modelos transparentes son raras excepciones. Nos modelan como clientes y telespectadores tirados en el sofá, como pacientes y solicitantes de préstamos, y apenas nos damos cuenta —incluso en los formularios que firmamos alegremente—. Incluso cuando los modelos actúan bien, su opacidad genera una sensación de injusticia, Si un acomodador nos dice, al llegar a un concierto al aire libre que no podemos sentarnos en las diez primeras filas de asientos, puede que pensemos que eso es inaceptable. Sin embargo, si nos explica que las diez primeras filas están reservadas para personas en silla de ruedas, nos parecería perfectamente lógico. La transparencia importa, marca la diferencia.

Pese a todo, un gran número de empresas se toman muchas molestias por ocultar los resultados de sus modelos o incluso su existencia. Una justificación común es que el algoritmo es un «secreto industrial» crucial para su actividad. Afirman que es propiedad intelectual y la defenderán con legiones de abogados y grupos de presión si es necesario. En el caso de los gigantes web como Google, Amazon y Facebook, solo sus algoritmos hechos meticulosamente a medida valen cientos de miles de millones de dólares. Las ADM son, por su diseño, cajas negras inescrutables. Y esto hace que sea especialmente difícil contestar categóricamente a la segunda pregunta: ¿opera el modela en contra de los intereses del sujeto? En otras palabras, ¿es injusto? ¿Daña o destruye vidas?

Comparación con la frenología y problema de la estadística

Cuando pienso en las formas interesadas y poco rigurosas en las que las empresas utilizan los datos, a menudo me viene a la cabeza la frenología, una pseudociencia que estuvo de moda durante un breve periodo en el siglo XIX. Los frenólogos pasaban los dedos por el cráneo del paciente buscando protuberancias y hendiduras. Cada uno de estos elementos, según la frenología, estaba relacionado con distintos rasgos de la personalidad presentes en veintisiete regiones diferentes del cerebro. La conclusión del frenólogo solía coincidir con lo que observaba en el paciente. Si un paciente tenía ansiedad o sufría de alcoholismo, el análisis del cráneo solía revelar protuberancias y hendiduras que se correspondían con esa observación, lo que, a su vez, reforzaba la fe en la ciencia de la frenología.

Este fenómeno es conocido en estadística como la paradoja de Simpson: se da cuando un conjunto de datos muestra una tendencia, pero, al descomponer dicho conjunto en subgrupos, aparece la tendencia opuesta en cada uno de ellos individualmente.

Del almacen multinacional de Google a la tienda de la esquina: casos concretos

El inversor nos resumió el brillante futuro de la publicidad selectiva, Los internautas suministran grandes cantidades de datos y, al hacerlo, están entregando a los anunciantes la capacidad de descubrir hasta el mínimo detalle sobre sus vidas. Esto permitirá a las empresas lanzar acciones específicamente dirigidas a los consumidores precisamente en el momento y en el lugar adecuado y utilizando la información que consideren más valiosa.

Tal y como lo veía él, la mayoría de la gente se opone a la publicidad porque el contenido de los anuncios que ven les resulta indiferente, En el futuro esto no será así. En teoría, las personas que aparecían en su exclusiva demostración estarían encantadas de ver anuncios hechos a medida para ellas, con casas en venta en las Bahamas, botellas de aceite de oliva virgen prensado a mano o jets privados en multipropiedad.

La Universidad de Phoenix se gastaba más de 50 millones de dólares solo en anuncios de Google con el objetivo de dirigirse de forma selectiva a las personas pobres para ofrecerles el cebo de la movilidad social.

Este tipo de publicidad encuentra la desigualdad y se da un festín a su costa

Allá donde encontremos la ignorancia combinada con una gran necesidad es muy probable ver anuncios depredadores

La vulnerabilidad vale su peso en oro.

El reto de la publicidad y cómo las redes lo “solucionan”

Todo esto se complica un poco porque las distintas campañas con diferentes mensajes interactúan unas con otras y no es posible medir gran parte del impacto. Por ejemplo, ¿incrementan los anuncios en los autobuses la probabilidad de que un posible estudiante responda a una llamada de teléfono? Resulta difícil responder a esta pregunta. Es más fácil hacer un seguimiento de los mensajes en línea, y las universidades privadas con ánimo de lucro tienen la capacidad necesaria para recopilar datos vitales de cada posible estudiante —dónde viven y las páginas web que han visitado—.

Sin embargo, desde que se creó Internet, personas de todo el mundo han producido trillones de palabras sobre nuestras vidas y nuestro trabajo, nuestras compras y nuestras relaciones de amistad. Al hacerlo, hemos construido sin darnos cuenta el mayor corpus de aprendizaje que haya existido nunca para los programas de lenguaje natural. Cuando pasamos del papel al correo electrónico y a las redes sociales, los ordenadores pudieron empezar a estudiar nuestras palabras, a compararlas con otras y a recopilar cierta información sobre su contexto. El progreso ha sido rápido y drástico. En 2011, Apple apenas logró impresionar al mundo de la tecnología con su «asistente personal» con lenguaje natural Siri. Esta tecnología solo podía conversar en ciertas áreas y cometía errores graciosos. A la mayoría de la gente le pareció prácticamente inútil. Sin embargo, ahora se oye a mucha gente hablándole a su móvil en cualquier momento, le piden la previsión del tiempo, el resultado del partido o indicaciones para dirigirse a algún sitio. En algún momento entre 2008 y 2015, más o menos, las capacidades lingüísticas de los algoritmos avanzaron del nivel de preescolar a quinto de primaria, y en algunas aplicaciones incluso a niveles mucho más avanzados

Conseguir Empleo

La cuestión relevante para este libro en el caso que acabamos de ver es la forma en que los sistemas automáticos nos juzgan cuando estamos buscando empleo y qué criterios evalúan

Evidentemente, estos programas de selección y contratación no pueden incorporar información sobre cómo será realmente el rendimiento del trabajador en la empresa. Eso pertenece al futuro y, por lo tanto, no se conoce. De modo que, al igual que otros muchos programas de big data, emplean valores sustitutivos o proxies.

Proxies

Cuando no podemos medir X pero sabemos que se correlaciona con una variable Y que sí puede ser medida, usamos Y como un proxy para X.

¿Ejemplos?

El problema con los proxies es que pueden fomentar incentivos perversos. Se puede maximizar un proxy sin preocuparse por el objetivo original. El proxy deja de ser un proxy.

Ejemplos

Cambio de valores en un partido de fútbol. Medir el éxito con base en el reconocimiento en lugar de goles, o asistencia.
Cambio de valores en educación superior. Medir el éxito con base en las calificaciones en lugar del aprendizaje.

Cuando medimos proxies, abrimos la puerta a incentivos perversos:

En India, se implementó una política de incentivos económicos para reducir la población de serpientes venenosas. Se ofrecía una recompensa monetaria a los ciudadanos por cada serpiente venenosa que capturaran y entregaran a las autoridades locales. Sin embargo, esta medida tuvo un efecto inesperado y contraproducente. En lugar de disminuir, la población de serpientes venenosas aumentó significativamente. La razón: Las personas comenzaron a criar serpientes venenosas con el único propósito de reclamar la recompensa.

Este curioso caso ilustra cómo la implementación de incentivos económicos sin considerar las posibles consecuencias puede tener un impacto negativo en la comunidad y el ecosistema local, generando un riesgo para la seguridad de las personas y desequilibrando el equilibrio natural del entorno. Los incentivos tangibles (como el dinero o las notas) o simbólicos (como las caritas felices o las estrellas doradas) pueden influir en el comportamiento de las personas de maneras inesperadas y subraya la necesidad de un enfoque reflexivo y holístico al diseñar políticas y programas de incentivos. La lección aprendida de esta historia es que, al implementar incentivos, es crucial considerar no solo los resultados inmediatos deseados, sino también las posibles ramificaciones y efectos secundarios para evitar consecuencias no deseadas.

«La principal finalidad del test —cuenta Roland Behm— no es encontrar al mejor empleado, sino excluir a tantas personas como sea posible de la manera más barata posible»

Parte del problema se da porque no hay un cuidado del algoritmo:

Se molestará alguno de los directivos de Kroger en analizar el test de personalidad e investigar por qué se equivocaron tanto? Seguro que no. La diferencia es la siguiente: los equipos de baloncesto gestionan personas individuales con un valor potencial de millones de dólares cada una. Sus sistemas analíticos son cruciales para su ventaja competitiva y están ávidos de datos. Sin retroalimentación constante, sus sistemas se quedan anticuados y resultan inútiles. Por el contrario, las empresas que contratan a trabajadores por el sueldo mínimo, gestionan rebaños

El modelo consideraba que era más probable que rotaran los candidatos que vivían más lejos de las instalaciones en las que debían ejercer su trabajo. Esta correlación tiene sentido: es agotador pasar mucho tiempo en el trayecto al trabajo. Sin embargo, los directivos de Xerox observaron otra correlación curiosa. Muchas de las personas que sufrían esos largos desplazamientos venían al trabajo desde barrios pobres. Y hay que decir a favor de Xerox que eliminaron del modelo estos datos geográficos pese a su alta correlación con la rotación de personal. La empresa sacrificó un poco de eficiencia a cambio de ser más justos.

Gild, una start-up con sede en San Francisco, es pionera en este campo. Gild va mucho más allá de la alma mater o del currículo de un candidato: revisa millones de sitios web de empleo y analiza lo que denomina los «datos sociales» de cada persona. La empresa desarrolla perfiles de candidatos para sus clientes, en su mayoría empresas tecnológicas, y les informa cuando los candidatos añaden nuevas competencias. Gild afirma que puede incluso predecir el momento en el que es probable que un empleado estrella cambie de trabajo y avisar así a sus clientes de cuándo es el mejor momento para hacer una oferta.

En el trabajo:

… los científicos necesitan la retroalimentación de errores —en este caso, la presencia de falsos negativos — para profundizar en los análisis forenses y averiguar qué salió mal, qué fue malinterpretado y qué datos fueron ignorados. Así es como los sistemas aprenden y se vuelven más inteligentes. No obstante, como hemos visto, muchísimas ADM crean alegremente su propia realidad, desde los modelos de reincidencia hasta las puntuaciones de los docentes. Los directores asumen que las calificaciones son lo suficientemente válidas para ser útiles, y el algoritmo les facilita las decisiones difíciles. Pueden decidir a quién despedir para reducir costes y responsabilizar de la decisión a un número objetivo, sea o no certero.

en 2009, Michelle Rhee puso en marcha un plan para extirpar del sistema a los docentes de bajo rendimiento. Esta era la tendencia generalizada en los distritos escolares con problemas en todo el país y, desde el punto de vista de la ingeniería de sistemas, este razonamiento tiene mucho sentido. Hay que evaluar a los profesores, deshacerse de los peores y colocar a los mejores donde puedan producir el mayor efecto positivo posible. En el lenguaje de los científicos de datos, de este modo «se optimiza» el sistema escolar y presuntamente se garantizan mejores resultados para los alumnos. Exceptuando a los «malos» profesores, ¿quién podría no estar de acuerdo con este razonamiento?

El daño no está determinado por la intención. (Recuerden el efecto Knobe y la relación entre la intencionalidad y la valuación moral.)

En empresas de big data como Google, por el contrario, los investigadores están constantemente haciendo pruebas y controlan miles de variables. Pueden preparar dos versiones de un mismo anuncio —una con las letras en azul y otra en rojo—, presentar cada una de estas versiones a diez millones de personas y hacer un seguimiento para saber cuál de las dos recibe más clics. Utilizan esta retroalimentación para pulir sus algoritmos y ajustar su funcionamiento.

Parte del problema está en el cuidado del algortimo. Depende de la cantidad. Hay daño a escala, pero no necesariamente examen en escala.

intentar puntuar la eficacia de un docente analizando los resultados de una prueba de solo veinticinco o treinta alumnos no tiene solidez estadística y es incluso ridículo. El número de valores es insuficiente si se tiene en cuenta todo lo que puede fallar. De hecho, si quisiéramos analizar a los docentes con el rigor estadístico de un motor de búsqueda, tendríamos que probarlos en miles o incluso millones de alumnos seleccionados al azar.

La pregunta: ¿Hacia dónde va dirigido el precio o las consecuencias del algortimo?

Esto nos lleva a hablar de otra característica común de las ADM: suelen castigar a los pobres. Esto se debe, en parte, a que han sido diseñadas para evaluar grandes cantidades de personas. Están especializadas en trabajar con grandes volúmenes, y son baratas. Eso forma parte de su atractivo. Los ricos, en cambio, reciben a menudo un trato más personal.

De este modo, las consultoras como Mathematica pueden cobrar más, aunque este secretismo sirve también a otros propósitos: se supone que, si las personas evaluadas no saben cómo se hace la evaluación, es menos probable que intenten engañar al sistema.

Ejemplo de que conocer el sistema permite engañar el sistema?

Crédito

Antes los créditos se asignaban con base en el conocimiento personal. Todos se conocen entre todos entonces es fácil asignar la credibilidad para el pago. Pero eso dependen de que te conozcan y cómo te conozcan.

No era justo. Pero entonces llegó un algoritmo y las cosas mejoraron. El matemático Earl Isaac y su amigo, el ingeniero Bill Fair, diseñaron unmodelo que llamaron FICO para evaluar el riesgo de que una persona incumpla el pago de un crédito. La calificación FICO se obtenía mediante una fórmula que analizaba únicamente las finanzas del prestatario — fundamentalmente la carga de la deuda y su historial de pago de facturas—. Esta calificación crediticia no tenía en cuenta el color de la piel. Y resultó algo fantástico para el sector de la banca, porque predecía el riesgo de una forma mucho más precisa, al tiempo que abría las puertas a millones de nuevos clientes.

esde la época de los pioneros Bill Fair y Earl Isaac, el uso de la calificación crediticia ha proliferado enormemente. En la actualidad sehacen todo tipo de cálculos sobre nosotros, y tanto estadísticos como matemáticos se dedican a combinar de todas las maneras posibles un batiburrillo de datos, desde nuestros códigos postales y nuestros patrones al navegar por Internet hasta nuestras últimas compras. Muchos de sus modelos pseudocientíficos intentan predecir la solvencia crediticia asignándonos a todos nosotros las denominadas calificaciones electrónicas. Estas cifras, aunque rara vez llegamos a verlas, abren las puertas de par en par ante algunos de nosotros y las cierran en las narices de otros. Al contrario de lo que ocurría con las calificaciones FICO, a las que pretenden parecerse, las calificaciones electrónicas son arbitrarias, no están reguladas, no dan explicaciones de su funcionamiento y a menudo son injustas; en pocas palabras, son un ADM.

¿Y qué pasa con la persona a la que los sistemas interpretan mal y clasifican en una categoría incorrecta? Pues eso es precisamente lo que le ocurre. No hay retroalimentación alguna que corrija el sistema. Un motor que analiza estadísticas no tiene forma alguna de aprender que acaba de enviar la llamada de un posible y valioso cliente al infierno de los sistemas de respuestas automáticas. Y, lo que es peor, los perdedores del universo no regulado de las calificaciones electrónicas cuentan con escasos recursos para presentar una queja, y aún menos para corregir un error en el sistema. En el reino de las ADM, ellos son los daños colaterales. Y puesto que este tenebroso sistema está ubicado en lejanas granjas de servidores, las víctimas casi nunca descubren el error. Lo más probable es que la mayoría de ellas lleguen a la sencilla conclusión de que la vida es simplemente así de injusta.

Esta práctica de utilizar las calificaciones crediticias en la contratación y los ascensos crea un peligroso ciclo de pobreza. Al fin y al cabo, si una persona no consigue un empleo porque tiene un mal historial crediticio, dicho historial crediticio no hará más que empeorar, lo que hará que le resulte aún más difícil conseguir un empleo. Es similar al problema al que se enfrentan los jóvenes cuando buscan su primer empleo y no son siquiera tenidos en consideración debido a su falta de experiencia. O la situación de los desempleados de larga duración, que ven que nadie los contrata porque llevan demasiado tiempo sin trabajar. Es un círculo vicioso de caída y derrota para los desafortunados que quedan atrapados en él.

Facebook, por ejemplo, ha patentado un nuevo tipo de calificación crediticia basada en las redes sociales.[178] El objetivo es aparentemente razonable. Pensemos en un licenciado universitario que pasa cinco años en una misión religiosa ayudando a llevar agua potable a pueblos pobres en África. Cuando vuelve a casa no tiene ninguna calificación crediticia y tiene problemas para conseguir un préstamo, pero sus compañeros de clase y amigos de Facebook trabajan en la banca de inversión, han hecho doctorados o son programadores. El análisis de grupo indicaría que este joven es una apuesta segura. El problema es que probablemente este mismo tipo de análisis resultará perjudicial para una limpiadora de San Luis Oriental que puede que tenga muchos amigos desempleados e incluso algunos en la cárcel.

Seguros

A finales del siglo XIX, el famoso estadístico Frederick Hoffman creó una potente ADM. Probablemente Hoffman, un alemán que trabajaba para la Prudential Life Insurance Company, no pretendiese hacer ningún daño.[191] Más adelante en su vida, sus investigaciones aportaron mucho al sector de la salud pública. Desarrolló un valioso trabajo con la malaria y estuvo entre los primeros en asociar el cáncer y el tabaco. Sin embargo, un día de primavera de 1896, Hoffman publicó un informe de 330 páginas que ponía objeciones a la causa de la igualdad racial en Estados Unidos y reafirmaba la condición de ciudadanos de segunda clase de millones de personas. En su informe utilizaba estadísticas detalladas para defender que las vidas de los afroamericanos eran tan precarias que la raza entera era «inasegurable».

Pensemos en los seguros de automóvil. En 2015 los investigadores de la revista de la asociación de consumidores Consumer Reports llevaron a cabo un amplio estudio a escala nacional para localizar discrepancias en la fijación de los precios.[198] Analizaron más de 2000 millones de presupuestos de las principales aseguradoras a clientes hipotéticos en cada uno de los 33.419 códigos postales del país. Lo que descubrieron fue terriblemente injusto y, como hemos visto en el capítulo anterior, tenía su origen en las calificaciones crediticias. Las aseguradoras sacan estas calificaciones de los informes de solvencia crediticia y después utilizan algoritmos desarrollados por ellas mismas para crear sus propias calificaciones, las calificaciones electrónicas, que se utilizan como valores sustitutivos de una conducción responsable. Sin embargo, Consumer Reports descubrió que las calificaciones electrónicas, que incluyen todo tipo de datos demográficos, a menudo cuentan más que el historial del conductor al volante. En otras palabras, la manera en que gestionamos nuestro dinero puede importar más que nuestra manera de conducir.

La fijación de precios resultante es injusta. Este abuso no se produciría si los precios de los seguros fueran transparentes y si los clientes pudieran comparar los productos de distintas aseguradoras, pero, al igual que otras muchas ADM, este sistema de fijación de precios es opaco. Cada persona tiene una experiencia diferente, y los modelos se optimizan para sacar la mayor cantidad de dinero posible de los desesperados y los ignorantes.

Todo esto puede sonar un poco cínico, pero pensemos en el algoritmo de optimización de precios de Allstate, la aseguradora que se anuncia a sí misma invitando a los consumidores a ponerse «en sus buenas manos». Según la Federación Estadounidense de Consumidores (CFA, por sus siglas en inglés), Allstate analiza datos demográficos y de consumo para determinar la probabilidad de que los clientes vayan a buscar en la competencia precios más económicos.[200] Si es poco probable que lo hagan, tiene sentido cobrarles más, Y eso es justo lo que hace Allstate.

Preguntas

¿Y el lado positivo?

¿Es justo generalizar sobre todos los algoritmos y su impacto negativo sin considerar que algunos pueden ser diseñados para ser más justos y transparentes?
¿Se está desestimando el valor de la automatización al centrarse únicamente en sus aspectos negativos, sin reconocer los beneficios como la eficiencia y la reducción de costos operativos?
¿Por qué el capítulo no ofrece soluciones prácticas para abordar los problemas de los sistemas de calificación crediticia y la automatización?

Regulaciones para garantizar justicia y transparencia

¿Qué tipo de regulaciones deberían establecerse para supervisar el uso de algoritmos en la gestión laboral y proteger a los trabajadores de prácticas laborales injustas?
¿Qué medidas se pueden implementar para garantizar que estas prácticas no comprometan la salud y el bienestar de los trabajadores?
¿Cómo podemos garantizar que los algoritmos sean justos y que no perpetuen los prejuicios que existen?
¿Cuáles son las acciones que podemos tomar para que el uso de algoritmos en decisiones cruciales sea más transparente y responsable?
¿De qué manera podemos permitir que las personas tengan más control sobre las decisiones automatizadas que afectan su vida?
¿Qué nivel de transparencia es necesario? ¿Hasta qué punto deben las empresas ser transparentes con respecto a los criterios y algoritmos que utilizan para evaluar a los candidatos?
¿Regulación Insuficiente?: ¿Qué medidas concretas se pueden implementar para regular y controlar de manera efectiva el uso de datos personales en la publicidad en línea para prevenir la explotación y el abuso de los consumidores más vulnerables?
Responsabilidad de las Plataformas Tecnológicas: ¿Qué responsabilidad tienen las plataformas como Google y Facebook en la proliferación de la publicidad depredadora, y cómo podrían estas plataformas modificar sus políticas y prácticas para proteger mejor a los usuarios?
¿Es suficiente reformar los algoritmos, o se necesita un cambio más amplio en las estructuras económicas y sociales que perpetúan la desigualdad?

Gestión de recursos humanos y selección de personal

¿Es responsabilidad de las áreas de gestión humana capacitar a los candidatos para que aprendan a comprender y navegar los algoritmos de las herramientas de selección?
¿Cómo podría el área de selección identificar y descartar sesgos que presentan herramientas de selección para no excluir CV’s de candidatos potenciales?
¿Qué tipo de retroalimentación deberían hacer las empresas en cuanto a cómo son tomadas las decisiones con los candidatos que no fueron seleccionados?

Sector asegurador y discriminación algorítmica

¿Está el sector asegurador preparado para regulaciones algorítmicas?
¿Cómo el sector asegurador podría estar intencionalmente con base en la data poniendo en desventaja poblaciones?
Si bien el sector asegurador debe mapear los riesgos que podría generar cada persona (algoritmos) y por ende los siniestros, ¿cómo esto discrimina o posibilita la adquisición de seguros de las personas?

Detección y corrección de sesgos

¿Cómo se pueden detectar y corregir los sesgos en los modelos?
¿Qué impactos a largo plazo tienen estos modelos en la diversidad laboral?
¿Existe algún mecanismo o ente que trabaje en la educación financiera, enfocado en los grupos sociales más vulnerables, para contribuir en la toma de decisiones financieras responsables basada en datos y no en publicidad?

Privacidad

Privacidad y Poder. VELIZ, C. (2021) Privacidad es poder: datos, vigilancia y libertad en la era digital. Barcelona: Editorial Debate. Cap 3.

J. C. Espejo-Serna