spinner

Se predice que en 2022 el 85% de los sistemas de Inteligencia Artificial proporcionarán respuestas erróneas a causa del sesgo en su concepción. Pero, ¿por qué se crean sistemas de IA sesgados? ¿Existen formas de evitarlo?

El pasado 5 de marzo, un equipo de siete mujeres de los Labs (TecLab y SecLab), se sumaron al Día de la Mujer destacando los sesgos de género que existen a día de hoy en todas las áreas de la tecnología, concretamente en el mundo de la Inteligencia Artificial. Para ello, se centraron en ahondar en los retos de brecha de género que presentan hoy en día los chatbots.

Paula Cordero, Head of Innovation Lab e Ira Manzano, Product Designer, lanzaron una reflexión al público acerca de los riesgos de tener sesgos y contextualizaron con una breve introducción enfocada en la brecha que todavía se percibe a día de hoy en el universo tecnológico y las consecuencias que pueden llegar a tener a la hora de tomar decisiones sobre los negocios o clientes.

“Necesitamos tener en cuenta las dos caras de la moneda para poder cambiar el escenario actual. La tecnología no sólo como parte del problema sino de la solución, como medio para romper la brecha de género” comentaban. Y es que el impacto de este tipo de situaciones no solo es social, es también económico, ya que “avanzar en la igualdad de género podría añadir 12 trillones de dólares al crecimiento global”, añadían Paula e Ira.

Usando los chatbots como hilo conductor, nos contaron aspectos de la tecnología con los que trabajan en su día a día como son la seguridad, la ciencia de datos, el diseño y el prototipado y desarrollo software para crear bots más igualitarios.

Cómo securizar tu chatbot y OSINT

Nerea Sainz y Ruth González, Cybersecurity Researchers, se centraron en explicar las diferentes medidas de seguridad a tener en cuenta a la hora de crear un chatbot y las posibles consecuencias de intercambiar información con asistentes conversacionales vulnerables con el objetivo de concienciar a los usuarios.

Nerea advertía que un chatbot posee las mismas vulnerabilidades que cualquier otra tecnología y que dependiendo del tipo de chatbot que se vaya a construir hay que tener en cuenta diferentes puntos: “hay que cifrar las comunicaciones end to end y tener en cuenta que la seguridad en la infraestructura depende del framework seleccionado”. Recomendaba también almacenar de forma consciente la información sensible e intentar evitar la filtración de los datos.

Además, si tienen datos de organizaciones es necesario establecer mecanismos para autorizar el acceso, ya sea autenticación con doble factor o timeouts para autenticación y securizar el código. Por último, habría que comprobar la integridad de los mensajes para evitar que un posible atacante pueda enviar mensajes a través del bot.

Open Source Intelligence u OSINT hace referencia al conocimiento recopilado a partir de las fuentes de acceso público que puede venir desde Redes Sociales hasta foros o fuentes gubernamentales. OSINT aplica en chatbots por la información, que es uno de los activos más valiosos. Con los datos que proporcionamos al chatbot, el atacante puede encontrar otro tipo de información de mayor valor y aprovecharla para su propio beneficio.

Reduciendo sesgos de género en Inteligencia Artificial

“Todas las personas tenemos un sesgo cognitivo, que viene de la memoria implícita y lo hacemos de manera automática. Estos sesgos se transfieren a los sistemas inteligentes”, comentaba Yolanda de la Hoz, Artificial Intelligence Researcher y Científica de Datos, comparando el análisis del lenguaje que hace un humano y el que hace un bot.

Un chatbot es un bot/programa informático capaz de simular una conversación con una persona a través de un chat. La forma que tienen estos bots de procesar los mensajes es sencilla. Reciben el mensaje y extraen de él intents y entities, gestionan el contexto y generan una respuesta en base a las respuestas prefijadas.

Una de las cosas más importante en la concepción de la IA es conseguir una comunicación natural entre personas y máquinas que no perpetúen las desigualdades. En cada una de las fases del proceso (recopilación de datos, entrenamiento y generación de predicciones) hay que hacer preguntas concretas para tratar de eliminar los sesgos ya que es fácil caer en ellos.

Por otro lado, Marta Salas, Innovation Designer, habló de la necesidad de estudiar los patrones y sesgos cognitivos que están presentes desde el diseño hasta la implementación. “Lo que sucede en el mundo digital tiene consecuencias en la vida real”, comentaba. Por eso es tan importante identificarlos y eliminarlos para no perpetuar la brecha.

Para cerrar, Sandra Juárez, HCI Researcher, hizo un workshop para ayudar a la audiencia a crear un chatbot de cero sin necesidad de tener conocimientos técnicos a través de Dialogflow.

Ayudar a la reflexión y a la conversación

Entre las conclusiones que se pudieron sacar del Meetup encontraríamos la necesidad de crear una tecnología más igualitaria “para cuestionar los patrones que incrementan la brecha. De esta forma, ayudaríamos a equilibrar la balanza velando por la diversidad y la igualdad de oportunidades” como nos contaba Marta Salas.

Ira Manzano, por su parte, hacía una lectura positiva de esta desigualdad: “Por un lado el sesgo de género de la tecnología, hereda de nuestra sociedad, supone un obstáculo para la igualdad. Pero, por otro lado, gracias a ella existen hoy en día movimientos sociales que apoyan a la mujer, con un impacto sin precedentes”.

Las opiniones vertidas por el autor son enteramente suyas y no siempre representan la opinión de BBVA Next Technologies.

¿Quieres saber que más cosas hacemos en BBVA Next Technologies?

Utilizamos cookies propias y de terceros para mejorar nuestros servicios, brindarle una grata experiencia y mostrar a los usuarios publicidad relacionada con sus preferencias mediante el análisis de sus hábitos de navegación. Si continúa navegando por este sitio web, consideramos que acepta su uso. Puede cambiar la configuración u obtener más información accediendo a nuestra política de cookies aquí.