El error de AI de Eating Disorder Org es un cuento de advertencia sobre la adopción de tecnología para roles fundamentalmente humanos


Uno de los debates en curso en los círculos tecnológicos y más allá es qué tan rápido la IA reemplazará a los humanos en ciertas líneas de trabajo. Una función en la que ya hemos visto que las organizaciones adoptan la tecnología es en la atención al cliente, implementando interfaces de cliente impulsadas por IA para actuar como la primera línea de contacto para manejar consultas entrantes y proporcionar información crítica a los clientes.

¿El único problema? A veces, la información que brindan es incorrecta y potencialmente dañina para los clientes de una organización. Para ilustrar esto, no debemos mirar más allá de las noticias de esta semana sobre los esfuerzos de la Asociación Nacional de Trastornos de la Alimentación para usar chatbots impulsados ​​​​por IA para reemplazar a los trabajadores humanos para la línea de ayuda de llamadas de la organización. El grupo anunció un chatbot llamado Tessa a principios de este mes después de que los trabajadores de la línea de ayuda decidieran sindicalizarse y, solo un par de semanas después, anunciaron que cerrarían el chatbot.

El rápido cambio de opinión se debió a que el chatbot entregó información que, según NEDA, “era dañina y no estaba relacionada con el programa”. Esto incluyó dar consejos para perder peso a una activista positiva para el cuerpo llamada Sharon Maxwell, que tiene antecedentes de trastornos alimentarios. Maxwell documentó la interacción en la que el bot le dijo que se pesara a diario y llevara un registro de sus calorías. Al hacerlo, el bot se salió del guión, ya que se suponía que solo guiaría a los usuarios a través del programa de prevención de trastornos alimentarios de la organización y los remitiría a otros recursos.

Si bien uno tiene que cuestionar la toma de decisiones de una organización que pensó que podría reemplazar a los profesionales capacitados para ayudar a las personas con problemas sensibles de salud y bienestar mental, el ejemplo de NEDA es una advertencia para cualquier organización ansiosa por reemplazar a los humanos con IA. En el mundo de la alimentación y la nutrición, la IA puede ser una herramienta valiosa para proporcionar información a los clientes. Sin embargo, el ahorro potencial de costos y la eficiencia que brinda la tecnología deben equilibrarse con la necesidad de una comprensión humana matizada de los problemas sensibles y el daño potencial que podría causar la mala información.

NEDA vio a AI como una solución rápida a lo que consideraba una molestia en forma de trabajadores humanos reales y su molesto deseo de organizar un sindicato para forzar cambios en el lugar de trabajo. Pero desafortunadamente, al cambiar humanos por una simulación de computadora de humanos, la organización perdió de vista el hecho de que servir a su comunidad requiere una forma fundamentalmente humana de expresión en empatía, algo en lo que la IA es famosamente mala.

Todas las formas de interacción con el cliente no son iguales. Una IA que le pregunte si quiere una bebida con su hamburguesa en el autoservicio probablemente sea adecuada en la mayoría de los escenarios, pero incluso en esos escenarios, quizás sea mejor proteger estrictamente el conjunto de conocimientos de la IA e incorporar rampas al sistema. donde los clientes pueden ser entregados sin problemas a un ser humano real en caso de que tengan una pregunta especializada o si existe la posibilidad de hacer más daño que bien durante la interacción.