Supervisión ética en sistemas inteligentes de apoyo a la saludResumen
El artículo tiene como objetivo proponer directrices éticas y un modelo de evaluación para el uso de la inteligencia artificial en diagnósticos médicos. Un análisis crítico de la literatura bioética y normativa, basado en los principios de autonomía, beneficencia, no maleficencia y justicia fue realizado. A partir de este análisis, se desarrolla una jerarquía de los principales retos éticos implicados, que abarca desde la calidad y la gobernanza de los datos hasta la sostenibilidad ética de las tecnologías empleadas. Además, se propone un modelo de evaluación basado en métricas objetivas, orientado al seguimiento continuo de la aplicación de la inteligencia artificial en la práctica clínica. Se concluye que el equilibrio entre la innovación tecnológica y la humanización de la atención es esencial, y que las asociaciones médicas tienen un papel regulador estratégico en la preservación de los valores fundamentales de la medicina.
Palabras clave:
Inteligencia artificial; Ética; Ética médica; Sistemas inteligentes
Resumo
O artigo tem como objetivo propor diretrizes éticas e um modelo de avaliação para o uso de inteligência artificial em diagnósticos médicos. Realiza-se análise crítica da literatura bioética e normativa, fundamentada nos princípios da autonomia, beneficência, não maleficência e justiça. Com base nessa análise, desenvolve-se uma hierarquia dos principais desafios éticos envolvidos, que abrange desde a qualidade e a governança dos dados até a sustentabilidade ética das tecnologias empregadas. Propõe-se, ainda, um modelo de avaliação baseado em métricas objetivas, voltado ao monitoramento contínuo da aplicação da inteligência artificial na prática clínica. Conclui-se que o equilíbrio entre inovação tecnológica e humanização do cuidado é essencial, cabendo às associações médicas um papel regulador estratégico na preservação dos valores fundamentais da medicina.
Palavras-chave:
Inteligência artificial; Ética; Ética médica; Sistemas inteligentes
Abstract
This article aims to propose ethical guidelines and an evaluation model for the use of artificial intelligence in medical diagnoses. A critical analysis of bioethical and normative literature, based on the principles of autonomy, beneficence, non-maleficence, and justice was conducted. From this analysis, a hierarchy of the main ethical challenges involved is developed, ranging from data quality and governance to the ethical sustainability of the technologies employed. An evaluation model based on objective metrics is also proposed, aimed at the continuous monitoring of the application of artificial intelligence in clinical practice. It concludes that the balance between technological innovation and humanization of care is essential, with medical associations playing a strategic regulatory role in preserving the fundamental values of medicine.
Keywords:
Artificial intelligence; Ethics; Ethics, medical; Intelligent systems
La inteligencia artificial (IA) está revolucionando el sector de la salud debido a su capacidad transformadora en los diagnósticos médicos. Su implementación proporciona avances significativos en la precisión diagnóstica, la optimización de costos y la mejora de los resultados clínicos 1. A través de algoritmos avanzados y técnicas de machine learning (aprendizaje automático), los sistemas procesan grandes volúmenes de datos médicos, que incluyen el análisis de imágenes y la interpretación de resultados de laboratorio, lo que establece nuevos paradigmas en la medicina diagnóstica.
El panorama tecnológico de la IA en el área de la salud exige una infraestructura robusta de gobernanza para garantizar la seguridad y la eficacia de los sistemas en un entorno clínico. La arquitectura de los algoritmos debe incluir protocolos de validación rigurosos para mitigar los riesgos de diagnósticos inexactos y los consiguientes impactos adversos en el tratamiento 2. La gestión de la seguridad de la información asume un rol fundamental, dada la sensibilidad de los datos de salud procesados, especialmente para mitigar sesgos algorítmicos que puedan perpetuar disparidades en la atención entre diferentes grupos demográficos 3. Es esencial introducir metodologías de auditoría y validación continua de los modelos para garantizar la equidad en los diagnósticos basados en IA.
El paradigma del consentimiento informado requiere una adaptación al contexto digital para garantizar la transparencia en el funcionamiento de los algoritmos y su rol en el proceso decisorio 4. La documentación técnica debe explicitar las capacidades y limitaciones de los sistemas, con el objetivo de permitir una comprensión adecuada por parte de los pacientes y los profesionales de la salud.
La gobernanza de los sistemas de IA requiere que se defina claramente las tareas y mecanismos de responsabilización 5. El marco regulatorio debe seguir la evolución tecnológica, con directrices para el desarrollo, la validación y el seguimiento continuo de las soluciones. La transformación digital de la salud resultante de la implementación de IA requiere atención a la equidad en el acceso a las innovaciones tecnológicas. Políticas específicas deben incluir posibles impactos socioeconómicos, así como aspectos relacionados con la capacitación profesional y la reestructuración del mercado laboral en el sector 6.
Este artículo examina el rol del profesional médico y del Consejo Federal de Medicina (CFM) en la gobernanza de la IA en diagnósticos y propone directrices (jerarquía y métricas) para la integración ética y segura de la tecnología. El análisis incluye aspectos técnicos y regulatorios, con el objetivo de establecer un modelo que maximice los beneficios de la innovación tecnológica mientras preserva los principios fundamentales de la ética médica y la autonomía del paciente. La sinergia entre la IA y la expertise humana representa un nuevo paradigma en la medicina, que requiere un marco de gobernanza robusto para garantizar un desarrollo responsable y centrado en el paciente 7. El éxito de esta transformación depende de la alineación entre la innovación tecnológica, los principios éticos y la regulación adecuada.
Este artículo tiene los siguientes objetivos: 1) proponer directrices éticas para implementar sistemas de IA en los diagnósticos médicos, basadas en los principios bioéticos; 2) desarrollar una jerarquía de retos éticos para guiar la priorización de acciones; y 3) establecer métricas objetivas para evaluar la efectividad ética de dichos sistemas. El análisis busca definir el rol del profesional médico y del CFM en la gobernanza de dichos sistemas y, así, contribuir a integrar esta tecnología en la práctica clínica de forma segura y responsable.
Se trata de un análisis conceptual y una revisión crítica de literatura científica y normativa acerca de la IA aplicada en el área de la salud. El estudio se basa en los principios bioéticos clásicos (autonomía, beneficencia, no maleficencia y justicia), los marcos regulatorios vigentes y las referencias bibliográficas recientes sobre la ética en la IA. A partir de este análisis, se propone una jerarquía de retos éticos y métricas para evaluar sistemáticamente la implementación responsable de sistemas inteligentes en los diagnósticos médicos.
Sesgos algorítmicos y transparencia algorítmica
Es esencial aclarar los conceptos que respaldan las preocupaciones éticas asociadas a los sistemas de IA. Los sesgos algorítmicos se manifiestan cuando los sistemas de IA producen juicios o decisiones injustas debido a características discriminatorias que están presentes en los datos de entrenamiento o en la propia estructura del algoritmo 4. La discriminación algorítmica se produce cuando el sistema está influenciado por características efectivamente irrelevantes para el tema bajo análisis, típicamente relacionadas con prejuicios hacia miembros de determinados grupos. Un aspecto crítico de los sesgos algorítmicos es que no solo pueden reflejar, sino también amplificar y automatizar las discriminaciones históricas presentes en los datos utilizados para entrenar los sistemas, lo que perpetua ciclos de desigualdad a través del procesamiento computacional 3. Esta problemática es especialmente relevante en los sistemas de apoyo a la decisión que impactan derechos y oportunidades individuales.
La transparencia algorítmica, a su vez, se refiere a la posibilidad de comprender cómo un sistema de IA llega a sus conclusiones o outputs. Este concepto está estrechamente relacionado con la capacidad de explicar el funcionamiento interno del sistema y sus decisiones 4. Un reto fundamental de la transparencia algorítmica es el hecho de que, principalmente en los sistemas que utilizan aprendizaje automático y redes neuronales, suele ser imposible para los expertos identificar exactamente los patrones extraídos de los datos y cómo se utilizan en el sistema para generar resultados 8. La “opacidad algorítmica” se vuelve aún más problemática cuando combinada con la presencia de sesgos, una vez que dificulta la identificación y la corrección de discriminaciones potencialmente presentes en el sistema, lo que impide que el médico participe efectivamente en la decisión.
Principios éticos en los diagnósticos en salud mediante sistemas inteligentes
Es indiscutible que la IA altera la actividad médica del diagnóstico tanto cuantitativa como cualitativamente; sin embargo, el uso de herramientas inteligentes siempre debe respetar el derecho fundamental del paciente a tomar decisiones sobre su propia salud 4. Para garantizar dicho derecho, es fundamental que el paciente comprenda y participe activamente en el proceso. Cuando se utiliza un sistema de IA para ayudar en el diagnóstico, es necesario informarlo al paciente de forma clara y sencilla: esto significa explicar no solo cómo la tecnología funciona, sino también sus limitaciones y posibles fallas y sesgos 9. Cabe resaltar que la IA no sustituye al médico; es una herramienta de apoyo, por lo que la decisión final siempre debe ser tomada por un profesional de la ciencia médica en diálogo con el paciente. El sistema solo proporciona información adicional para ayudar en este proceso 9.
En cuanto a la información personal, el paciente debe mantener control absoluto sobre sus datos, lo que significa que podrá autorizar o no el uso de dicha información, verificar qué datos se están utilizando y, si necesario, solicitar correcciones o incluso la eliminación completa de los registros 4.
El principio ético de beneficencia, que prioriza la maximización del beneficio terapéutico, es uno de los pilares en la aplicación de la IA en los diagnósticos médicos. La arquitectura de los sistemas de IA potencializa la precisión diagnóstica debido al procesamiento de grandes volúmenes de datos clínicos con minimización de errores y optimización de resultados asistenciales 1. A su vez, el principio de no maleficencia, frecuentemente enunciado como “no hacer daño”, requiere un marco robusto de salvaguardias técnicas y procesales y, por lo tanto, requiere una metodología rigurosa para validar los sistemas, que incluya pruebas exhaustivas en diversas poblaciones para mitigar sesgos algorítmicos y prevenir resultados adversos 2.
La implementación de la IA en la medicina diagnóstica establece un paradigma innovador que se basa en el principio de maximización de los beneficios terapéuticos para el paciente. Entre las contribuciones más significativas de dicha tecnología, destaca su capacidad de detectar, de forma temprana, condiciones patológicas a través de sistemas avanzados de análisis de datos clínicos, que son sistemas que permiten identificar cambios fisiopatológicos sutiles en las primeras etapas de la enfermedad, antes de la manifestación evidente de la sintomatología clínica 1. La capacidad predictiva proporciona a los profesionales de la salud la oportunidad de instituir intervenciones terapéuticas en las etapas preliminares del desarrollo patológico, lo que resulta en tasas significativamente más altas de éxito terapéutico y mejoras sustanciales en la calidad de vida de los pacientes. También cabe resaltar que la disponibilidad inmediata de información basada en evidencias científicas y el apoyo a la toma de decisiones clínicas contribuyen a la mejora de las competencias profesionales y, así, a elevar los estándares cualitativos de la atención prestada.
La IA también aporta una nueva dimensión a la medicina personalizada. Mediante el análisis sistemático y minucioso de datos individualizados, los sistemas informáticos avanzados permiten desarrollar protocolos terapéuticos específicos, que se basan en las características genéticas, el historial clínico y los determinantes conductuales de cada paciente, lo que establece un modelo de precisión terapéutica individualizada 1.
Una característica propia de los sistemas de IA radica en su capacidad de aprender progresivamente. El procesamiento continuo de datos clínicos permite el perfeccionamiento sistemático de los algoritmos, lo que se traduce en la mejora progresiva de la precisión y la eficiencia operativa. El proceso iterativo establece un mecanismo de retroalimentación positiva, en el que el uso progresivo del sistema resulta en aumentos sucesivos en su capacidad de asistencia a los pacientes.
Optimizar la gestión de recursos asistenciales es otro beneficio significativo de la implementación de la IA en los sistemas de salud. La distribución eficiente de equipos y profesionales, mediada por algoritmos avanzados, proporciona una ampliación sustancial del acceso a servicios de salud calificados, con una asignación cuidadosa de los recursos disponibles, de conformidad con las demandas asistenciales identificadas 10.
En todas las aplicaciones, el desarrollo tecnológico tiene como principio fundamental promover el bienestar del paciente. Cada innovación implementada debe guiarse por el objetivo de optimizar los resultados clínicos, minimizar el sufrimiento y promover la salud integral. La observancia del principio de beneficencia garantiza que el desarrollo de la IA en la medicina preserve su objetivo primordial: promover la salud y mejorar la calidad de vida de la población, consolidándose como un instrumento tecnológico al servicio del progreso de la atención a la salud.
Mientras tanto, el principio de justicia en la integración de la IA en los sistemas de diagnóstico médico establece directrices fundamentales para distribuir de forma equitativa los recursos y beneficios tecnológicos 6. La implementación de estos sistemas requiere una estructura metodológica integral, que trascienda las barreras socioeconómicas y geográficas tradicionales, para asegurar la democratización efectiva del acceso a los recursos diagnósticos avanzados en todas las esferas de la sociedad.
El desarrollo y la mejora de los sistemas de IA requieren una atención meticulosa para mitigar los sesgos algorítmicos. La arquitectura de los modelos computacionales debe basarse en bases de datos cuidadosamente seleccionadas, que abarquen adecuadamente la diversidad poblacional en sus múltiples dimensiones demográficas, étnicas y socioeconómicas 4. La representatividad es el elemento esencial para garantizar la uniformidad de la precisión diagnóstica en diversos segmentos de la población. La metodología de recolección y procesamiento de datos es el componente crítico en el proceso de desarrollo. La aplicación ética requiere que se incorpore sistemáticamente grupos minoritarios en las bases de entrenamiento algorítmico, con procedimientos rigurosos que eviten discriminaciones sistemáticas y garanticen la equidad en los resultados diagnósticos para todos los segmentos de la población 3.
La viabilidad económica surge como un aspecto esencial para democratizar el acceso a los sistemas diagnósticos basados en IA. Para estructurar el modelo de implementación se requiere políticas de precios equilibradas y mecanismos de subsidio que garanticen el acceso universal a los recursos diagnósticos, independientemente de las condiciones socioeconómicas de los usuarios del sistema 6.
En el ámbito internacional, estas tecnologías tienen un potencial significativo para reducir las disparidades en la atención a la salud, especialmente mediante la implementación de recursos diagnósticos remotos. El proceso de ejecución requiere una cuidadosa consideración de las especificidades regionales y las demandas particulares de las zonas tradicionalmente desatendidas por los sistemas de salud convencionales 1.
La distribución equitativa de los beneficios tecnológicos requiere una estrategia de implementación metodológicamente estructurada e integral. La planificación estratégica debe priorizar las áreas con un alto potencial de impacto social positivo, en lugar de centrarse exclusivamente en centros de alto volumen asistencial, y garantizar que las optimizaciones en la precisión diagnóstica y los tiempos de respuesta beneficien a toda la población 4.
El proceso de desarrollo necesita incorporar mecanismos efectivos de participación comunitaria, integrando las diversas perspectivas culturales y sociales. El compromiso participativo garantiza la alineación entre las funcionalidades tecnológicas implementadas y las necesidades específicas de las comunidades atendidas, promoviendo una iniciativa culturalmente apropiada y socialmente responsable 6.
La estructura normativa debe establecer garantías fundamentales de asistencia no discriminatoria, preservación de la privacidad y acceso universal a los servicios de salud. La observancia rigurosa del principio de justicia permite que los sistemas de IA actúen como instrumentos efectivos para promover la equidad asistencial y contribuir significativamente a mitigar las disparidades existentes en el panorama mundial de la salud pública.
Gobernanza de datos en salud
En el contexto de sistemas de IA diagnósticos, la gobernanza de datos en salud representa un dominio crítico que requiere un enfoque integral y riguroso para garantizar tanto la efectividad clínica como la protección de los derechos individuales 4. Se puede analizar el tema desde diferentes dimensiones fundamentales que están interrelacionadas. La privacidad de los datos de salud es un pilar esencial de la gobernanza, debido al carácter altamente sensible de la información médica. Los sistemas de IA diagnósticos procesan grandes volúmenes de datos clínicos, que incluyen historiales médicos, resultados de pruebas, imágenes diagnósticas e información genética. Para proteger esta información es necesario utilizar protocolos robustos de anonimización y seudonimización, para garantizar que los datos utilizados para entrenar y operar sistemas de IA no permitan la identificación individual de los pacientes 6.
La seguridad de la información en sistemas de IA diagnósticos requiere una arquitectura tecnológica que incluya múltiples capas de protección, como el cifrado avanzado para datos en tránsito y en reposo, los controles de acceso granulares basados en roles, la autenticación multifactor para usuarios del sistema y el registro detallado de todas las operaciones realizadas. Es necesario tener en cuenta la seguridad desde el diseño del sistema y hay que adoptar los principios de privacy by design y security by design 4.
Es importante explicar: la granularidad se refiere a los controles de acceso detallados y específicos basados en roles, que permiten definir con precisión qué usuarios pueden acceder a determinada información o funcionalidades según su rol, ofreciendo así una gestión de acceso refinada con ajustes de permisos precisos para cada tipo de usuario.
Privacy by design es un principio que establece que es necesario tener en cuenta la privacidad desde las primeras etapas de desarrollo de un sistema, no es un elemento añadido posteriormente, en otras palabras, las medidas de protección de datos se incorporan a la propia arquitectura del sistema de IA diagnóstico para garantizar que la protección de datos personales sea fundamental. Mientras tanto, security by design, similar al anterior, significa que la seguridad debe ser un elemento fundacional integrado desde la fase de diseño, es decir, es una parte integrante de la arquitectura, los procesos y las funcionalidades, lo que hace el sistema intrínsecamente más seguro y menos vulnerable a las amenazas.
El consentimiento informado adquiere una nueva complejidad en el contexto de la IA en la salud. Los pacientes deben comprender no solo que sus datos se utilizarán para su propio diagnóstico, sino también que se pueden utilizar para entrenar y mejorar los sistemas de IA. Dicho consentimiento debe ser detallado, para permitir que las personas tengan control sobre los diferentes usos de su información médica 4.
Otro aspecto crucial es la interoperabilidad segura entre sistemas. Los sistemas de IA diagnósticos suelen necesitar integrar datos de múltiples fuentes e instituciones de salud, y esta integración debe preservar la confidencialidad e integridad de los datos a través de protocolos estandarizados para el intercambio de información médica que incorporen mecanismos robustos de seguridad 1.
Para el almacenamiento y la retención de datos, es necesario que políticas específicas equilibren las necesidades clínicas, los requisitos regulatorios y los derechos individuales; para ello, es necesario definir periodos de retención adecuados, procedimientos seguros para la eliminación de datos y mecanismos para que los pacientes puedan ejercer derechos como el acceso, la rectificación y la eliminación de su información 4.
La gobernanza también debe incluir aspectos de calidad e integridad de los datos. Los sistemas de IA diagnósticos dependen críticamente de la precisión y la exhaustividad de la información utilizada y, por lo tanto, requieren procesos rigurosos de validación de datos, detección de inconsistencias y mantenimiento de registros de auditoría para documentar todas las manipulaciones realizadas 2.
El intercambio de datos para la investigación y el desarrollo es un campo que exige una gobernanza específica. Aunque es fundamental para el avance científico y la mejora de los sistemas, debe realizarse mediante protocolos que garanticen la anonimización efectiva y el uso ético de la información, prestando especial atención a los riesgos de reidentificación a través del cruce de bases de datos 6.
El cumplimiento normativo es un elemento transversal de la gobernanza y tiene en cuenta múltiples marcos regulatorios, como las legislaciones para la protección de datos personales, las regulaciones específicas del sector de salud y las directrices éticas para el uso de la IA, y es necesario supervisar y documentar continuamente su cumplimiento 4.
Finalmente, la gobernanza debe incorporar mecanismos de rendición de cuentas y transparencia, como: documentación clara de políticas y procedimientos, auditorías periódicas, canales para preguntas y quejas, y comunicación proactiva con las partes interesadas acerca de las prácticas de gestión de datos. La gobernanza debe ser dinámica y adaptativa para evolucionar continuamente y asimilar nuevos retos tecnológicos, requisitos regulatorios y expectativas sociales con respecto a la protección de datos en salud. La implementación exitosa de dicha gobernanza es esencial para construir y mantener la confianza necesaria para la adopción eficaz de sistemas de IA diagnósticos 6.
Estructura de responsabilidad
La integración de la IA en los diagnósticos médicos establece un nuevo paradigma de responsabilización profesional que incluye múltiples dimensiones críticas, y es necesario considerar tres dimensiones: el profesional médico, el CFM y los requisitos del sistema de IA. El marco de capacitación surge como un requisito crucial, que requiere un programa de capacitación integral en funcionalidades algorítmicas, limitaciones sistémicas y la integración adecuada de las recomendaciones automatizadas en el proceso decisorio 5.
En cuanto a los médicos, el proceso decisorio mantiene la primacía del juicio médico, y los sistemas de IA se posicionan como herramientas consultivas complementarias. Es necesario basar la evaluación crítica de las recomendaciones automatizadas en la expertise profesional y en las particularidades de cada caso clínico, para evitar depender exclusivamente de la automatización 7.
La gobernanza de incidentes establece la responsabilidad de notificar sistemáticamente los errores y sesgos identificados en los sistemas. Se trata de un verdadero mecanismo de retroalimentación que es un elemento fundamental para el perfeccionamiento algorítmico y la optimización continua de la seguridad y la eficacia operativa 2.
Para validar el uso del sistema inteligente es necesaria una evaluación cuidadosa de su aplicabilidad en poblaciones específicas, basada en un análisis que incluya métricas de desempeño fundamentales, como tasas de falsos positivos/negativos y seguimiento sistemático de la posible degradación de la precisión diagnóstica 2.
La comunicación transparente con los pacientes es una obligación ética y requiere explicar de forma adecuada el papel de la IA en el proceso diagnóstico/terapéutico, para preservar la autonomía del paciente mediante el consentimiento informado y la comprensión de las implicaciones tecnológicas 9.
El uso responsable implica el estricto cumplimiento del alcance previsto de los sistemas, para evitar aplicaciones inadecuadas o extrapolaciones que puedan causar daños. El juicio clínico debe guiar la mitigación de posibles riesgos mediante la comprensión de las limitaciones sistémicas 8.
El desarrollo profesional continuo surge como un requisito para seguir la evolución tecnológica: es un proceso que incluye la actualización sobre nuevos sistemas, modificaciones algorítmicas y el uso de las mejores prácticas operativas 2.
La práctica ética requiere el mantenimiento de estándares rigurosos en el uso de la IA para preservar los derechos de los pacientes, la confidencialidad y la equidad asistencial. Al cumplir dichos principios, se garantiza que los sistemas inteligentes contribuyan positivamente a la calidad y seguridad del proceso diagnóstico y, así, al mantenimiento de la integridad de la responsabilización médica 4.
En cuanto al CFM, el organismo asume un papel estratégico para guiar y regular la implementación ética de la IA en el contexto asistencial, con múltiples atribuciones fundamentales. En primer lugar, desarrollar directrices es una responsabilidad primordial, que requiere crear y actualizar sistemáticamente las normativas éticas para el uso de la IA. Dicha estructura debe incluir principios fundamentales de seguridad, transparencia, responsabilización y equidad, para establecer un modelo para la implementación ética 8.
La función de supervisión profesional requiere defender activamente las políticas que protegen los derechos de los pacientes, para garantizar el uso ético de los sistemas y solucionar cuestiones críticas como la privacidad de la información, los sesgos algorítmicos y la democratización del acceso, todo ello en una actuación que implica la articulación con instancias regulatorias para desarrollar un marco legal apropiado 4.
Promover la transparencia algorítmica surge como una obligación, por lo que debe incentivar a los desarrolladores a crear sistemas interpretables. Paralelamente, patrocinar la capacitación profesional en evaluación crítica de recomendaciones automatizadas también es una medida que se impone al CFM, para que el desarrollo profesional continuo proporcione recursos y oportunidades de capacitación en tecnologías emergentes, implicaciones éticas e integración responsable en la práctica clínica 2.
Establecer normas y certificaciones con el objetivo de garantizar la implementación exclusiva de sistemas seguros, eficaces y que se adhieran a principios éticos es algo que está estrechamente vinculado a la promoción de la capacitación en nuevas tecnologías. Se trata de un proceso que implica definir parámetros de desempeño objetivos, gobernanza de datos e integración asistencial 5.
El proceso de revisión ética es una salvaguardia esencial, mediante el cual las nuevas tecnologías se someten a un escrutinio sistemático previo a su adopción a gran escala. Es una evaluación preventiva que identifica y aborda las posibles implicaciones éticas 6.
Fomentar la colaboración entre desarrolladores, investigadores y médicos potencia el desarrollo de sistemas alineados a la ética médica. Se trata de una integración que busca apoyar la investigación en aplicaciones éticas y el intercambio de mejores prácticas 1.
El compromiso social tiene como objetivo promover la confianza pública y alinear los sistemas con los valores de la comunidad. Es un proceso que incorpora las perspectivas de los pacientes al desarrollo tecnológico y responde a las preocupaciones sociales 6.
La última medida del CFM es el seguimiento sistemático del impacto asistencial, con ajustes basados en directrices y políticas que respondan a los problemas éticos emergentes mediante la retroalimentación continua de profesionales y pacientes 2. La actuación integral del CFM tiene el objetivo de garantizar la adherencia de la IA en salud a rigurosos estándares éticos, salvaguardar los intereses de los pacientes, fundamentar la práctica médica y promover el avance responsable de la medicina tecnológica.
Teniendo en cuenta los requisitos del sistema inteligente, una estructura práctica para la evaluación ética de los asistentes de IA en los diagnósticos debe incluir múltiples dimensiones de análisis que permitan verificar sistemáticamente el cumplimiento ético en todas las etapas del ciclo de vida del sistema. Dicha evaluación empieza con un análisis de la calidad y la representatividad de los datos utilizados para entrenar el sistema, verificando posibles sesgos en los conjuntos de datos, asegurando una diversidad demográfica adecuada y comprobando que los datos se obtuvieron de forma ética y con el consentimiento apropiado de los pacientes 3.
La transparencia algorítmica es el segundo pilar de la evaluación, y exige la verificación de la capacidad del sistema para explicar sus procesos decisorios de una manera comprensible para los profesionales de la salud y los pacientes. El sistema debe permitir la trazabilidad de las decisiones y la identificación de los factores que influyeron en cada diagnóstico sugerido. La transparencia debe extenderse a las limitaciones conocidas del sistema, que deben estar claramente documentadas y comunicadas 4.
La evaluación debe incluir aspectos de equidad y no discriminación, por lo que debe verificar si el sistema mantiene niveles consistentes de precisión diagnóstica para diferentes grupos de población. La medida requiere un riguroso análisis estadístico del desempeño del sistema estratificado por características demográficas relevantes, como la edad, el género, la etnia y las condiciones socioeconómicas. Es necesario investigar y solucionar adecuadamente cualquier disparidad identificada 3.
La privacidad y la seguridad de los datos deben evaluarse según criterios objetivos que verifiquen la previsión de controles técnicos y organizativos apropiados, incluido el análisis de los mecanismos de anonimización, los protocolos de cifrado, los controles de acceso, los procedimientos de backup (copia de seguridad de datos) y la recuperación, así como las políticas de retención y eliminación de datos. La evaluación también debe verificar si existen procedimientos claros para responder a incidentes de seguridad 4.
El impacto en la autonomía y en el proceso decisorio médico es un aspecto crucial de la evaluación ética. Es necesario analizar cómo se integra el sistema en el flujo de trabajo clínico y verificar si preserva adecuadamente la autonomía de los profesionales de la salud y de sus pacientes. El sistema debe posicionarse claramente como una herramienta de apoyo a la toma de decisiones, sin sustituir el juicio médico ni comprometer la relación médico-paciente 7.
Deben existir mecanismos claros para asignar responsabilidades en caso de errores o fallas, y la evaluación debe examinar la asignación de roles y responsabilidades, los procesos de supervisión humana, los procedimientos de auditoría y los mecanismos para investigar y corregir los problemas identificados 5.
La sostenibilidad y el mantenimiento ético del sistema a lo largo del tiempo deben ser considerados y concretados mediante la verificación de la existencia de procesos de seguimiento continuo del desempeño, la actualización de modelos, la validación de nuevos datos y la adaptación a los cambios en los estándares éticos o los requisitos regulatorios. La evaluación también debe examinar los planes de contingencia para situaciones de degradación u obsolescencia del sistema 1.
Es necesario verificar sistemáticamente la alineación con los marcos regulatorios y las directrices éticas establecidas, que debe abarcar el cumplimiento de las legislaciones de protección de datos, las regulaciones específicas del sector de salud y los estándares éticos profesionales. La evaluación también debe tener en cuenta el cumplimiento de las directrices internacionales relevantes para la IA en salud 6.
Finalmente, el proceso de evaluación debe culminar en un informe detallado que documente los hallazgos, las recomendaciones específicas para corregir problemas y los planes de acción para implementar mejoras. Se debe actualizar periódicamente dicho informe, en un ciclo continuo de evaluación y mejora ética del sistema. Se debe aplicar la estructura de evaluación no solo durante el desarrollo inicial del sistema, sino también periódicamente a lo largo de su funcionamiento, para garantizar el mantenimiento continuo de altos estándares éticos. La frecuencia y la profundidad de las reevaluaciones se pueden ajustar con base en factores como la criticidad del sistema, la velocidad de la evolución tecnológica y los cambios en el contexto regulatorio 2.
Resultados
El análisis desarrollado permitió identificar dos resultados principales: 1) una jerarquía de retos éticos estructurada en seis niveles (calidad e integridad de los datos; transparencia algorítmica y seguridad; interfaz hombre-máquina; equidad y justicia; responsabilización y gobernanza; y sostenibilidad ética); 2) un modelo de evaluación con métricas específicas para cada dimensión ética: equidad (disparidad en la precisión entre grupos), transparencia (tiempo para explicaciones comprensibles), privacidad (tasa de éxito en las pruebas de reidentificación), autonomía (concordancia médico-sistema), gobernanza (tiempo de resolución de incidentes) y sostenibilidad (frecuencia de actualizaciones éticas).
Propuesta de jerarquía
La implementación ética de sistemas de IA en los diagnósticos médicos presenta una compleja jerarquía de retos que se interrelacionan, la cual se puede estructurar en niveles crecientes de complejidad e interdependencia. En el nivel más fundamental se encuentran los retos relacionados con la calidad y la integridad de los datos, visto que son la base sobre la cual se construirá todo el sistema diagnóstico. La calidad de los datos tiene un impacto directo en la precisión diagnóstica y en los posibles sesgos del sistema y, por lo tanto, establece una relación de dependencia fundamental con todos los niveles superiores de la jerarquía 3.
En el segundo nivel jerárquico se encuentran los retos técnicos de ejecución, que incluyen la transparencia algorítmica y la seguridad del sistema. La primera depende directamente de la calidad de los datos y la arquitectura del sistema, mientras que la seguridad se debe tener en cuenta tanto a nivel de los datos como en los procesos algorítmicos —son aspectos técnicos que componen la infraestructura necesaria para abordar cuestiones éticas más complejas en niveles superiores 4.
El tercer nivel incluye los retos relacionados con la interfaz hombre-máquina y la integración del sistema en el entorno clínico, y abarca aspectos como la preservación de la autonomía médica, la comunicación adecuada de capacidades y limitaciones del sistema y el mantenimiento de la relación médico-paciente. Este nivel depende fundamentalmente de la solidez de los niveles anteriores, puesto que una interfaz efectiva requiere datos fiables y sistemas técnicamente robustos 9.
En el cuarto nivel se encuentran los retos de equidad y justicia en la distribución de los beneficios de la tecnología. Esto implica garantizar un acceso equitativo a los sistemas de IA diagnóstica y prevenir discriminaciones algorítmicas. Solo se puede lograr la equidad con datos representativos, sistemas transparentes e interfaces adecuadas 6.
El quinto nivel aborda los retos de responsabilización y gobernanza, y establece estructuras claras para la asignación de responsabilidades y la gestión de riesgos. Una gobernanza eficaz requiere comprender y controlar todos los aspectos del sistema, desde los datos hasta los impactos sociales 5.
En el nivel más alto de la jerarquía se encuentran los retos relacionados con la sostenibilidad y la evolución ética del sistema a lo largo del tiempo. Aquí se abarcan las capacidades para adaptarse a nuevos estándares éticos, incorporar avances tecnológicos y responder a los cambios en las necesidades sociales. Este nivel depende del funcionamiento armonioso de todos los niveles anteriores y requiere mecanismos robustos de seguimiento y ajuste continuo 1.
La estructura jerárquica demuestra que fallas en los niveles más fundamentales pueden comprometer toda la implementación ética del sistema. Por ejemplo, problemas en la calidad de los datos pueden propagarse a todos los niveles y afectar desde la precisión técnica hasta la equidad social. Del mismo modo, deficiencias en la transparencia algorítmica pueden tener un impacto negativo en la confianza de los usuarios y la efectividad de la gobernanza 3.
La priorización de acciones dentro de esta jerarquía debe seguir un enfoque bottom-up, es decir, garantizar primero la solidez de los niveles fundamentales y solo entonces pasar a retos más complejos. Sin embargo, es necesario que la planificación adopte un enfoque top-down y tenga en cuenta cómo las decisiones en cada nivel afectarán los objetivos éticos más amplios del sistema 6.
Se debe utilizar el marco jerárquico como una guía dinámica para la implementación ética, basándose en el reconocimiento de que los diferentes niveles, aunque distintos, operan de manera integrada y requieren una atención continua para mantener la integridad ética del sistema en su conjunto. Comprender las relaciones de dependencia y prioridad es esencial para asignar los recursos de manera efectiva y desarrollar estrategias exitosas 2.
Métricas
Para evaluar la efectividad ética de los sistemas de IA en los diagnósticos médicos, se requiere un conjunto integral de métricas que permitan un seguimiento sistemático del cumplimiento de los principios éticos. Se pueden organizar las métricas en dimensiones complementarias que capturen diferentes aspectos de la performance ética del sistema. En el ámbito de la equidad y la no discriminación, las métricas esenciales incluyen la disparidad en la precisión diagnóstica entre diferentes grupos demográficos, que se calcula mediante la comparación estadística de las tasas de verdaderos positivos y negativos estratificadas por características como el género, la edad, la etnia y el status socioeconómico. La desviación estándar de dichas tasas entre grupos proporciona un indicador cuantitativo de la uniformidad de la performance del sistema. Además, es necesario medir la representatividad de los datos de entrenamiento a través del índice de similitud de la población, que compara la distribución demográfica de los datos con la población objetivo 3.
Para evaluar la transparencia algorítmica, las métricas relevantes incluyen el tiempo promedio necesario para generar explicaciones comprensibles de las decisiones diagnósticas, la tasa de exhaustividad de las explicaciones medida a través de la proporción de factores decisorios identificables y el índice de satisfacción de los profesionales de la salud con las explicaciones proporcionadas, recolectado a través de encuestas estructuradas. La trazabilidad de las decisiones se puede cuantificar mediante el porcentaje de diagnósticos para los que se puede reconstruir completamente la cadena decisoria 4.
En el ámbito de la privacidad y la seguridad, las métricas críticas incluyen la tasa de éxito de las pruebas de reidentificación realizadas en los datos anonimizados, el tiempo promedio para detectar y responder a los intentos de acceso no autorizado y el índice de cumplimiento de los protocolos de seguridad establecidos. Se puede medir la efectividad de los controles de acceso a través de la proporción de accesos debidamente autorizados en auditorías periódicas 6.
Se puede evaluar la autonomía médica y del paciente mediante métricas como la tasa de concordancia entre las recomendaciones del sistema y las decisiones finales de los médicos, el tiempo promedio dedicado a discutir las recomendaciones con los pacientes y el índice de satisfacción de los pacientes con su participación en el proceso decisorio. La frecuencia con la que se sustituyen las recomendaciones del sistema proporciona un indicador importante de la preservación del juicio clínico 9.
Para la gobernanza y la responsabilización, las métricas relevantes incluyen el tiempo promedio para investigar y resolver los incidentes reportados, la tasa de implementación de las recomendaciones de auditorías éticas y el índice de exhaustividad de la documentación de decisiones críticas. Se puede medir la efectividad de los mecanismos de supervisión a través de la proporción de problemas identificados de forma proactiva versus los que se reportan externamente 5.
Se puede evaluar la sostenibilidad ética del sistema mediante métricas como la frecuencia de actualizaciones del modelo para incorporar nuevos estándares éticos, el tiempo promedio de adaptación a los cambios regulatorios y la tasa de obsolescencia de los componentes críticos del sistema. La inversión continua en mejora ética se puede cuantificar a través de la proporción del presupuesto dedicada a iniciativas de ética y cumplimiento 1.
Es necesario reevaluar periódicamente la efectividad de las métricas a través de metaanálisis que examinen su capacidad para predecir y prevenir problemas éticos, incluyendo el análisis de la correlación entre los indicadores y la ocurrencia de incidentes éticos, así como evaluar la exhaustividad de la cobertura de los principios éticos a través de las métricas establecidas 2.
El marco de métricas se debe implementar mediante un panel integrado que permita el seguimiento continuo y la identificación temprana de tendencias preocupantes. Se deben establecer umbrales de alerta para cada métrica, los cuales, al superarse, desencadenen análisis más profundos. La agregación ponderada de las métricas puede proporcionar indicadores compuestos del status ético global del sistema, lo que facilita la comunicación con stakeholders y la toma de decisiones estratégica 6.
Las métricas se deben documentar en un “cuadro de mando” (scorecard) ético que incluya la definición precisa de cada indicador, método de cálculo, frecuencia de medición, responsables del seguimiento y medidas correctivas asociadas a las desviaciones identificadas. Es necesario actualizar regularmente el scorecard para que refleje la evolución de las preocupaciones éticas y los aprendizajes adquiridos de la operación del sistema 2.
Delimitación de responsabilidad
La intersección entre la responsabilidad profesional y las limitaciones tecnológicas en sistemas de IA diagnósticos es un ámbito complejo que requiere una clara estructuración de los límites de la responsabilización. La delimitación necesita tener en cuenta tanto las capacidades y las restricciones inherentes a los sistemas de IA como las obligaciones éticas y legales de los profesionales de la salud. La responsabilidad profesional del médico sigue siendo un elemento central en el proceso diagnóstico, incluso tras la implementación de sistemas de IA. El profesional de la salud debe ejercer un juicio clínico independiente y tomar decisiones finales teniendo en cuenta el contexto específico de cada paciente. La responsabilidad incluye la evaluación crítica de las recomendaciones proporcionadas por los sistemas de IA, en otras palabras, que tenga en cuenta sus limitaciones conocidas y posibles sesgos 5.
Las limitaciones tecnológicas de los sistemas de IA deben documentarse y comunicarse a los médicos de forma clara, especificando con precisión el ámbito de aplicación del sistema, describiendo las poblaciones representadas en los datos de entrenamiento, identificando las situaciones en las que el sistema puede presentar una performance reducida y explicando los márgenes de error esperados. La responsabilidad por fallas resultantes de limitaciones no documentadas o comunicadas de forma inadecuada recae en los desarrolladores y proveedores del sistema 8.
La responsabilización por errores diagnósticos debe tener en cuenta la cadena de eventos y decisiones que condujeron al resultado adverso. Cuando el profesional de la salud sigue correctamente los protocolos establecidos para el uso del sistema, incluida la consideración apropiada de sus limitaciones conocidas, se debe evaluar su responsabilidad principalmente en relación con la idoneidad del juicio clínico ejercido y no en relación con las limitaciones intrínsecas del sistema tecnológico 5.
Los desarrolladores y proveedores de sistemas de IA diagnósticos tienen responsabilidades específicas relacionadas con la calidad técnica del sistema, que incluye la precisión de las predicciones dentro del ámbito especificado, la robustez de los mecanismos de seguridad y la efectividad de los protocolos de seguimiento y mantenimiento. Las desviaciones resultantes de deficiencias en estas áreas se deben atribuir principalmente a dichas entidades, siempre que se haya utilizado el sistema según lo especificado 5.
Las instituciones de salud que implementan sistemas de IA diagnósticos asumen la responsabilidad de adecuar la infraestructura de apoyo, capacitar a los profesionales y establecer protocolos de uso claros. Los errores derivados de deficiencias en los aspectos organizativos se deben atribuir principalmente a la institución, incluso cuando resulten en errores diagnósticos específicos 8.
Un elemento indispensable para delimitar las responsabilidades es el establecimiento de protocolos claros para la investigación de incidentes. Dichos protocolos deben permitir identificar objetivamente el origen de las fallas, diferenciando entre limitaciones tecnológicas conocidas, errores de ejecución, errores de procedimiento y errores de juicio clínico —la diferenciación es esencial para asignar adecuadamente las responsabilidades y desarrollar medidas correctivas efectivas 5.
La gestión de riesgos en sistemas de IA diagnósticos debe incorporar mecanismos de intercambio de responsabilidades cuando proceda, para lograr estructuras de seguro específicas que cubran diferentes tipos de incorrecciones, acuerdos contractuales que especifiquen límites de responsabilidad y protocolos de cooperación entre diferentes actores para resolver los problemas identificados 5.
El seguimiento continuo de la performance del sistema y de los patrones de uso es una responsabilidad compartida entre los desarrolladores, las instituciones de salud y los profesionales. Identificar de forma temprana las desviaciones o el deterioro de la performance permite una intervención preventiva y ayuda a establecer límites claros de responsabilización en caso de fallas 2.
La evolución tecnológica y el aprendizaje adquirido con la operación de los sistemas deben servir como base para las actualizaciones periódicas en el ámbito de la responsabilización, que incluyen el perfeccionamiento de los protocolos de uso, el ajuste de los límites de responsabilidad y el desarrollo de nuevas salvaguardias a medida que se identifiquen nuevas limitaciones o riesgos 1.
Consideraciones finales
Los resultados centrales de este estudio, la jerarquía de los retos éticos y el modelo de métricas para la evaluación, proporcionan instrumentos prácticos para implementar sistemas de IA en los diagnósticos médicos de forma responsable. Estos resultados responden directamente a los objetivos propuestos al establecer directrices concretas que se basan en los principios bioéticos y proporcionan una estructura organizativa para priorizar acciones y mecanismos objetivos de seguimiento continuo 6.
La estructuración propuesta —basada en los pilares de autonomía, beneficencia, no maleficencia y justicia— ofrece un esquema sólido para guiar el uso responsable de los sistemas inteligentes de apoyo diagnóstico. El enfoque reconoce tanto el potencial transformador de la IA para mejorar la precisión diagnóstica y democratizar el acceso a la salud, como la necesidad crítica de salvaguardias éticas que preserven la centralidad del paciente y la integridad de la práctica médica 4.
El rol estratégico del CFM es indispensable para la realización de esta visión, a través del desarrollo de directrices, la supervisión regulatoria y el fomento de la capacitación profesional. El organismo también debe garantizar que la evolución tecnológica se desarrolle en consonancia con los valores fundamentales de la medicina, así como promover la integración armoniosa entre la expertise humana y las capacidades computacionales 8.
Delimitar responsabilidades de forma clara y establecer métricas objetivas para evaluar la efectividad ética son contribuciones prácticas fundamentales de este estudio. Son herramientas que ofrecen mecanismos concretos para implementar los principios discutidos, facilitando así la implementación y el seguimiento continuo de sistemas de IA diagnósticos 5.
La gobernanza de datos en salud y la jerarquización de los retos éticos presentados proporcionan una estructura organizativa que permite un enfoque sistemático y priorizado de los múltiples aspectos implicados. La organización facilita asignar los recursos de forma eficiente y desarrollar estrategias efectivas para abordar los problemas identificados 6.
Por último, cabe resaltar que el éxito de la transformación tecnológica dependerá fundamentalmente de la capacidad de mantener un equilibrio dinámico entre la innovación y la humanización de la atención. El compromiso inquebrantable con los principios éticos, junto con una profunda comprensión de las potencialidades y limitaciones de los sistemas de IA, permitirá el desarrollo de una medicina más precisa y accesible, sin comprometer la esencia humanística que caracteriza la relación médico-paciente. El nuevo paradigma de la práctica médica, potenciado por la IA pero firmemente arraigado en valores éticos, representa una evolución prometedora para el futuro de la atención en salud.
Referencias bibliográficas
-
1 Rajpurkar P, Chen E, Banerjee O, Topol EJ. AI in health and medicine. Nat Med [Internet]. 2022 [acesso 7 jan 2025];28(1):31-8. DOI: 10.1038/s41591-021-01614-0
» https://doi.org/10.1038/s41591-021-01614-0 -
2 Faes L, Liu X, Wagner SK, Fu DJ, Balaskas K, Sim DA et al. A Clinician's guide to artificial intelligence: how to critically appraise machine learning studies. Transl Vis Sci Technol [Internet]. 2020 [acesso 7 jan 2025];9(2):7. DOI: 10.1167/tvst.9.2.7
» https://doi.org/10.1167/tvst.9.2.7 -
3 Parikh RB, Teeple S, Navathe AS. Addressing bias in artificial intelligence in health care. JAMA [Internet]. 2019 [acesso 7 jan 2025];322(24):2377-8. DOI: 10.1001/jama.2019.18058
» https://doi.org/10.1001/jama.2019.18058 -
4 Schönberger D. Artificial intelligence in healthcare: a critical analysis of the legal and ethical implications. International Journal of Law and Information Technology [Internet]. 2019 [acesso 7 jan 2025];27(2):171-203. DOI: 10.1093/ijlit/eaz004
» https://doi.org/10.1093/ijlit/eaz004 -
5 Smith H, Fotheringham K. Artificial intelligence in clinical decision-making: Rethinking liability. Medical Law International [Internet]. 2020 [acesso 7 jan 2025];20(2):131-54. DOI: 10.1177/0968533220945766
» https://doi.org/10.1177/0968533220945766 - 6 Murphy K, Di Ruggiero E, Upshur R, Willison DJ, Malhotra N, Cai JC et al. Artificial intelligence for good health: a scoping review of the ethics literature. BMC Med Ethics [Internet]. 2021 [acesso 3 abr 2020];22(1):14. DOI: 10.1186/s12910-021-00577-8
-
7 Desai AN. Artificial intelligence: promise, pitfalls, and perspective. JAMA [Internet]. 2020 [acesso 3 abr 2020];323(24):2448-9. DOI: 10.1001/jama.2020.8737
» https://doi.org/10.1001/jama.2020.8737 -
8 Matsuzaki T. Ethical issues of artificial intelligence in medicine. California Western Law Review [Internet]. 2018 [acesso 3 abr 2020]; 55(1):19. Disponível: https://bit.ly/4saPVkk
» https://bit.ly/4saPVkk - 9 Soellner M, Koenigstorfer J. Compliance with medical recommendations depending on the use of artificial intelligence as a diagnostic method. BMC Med Inform Decis Mak [Internet]. 2021 [acesso 3 abr 2020];21(1):236. DOI: 10.1186/s12911-021-01596-6
-
10 Marchiori C, Dykeman D, Girardi I, Ivankay A, Thandiackal K, Zusag M et al. Artificial intelligence decision support for medical triage. AMIA Annu Symp Proc [Internet]. 2020 [acesso 3 abr 2020];793-802. Disponível: https://bit.ly/4aQmME1
» https://bit.ly/4aQmME1
-
Disponibilidad de los datos:
Todos los datos utilizados o generados en la investigación se describen y presentan íntegramente en el cuerpo del artículo.
Editado por
-
Editora responsable:
Dilza Teresinha Ambrós Ribeiro
Todos los datos utilizados o generados en la investigación se describen y presentan íntegramente en el cuerpo del artículo.
