¿Puede la IA engañar a las personas para que crean información falsa o inventada ?

¿Puede la inteligencia artificial utilizarse para engañar fabricando o alucinando información convincente pero falsa? Los sistemas de IA generativa ahora producen textos indistinguibles de la escritura humana, una capacidad que se explota cada vez más en phishing, propaganda y medios sintéticos.

Background

La IA puede producir información falsa o alucinada convincente que la gente suele aceptar como verdadera, especialmente cuando la salida está diseñada para sonar autoritaria o emocionalmente resonante. Sistemas como los modelos de lenguaje grandes pueden generar textos indistinguibles de la escritura humana, lo que ha sido explotado en phishing, campañas de desinformación y creación de contenido deepfake. Estudios demuestran que los humanos tienden a confiar en textos generados por IA a pesar de sus inexactitudes, en particular cuando coinciden con sus creencias existentes o se presentan con confianza. Sin embargo, la IA carece de comprensión real, basándose en patrones de datos de entrenamiento en lugar de verificación factual, lo que puede llevar a afirmaciones plausibles pero falsas. Existen herramientas de detección, pero no son infalibles, ya que los adversarios refinan continuamente métodos para eludir las salvaguardas. Las plataformas de redes sociales y los reguladores han luchado por mantener el ritmo con la propagación de la desinformación generada por IA, lo que puede erosionar la confianza pública e influir en el comportamiento del mundo real. El riesgo se amplifica cuando los sistemas de IA se ajustan con datos sesgados o de baja calidad, distorsionando aún más los resultados.