kennedy+swan

Auch medizinische KI-Modelle sind nicht fehlerfrei. Sie können halluzinieren und liefern mitunter plausible Diagnosen, statt Unsicherheiten einzugestehen. Einer solchen Halluzination widmen sich kennedy+swan: Gemeinsam mit Doktorand*innen des BIFOLD-Instituts konfrontieren sie ein auf Lungenkrebs spezialisiertes KI-Modell mit Aquarellen auf Glas, die mikroskopische Gewebescans imitieren. Was für Menschen wie feine Strukturen echten Lungengewebes aussieht, deutet auch die KI als potenziell krankhaftes Gewebe und erstellt Diagnosen mit verblüffender Sicherheit. Medical AI models are not error-free. They can hallucinate and sometimes produce plausible diagnoses rather than acknowledge uncertainty. kennedy+swan explore one such hallucination: In collaboration with PhD researchers at the BIFOLD Institute, they confront an AI model specialised in detecting lung cancer with watercolours on glass that imitate microscopic tissue scans. What appears to human observers as delicate structures of real lung tissue is likewise interpreted by the AI as potentially diseased tissue, leading it to generate diagnoses with remarkable confidence.