Problem
Ziel des Projekts war die Entwicklung eines KI‑Algorithmus zur Analyse von Zungenfotos auf der Grundlage der Traditionellen Chinesischen Medizin (TCM).
Eine einfache Zungenanalyse ermöglicht es den Patienten, grundlegende Gesundheitsprobleme zu erkennen und weitere Gesundheitsmaßnahmen zu ergreifen, z. B. einen Arzt aufzusuchen.
Bei einer solchen Analyse bewertet ein Experte anhand von drei Fotos (Vorder-, Rück- und Seitenfläche der Zunge) verschiedene visuelle Zungenmerkmale wie Belag, Verfärbungen, Risse, Zahnspuren oder Flecken. Diese helfen, die beobachteten Merkmale einem Dutzend der häufigsten TCM‑Syndrome zuzuordnen.
Das Problem ist, dass diese Fotoanalyse zeitaufwändig ist und Fachwissen erfordert, so dass der Dienst für die Patienten nur in geringem Maße verfügbar ist.
Herausforderungen
Die größte Herausforderung war die begrenzte Anzahl von zuverlässig beschrifteten Datenpunkten, die hohe Seltenheit einiger Symptome und die Schwankungen der Fotoqualität.
Die bisher durchgeführten Analysen wurden uns als Export aus einem E‑Mail-Posteingang geliefert, wobei die Fotos in separaten Nachrichten von ihren Analysen enthalten waren. Die Analysen hatten kein standardisiertes Format und waren oft als Freitext geschrieben, was den Einsatz verschiedener NLP‑Techniken erforderte.
Darüber hinaus waren einige Symptome sehr subtil und schwer eindeutig zuzuordnen, was ständige Konsultationen mit dem TCM‑Experten erforderte. Es war auch notwendig, die CNN‑Modellarchitektur an die Besonderheiten der medizinischen Bildinterpretation anzupassen und die Syndromklassen auszugleichen.
Lösung
In enger Zusammenarbeit mit einem TCM‑Experten definierten wir eine Liste von Zungensymptomen, die vom KI‑Modell automatisch erkannt werden sollten.
Wir haben Daten gesammelt und aufbereitet und sie nach Symptomen und den entsprechenden Syndromen geordnet.
Als Nächstes erstellten wir Modelle für Faltungsneuronale Netze (CNN) (unter Verwendung von Transfer-Lernen, wobei wir bereits trainierte Bildgebungsmodelle für allgemeine Zwecke nutzten) und testeten zwei Architekturen: eine einfache Syndromklassifizierung und ein dreistufiges Modell (Symptomerkennung → Bereichsanalyse → Klassifizierung), das zu einer höheren Effizienz beitrug.
Die Modelle wurden im Hinblick auf Vorhersagegenauigkeit, Stabilität und Erweiterungsfähigkeit optimiert.
Die Modelle wurden in der AWS‑Cloud bereitgestellt und starten automatisch, wenn ein Patient Zungenfotos hochlädt. Erkannte Symptome werden auf den Bildern markiert und zur Überprüfung an den TCM‑Experten gesendet.
Ergebnis
In der PoC‑Phase erreichten die CNN‑Modelle eine Effektivität von 80-90% bei der Vorhersage von TCM‑Syndromen und eine hohe Effektivität bei der Erkennung einzelner Symptome im Bild.
Das System wurde in die Dienste des TCM‑Sachverständigen integriert und wird zur Beschleunigung der Analyse des Sachverständigen eingesetzt.
Das System ist eine solide Grundlage für weitere Einsätze. Es wurden Möglichkeiten aufgezeigt, um in Zukunft mit einer größeren Datenmenge und einer weiteren Modelloptimierung eine Genauigkeit von bis zu 99% zu erreichen.
In Zukunft könnte das System, nachdem es stabile Ergebnisse erzielt hat, vollautomatisch arbeiten und die Analyseergebnisse direkt an den Patienten senden, ohne dass ein Experte die Ergebnisse überprüfen muss.
