Problem
Celem projektu było stworzenie algorytmu AI do analizy zdjęć języka na podstawie zasad Tradycyjnej Medycyny Chińskiej (Traditional Chinese Medicine, TCM).
Prosta analiza języka umożliwia pacjentom wykrycie podstawowych problemów zdrowotnych i podjęcie dalszych kroków zdrowotnych, takich jak konsultacja z lekarzem.
Prosta analiza języka pozwala pacjentom wykryć podstawowe problemy zdrowotne i podjąć dalsze kroki, takie jak konsultacja z lekarzem. Podczas takiej analizy ekspert ocenia różne cechy wizualne języka, takie jak nalot, przebarwienia, pęknięcia, odciski zębów czy plamki, na podstawie trzech zdjęć (przód, tył i bok języka). Na tej podstawie mapuje się obserwowane cechy do kilkunastu najczęściej występujących syndromów TCM.
Problem polega na tym, że analiza zdjęć jest czasochłonna, wymaga specjalistycznej wiedzy, a w konsekwencji usługa ma niską dostępność dla pacjentów.
Wyzwania
Największym wyzwaniem była ograniczona liczba wiarygodnie oznaczonych danych, rzadkość niektórych objawów oraz zmienność jakości zdjęć.
Dotychczasowe analizy były dostarczane w formie eksportu z skrzynki e-mail, gdzie zdjęcia znajdowały się w osobnych wiadomościach niż ich opisy. Analizy nie miały ustandaryzowanego formatu i często były zapisane jako swobodny tekst, co wymagało zastosowania różnych technik NLP.
Dodatkowo niektóre objawy były subtelne i trudne do jednoznacznego oznaczenia, co wymagało stałych konsultacji z ekspertem TCM. Konieczne było również dostosowanie architektury modelu CNN do specyfiki analizy obrazów medycznych oraz zbalansowanie klas syndromów.
Rozwiązanie
We współpracy z ekspertem TCM zdefiniowaliśmy listę objawów języka, które miały być automatycznie wykrywane przez model AI.
Zebraliśmy i przygotowaliśmy dane, oznaczając je pod kątem objawów oraz odpowiadających im syndromów.
Następnie zbudowaliśmy modele sieci neuronowych CNN (wykorzystując transfer learning oraz pretrenowane modele wizji komputerowej) i przetestowaliśmy dwie architektury: prostą klasyfikację syndromów oraz model trzystopniowy (wykrywanie objawów → analiza obszarów → klasyfikacja), który zapewnił lepszą skuteczność.
Modele były optymalizowane pod kątem dokładności predykcji, stabilności oraz możliwości dalszej rozbudowy.
Zostały wdrożone w chmurze AWS i uruchamiają się automatycznie po przesłaniu przez pacjenta zdjęć języka. Wykryte objawy są oznaczane na obrazach i przekazywane do eksperta TCM w celu weryfikacji.
Wynik
W fazie PoC modele CNN osiągnęły 80–90% skuteczności w przewidywaniu syndromów TCM oraz wysoką skuteczność w wykrywaniu pojedynczych objawów na obrazie.
System został zintegrowany z usługami eksperta TCM i jest wykorzystywany do przyspieszenia jego analizy.
Rozwiązanie stanowi solidną podstawę do dalszego wdrażania. Zidentyfikowano możliwość osiągnięcia nawet 99% dokładności w przyszłości przy większej ilości danych i dalszej optymalizacji modeli.
W przyszłości, po osiągnięciu stabilnych wyników, system może działać w pełni automatycznie i wysyłać wyniki analizy bezpośrednio do pacjenta, bez etapu weryfikacji eksperta.
Przykład: algorytm wykrywa m.in. widoczne żyły na tylnej części języka.
