Res-SwinFusion îmbunătățește localizarea reperelor anatomice printr-o abordare hibridă AI
Publicarea unui nou articol în BIO Integration subliniază importanța localizării precise a reperelor anatomice pentru diagnosticarea clinică și evaluarea tratamentului.
Metodele existente bazate pe rețele neuronale convoluționale (CNN) pot duce la pierderi de informații spațiale globale, ceea ce provoacă eșecuri de localizare în contextul structurilor anatomice complexe sau al anomaliilor parenchimatoase. Prin urmare, este necesară o metodă capabilă să modeleze contextul global, păstrând în același timp informațiile locale.
Profund influențat de capacitatea Transformer-ului de a capta dependențe pe distanțe lungi, articolul propune un nou cadru pentru localizarea reperelor, numit Res-SwinFusion, care integrează un Swin Transformer și un backbone CNN clasic în paralel. Pentru a fuziona eficient caracteristicile complementare, a fost dezvoltat un modul de agregare interactivă a caracteristicilor care îmbină reprezentările semantice provenite din cele două ramuri.
În plus, a fost introdus un modul de ghidare a caracteristicilor de discriminare pentru a oferi indicii la nivel de pixel și a deosebi locațiile reperelor. Au fost analizate efectele diferitelor setări ale hărților de căldură Gaussian asupra convergenței.
Res-SwinFusion a demonstrat o performanță remarcabilă pe trei seturi de date pentru localizarea reperelor anatomice. Erorile radiale medii au fost de 1,04 mm și 1,37 mm pe două seturi de teste publice pentru cefalogramă, 0,63 mm pe un set de date public pentru raze X ale mâinii și 1,44 mm pe un set intern de raze X pelviene. Studiile de ablație au indicat că modelarea globală bazată pe Transformer, agregarea interactivă a caracteristicilor și ghidarea caracteristicilor de discriminare au contribuit fiecare la îmbunătățirea acurateței localizării.
Cadru propus, Res-SwinFusion, oferă o soluție pentru localizarea reperelor anatomice cu o robustețe și precizie sporite, combinând modelarea contextului global cu păstrarea caracteristicilor locale.
