Présentation des annotations des images médicales pour un apprentissage supervisé

Le domaine de la reconnaissance d’image est principalement composé de deux branches : la classification d’image et la détection d’objets.
La reconnaissance d’image peut être traitée à l’aide de méthodes d’apprentissage supervisé, non supervisé et semi-supervisé. Actuellement, les méthodes d’apprentissage supervisé sont les plus couramment employées dans ce domaine. Cela suppose que l’algorithme de reconnaissance d’image utilise des données annotées, c’est-à-dire qu’à la donnée brute est associée une information a priori sur le contenu de l’image afin de faciliter la classification de l’image ou la détection des objets de celle-ci. La classification d’images ne nécessite pas l’application d’annotations manuelles au niveau des pixels, seulement l’association de l’étiquette de la classe à laquelle appartient l’image, car c’est l’image entière qui est classée et non les pixels qui la composent. Par contre, lors de la détection d’objets, des annotations manuelles (e.g. boîtes englobantes, segmentation sémantique) au niveau des pixels sont ajoutées, car ce sont eux qui sont classés. L’application de la reconnaissance d’image au domaine de l'imagerie médicale est principalement liée à des tâches de détection, soit de structures anatomiques, soit d’anomalies.

Dans cet article, nous vous présentons les formes d’annotations manuelles en détection d’objet appliquées à l’imagerie médicale, et les types d’outils de traitement d’image pour les réaliser.

Quels sont les différents types d’annotations manuelles en détection d’objet appliquée à l’imagerie médicale ?

Dans l’apprentissage supervisé, l’annotation des données est une étape capitale, car de sa qualité découlera une part des performances du modèle. En détection d’objet, nous avons identifié 3 + 1 types d’annotation pour mettre en évidence les régions de l’image à privilégier :

• les boîtes englobantes (en anglais, bounding boxes), où tous les pixels de la région d’intérêt de l’image sont englobés dans la boîte avec la plus petite mesure. Cette mesure est obtenue à partir des coordonnées du point de départ de la création de la boîte (i.e. x_min, y_min), et des valeurs de longueur et largeur de celle-ci dans le repère de l’image ;

• les masques binaires (segmentation sémantique), où chaque pixel de l’image est classé comme soit appartenant au fond (valeur 0) soit à la région d’intérêt (valeur 1) sur une grille aux dimensions de l’image ; 

• et les points de repère (en anglais, landmarks), soit des points placés aux limites de la région d’intérêt et sur les zones saillantes de celle-ci.

Le quatrième type d’annotation est indirect, car souvent généré à partir de points de repère [1] :

• les cartes de saillance (en anglais, saliency map).

Quelles architectures utilisent les annotations ?

Les architectures à propositions de régions de pixels (en anglais, Region Proposal networks - RPN), telles que Faster R-CNN et Mask R-CNN, utilisent des annotations permettant de réduire le nombre de propositions de régions par le réseau. Les annotations telles que les boîtes englobantes, les masques binaires, les points de repère et les cartes de saillance y contribuent, c’est pourquoi elles sont adaptées à ce type d’algorithmes. Ces annotations peuvent également être combinées pour faciliter davantage la convergence du réseau, comme avec Mask R-CNN combinant boîtes englobantes et masques binaires.

Les architectures à étape unique (en anglais, one-stage methods), comme YOLO et SDD, privilégieront les annotations de type boîtes englobantes et masques binaires.

Les architectures basées sur les cartes de saillances utilisent bien sûr les annotations du type du même nom. Elles peuvent également utiliser les annotations de types boîtes englobantes, masques binaires et points de repère, lors des approches dites “descendante” pour limiter les régions d’analyse de l’image qui seront par la suite analysées par un réseau de neurones convolutionnel (e.g. U-Net) pour terminer la tâche de segmentation.

Outils d’annotation courants en analyse d’images médicales

Les outils d’annotations peuvent être de différents types :

• balisage des ROI (e.g. boite englobante),
• segmentation sémantique des ROI (e.g. masque binaire).

Ils peuvent également être utilisés manuellement, semi automatiquement, ou automatiquement. Ici, nous vous présentons les outils d’annotations les plus courants et utiles pour la préparation des données en IA.

• Les outils de balisage des ROI :
  • définition manuelle d’une forme prédéfinie : point, ligne, cercle, parallélogramme, polygone ;
  • définition semi-manuelle d’une forme libre, grâce à un algorithme de dessin basé sur les B-Splines ;
• Les outils de segmentation sémantique des ROI :
  • segmentation par recherche de régions :
    • segmentation manuelle avec le pinceau, application d’une valeur arbitraire aux pixels touchés par le pinceau et étendue aux pixels voisins de même intensité ;
    • segmentation semi automatique avec un pinceau précalibré par les valeurs Hounsfield (HU), application d’une valeur arbitraire aux pixels touchés par le pinceau et étendue aux pixels appartenant à l’intervalle HU prédéfini par l’utilisateur [3] [4] ;
  • segmentation par recherche de frontière :
    • segmentation semi automatique par les ciseaux intelligents, des points d’ancrage sont appliqués sur les contours de la ROI, puis reliés par un algorithme de plus court chemin entre eux en fonction de l’intensité des pixels [4].
    • une autre implémentation des ciseaux intelligents est G-wire, un algorithme livewire adapté aux images médicales TDM, qui intègre la minimisation de l’énergie interne de la courbe, et rend l’algorithme moins sensible au bruit [5] ;
    • segmentation par détection de contours, cela permet de détecter les limites et frontières d’une région. Un contour est représenté par une importante variation d’intensité. Une amélioration de la méthode Quantum Canny[6] est proposée en se basant sur la magnitude du gradient [7]. Les résultats ont été comparés à la méthode Quantum Canny ainsi qu’aux méthodes classiques de Canny, Sobel, Robert et Prewitt.
  • segmentation automatique par seuillage des valeurs de pixels de l’histogramme de l’image [8].

Dans un prochain article, nous vous présenterons un comparatif des logiciels gratuits d'annotation d'images médicales qui incluent ces outils.