Le réseau en action
Un modèle de segmentation se juge d'ordinaire sur un tableau de scores, où l'on ne voit ni ce qu'il contient, ni ce qu'il fabrique entre l'IRM et le masque qu'il rend. Les trois figures ci-dessous sont prises sur le réseau lui-même : ses cotes sont comptées sur les couches réellement exécutées, et chaque pixel affiché vient d'un tenseur capturé pendant un passage avant sur un patient réel — rien n'est une illustration de principe.
Ce qu'il y a dans la boîte
Le U du MedNeXt-B, dessiné aux cotes du réseau chargé : chaque rectangle est un étage, sa largeur suit la racine du nombre de canaux et sa hauteur la résolution du tenseur qui y passe. Choisissez-en un — dans le U ou dans la liste — pour le voir en détail. Chaque ligne porte le poids de l'étage (paramètres) et le travail qu'il demande (multiplications-accumulations) : les deux côte à côte, parce que justement ils ne vont pas ensemble.
- étage
bottleneck- rôle
- bottleneck
- tenseur qui en sort
- 512 × 6 × 8 × 6
- canaux
- 512
- poids
- 4 230 144 paramètres · 40,2 % du réseau
- travail
- 1,22 G MAC · 1,3 % du passage
19 étages sur le chemin principal, 10 529 328 paramètres et 93,4 milliards de MAC pour un seul patch de 96×128×96 voxels. Ces deux nombres ne sont pas recopiés d'un article : ils sont comptés sur les convolutions exécutées pendant un passage avant réel — out.numel × in_ch/groups × k³ pour une convolution directe, son dual sur l'entrée pour une convolution transposée, hors normalisations et activations. Le poids est concentré au fond du U, le travail sur les bords : le bottleneck pèse 40 % du réseau pour 1,3 % du travail, quand up_0 fait l'inverse. Les 19 étages réunissent 10 526 435 paramètres ; les 2 893 restants sont les quatre têtes de supervision profonde, qui ne servent qu'à l'entraînement — et un scalaire technique du gradient checkpointing. La même planche en image, pour l'impression.
Une IRM qui descend le U
On suit une seule image d'IRM à travers les 19 étages. À chaque arrêt : les huit canaux les plus énergétiques de l'étage, la carte d'énergie reposée sur la coupe d'origine, et les mesures du tenseur — sa forme, ses canaux actifs, sa norme, le rapport de son énergie dedans et hors de la tumeur. On y voit l'anatomie se dissoudre en motifs à mesure qu'on descend, puis la tumeur revenir à la remontée. Le défilement part seul ; le curseur, les flèches et les étages du U sont là pour s'arrêter où l'on veut.
stem encodeur : le signal se replie sur lui-même
canal 20
canal 0
canal 7
canal 27
canal 6
canal 17
canal 18
canal 26
Les 8 canaux les plus énergétiques de l'étage, sur la coupe de travail. Chaque vignette est normalisée sur elle-même : les étages profonds, plus énergétiques, écraseraient les premiers.
Énergie de l'étage (Σc ac²) reposée sur la coupe d'origine ; le trait plein cerne le rehaussement de la vérité terrain. L'opacité suit la valeur : là où la carte est faible, l'IRM reste visible.
- forme du tenseur
- 32 × 96 × 128 × 96
- canaux actifs
- 32 / 32
- norme RMS
- 0,998
- entropie spatiale
- 0,949
- énergie tumeur / hors tumeur
- 3,52
- paramètres
- 160
- MAC par patch
- 150 994 944
Patient BraTS-GLI-00098-001, jamais vu à l'entraînement (validation du fold 0). Sortie brute du checkpoint gelé sur un crop de 96×128×96 autour de la tumeur, sans post-traitement ni augmentation de test. Les 19 étages sont ceux du chemin principal, dessinés aux cotes du réseau chargé : largeur ∝ √(canaux), hauteur ∝ résolution du tenseur qui y passe.
Ce que le réseau rend, coupe par coupe
Au bout des 19 étages, trois probabilités par voxel — une par région. Le curseur balaie les 16 coupes retenues sur l'étendue de la tumeur, et chaque colonne compare ce que le réseau rend au seuil 0,5 (trait plein) à ce que le radiologue avait tracé (pointillé).
Voile clair sur l'IRM = probabilité proche de 1, transparent = proche de 0. Trait plein = prédiction au seuil 0,5 ; pointillé sombre = vérité terrain. Sortie brute du checkpoint gelé sur le crop, sans post-traitement ni augmentation de test : ce n'est pas le protocole d'évaluation officiel, qui se compte lésion par lésion après nettoyage des composantes.
Probabilités sigmoïdes du checkpoint gelé, sans post-traitement ni TTA : c'est la sortie brute du réseau sur ce crop, pas le protocole d'évaluation officiel lésion-wise.
Le même patient, dix fois pendant l'entraînement
Trois colonnes, trois fonctions de perte entraînées séparément ; dix moments, de la 5ᵉ à la 50ᵉ époque. Le patient, la coupe et le seuil sont identiques d'une image à l'autre — seule la valeur des poids change, ce qui rend le mouvement imputable à l'entraînement et à rien d'autre. Arrêtez-vous sur la 20ᵉ : c'est là que la baseline se dégrade avant de se reprendre.
Voile clair sur l'IRM = probabilité du rehaussement (ET) ; traits pleins = les trois régions prédites au seuil 0,5 ; pointillé sombre = vérité terrain. Les courbes portent le crop-Dice de chaque loss : volumétrique sur le crop 96×128×96, sans fenêtre glissante ni augmentation de test — un indicateur de bonne santé sur un patient, pas la métrique officielle du challenge.
Ce que le tableau de fin de run ne montrait pas : la trajectoire n'est pas une montée régulière. La baseline segmente déjà la lésion à la 5ᵉ époque, se dégrade vers la 20ᵉ, puis se reprend. Et la troisième colonne décroche franchement sur la tumeur entière — cette perte de contour tourne ici à son coefficient par défaut, vingt fois au-dessus de celui que le criblage avait retenu.
Ce que ces images ne disent pas
Les courbes de la figure 3 sont un crop-Dice volumétrique : la prédiction est seuillée à 0,5 sur le crop autour de la tumeur, sans fenêtre glissante ni augmentation de test. C'est un indicateur de bonne santé sur un patient, pas la métrique officielle du challenge, qui se compte lésion par lésion sur le volume entier après nettoyage des composantes.
Ces trois courbes ne classent donc pas les trois pertes. Sur le score officiel, deux entraînements du même modèle à graine différente s'écartent déjà d'environ 0,005 de Dice — un écart du même ordre que ceux qu'on croit lire entre deux colonnes. Le classement des pertes est traité ailleurs, sur les 1 196 patients de la validation croisée et avec les tests appariés qui vont avec : c'est l'objet du papier.