segmentation d'images hyperspectrales par morphologie …angulo/publicat/noyeletal_30... ·...
TRANSCRIPT
Segmentation d’images hyperspectrales par Morphologie Mathématique
Segmentation d’images hyperspectrales parMorphologie Mathématique
Guillaume NOYEL, Jesus Angulo, Dominique Jeulin{guillaume.noyel, jesus.angulo, dominique.jeulin}@ensmp.fr
Centre de Morphologie MathématiqueEcole des Mines de Paris
35, rue Saint-Honoré, 77305 Fontainebleau cedex - France
30ème journée ISS France - Paris - 8 Février 2007
1 / 25
Segmentation d’images hyperspectrales par Morphologie Mathématique
Plan
1 Introduction
2 Réduction du nombre de canaux
3 Segmentation par Ligne de Partage des Eaux
4 Résultats
5 Conclusion et Perspectives
2 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueIntroduction
1 Introduction
2 Réduction du nombre de canaux
3 Segmentation par Ligne de Partage des Eaux
4 Résultats
5 Conclusion et Perspectives
3 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueIntroduction
Qu’est ce qu’une image hyperspectrale ?
DéfinitionImage hyperspectrale : à chaque point xi est associé un vecteur qui a desvaleurs dans le spectre, dans le temps ou associées à un index j .
fλ :
{E → T L avec E ⊂ R2, T ⊂ Rx → fλ(x) = (fλ1(x), fλ2(x), . . . , fλL(x))
fλj \ j ∈ {1, 2, . . . , L} est un canal (L est le nombre de canaux)
xi
fλ j
Source de l’image [Legrand,Meriaudeau, Gorria, 2002]Laboratoire LE2i, Le Creusot
4 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueIntroduction
Problématique
L’étude réalisée à pour but de présenter une méthodologie desegmentation par Morphologie Mathématique pour les imageshyperspectrales. L’image traitée n’est utilisée que comme illustration dela méthode.
Que donne la segmentation sur un seul canal ?
Canal 60 fλ60 Segmentation
5 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueRéduction du nombre de canaux
1 Introduction
2 Réduction du nombre de canaux
3 Segmentation par Ligne de Partage des Eaux
4 Résultats
5 Conclusion et Perspectives
6 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueRéduction du nombre de canaux
Réduction du nombre de canaux
Une image hyperspectrale peut compter beaucoup de canaux : jusqu’àquelques milliers. Il est donc nécessaire de réduire l’information spectrale.
Deux approches pour la réduction du nombre de canaux été effectuées :• approche par analyse de données : Analyse Factorielle des
Correspondances (AFC)• approche modèle : ajustement d’un modèle pour tous les pixels
vecteurs.
7 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueRéduction du nombre de canaux
Réduction du nombre de canaux
Image hyperspectrale (60 canaux) AFC (2 canaux)
fλ1 fλ30 fλ60 c fα1
c fα2
Avant filtrage Après filtrage
Reconstruction AFC−1
(60 canaux)
Avant fλ50 Après fλ50
8 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueRéduction du nombre de canaux
Réduction du nombre de canaux
Paramètres du modèle (ajusté sur fλ) ACP
p1 = a p2 = b p3 = m cpβ1
cpβ2
Sur l’image filtrée fλ on ajuste en chaque point x un modèle de droite :
fλ(x) ∼ a(x)λ + b(x) avec λ = λ1, λ2, . . . , λL
Les cartes de paramètres produites sont donc :• p1 = a : pente• p2 = b : ordonnée à l’origine• p3 = m : montée définit par
m(x) = maxj∈[1:10]
(fλj (x))− minj∈[1:10]
(fλj (x)))
9 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueSegmentation par Ligne de Partage des Eaux
1 Introduction
2 Réduction du nombre de canaux
3 Segmentation par Ligne de Partage des Eaux
4 Résultats
5 Conclusion et Perspectives
10 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueSegmentation par Ligne de Partage des Eaux
Segmentation par LPE
La segmentation par Ligne de Partage des Eaux (LPE) nécessite :• la norme d’un gradient : le gradient contient l’information spatiale.• des marqueurs obtenus par classification de type kmeans ou nuées
dynamiques dans l’espace considéré. Les marqueurs contiennentl’information spectrale.
)(xmrks
Gradient
Classification)(
)()(
)(ˆ
xxx
x
p
f
cpc
f
β
α
λ
d
g
∇∇∇
+
∨
LPE
)(xseg1p
2p3p
11 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueSegmentation par Ligne de Partage des Eaux
LPE : quel gradient utiliser ?
DéfinitionUn gradient est une fonction scalaire dont les valeurs sont dansl’intervalle [0, 1], i.e. ∇ : E → [0, 1].
Plusieurs gradients ont été essayés :• Morphologique (scalaire, i.e. marginal) :
g(fλj(x)) = δB(fλj(x))− εB(fλj(x))
• Supremum (vectoriel) :
∇∨fλ(x) = ∨[g(fλj(x)), j ∈ {1, . . . , L}]• Somme pondérée (vectoriel) :
∇+fλ(x) =L∑
j=1
[wλj g(fλj(x)), j ∈ {1, . . . , L}]
• Distance (vectoriel) :
∇d fλ(x) = ∨[d(fλ(x), fλ(y)), y ∈ B(x)]−∧[d(fλ(x), fλ(y)), y ∈ B(x)]12 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueSegmentation par Ligne de Partage des Eaux
LPE : quel gradient utiliser ?
Pour le gradient à partir d’une distance, il faut utiliser une distancecorrespondant à l’espace image de travail :• Euclidienne pour les espaces factoriels : cf
α, cpβ
=⇒ gradient distance euclidienne : ∇E
• Mahalanobis pour l’espace des paramètres : p=⇒ gradient distance de Mahalanobis : ∇M
• Chi Deux pour l’espace image de départ : fλ=⇒ gradient distance du Chi Deux : ∇χ2
13 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueRésultats
1 Introduction
2 Réduction du nombre de canaux
3 Segmentation par Ligne de Partage des Eaux
4 Résultats
5 Conclusion et Perspectives
14 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueRésultats
Résultats
On recherche des traces de colle sur un bouchon en plastique (image detaille 256× 256× 60). On possède un segmentation référence de[Legrand Meriaudeau Gorria 2002] obtenue par différence entre uneimage avant et une image après l’arrivée de colle.
Pour notre étude, nous n’avions que l’image avec la colle.
15 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueRésultats
Résultats
Espace image filtrée : fλ(x)
Mark(x) Grad(x) seg(x) Référence
∇χ2
La segmentation est mauvaise.
16 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueRésultats
Résultats
Espace AFC : cfα(x)
Mark(x) Grad(x) seg(x) Référence
∇E
La segmentation est mauvaise.
17 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueRésultats
Résultats
Espace des paramètres : p(x)
Mark(x) Grad(x) seg(x) Référence
∇M
∇∨
Les segmentations se rapprochent de la référence.
18 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueRésultats
Résultats
Espace ACP des paramètres : cpβ(x)
Mark(x) Grad(x) seg(x) Référence
∇E
∇∨
∇+
Les segmentations se rapprochent de la référence.19 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueRésultats
Pour résumer
Espaces image
)(ˆ xλf
)(xfcα
)(xp
)(xpcβ
Espace image filtrée
Espace AFC
Espace des paramètres
Espace ACP des paramètres 2 canaux
2 canaux
Mark(x) seg(x)Grad(x)
60 canaux
3 canaux
Segmentation référence
2χ∇
E∇
M∇ ∨∇
E∇ ∨∇ +∇
20 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueConclusion et Perspectives
1 Introduction
2 Réduction du nombre de canaux
3 Segmentation par Ligne de Partage des Eaux
4 Résultats
5 Conclusion et Perspectives
21 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueConclusion et Perspectives
Conclusion
• Les segmentations obtenues dans les espaces paramètres, p(x), etACP des paramètres, cp
β(x), sont meilleures que celles obtenues dansles autres espaces.
• L’approche modèle est donc meilleure, pour cette étude, quel’approche analyse de données sur l’image de départ.
• L’analyse de donnée est très utile pour le filtrage de l’image.• La méthode présentée combine une approche spectrale pour les
marqueurs avec une approche spatiale pour le gradient.
22 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueConclusion et Perspectives
Perspectives
• Faire du filtrage multivarié sur les bandes spectrales.• Tester d’autres classificateurs qui combinent les approches spectrales
et spatiales, pour obtenir les marqueurs.
23 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueConclusion et Perspectives
Bibliographie
Noyel G, Angulo J, Jeulin D (2006).Morphological Segmentation of hyperspectral images.Note interne Ecole des Mines de Paris n. N-36/06/MM. Soumis à ImageAnalysis and Stereology, ICS XII St Etienne 30 Août-7 Sept 2007.
Legrand AC, Meriaudeau F, Gorria P (2002).Active infrared non-destructive testing for glue occlusion detection within plastic lids.NDT&E International, 35 :177–187.
Benzécri JP (1973).L’Analyse Des Données. L’Analyse des Correspondances. Vol. 2.Paris. Dunod :1–166.
24 / 25
Segmentation d’images hyperspectrales par Morphologie MathématiqueConclusion et Perspectives
Bibliographie
Angulo J, Serra J (2003).Color segmentation by ordered mergings.In Proc. of the IEEE International Conference on Image Processing(ICIP’2003), Vol. II, 125–128.
Serra J (1982).Image Analysis and Mathematical Morphology. Vol. 1.Academic Press. London.
Beucher S, Meyer F (1992).The Morphological Approach to Segmentation : The WatershedTransformation.In (E. Dougherty Ed.), Mathematical Morphology in Image Processing,Marcel Dekker, 433–481.
25 / 25