Automatische Extraktion von Epiphysen-ROI aus ... · So wirkt sich etwa bei Pubertas Praecox die be...

74
Diplomarbeit Automatische Extraktion von Epiphysen-ROI aus Handradiographien Andr´ e Brosig Matrikelnummer 235069 28. April 2009 Gutachter: Prof. Dr. rer. nat. Dipl.-Ing. Thomas M. Deserno und Prof. Dr. Peter Rossmanith Volume 4, Band 1 ISSN 1860-8906 ISBN 978-3-9811848-9-1 Aachener Schriften zur Medizinischen Informatik

Transcript of Automatische Extraktion von Epiphysen-ROI aus ... · So wirkt sich etwa bei Pubertas Praecox die be...

Diplomarbeit

Automatische Extraktion von Epiphysen-ROIaus Handradiographien

Andre Brosig

Matrikelnummer 235069

28. April 2009

Gutachter:

Prof. Dr. rer. nat. Dipl.-Ing. Thomas M. Deserno

und Prof. Dr. Peter Rossmanith

Volume 4, Band 1

ISSN 1860-8906

ISBN 978-3-9811848-9-1

Aachener Schriften zur Medizinischen Informatik

Aachener Schriften zur Medizinischen Informatik ISSN 1860-8906 ISBN 978-3-9811848-9-1 Herausgeber: Institut für Medizinische Informatik der RWTH Aachen Pauwelsstr. 30 D-52074 Aachen Geschäftsführender Direktor: Universitätsprofessor Dr. Dr. Klaus Spitzer

,

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 3 von 73

Hiermit versichere ich, dass ich die Arbeit selbststandig verfasst und keine anderen als dieangegebenen Quellen und Hilfsmittel benutzt sowie Zitate kenntlich gemacht habe.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 4 von 73

Inhaltsverzeichnis

1 Einleitung 5

2 Aufgabenstellung 62.1 Losungsansatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

3 Stand der Technik 73.1 Altersbestimmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73.2 Automatische Extraktion von Epiphysenregionen . . . . . . . . . . . . . . . . . . 93.3 IRMA-Projekt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.3.1 Segmentierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123.3.2 Merkmalsberechnung (lokal) . . . . . . . . . . . . . . . . . . . . . . . . . . 133.3.3 Training von Strukturprototypen . . . . . . . . . . . . . . . . . . . . . . . 173.3.4 Merkmalsauswahl . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203.3.5 Graphmatching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

4 Material und Methoden 214.1 Etablierung einer Bildverarbeitungskette zur Lokalisierung und Extraktion von

Epiphysenregionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214.1.1 Extraktionsstrategie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

4.2 Merkmalsberechnung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324.3 Durchfuhrung des Prototyptrainings . . . . . . . . . . . . . . . . . . . . . . . . . 344.4 Rekonstruktion fehlender Regionen . . . . . . . . . . . . . . . . . . . . . . . . . . 36

4.4.1 Registrierung durch Least-Squares-Fitting mit einem Strukturprototyp . . 384.4.2 Schatzung uber relationale Merkmale . . . . . . . . . . . . . . . . . . . . 42

4.5 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

5 Experimente und Ergebnisse 465.1 Daten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

5.1.1 Bildmengen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475.1.2 Manuelle Segmentierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 485.1.3 Epiphysenpositionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

5.2 Initiale Versuche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515.2.1 Segmentierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515.2.2 Graphmatching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

5.3 Graphmatching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 535.4 Lokalisierung und Extraktion von Epiphysenregionen . . . . . . . . . . . . . . . . 555.5 Auswertung der Extraktion mit einer Rekonstruktionsstrategie uber eine Regis-

trierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 555.6 Auswertung der Extraktion mit einer Rekonstruktionsstrategie uber relationale

Merkmale: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 575.6.1 Rekonstruktion fehlender Regionen uber relationale Merkmale und uber

Least-Squares-Fitting im Vergleich . . . . . . . . . . . . . . . . . . . . . . 575.7 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 615.8 Subset-Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

6 Diskussion und Ausblick 66

7 Formelzeichen 69

8 Danksagung 73

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 5 von 73

1 Einleitung

Die Bestimmung der Skelettreife ist eine oft durchgefuhrte aber zeitraubende und fehleranfalligeUntersuchung in der radiologischen Routine. Ziel ist hierbei haufig, Abweichungen des Knochen-alters vom chronologischen Alter eines Patienten zu bestimmen. Hierbei werden meist Ront-genbilder der linken Hand vom Radiologen anhand ihrer globalen Ahnlichkeit zu Bildern einesReferenzatlasses [1] oder anhand ausgewahlter, besonders aussagekraftiger Bildbereiche [2] aus-gewertet um zu einer Schatzung des Knochenalters zu gelangen. Hierbei weichen sowohl die Be-wertungen eines Rontgenbildes durch verschiedene Experten als auch mehrere zeitlich versetztdurchgefuhrte Bewertungen des gleichen Radiologen oft deutlich voneinander ab. Aufgrund derSubjektivitat des Verfahrens und des erheblichen Zeitaufwandes gibt es seit langem Bestrebun-gen die Bewertung des Knochenalters mit Mitteln der Bildverarbeitung teilweise oder vollstandigzu automatisieren [3, 4, 5, 6, 7, 8, 9, 10].

Die Bildklasse stellt hier große Herausforderungen an die Algorithmen. In Handradiographienaus der radiologischen Routine gibt es große Variationen. So unterscheiden sich die Bilder oftdeutlich in Bezug auf Helligkeit, Kontrast und Bildrauschen. Dies liegt daran, daß hier un-terschiedliche Modalitaten und Strahlungsdosierungen zum Einsatz kommen konnen. Auch dieGroße und Ausrichtung des Bildausschnittes variiert zum Teil deutlich. Haufig sind Helligkeits-verlaufe aufgrund inhomogener Ausleuchtung sowie vom Radiologen zur Orientierung platzierteFremdkorper in der Szene enthalten. Nachtraglich digitalisierte Filmradiographien weisen zudemhaufig weiße Bereiche am Rand auf.

Im Laufe des Reifungsprozesses der Hand verandert diese ihr Erscheinungsbild stark, indemetwa zusatzliche Knochen erscheinen oder andere fusionieren. Aber auch zwischen Patientengleichen Alters gibt es naturliche Variationen bezuglich Form, Dichte, Große und Textur derKnochen und des Weichgewebes. Auch die Pose der Hand weist von Bild zu Bild hinsichtlichder Krummung und Spreizung der Finger starke Unterschiede auf.

Zur Bewertung der Skelettreife sind die Teile der Hand von besonderem Interesse, die wahrenddes Reifungsprozesses besonders deutliche Veranderungen durchlaufen. Dies sind neben denHandwurzelknochen insbesondere die Epiphysen.

Eine mogliche Strategie zur Bewertung des Knochenalters besteht darin, solche interessantenBildbereiche (ROI) zu lokalisieren und Teilbilder zu extrahieren, die die gesuchten Bildobjekteenthalten. Fur diese Teilbilder konnen dann automatisch mit Hilfe von inhaltsbasierter Bildsu-che (CBIR) ahnliche Teilbilder in einer Referenzdatenbank gesucht werden. Aus dem jeweils mitden Teilbildern der Referezdatenbank assoziierten chronologischen Alter der besten gefundenenTeilbilder kann dann ein, uber die Ahnlichkeitsbewertung der Bildsuche gewichteter, Mittel-wert gebildet werden um eine Schatzung des Knochenalters im Anfragebild zu berechnen. ImVerbundprojekt Image Retrieval in Medical Applications (IRMA) wurden hierfur verwendbareAlgorithmen zur Bildsuche und Bildahnlichkeitsbewertung in medizinischen Bilddatenbankenentwickelt [11, 12, 13, 14, 15]. Die Lokalisierung und Extraktion der Epiphysenregionen stellteinen wichtigen Schritt des somit umrissenen Systems zur Skelettreifebestimmung dar (Abb.1).

In dieser Diplomarbeit wird die Entwicklung einer Bildverarbeitungskette zur automatische Ex-traktion von Epiphysen-ROI beschrieben. Es werden zunachst 19 visuell prominente Knochen(Metakarpal- und Phalanxknochen) der Hand detektiert. Hierzu wird das Bild mit einem Region-Merging Verfahren hierarchisch segmentiert. Anschließend werden mit einem statistischen Mo-dell der Hand unter Berucksichtigung lokaler und relationaler Merkmale die Regionen eindeutigbestimmt, die den gesuchten Phalanx- und Metakarpalknochen entsprechen. Anhand von Vor-wissen uber den Aufbau der Hand werden dann 14 Schwerpunkte von Epiphysen-ROI und ihreOrientierung bestimmt sowie Teilbilder extrahiert, die dann fur die weitere Auswertung bereit-stehen.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 6 von 73

ROI

EpiphysenEpiphysen--extraktionextraktion

AnfragebildAnfragebild

CBIR

CBIR-Ergebnisse

2,7

2,5

3,1

2,6 Jahre

Knochenreife

Abbildung 1: Automatische ROI-Extraktion im Kontext der automatischen Skelettreifebestimmung

2 Aufgabenstellung

Das Thema dieser Arbeit ist die automatische Extraktion von semantisch aussagekraftigen Re-gionen aus Radiographien der Hand im Kontext der radiologischen Altersbestimmung. Hier wirdkonkret die Extraktion der Epiphysenregionen angestrebt, da diese eine hohe Aussagekraft furdie Beurteilung der Knochenreife haben.

Im Rahmen des IRMA-Projektes (Image Retrieval in Medical Aplications) wurden Verfahrenzur Szenenanalyse mit einem aus einem Bottom-up Region-Merging und anschließender Klassifi-kation der Bildobjekte durch ein mit einem, fur die jeweilige Bildklasse an Beispielen trainiertenstatistischen Modell entwickelt. Durch das sukzessive Verschmelzen von Teilregionen des Bil-des wird ein hierarchisch attributierter Regionenadjazenzgraph (HARAG) erstellt, der in seinenKnoten die entstehenden Regionen und in seinen Kanten die Adjazenzen der Regionen und dieaus den Verschmelzungen resultierenden Inklusionen abbildet. Aus den Regionen eines solchenHARAGs werden mit Hilfe eines Graphmatchings mit einem Prototypgraphen [16], der die Bil-dobjekte der Bildklasse anhand der statistischen Verteilungen ihrer lokalen und relationalenMerkmale beschreibt, diejenigen bestimmt, die den gesuchten Bildobjekten entsprechen[17].

Ziel dieser Arbeit ist es, aufbauend auf diesen Verfahren eine Methodik zur automatischenLokalisierung und Extraktion von Regions Of Interest (ROI) der Epiphysen von Handknochen imKontext der automatischen Skelettreifebestimmung zu konzipieren und praktisch umzusetzen.

Es sollen Bewertungskriterien fur das entwickelte Verfahren und die verwendeten Teilkompo-nenten entworfen werden. Basierend auf diesen Bewertungskriterien soll der entwickelte Ansatzdurch Versuche evaluiert werden.

2.1 Losungsansatz

Da die Epiphysen im Vergleich zu anderen Strukturen der Hand sehr klein sind und im Rei-fungsprozess der Hand starke Veranderungen durchlaufen und sie dadurch bei sehr jungen Pa-tienten teils noch nicht im Rontgenbild zu erkennen bzw. bei alteren Patienten komplett mitdem Knochen verschmolzen sind, ist eine direkte Detektion schwierig. Deshalb wird hier derAnsatz gewahlt, visuell prominente Bildobjekte eindeutig zu identifizieren, deren relative Posi-tion zu den gesuchten Epiphysen bekannt ist und basierend auf dieser Information Teilbilder zuextrahieren, die die Epiphysen beinhalten. Hierbei ergeben sich folgende Teilaufgaben:

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 7 von 73

• Die vorhandenen Softwarekomponenten werden zu einer Bildverarbeitungskette kombi-niert, die mit Hilfe einer hierarchischen Segmentierung und Graphmatching eines Struk-turprototyps 19 Knochen der Hand eindeutig identifiziert. Diese Bildverarbeitungskettewird um zusatzliche neu entwickelte Softwarekomponenten erweitert, um die 14 Epiphy-senregionen der Hand zu extrahieren. Hierbei sind die vorhandenen Komponenten auf ihreEignung zu prufen und die fur die Aufgabe am besten geeigneten zu verwenden.

• Es werden Qualitatsmaße und Bewertungskriterien fur die Bildverarbeitungskette und ihreErgebnisse sowie ihre Teilkomponenten definiert.

• Es werden Stellgroßen fur die Qualitat des Gesamtsystems identifiziert.

• Auf Basis initialer Versuche werden Elemente der Bildverarbeitungkette identifiziert, derenOptimierung lohnenswert hinsichtlich des Gesamtergebnisses erscheint.

• Die durchgefuhrten Optimierungen werden durch Versuche validiert.

• Die entwickelte Bildverarbeitungskette wird durch Versuche hinsichtlich ihrer Eignungbewertet und die erzielten Ergebnisse dokumentiert.

3 Stand der Technik

Einleitend wird im Folgenden eine Ubersicht uber die radiologische Altersbestimmung gegeben.Neben dem grundlegenden Prinzip werden hier Indikationen einer solchen Untersuchung genanntund es wird auf die Anwendbarkeit und Genauigkeit im Einzelfall eingegangen. Es werden gangi-ge Verfahren zur Altersschatzung in der radiologischen Routine sowie ihre Vor- und Nachteilebeschrieben.

Es folgt eine Ubersicht uber Verfahren zur automatischen, computergestutzten Lokalisierung vonEpiphysenregionen, die einen moglichen Schritt in der automatischen Knochenreifebestimmungbilden kann. Einzelne Verfahren werden exemplarisch vorgestellt.

Abschließend erfolgt eine kurze Ubersicht uber das IRMA-Projekt, in dessen Rahmen dieseDiplomarbeit erstellt wurde. Die Einzelverfahren, die in dieser Arbeit als Teil einer Bildverar-beitungskette zur automatischen Extraktion von ROI der Epiphysen eingesetzt wurden, werdendetailliert erlautert.

3.1 Altersbestimmung

Die Bestimmung der Skelettreife ist eine haufig angewandte und zeitaufwandige Untersuchung.Eine Knochenreifebestimmung wird von Radiologen zur Klarung verschiedener Fragestellun-gen durchgefuhrt. So kann etwa bei Anwendung in der Forensik hiermit festgestellt werden, obeine Person tatsachlich noch minderjahrig ist [18][19]. Bei medizinischen Indikationen ist hin-gegen das chronologische Alter der Patienten meist bekannt. Eine typische Anwendung ist hierdie Bewertung der Knochenreife mit dem Ziel, den idealen Zeitpunkt fur eine kieferorthopadi-sche Behandlung zu bestimmen oder Abweichungen der Skelettreife vom chronologischen Alternachzuweisen. Solche Abweichungen konnen etwa bei verzogert oder verfruht einsetzender Pu-bertat (Pubertas Tarda, Pubertas Praecox) auftreten und sich unter anderem auf die erreichbareKorpergroße auswirken. So wirkt sich etwa bei Pubertas Praecox die beschleunigte Knochenreifedurch ein verfruhtes Schließen der Epiphysenfugen und ein damit einhergehendes verfruhtes En-de des Wachstums durch Minderwuchs aus. Hier kann beispielsweise hormonell gegengesteuertwerden. Eine deutlich von der Norm abweichende Skelettreife kann neben hormonellen Ursachen

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 8 von 73

auch genetisch oder durch Tumore bedingt sein. Da die Entwicklung bei jedem Kind unterschied-lich schnell verlauft, treten auch bei gesunden Kindern naturliche Schwankungen der Skelettreifeum ein bis zwei Jahre auf, ahnlich wie beim Verlust der Milchzahne oder dem Einsetzen der ers-ten Menstruation bei Madchen. Zu beachten ist hier auch, dass die Skelettreife typischerweisebei Madchen weiter fortgeschritten ist als bei Jungen gleichen Alters. Auch der soziookono-mische Status eines Kindes kann Auswirkungen auf die Knochenreife haben. So konnen etwaUnterernahrung oder langere Krankheit die Skelettreife verzogern. Zudem wird vermutet, dassbei Kindern verschiedener ethnischer Zugehorigkeit die Knochenreife leicht abweichen kann. Sowerden immer wieder Studien publiziert, die die Uberprufung der Anwendbarkeit von verschie-denen Methoden zur Skelettreifebestimmung auf Kinder verschiedener Populationen (etwa aufKinder aus Brasilien, Deutschland, der Turkei oder Japan) zum Ziel haben [20, 21, 22].

Zur radiologischen Bewertung der Skelettreife eignen sich prinzipiell die Bereiche des Skelettap-parates, welche in ihrer Entwicklung deutlich sichtbare Veranderungen durchlaufen. Bei Neuge-borenen kann eine Schatzung der Skelettreife anhand von Radiographien des Becken- oder Schul-terbereichs vorgenommen werden. Auch die Erhebung des Zahnstatus ermoglicht eine Schatzungder Knochenreife. Um mit niedrigen Strahlendosen eine gute Bildqualitat erreichen zu konnen,werden bevorzugt Bereiche des Korpers fur eine solche Untersuchung herangezogen, in denen we-nig Gewebe durchstrahlt werden muss, um viele aussagekraftige Regionen zu erfassen. Zu nennensind hier insbesondere die Untersuchung der Knie und der Hande. Die Untersuchung der linkenHand nach der Methode von Greulich und Pyle ist die verbreitetste Methode zur radiologischenAltersbestimmung [1]. Das Rontgenbild der linken Hand des Patienten wird hierbei mit denReferenzbildern in einem Atlas zur Skelettreife verglichen. Anhand der Ahnlichkeit bestimmterBereiche der Hand und der Hand als Ganzes mit den Referenzbildern und dem jeweils hierzu imAtlas vermerkten Alter kann somit eine Schatzung des Alters vorgenommen werden. Die Ent-wicklung kann in verschiedenen Teilen der Hand unterschiedlich weit fortgeschritten sein. Vonbesonderem Interesse sind hier die Handwurzelknochen sowie die Epiphysen von Radius, Ulna,Metacarpal- und Phalanxknochen. Beim Neugeborenen sind die Epiphysen sowie die meistenHandwurzelknochen zunachst knorpelig angelegt und somit im Rontgenbild nicht zu erkennen.Diese verknochern im Laufe der Zeit. Dadurch werden im Rontgenbild in bestimmter Reihenfolgezunachst kleine Kalzifikationskerne erkennbar, die nach und nach ihre Form und Große andernund im Fall der Epiphysen schließlich mit der zugehorigen Metaphyse/Diaphyse verschmelzen(Abb. 2).

Da bei der Altersbestimmung nach Greulich und Pyle sowohl die Altersschatzungen verschiede-ner Radiologen als auch mehrfache Bewertungen derselben Hand durch den gleichen Radiolo-gen deutlich voneinander abweichen konnen, wurde von Tanner und Whitehouse ein Verfahren(TW2/TW3) vorgeschlagen, das eine weniger subjektive Schatzung der Skelettreife ermoglichtund besser reproduzierbare Ergebnisse liefern soll [2]. Hierbei werden einzelne Regionen derHand in einem Atlas verglichen, in dem die verschiedenen Reifestadien der entsprechenden Re-gion anhand verschiedener Merkmale, wie Form und Große, beschrieben und illustriert sind (etwavorhanden, separat, fusioniert, oval, spitz, gewolbt). Somit wird jede der betrachteten Regioneneinem der beschriebenen Reifestadien (A bis I) zugeordnet und anhand einer Berechnungsvor-schrift ein zusammenfassender Reifescore berechnet, der dann zur Altersschatzung herangezogenwird. Hierbei stehen verschiedene Bewertungsschemata zur Verfugung, die jeweils unterschied-liche Knochen betrachten. Das Schema RUS 13 (Radius, Ulna, Short Bones) bezieht hier dieEpiphysen von Radius, Ulna, des kleinen Fingers, des Mittelfingers und des Daumens in dieBerechnung ein, sodass insgesamt 13 Einzelregionen bewertet werden. Das Schema CARPALSbetrachtet die Handwurzelknochen und ein weiteres Schema kombiniert die Bewertungen allerRegionen aus RUS 13 und CARPALS zur Berechnung des Reifescores. Die Methode von Greu-lich und Pyle ist die am weitesten verbreitete Methode zur radiologischen Altersbestimmung,denn obwohl die Altersschatzung nach Tanner und Whitehouse reproduzierbarere Ergebnisseliefert [24], ist sie deutlich umstandlicher und mit erheblichem Zeitaufwand verbunden.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 9 von 73

18y16y13y

9y5y2,5y

Abbildung 2: Menschliche Hand in verschiedenen Stadien der Entwicklung[23].

3.2 Automatische Extraktion von Epiphysenregionen

Verschiedene Verfahren zur Detektion und Extraktion von Epiphysenregionen wurden in denletzten Jahren veroffentlicht. Hierbei kommen unterschiedliche Heuristiken zum Einsatz. Einesder bekanntesten Verfahren wurde 2001 von Pietka et al. veroffentlicht [25]. Hierbei wird zunachsteine Reihe von Vorverarbeitungsschritten auf das Anfragebild angewendet, mit denen unter an-derem der Hintergrund entfernt und radiologische Markierungen (Objekte die vom Radiologenim Bildbereich platziert werden, etwa ein großes “L”) uberdeckt werden. Daraufhin wird ubereine sogenannte Step-Wedge-Funktion ein Schwellwert zeilenweise auf das Bild angewendet, umdie Spitzen von Ring-, Mittel- und Zeigefinger anhand der Grenze zwischen Hintergrund undWeichgewebe der Finger zu lokalisieren. Anschließend werden die Konturen der Finger verfolgtund ihre Mittelachse bestimmt. Anhand der ersten Ableitung des gemittelten Grauwertprofilsentlang der Achse wird die Position der Epiphysen grob bestimmt und entsprechende Teilbilderwerden zur Weiterverarbeitung extrahiert (Abb.3). Giordano et al. [26], verwenden wie Pietkaet al. eine Step-Wedge-Funktion zur Lokalisierung der Finger, extrahieren jedoch die Epiphy-senregionen des kleinen Fingers, des Mittelfingers und des Daumens, wobei fur die Extraktiondes Daumens eine zusatzliche Heuristik eingesetzt wird. Die hier ausgewahlten Regionen ent-sprechen denen, die auch von Radiologen bei der Knochenaltersbestimmung nach Tanner undWhitehouse (RUS) betrachtet werden. Park et al. [27] haben das Verfahren von Pietka et al.durch eine andere Methode der Lokalisierung der Finger modifiziert. Zunachst werden die Wen-depunkte der Kontur des Weichgewebes zum Hintergrund bestimmt. Je drei dieser Wendepunktebestimmen ein Rechteck, das jeweils Ring-, Mittel- oder Zeigefinger enthalt. Zusatzlich kommthier eine andere Funktion zur Bestimung der Mittelachse des Fingers zum Einsatz (Abb. 4).

In all diesen Verfahren fließt a priori Wissen uber die Szene direkt in die Heuristik zur Extraktionder Epiphysenregionen ein. Im Gegensatz dazu ermoglichen die im Rahmen dieser Diplomarbeit

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 10 von 73

Abbildung 3: Extraktion von Epiphysen-ROI. Von links nach rechts: 1) Binarisierung des Bildes, Lokalisierungder Fingerspitzen und -Kontur der drei mittleren Finger anhand der Weichgewebe/Hintergrund Kontur 2)Lokalisierung der Epiphysenschwerpunkte auf dem Grauwertprofil der Hauptachse eines Fingers 3) Lokalisierungder Epiphysen 4) Extahierte Epiphysen-ROI [23]

Abbildung 4: Links: Lokalisierung der mittleren drei Finger anhand der Wendepunkte der Grenzlinie zwischenWeichgewebe und Hintergrund. Rechts: Detektion der Hauptachse eines Fingers durch Polynom Fitting [27]

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 11 von 73

genutzten, vorhandenen Softwarekomponenten eine allgemeinere Detektion von an Beispielentrainierten Bildregionen. Wissen uber die Szene fließt hier uber die Auswahl der zu trainie-renden Regionen ein. Die in dieser Arbeit implementierte Extraktionsmethode verwendet dieso detektierten Regionen, um die Epiphysenregionen anhand von Vorwissen uber die relativePosition der Epiphysenregionen zu diesen Regionen zu lokalisieren. Wie die anderen Verfahrenorientiert sie sich hierzu an visuell prominenten Bildregionen.

Ein weiteres Verfahren, das sich von den zuvor genannten deutlich unterscheidet wurde wahrendder Erstellung dieser Diplomarbeit von van Rijn et al. veroffentlicht [28] und wird unter demNamen boneXpert als Komplettsystem zur radiologischen Altersbestimmung kommerziell ver-trieben. Bei der boneXpert-Methode [29] werden die Konturen der betrachteten Knochen uberActive-Appearance-Modelle detektiert und ausgewertet. Betrachtet werden hier Radius, Ulna,die 5 Metakarpalknochen, die Phalanxknochen des kleinen Fingers, des Mittelfingers und desDaumens sowie ihre jeweiligen Epiphysen, die hier als eigenstandige Knochen betrachtet werden.Hierbei wurden verschiedene Teilmodelle fur einzelne Knochen trainiert, um sowohl separate Epi-physen (bei jungeren Patienten) als auch mit der Metaphyse/Diaphyse komplett verschmolzeneEpiphysen korrekt detektieren zu konnen.

Abbildung 5: Lokalisierung von Handknochen mit Active Appearence Modellen in boneXpert [28]

3.3 IRMA-Projekt

Das IRMA-Projekt, das den Rahmen dieser Arbeit darstellt, hat das Ziel, Methoden des Image-Retrievals, also des Auffindens von Bildern in großen medizinischen Bilddatenbanken, zu konzi-pieren und zu realisieren. Hierbei sollen insbesondere Rontgenbilder, aber auch Bildmaterial an-derer Modalitaten, wie Computertomographie (CT) oder Magnetresonanztomographie (MRT),automatisch klassifiziert, gegen Vorlagenbilder registriert und weitergehend analysiert werden.Das entwickelte System soll die Bilder inhaltlich unterscheiden konnen und sowohl semantischeals auch formale Anfragen auf dem Bildarchiv bearbeiten konnen, um somit etwa das Auffinden

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 12 von 73

von (anonymisierten und befundeten) Bildern mit gleichem diagnostischem Befund in der Da-tenbank (Content-Based-Image-Retrieval) oder die Suche nach Bildern (und dem zugehorigenBefund), die einem vom Nutzer gegebenen Bild ahneln (Query-By-Example), zu ermoglichen.Um die Bilder inhaltlich beschreiben zu konnen, werden aus ihnen diverse Merkmale extra-hiert. Hier wurden Verfahren entwickelt, die einen Vergleich von Bildern anhand der enthaltenenBildobjekte und ihrer Konstellation ermoglichen, um die Zugehorigkeit zu bekannten Bildklas-sen zu bewerten. Insbesondere wurde hier mit der hierarchischen Segmentierung ein machtigesund vielseitiges Verfahren zur Szenenanalyse von medizinischem Bildmaterial entwickelt [16].Durch einen Vergleich mit einem statistischen Modell der Szene konnen Gruppen von bekanntenBildobjekten anhand ihrer individuellen Merkmale und ihrer Relationen zueinander eindeutigidentifiziert werden[17].

3.3.1 Segmentierung

Ziel der Segmentierung ist es, eine Zerlegung des Bildes in eine Menge von Regionen zu fin-den. Hierzu wurde im Rahmen des IRMA-Projektes ein Region-Merging-Verfahren entwickelt,das alle hierbei entstehenden Regionen in einem Graphen zusammenfasst. Die Regionen derSegmentierung bilden die Knoten des resultierenden Graphen, wahrend Nachbarschaften undInklusionen durch Kanten modelliert werden.

Ein Bild der Breite w und Hohe h ist eine Matrix von Pixeln, denen jeweils ein Farbwert g(x, y)zugeordnet ist:

g(x, y) ∈ {0, ..., 255} (1)

B = {(x, y)|0 ≤ x ≤ w, 0 ≤ y ≤ h} (2)

Die Nachbarschaft eines Pixels p = (x, y) ∈ B ist gegeben durch die Funktion:

n4(p) := {(x − 1, y), (x, y − 1), (x + 1, y), (x, y + 1)} (3)

Ein Pfad zwischen zwei Pixeln p1 und pl ist eine Sequenz von Pixeln p1, p2, ..., pl, die jeweilsbenachbart sind, d.h. pi ∈ n4(pi+1). Die Menge der Regionen eines Bildes ist definiert als:

RB := {R ⊂ B|∀p, q ∈ R : ∃ ein Pfad : p, p1, p2, ..., pl, q mit pi ∈ R} (4)

Eine Region R ⊂ B ist also eine Menge zusammenhangender Pixel, wobei jeweils ein Pfadzwischen zwei Pixeln der Region existiert.

Ein hierarchisch attributierter Regionen-Adjazenz-Graph (HARAG) ist ein Graph

G = (V,E, I) (5)

mit Knoten V , Adjazenzkanten E und Inklusionskanten I. Der HARAG ist das Ergebnis einerhierarchischen Segmentierung [30]. Hierbei wird zunachst das Bild in eine Menge von initialenRegionen vorpartitioniert. Eine Partitionierung ist eine Zerlegung der Menge der Bildpixel Bin nicht leere Regionen, sodass jeder Bildpixel in genau einer der Regionen enthalten ist. DieRegionen der initialen Partitionierung bilden die Blatter des HARAGs. Hier kann jeder Pixelals eine initiale Region verwendet werden. Dies fuhrt allerdings zu einer unnotig großen initialenPartitionierung und damit auch zu einem erhohten Zeitaufwand der Segmentierung. Meist istes vorteilhafter, mit einer kleineren Anzahl von Regionen zu beginnen. Dies wird durch eineWasserscheidentransformation erreicht, die homogene Bildbereiche zusammenfasst und somiteine Partitionierung mit einer kleineren Anzahl von Regionen liefert[16].

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 13 von 73

Welche Regionen jeweils miteinander verschmolzen werden, wird anhand verschiedener Distanz-maße bestimmt. Eines der Distanzmaße verwendet ein durch den Canny-Algorithmus generiertesKantenbild B. Diverse Parameter erlauben unter anderem die Auswahl der zu verwendendenDistanzmaße und ihre Gewichtung. Die so entstandenen Regionen R bilden die Knoten desresultierenden Graphen (Abb. 6). Ein Knoten Va ∈ V einer durch Verschmelzung erzeugtenRegion Ra ist hierbei jeweils durch Kanten I(Va, Vb) ⊂ I mit den Knoten Vb seiner TeilregionenRb ⊂ Ra verbunden. Auf jeder Hierarchieebene ergibt sich eine neue Partitionierung des Bil-des, wobei idealerweise jedes semantische Bildobjekt durch eine Region des HARAGs eindeutigdargestellt wird.

CannyCanny

HierarchicalHierarchicalRegionRegionGrowingGrowing

ParameterParameter

AnfragebildAnfragebild

KantenbildKantenbild

HARAGHARAG

Abbildung 6: Hierarchische Segmentierung

Abbildung 7: Hierarchische Segmentierung (Beispiel)

3.3.2 Merkmalsberechnung (lokal)

Zu jeder Region R des HARAGS wird ein Vektor von lokalen Merkmalen (etwa mittlerer Grau-wert, Große, Lange der Hauptachse) berechnet. Diese beschreiben die Auspragung der einzelnenRegionen. Zur Berechnung der Merkmale stehen sowohl die in einem HARAG hinterlegten Po-sitionen aller Pixel der jeweiligen Region zur Verfugung als auch ihre Grauwerte, die sich ausdem dem HARAG zugeordneten Bild auslesen lassen. Dies ist typischerweise das Anfragebild,aus dem der HARAG berechnet wurde. In vorausgegangenen Arbeiten wurde eine Reihe vonMerkmalen definiert ([31],[32]), durch die die Unterscheidung von Regionen ermoglicht werdensoll. Die Verteilungen dieser Merkmale werden als Teil eines Modelles fur Bildklassen in Formeines szenenbeschreibenden Strukturprototyps verwendet. Die Merkmale werden im Folgendenunter den Namen gefuhrt, unter denen ihre Verteilungen im Strukturprototyp erfasst sind.

Formbeschreibende Merkmale:

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 14 von 73

• Große (Anzahl der Pixel der Region, normiert uber die Bildgroße)

Size(R) = |R| (6)

Sizenorm(R) =|R||B| (7)

• Konturlange (Anzahl der Randpixel der Region, normiert uber die Regionen mit der jeweilskleinsten bzw. großten Konturlange Rmin und Rmax)

ConLen(R) = |{p ∈ R|∃q ∈ n4(p) mit q /∈ R}| (8)

ConLenNorm(R) =ConLen(R) − ConLen(Rmin)

ConLen(Rmax) − ConLen(Rmin)(9)

• Formfaktor (Verhaltnis Umfang/Flache)

Formfactor(R) =4π|R|

ConLen(R)2(10)

• Rundheit

Roundness(R) =ConLen(R)2

|R| (11)

• Kompaktheit

Compactness(R) =√

Roundness(R) (12)

Merkmale der elliptischen Verteilung: Aus den zentralen Momenten der Verteilung der Pixelp = (x, y) ∈ R einer Region lassen sich charakteristische Merkmale ableiten. Hier wird die Regionnaherungsweise durch eine Ellipse beschrieben (Abb. 8). Der Schwerpunkt (x, y) einer Regionist gegeben durch:

x =1

|R|∑

p∈R

x (13)

y =1

|R|∑

p∈R

y (14)

Die zentralen Momente der Ordnung a + b sind dann definiert durch:

ma,b =∑

(x,y)∈R

(x − x)a((y − y)b) (15)

Die Radien der elliptischen Verteilung konnen uber die Eigenwerte des Tragheitstensors be-stimmt werden. Dieser ist definiert als:

J =

(

m2,0 −m1,1

−m1,1 m0,2

)

(16)

Die Orientierung der elliptischen Verteilung berechnet sich durch:

Orientation(R) =1

2arctan

m1,1

m2,0 − m0,2(17)

Damit lassen sich folgende Merkmale ableiten:

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 15 von 73

• Schwerpunkt (x normalisiert durch Bildbreite, y normalisiert durch Bildhohe)

CentrXnorm(R) =x

w(18)

CentrYnorm(R) =y

h(19)

• Radien der Haupt- und Nebenachse der elliptischen Verteilung (normiert uber die Bild-diagonale)

PrincipalRad(R) =(m2,0 + m0,2) +

(m2,0 + m0,2)2 + 4m21,1

2(20)

AuxiliaryRad(R) =(m2,0 + m0,2) +

(m2,0 + m0,2)2 + 4m21,1

2(21)

PrinRadNorm(R) =PrincipalRad(R)√

w2 + h2(22)

AuxRadNorm(R) =AuxiliaryRad(R)√

w2 + h2(23)

• Orientierung (Sinus und Cosinus des Winkels zwischen Hauptachse und x-Achse)

OrientationCos(R) = cos Orientation(R) (24)

OrientationSin(R) = sin Orientation(R) (25)

• Numerische Exzentrizitat (Abweichung von der Kreisform)

Excentricity(R) =

PrincipalRad(R)2 − AuxiliaryRad(R)2

PrincipalRad(R)(26)

Abbildung 8: Bestimmung verschiedener Merkmale einer Region. Von links nach rechts: Elliptische Verteilungder Pixel, Fitting einer Ferret Box, Fitting einer Bounding Box, Fitting eines Kreises

Fitting eines Kreises: Bestimmung des kleinsten Kreises, der alle Pixel von R enthalt (Abb.8)

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 16 von 73

• Radius (maximaler Abstand eines Pixels vom Schwerpunkt, normalisiert uber die langereder Bildachsen)

RadCircle(R) = 1 + max(x,y)∈R

(x − x)2 + (y − y)2 (27)

RadCircleNorm(R) =RadCircle(R)

max{w, h} (28)

• Fullgrad des Kreises

ExtentC(R) =|R|

πRadCircle(R)2(29)

Fitting einer Ferret Box: Die Ferret Box ist das kleinste Rechteck, das alle Pixel einer Regionenthalt und dessen Kanten parallel zur x- und y-Achse des Bildes liegen.

• Hohe und Breite der Ferret Box (normiert uber die Bildachsen)

HeightFB(R) = 1 + max(x,y)∈R

x − min−(x, y) ∈ Rx (30)

WidthFB(R) = 1 + max(x,y)∈R

y − min(x,y)∈R

y (31)

HeightFBnorm(R) =HeightFB(R)

h(32)

WidthFBnorm(R) =WidthFB(R)

w(33)

(34)

• Fullgrad der Ferret Box

ExtentFB(R) =|R|

HeightFB(R) ∗ WidthFB(R)(35)

Fitting einer Bounding Box: Die Boundingbox ist das kleinste Rechteck, das alle Pixel einerRegion enthalt.

Sei θ = Orientation(R) (36)

• Hohe und Breite der Bounding Box (normiert uber die Bilddiagonale)

HeightBB(R) = max(x,y)∈R

(x cos θ + y sin θ) − min(x,y)∈R

(x cos θ + y sin θ) (37)

WidthBB(R) = max(x,y)∈R

(y cos θ + x sin θ) − min(x,y)∈R

(y cos θ + x sin θ) (38)

HeightBBnorm(R) =HeightBB(R))√

w2 + h2(39)

WidthBBnorm(R) =WidthBB(R))√

w2 + h2(40)

• Fullgrad der Bounding Box

ExtentBB(R) =|R|

HeightBB(R)WidthBB(R)(41)

• Exzentrizitat der Bounding Box

ExcentricityBB(R) =(m2,0 − m0,2)

2 + 4m21,1

(m2,0 + m0,2)2(42)

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 17 von 73

Intensitatsbeschreibende Merkmale: Diese Merkmale beschreiben die Region anhand der Ver-teilung ihrer Grauwerte. Das Grauwerthistogramm ist gegeben durch:

h(c) =1

|R| |p ∈ R : g(p) = c| mit c ∈ {0, 1, .., 255} (43)

• Mittlere Intensitat (normiert uber die Spanne der Grauwerte des Bildes)

MeanGrey(R) =

p∈R g(p)

|R| (44)

MeanGreyNorm(R) =MeanGrey(R) − minp∈B g(p)

maxp∈B g(p) − minp∈B g(p)(45)

• Intensitatsvarianz

Variance =1

|R|∑

p∈R

(g(p) − MeanGrey(R))2 (46)

• Entropie (beschreibt den Informationsgehalt der Grauwerte)

Entropy = −255∑

c=1

h(c) log2 h(c) (47)

Textur: Die Textur der Region wird beschrieben durch aus der Cooccurrence-Matrix abgelei-tete Harlick-Maße.

• Kontrast (Contrast)

• Texturvarianz (VarText)

• Texturentropie (EntropyText)

• Inverses Differenzmoment (DiffMoment)

• Homogenitat (Homogeneity)

• Korrelationsmaße (Korrelation, Korrelation1, Korrelation2)

Schließlich sind in den resultierenden Merkmalsvektoren Merkmale enthalten, die aus der Be-rechnung der HARAGs stammen. Diese umfassen unter anderem die ID der betreffenden Region,die Anzahl der benachbarten Regionen oder die Hierarchieebene der Segmentierung, auf der dieRegion zuerst auftaucht.

3.3.3 Training von Strukturprototypen

Um nun relevante Bildobjekte in einem Anfragebild identifizieren zu konnen, werden die be-rechneten Merkmalsvektoren mit einem Modell verglichen, das die fur die Bildklasse relevantenBildobjekte

O = {O1, ..., On} (48)

und ihre Relationen zueinander beschreibt. Dies geschieht im IRMA-Projekt anhand eines sze-nenbeschreibenden Strukturprototyps PS , der mit einer Menge von fur die Bildklasse typischenTrainingsbildern trainiert wird. Der Strukturprototyp PS ist ein vollstandiger Graph, dessenKnoten VPS

die Verteilung der lokalen Merkmale und dessen Kanten EPSdie Verteilung der

relationalen Merkmale zwischen den einzelnen Bildobjekten beschreiben.

PS = (VPS, EPS

) (49)

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 18 von 73

Beim Training eines Strukturprototyps werden zunachst die Verteilungsparameter der lokalenMerkmale trainiert. Hierzu werden in einem ersten Schritt fur jedes zu beschreibende Bildobjektdie Merkmalsvektoren zusammengetragen, die die Auspragung des jeweiligen Objektes in deneinzelnen Trainingsbildern beschreiben. Durch diverse Parameter kann dem Trainingsalgorith-mus unter anderem vorgegeben werden, welche Bildobjekte erfasst werden, welche der in denMerkmalsvektoren enthaltenen Merkmale nicht in das Training mit eingehen sollen und welcheVerteilungsfunktion angenommen wird. Fur jedes der Bildobjekte und jedes seiner zu beschrei-benden Merkmale steht nun eine Menge von konkreten Merkmalswerten der Bildobjekte aus denTrainingsbildern zur Verfugung. Aus diesen werden jeweils die Parameter der zuvor festgelegtenVerteilungsfunktion bestimmt. Diese sind den Knoten des Prototypgraphen zugeordnet. Dabeiwird jeweils ein betrachtetes Bildobjekt durch einen Knoten des Graphen dargestellt.

Aktuell ist hier eine Beschreibung der Bildobjekte uber eine Gauss-Verteilung implementiert, so-dass die Merkmale durch ihren Erwartungswert µ und ihre Standardabweichung σ beschriebenwerden. Zusatzlich werden in den Knoten des Strukturprototyp der minimale und maxima-le im Training angetroffene Merkmalswert erfasst. Prinzipiell ist der Prototypgraph durch dieImplementierung des Prototypgraphtrainings nicht auf die Verwendung einer Gauss-Verteilungfestgelegt, da beliebige andere Verteilungsfunktionen hier leicht eingebunden werden konnen,sofern sie besser geeignet erscheinen.

Die Beziehungen der beschriebenen Bildobjekte zueinander werden uber die Kanten EPSdes

Prototypgraphen dargestellt. Hierzu wird zunachst fur jedes Paar von relevanten Bildobjekten(Oi, Oj) mit Oi, Oj ∈ O eines jeden Trainingsbildes anhand der lokalen Merkmalswerte derRegionen Ri, Rj , die diesen Bildobjekten entsprechen, eine Menge von relationalen Merkmalenberechnet (sofern fur beide Bildobjekte ein lokaler Merkmalsvektor vorhanden ist). Es werdenalso nur solche relationalen Merkmale berechnet, die sich aus den bereits vorhandenen lokalenMerkmalen ableiten lassen [31]. Somit konnen bei einer Bildinhaltssuche mit einem Strukturpro-totyp die jeweils gerade benotigten relationalen Merkmale zwischen Regionen eines Anfragebil-des berechnet werden, ohne hierfur auf das Bild oder den HARAG zugreifen zu mussen. Fur einPaar von Objekten Oi und Oj wird im Prototypgraphen jeweils nur eine der Kanten EPS

(Oi, Oj)und EPS

(Oj , Oi) und ihre relationalen Merkmale erstellt. Dies ist moglich, da die Merkmale sokonzipiert wurden, dass die Bewertung der Relationen beider Kanten dasselbe Ergebnis liefert.

δ(a, b) =

{

ab

falls b >= a

2 − ba

sonst(50)

Die Werte liegen somit im Intervall (0, 2). Es gilt δ(a, b) = 2 − δ(b, a). Somit lassen sich dierelationalen Merkmale der fehlenden Kante aus denen der vorhandenen berechnen.

Abbildung 9: Bestimmung relationaler Merkmale: links) Verschiebung der Schwerpunkte; Mitte) RelativeLage; rechts) Verdrehung der Hauptachsen

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 19 von 73

Bei den relationalen Merkmalen werden die gleichen Verteilungsparameter wie bei den lokalenMerkmalen bestimmt. Die folgenden relationalen Merkmale gehen in das Training des Struktur-prototyps ein:

• Schwerpunktverschiebung (Abstand entlang der Achsen und euklidischer Abstand (Abb.9))

DiffX(Ri, Rj) = CentrXnorm(Rj) − CentrXnorm(Ri) (51)

DiffY(Ri, Rj) = CentrYnorm(Rj) − CentrXnorm(Ri) (52)

Distance(Ri, Rj) =√

DiffX(Ri, Rj)2 + DiffY(Ri, Rj)2 (53)

• Relative Lage (Winkel zwischen der X-Achse und der Verbindungslinie zwischen denSchwerpunkten der Bildobjekte)(Abb.9)

Sin Rel Position(Ri, Rj) =

{

DiffY(Ri,Rj)Distance(Ri,Rj)

falls Distance(Ri, Rj) > 0

0, sonst(54)

Cos Rel Position(Ri, Rj) =

{

DiffX(Ri,Rj)Distance(Ri,Rj)

falls Distance(Ri, Rj) > 0

1, sonst(55)

• Relative Große (Normierte Division der normierten Flachen)

Rel Size(Ri, Rj) = δ(Size(Rj),Size(Ri))) (56)

• Relative Radien der Hauptachsen (Normierte Division der normierten Hauptachsenradien)

Rel PrincipalRad(Ri, Rj) = δ(PrinRadNorm(Rj),PrinRadNorm(Rj)) (57)

• Distanz normiert uber relative Hauptachsenradien

Distance PrinRad Norm(Ri, Rj) =Distance(Ri, Rj)

PrincipalRad(Ri) + PrincipalRad(Rj)(58)

• Distanz normiert uber Große

Distance Size Norm =Distance(Ri, Rj)

2

Sizenorm(Ri) + Sizenorm(Rj)(59)

• Verdrehung der Hauptachsen (Sinus und Cosinus der Differenz der relativen Orientierungen(Abb.9))

Cos Rel Orientation(Ri, Rj) = cos(Orientation(Rj) − Orientation(Ri)) (60)

Sin Rel Orientation(Ri, Rj) = sin(Orientation(Rj) − Orientation(Ri)) (61)

• Relativer mittlerer Grauwert

Rel MeanGreyValue(Ri, Rj) = MeanGreyNorm(Rj) − MeanGreyNorm(Ri) (62)

Fur jeden Knoten werden stets die Parameter der Verteilungen aller lokalen Merkmale und furalle Kanten die Verteilungen aller relationalen Merkmale bestimmt. Jedoch kann dem Trainings-algorithmus eine Liste von Merkmalen ubergeben werden, deren Verteilungen nicht berechnetwerden sollen (z.B. die ID der Region). Zudem ist in jedem Knoten und jeder Kante fur jedesder Merkmale ein Wert hinterlegt, der festlegt, ob das Merkmal zur Beschreibung des Objektesbzw. der Relation verwendet werden soll.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 20 von 73

3.3.4 Merkmalsauswahl

Die einzelnen Bildobjekte einer Bildklasse und die einzelnen Relationen zwischen ihnen lassensich jeweils unterschiedlich gut mit verschiedenen Merkmalen beschreiben. So kann mit einerTeilmenge der Merkmale haufig eine bessere Klassifikation der Objekte einer gesuchten Klasseerzielt werden als mit der vollen Merkmalsmenge. In den lokalen und relationalen Merkmalensind zudem zum Teil redundante Informationen enthalten. Deshalb wird fur jedes im Prototypbeschriebene Objekt und jede der Relationen zwischen den Objekten eine Teilmenge der Merk-male des jeweiligen Merkmalsvektors gesucht, die eine moglichst gute Unterscheidbarkeit vonklasseneigenen und klassenfremden Daten erreicht.

Eine erschopfende Suche aller moglichen Teilmengen der Menge der berechneten Merkmale,die eine optimale Merkmalsauswahl garantieren wurde, ware zu aufwandig, da hier bei einerMerkmalsmenge mit D Merkmalen 2D Moglichkeiten gepruft werden mussten. Deshalb wirdbeim Training der Strukturprototypen eine Naherungslosung mit einem Greedy-Algorithmus be-stimmt, die ein lokales Optimum findet [30]. Hier sind zwei Verfahren verfugbar. Der Sequential-Forward-Selection-Algorithmus beginnt mit einer leeren Merkmalsmenge. Zu dieser werden suk-zessiv Merkmale hinzugefugt. In jedem Schritt wird dasjenige Merkmal eingefugt, dessen Aufnah-me in den Merkmalsvektor die beste Unterscheidbarkeit von klasseneigenen und klassenfremdenDaten liefert. Wenn keines der verbleibenden Merkmale eine Verbesserung der Fehlerkennungsra-te bieten kann, endet das Verfahren. Der Sequential-Backwards-Elimination-Algorithmus hinge-gen beginnt mit einer vollstandigen Merkmalsmenge, aus der so lange Merkmale entfernt werden,bis sich keine Verbesserung der Fehlerrate mehr erreichen laßt.

3.3.5 Graphmatching

Um in den Merkmalsvektoren der durch die Segmentierung eines Anfragebildes erzeugten Regio-nen diejenigen zu identifizieren, die den in einem Strukturprototyp beschriebenen Bildobjektenentsprechen, wird eines der im IRMA-Projekt entwickelten approximativen Subgraphmatching-Verfahren eingesetzt.

• Neuronales Netz (NNGM)

Zuordnungshypothesen werden auf Knoten eines neuronalen Netzes abgebildet. Die Po-tentiale der Neuronen beeinflussen sich gegenseitig uber inhibitorische und excitatorischeKanten. Sobald ein stabiler Zustand oder eine festgelegte Anzahl von Iterationen erreichtwurde, kann ein Matchingergebnis ausgelesen werden [31].

• Graph Edit Distance

Dieses Verfahren sucht eine Folge von Editieroperationen (Einfugen, Loschen, Andern) aufden Knoten und Kanten beider Graphen, die ein Matching mit minimalen Kosten erzeugen[33].

• Nested Earth Movers Distance

Hier wird das Graphmatching durch eine Variation des Simplex-Algorithmus erreicht [33].Die lokalen und relationalen Merkmale werden als Nebenbedingungen eines Optimierungs-problems ausgedruckt. Die Nebenbedingungen definieren jeweils Hyperebenen, die denLosungsraum beschranken, sodass der Losungsraum durch einen Polyeder begrenzt ist.Mit linearer Programmierung kann nun die hinsichtlich der Zielfunktion optimale Losungin einem der Schnittpunkte der Hyperebenen gefunden werden.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 21 von 73

• Potts Mean Field Annealing

Das Graphmatching erfolgt hier durch neuronales Netzwerk mit Anleihen beim SimulatedAnnealing. Dem Zustand eines Systems sind Kosten und Temperatur zugeordnet. Es wer-den Anderungen am System vorgeschlagen. Diese werden immer angenommen, wenn sie dieKosten senken, andernfalls mit einer von der Temperatur abhangigen Wahrscheinlichkeit[33].

• Similarity Flooding

Beim Similarity Flooding wird ein Pairwise-Connectivity-Graph erstellt, dessen KnotenMatching-Hypothesen darstellen. Hieraus wird ein Propagationsgraph erzeugt, auf dessengewichteten, gerichteten Kanten Ahnlichkeitsbewertungen von Matchinghypothesen zwi-schen benachbarten Knoten propagiert (geflutet) werden. Aus den Knoten, in denen sichdie Anlichkeitswerte akkumulieren, wird die Menge der besten Ergebnisse herausgefiltert[33].

• Evolutionare Spieltheorie

Dieser Graphmatcher verwendet evolutionare Spieltheorie zur Suche einer maximal ge-wichteten Clique auf einem Assoziationsgraphen. Hierbei sterben nach und nach die Zu-ordnungshypothesen aus, die nicht durch hinreichend viele andere unterstutzt werden [34].

Das resultierende Matching enthalt eindeutige Zuordnungen von jeweils einem Bildobjekt Oi zugenau einer Regionen Rj eines HARAGS. Dies entspricht Aussagen der Art: ”Der Metakarpal-knochen des Daumens entspricht Region 2484.“

4 Material und Methoden

Im Folgenden wird zunachst die Entwicklung der Bildverarbeitungskette vom Konzept bis zurUmsetzung beschrieben. Anschließend werden die neu entwickelten Komponenten der Bildver-arbeitungskette im Detail erlautert.

4.1 Etablierung einer Bildverarbeitungskette zur Lokalisierung und Extraktion vonEpiphysenregionen

Die gesuchten Epiphysen sind im Vergleich zu anderen Bildobjekten einer Handradiographieklein und nicht ohne weiteres direkt zu lokalisieren. Da sie jedoch stets relativ zu anderenBildobjekten eine wohldefinierte Position haben, wird hier der Ansatz gewahlt, zunachst dievisuell prominenten Metakarpal- und Phalanxknochen eindeutig zu detektieren und die Positionder Epiphysen hieraus abzuleiten.

Zu diesem Zweck wird hier eine Bildverarbeitungskette vorgestellt, die das Ziel hat, moglichstviele der im Bild enthaltenen Epiphysenregionen korrekt zu extrahieren.

Beschreibung der Bildverarbeitungskette Zunachst wird das Anfragebild durch die im Rah-men des IRMA-Projektes entwickelte hierarchische Segmentierung [30, 16] (siehe Abschnitt3.3.1)in einen hierarchisch attributierten Regionenadjazenzgraphen (HARAG) uberfuhrt. Da die hier-archische Segmentierung sehr rechenaufwandig ist, werden die Bilder zunachst unter Beibehal-tung des Hohe-Breite-Verhaltnisses auf eine Hohe von 256 Pixeln skaliert. Die fur die Auswertungwichtigen Bildobjekte, also die Metakarpal- und Phalanxknochen, sind auch in dieser Auflosung

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 22 von 73

deutlich zu erkennen. Somit konnen die Epiphysenregionen zunachst auf skalierten Radiogra-phien lokalisiert und anschließend nach einer Ruckskalierung der gewonnenen Koordinaten ausdem Anfragebid in voller Auflosung extrahiert werden. Jedoch ist auch bei den skalierten Bilderndie Anzahl der Knoten des resultierenden HARAGs noch betrachtlich und schwankt zwischenetwa 900 und 6000 (im Schnitt 2000) beschriebenen Regionen. Im Anschluss an die hierarchi-sche Segmentierung wird fur jede der im HARAG enthaltenen Regionen ein Vektor von lokalenMerkmalen berechnet, der sie hinsichtlich ihrer Form, Große, Position, Textur und vieler weitererAspekte beschreibt (siehe Abschnitt 3.3.2 und 4.2).

Um nun die Regionen zu bestimmen, die den gesuchten Knochen entsprechen, werden die Merk-malsvektoren mit einem Strukturprototyp verglichen, der die gesuchten Bildobjekte, in diesemFall die Mittelhand- und Fingerknochen, anhand von Parametern der Gaussverteilungen ihrerlokalen und relationalen Merkmale beschreibt [31]. Dieser Prototypgraph wird zuvor einmaliganhand einer Menge von Trainingsbildern trainiert. Der Vergleich des Prototypgraphen mit denkonkreten Merkmalsvektoren stellt eine schwierige Aufgabe dar, da fur ein Bild jeweils die Merk-malsvektoren von im Schnitt 2000 Regionen berechnet werden. In dieser Menge mussen dann die19 gesuchten Knochenobjekte identifiziert werden. Zudem entsprechen auch die jeweils bestenRegionen der Segmentierung nicht immer vollstandig den tatsachlichen Bildobjekten, da verfah-rensbedingt wahrend der hierarchischen Segmentierung Regionen, die Teile eines Bildobjektesdarstellen, vorzeitig mit anderen nicht zum Objekt gehorigen Bildregionen verschmelzen konnen.Dies wirkt sich auch auf die Merkmalsvektoren der betreffenden Regionen aus, die dann eventuelleine geringere Ahnlichkeit mit den im Training beobachteten Regionen bezuglich gewisser Merk-male aufweisen. Ein solcher Vergleich der Merkmalsvektoren mit einem Prototypgraphen findetuber eines der im IRMA-Projekt implementierten Graphmatchingverfahren statt [31, 17, 33].Hierbei werden Zuordnungshypothesen der Bildobjekte zu Regionen der Segmentierung gebil-det. Aus diesen werden anhand ihrer lokalen Ahnlichkeit zu den Knoten und der Ahnlichkeitder Relationen zwischen verschiedenen Zuordnungshypothesen zu den Kanten des Prototypsmit verschiedenen Verfahren diejenigen ausgewahlt, die am plausibelsten die Objekte der Bild-klasse reprasentieren. Mit diesem Ansatz werden die Knochen der Hand eindeutig Bildregionenzugeordnet. (Abb.10)

BerechneBerechnelokalelokale

MerkmaleMerkmale

GraphGraph--MatchingMatching

HARAGHARAG

SegmentierungSegmentierung

MerkmalsvektorenMerkmalsvektoren MatchingMatching

AnfragebildAnfragebild PrototypPrototyp

Abbildung 10: Erkennung von Metakarpal- und Phalanxknochen. Nach einer hierarchischen Segmentierungwerden Merkmalsvektoren fur jede Region berechnet. Durch Graphmatching mit einem Strukturprototyp wer-den die gesuchten Knochen identifiziert.

Aufbauend auf diesem generischen Verfahren, das auf viele verschiedene Bildklassen angewendetwerden kann und Wissen uber die Bildklasse lediglich uber das Training einbringt, kann nun

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 23 von 73

Vorwissen uber den Aufbau der Hand verwendet werden um die Epiphysen zu lokalisieren. Furjedes der im Matching enthaltenen Bildobjekte wird die Hauptachse der ihr zugewiesenen Re-gion der Segmentierung aus den hieraus berechneten Merkmalen bestimmt. Diese Hauptachsenwerden zur Lokalisierung der Epiphysen verwendet. Da nicht fur jedes Bildobjekt im Graph-matching eine verlassliche Zuordnung gefunden werden kann, ist es notwendig, die Hauptachsender nicht gematchten Bildobjekte anhand der vorhandenen zu schatzen. Hierzu wird das imStrukturprototyp modellierte Wissen uber die relative Lage der Knochen zueinander verwen-det. Die Schatzung kann uber eine Registrierung anhand der Verteilungen der lokalen Merkmalein Form einer Registrierung des Handmodells auf die konkret gematchten Bildregionen oderuber die Verteilungen der relationalen Merkmale vorgenommen werden. Nachdem die fehlendenHauptachsen rekonstruiert wurden, konnen nun die Epiphysen lokalisiert werden. Hierfur wirdder Mittelpunkt zwischen den Endpunkten der Hauptachsen der an die Epiphyse angrenzen-den Bildobjekte bestimmt. Dieser bildet den Schwerpunkt der zu extrahierenden ROI (sieheAbschnitt 4.1.1). Die Orientierung der ROI wird uber die Ausrichtung der Verbindungsliniezwischen den Schwerpunkten der benachbarten Knochen bestimmt. Die ROI konnen dann alsorientierte Teilbilder extrahiert werden. Um Aliasing zu vermeiden wird hier eine bikubischeInterpolation verwendet (Abb.11).

BestimmeBestimmeHauptachsenHauptachsen

AnfragebildAnfragebildAnfragebildAnfragebild

MatchingMatching

PrototypPrototyp

ROI

EpiphysenEpiphysen--extraktionextraktion

MerkmalsvektorenMerkmalsvektoren

HauptachsenHauptachsen

RekonstruiereRekonstruierefehlendefehlende

HauptachsenHauptachsen

Abbildung 11: Extraktion von Epiphysen anhand eines Matchings der Metakarpal- und Phalanxknochen.Schatzung

Im Folgenden wird die Realisierung dieser Bildverarbeitungskette in ihren wichtigsten Schrittenbeschrieben.

Initiale Konfiguration Zunachst wurden die verschiedenen vorhandenen Komponenten grobauf ihre Funktionalitat und die Kompatibilitat ihrer Austauschformate gepruft. Dementspre-chend wurde eine Vorauswahl der zu verwendenden Komponenten getroffen.

Fur HARAGs existieren im IRMA System mehrere verschiedene Implementierungen sowie un-terschiedliche Dateiformate zur Weiterverarbeitung mit unterschiedlichen Verfahren. Diese un-terscheiden sich teils nur in Details, wie der Sortierung der Knoten, teils stark, etwa in derenthaltenen Information. Hier wurde eine aktuelle Implementierung der hierarchischen Segmen-tierung gewahlt, deren Ausgabeformat mit den Eingabeformaten der Merkmalsberechnung fur

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 24 von 73

das Training von Strukturprototypen sowie der Auswertungsalgorithmik zur Bewertung von Gra-phmatchingergebnissen kompatibel ist. Obwohl ein neueres XML-basiertes Austauschformat furHARAGs bereits vorhanden ist und vom Segmentierungsalgorithmus geschrieben werden kann,wird hier aus Kompatibilitatsgrunden ein binares HARAG-Format verwendet.

Die verschiedenen vorhandenen Graphmatchingverfahren [31, 33] sind hinsichtlich ihrer Leis-tungsfahigkeit bereits ausfuhrlich untersucht worden [33]. Auf Basis dieser Untersuchungen wur-de hier das Similarity Flooding als Bestandteil der Bildverarbeitungskette ausgewahlt. Der gegenBeginn der Arbeit fertiggestellte Graphmatcher auf Basis evolutionarer Spieltheorie zeigte viel-versprechende Ergebnisse und wurde als Alternative zum Similarity Flooding in die Vorauswahlder Komponenten miteinbezogen.

Qualitatsmaße Um die Bildverarbeitungskette und ihre Teilkomponenten bewerten zu konnenwerden geeignete Qualitatsmaße benotigt. Die ausschlaggebenden Teilergebnisse der Bildverar-beitungskette sind hierbei das Segmentierungsergebnis, die Merkmale der segmentierten Regio-nen, das Graphmatching und die extrahierten Teilbilder.

Zur Qualitatsbewertung der Ergebnisse von vorhandenen Komponenten stehen bereits aus vor-angegangenen Arbeiten Qualitatsmaße bereit [31, 33]. Diese werden ubernommen, um die Ver-gleichbarkeit mit diesen Arbeiten zu gewahrleisten. Die Bewertung der Segmentierung erfolgtanhand der jeweils auf ein gesuchtes Bildobjekt am besten passenden Region des HARAGs.Hierzu werden die Regionen des HARAGs mit den Regionen einer manuell erstellten Referenz-segmentierung verglichen (siehe Abschnitt 5.1.2). Hierbei ist zum einen die Anzahl der in derSchnittmenge der Regionen enthaltenen, korrekt segmentierten Pixel (Overlap), zum anderendie Anzahl der in genau einer der verglichenen Regionen enthaltenen Pixel von Bedeutung. Die-se Maße werden durch Bildung eines Quotienten zu einem Qualitatsmaß λ zusammengefasst(Abb.12). Es sei angemerkt, dass in einem HARAG stets mindestens eine Region existiert, de-ren Overlap zu einer Referenzregion großer als Null ist. Zumindest mit der Region, die demWurzelknoten eines HARAGs zugeordnet ist, hat eine beliebige Region eine vollstandige Uber-schneidung (Abb. 12). Sei R1 eine Region des HARAGs und R2 die Region der manuellenSegmentierung, mit der verglichen wird, so ergibt sich:

Overlap = R1 ∩ R2 (63)

Overhang = (R2 ∪ R2) \ (R1 ∩ R2) (64)

λ =Overhang

Overlap(65)

Overlap

Overhang

A

B

Abbildung 12: Qualitatsmaß fur den Vergleich von Regionen mit einer Referenzregion. Gemeinsame Pixelbilden den Overlap, Pixel, die jeweils nur in einer der Regionen enthalten sind, den Overhang.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 25 von 73

Durch Bildung eines Schwellwertes konnen dann die Segmentierungen einzelner Regionen alskorrekt oder inkorrekt bewertet werden. Hieraus lasst sich der prozentuale Anteil korrekt, bzw.inkorrekt segmentierter Bildobjekte ableiten.

Auch die Bewertung des Graphmatchings findet uber den Vergleich von Regionen statt. Hierwird zunachst diejenige Region des HARAGs gesucht, die die beste Ubereinstimmung mit derReferenzregion fur das gesuchte Bildobjekt in einer manuellen Segmentierung aufweist. Diesewird dann mit der im Graphmatching gefundenen Region verglichen. Hier kann nun wieder einSchwellwert vorgegeben werden, der festlegt, welche der Regionen eines HARAGs, die im Mat-ching den gesuchten Objekten zugeordnet wurden, als korrekt bzw. inkorrekt zu bewerten sind.Da hier, im Gegensatz zum direkten Vergleich mit einer manuellen Segmentierung, je zwei Re-gionen desselben HARAGs verglichen werden, ist bei Regionen, die gemeinsame Pixel aufweisenstets die eine aus der anderen durch Verschmelzung hervorgegangen. Sie enthalt sie somit alsechte Teilmenge. Deshalb kann hier die Uberdeckung der Regionen in Prozent angegeben wer-den. Nun kann das Graphmatching mit Hilfe des aus dem Information-Retrieval stammendenKonzeptes von Recall, Precision und F-Measure bewertet werden:

Recall =Anzahl korrekt erkannter Bildobjekte

Anzahl der gesuchten Objekte(66)

Precision =Anzahl korrekt zugeordneter Bildobjekte

Anzahl aller Zuordnungen(67)

F − Measure =2 · Recall · Precision

Recall + Precision(68)

Das F-Measure stellt den harmonischen Mittelwert aus Recall und Precision dar und bietet einenguten Uberblick.

Zur Qualitatbewertung der Extraktion von Epiphysen-ROI wird nun ein neues Qualitatsmaßdefiniert. Es wird angestrebt, Teilbilder zu extrahieren, die die semantisch relevanten Bereiche,also die Epiphyse und Teile der Diaphysen der am Gelenk angrenzenden Knochen enthalten.Weitere Strukturen wie etwa Teile benachbarter Finger sollen moglichst nicht enthalten sein.Zu diesem Zweck wurde zunachst durch Betrachtung der auf 256 Pixeln Hohe skalierten Ra-diographien die feste ROI-Große von 20 × 30 Pixeln definiert, die bei allen Epiphysenregionender betrachteten Bilder diese Anforderungen erfullt. Hierbei kann die Position der ROI um ei-nige Pixel in jeder Richtung schwanken, ohne die genannten Anforderungen zu verletzten. DieBewertung der ROI-Lokalisierung erfolgt uber den Vergleich des ROI-Schwerpunktes mit einemmanuell erstellten Referenzpunkt (siehe Abschnitt 5.1.3). Hierzu wird der euklidische Abstandbestimmt. Uber einen Schwellwert konnen die ROI als korrekt oder inkorrekt bewertet werden.Hieruber kann anschließend eine Fehlerrate bestimmt werden.

Anforderungen an die Bildverarbeitungskette Maßstab fur die Bewertung der Bildverarbei-tungskette ist die Verwendbarkeit im Kontext der automatischen Skelettreifebestimmung. Maß-geblich sind hierbei die Anzahl korrekt extrahierter Epiphysenregionen und die Laufzeit. Wieviele korrekt extrahierte Epiphysenregionen fur eine verlassliche Altersschatzung notwendig sindkann hier nur vermutet werden, da Softwarekomponenten zur Auswertung der extrahierten ROIim Sinne einer Altersschatzung noch nicht vorliegen. Einen Anhaltspunkt konnen bestehendeVerfahren liefern. Bei der von Gertych et al. vorgestellten Methode zur automatischen Skelettrei-febestimmung [23] werden die medialen und distalen Epiphysen der mittleren drei Finger extra-hiert, wahrend die manuelle RUS-Methode von Tanner et al. [2] die Betrachtung der Epiphysenvon kleinem Finger, Mittelfinger und Daumen vorsieht. Hier kann also davon ausgegangen wer-den, dass bei korrekter Extraktion von mindestens 6 Epiphysenregionen der Informationsgehalthoch genug ist, um ein zuverlassige Altersbestimmung zu ermoglichen. Die korrekte Extraktion

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 26 von 73

okoknotnot okok

Abbildung 13: Bewertung der Lokalisierung von Epiphysen-ROI: Es wird der euklidische Abstand des Schwer-punktes der ROI zu einem manuell erstellten Referenzpunkt (weiß) berechnet, und anhand eines Schwellwertes(gelb) entschieden, ob die ROI als korrekt bewertet wird (rot) oder nicht (grun).

von 6 oder mehr Epiphysen-ROI auf 95 % der Anfragebilder sollte hinreichend sein, um die prak-tische Anwendbarkeit zu gewahrleisten. Eine Epiphysen-ROI kann bei einer festen ROI-Großevon 20 × 30 Pixeln in Bildern der Hohe von 256 Pixeln als korrekt angesehen werden, wennder Abstand zur idealen Position nicht mehr als 6 Pixel betragt, da in diesem Fall noch allesemantisch bedeutsamen Strukturen in der ROI enthalten sind.

Eine grundliche manuelle Skelettreifebestimmung dauert mehrere Minuten. Ein automatischesVerfahren sollte idealerweise schneller zu einer Bewertung des Rontgenbildes gelangen. Da nachder initialen Eingabe des Anfragebildes keine weitere Interaktion mehr notig ist, kann das Ergeb-nis bei langerer Laufzeit auch zu einem spateren Zeitpunkt geliefert werden. Eine Gesamtlaufzeitvon mehr als 5 Minuten durfte jedoch in jedem Fall als unzumutbar angesehen werden.

Das Graphmatchingverfahren soll moglichst viele korrekte Regionen bei moglichst wenig Fehl-zuordnungen geben. Durch die Rekonstruktion der Hauptachsen fehlender Bildobjekte konnenSchwachen der Graphmatchingverfahren ausgeglichen werden. Jedoch sind fehlerhaft zugeordne-te Regionen durch das eingesetzte Verfahren nur schwer zu kompensieren, sodass ein moglichsthoher Precision-Wert angestrebt wird. Zur Extraktion von Epiphysen-ROI ist lediglich dieHauptachse der gefundenen Bildregionen von Bedeutung. Deshalb konnen hier weniger strengeAnforderungen an die Regionen des Matchings gestellt werden. Eine Uberlappung von 60 %zur idealen Region wird hier als korrekt gewertet, da die Hauptachse in diesem Fall meist nochkorrekt ausgerichtet ist.

Da die in der Segmentierung erzeugten Regionen die Grundwahrheit fur das Graphmatchingdarstellen, wird hier der Schwellwert fur das Qualitatsmaß λ = 0.8 festgelegt. Da angestrebtwird, pro Anfragebild mindestens 6 ROI korrekt zu lokalisieren, sollten mindestens 50 % derBildobjekte in der Segmentierung dieser Anforderung genugen.

Bestimmung des Handlungsbedarfs Zunachst wurden Versuche mit der Initialkonfigurationder Bildverarbeitungskette durchgefuhrt, um kritische Punkte fur die Qualitat des Gesamtsys-tems zu identifizieren. Dabei wurde jeweils eine Konfiguration des jeweiligen Verfahrens verwen-det, die sich in vorhandenen Arbeiten als geeignet erwiesen hat.

Das eingesetzte Region-Merging Verfahren konnte hier 89 % der gesuchten Bildobjekte korrektsegmentieren (siehe Abschnitt5.2.1). Somit stehen hinreichend viele Regionen zur Verfugung,

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 27 von 73

die den Bildobjekten entsprechen. Die Segmentierung wird somit ohne weitere Anpassungen indie Bildverareitungskette aufgenommen.

Erste Graphmatchingversuche (siehe Abschnitt 3.3.1) mit dem Similarity-Flooding zeigten ernuch-ternde Resultate (F-Measure 0.497235). Der Graphmatcher mit evolutionarer Spieltheorie lie-ferte hier verlasslichere Ergebnisse, die jedoch auch noch nicht als hinreichend gut eingeschatztwurden (F-Measure 0.554414). Hier bestand Handlungsbedarf.

Bei dem vorgeschlagenen Vefahren zur Extraktion von Epiphysen-ROI werden die Hauptachsenaller angrenzenden Knochen benotigt. Da im verwendeten Graphmatchingverfahren nicht alleBildobjekte zugeordnet werden konnen, bestand hier definitiv Handlungsbedarf. Bei Begutach-tung erster Extraktionsergebnisse wurde qualitativ beobachtet, daß die ROI von Epiphysen, diezwischen Knochen liegen, deren Hauptachsen korrekt bestimmt wurden, stets hinreichend gutlokalisiert und extrahieret werden konnten. Hier bestand kein weiterer Handlungsbedarf.

Maßnamen zur Optimierung der Bildverarbeitungskette Zunachst wurde die Extraktion derEpiphysen-ROI unter der Pramisse, dass alle benotigten Bildobjekte im Graphmatching korrekterkannt werden implementiert (siehe Abschnitt 4.1.1).

Um die Extraktion aller gesuchten Epiphysenregionen zu gewahrleisten auch, wenn nicht alleBildobjekte im Graphmatching zugeordnet wurden, wurde hier der Ansatz gewahlt, die Haupt-achsen der fehlenden Bildobjekte uber eine Registrierung mit Informationen aus dem Prototy-pen in die Implementierung der Extraktion miteinzubeziehen (siehe Abschnitt 4.4). Nun wurdenMoglichkeiten gesucht, die Graphmatchingergebnisse zu verbessern. Ansatzpunkte sind hier ei-nerseits die Verfahren selbst und ihre Parametrierung, anderseits die in den Strukturprototypenenthaltene Information. In vorausgegangenen Arbeiten wurden verschiedene Graphmatchingver-fahren und ihre Parametrierungen ausfuhrlich untersucht. Hier erschien es vielversprechender,bei den Strukturprototypen anzusetzen.

Bei den initialen Versuchen wurden die im Graphmatching erkannten Regionen visualisiert. Hierlassen sich (qualitativ) wiederholt aufteretende Fehlerarten beobachten:

• Knochen werden ahnlichen Knochen zugeordnet. So kann etwa im Matching der Metakar-palknochen des Mittelfingers einer Region zugeordnet sein, die den Metakarpalknochen desZeigefingers korrekt beschreibt. Dies kann auch Gruppen von benachbarten Knochen be-treffen, die jeweils um eine Position verschoben sind. Dadurch entsprechen die relationalenMerkmale zwischen den verschobenen Objekten immer noch den im Prototyp beschriebe-nen Auspragungen. Dies kann insbesonde dann vorkommen, wenn mindestens eines derObjekte in der Segmentierung nicht korrekt durch eine Region abgebildet ist.

• Knochen werden Weichgeweberegionen zugeordnet, die ihnen in der Form ahneln. So kannetwa ein Metakarpalknochen der Weichgeweberegion zwischen zwei Metakarpalknochenzugeordnet werden, oder ein Phalanxknochen einer Weichgeweberegion an der Seite desFingers.

• Knochen werden inhomogenen Hintergrundegionen zugeordnet, die ihnen in der Formahneln.

Hier war offensichtlich, dass den Graphmatchingverfahren durch die Strukturprototypen nichthinreichend gute Entscheidungskriterien zur Verfugung gestellt wurden. Hier wurden drei Ansatzeverfolgt um die Strukturprototypen aussagekraftiger zu machen.

• Um die Verteilungen der lokalen Merkmale aussagekraftiger zu machen, wurde das Trainingder Strukturprototypen modifiziert. Anstatt Regionen einer automatischen Segmentierung

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 28 von 73

fur das Training der Merkmalsverteilungen zu verwenden werden nun Regionen einer ma-nuellen Segmentierung eingesetzt, die die Bildobjekte in ihrer tatsachlichen Auspragungbeschreiben (siehe Abschnitt 4.3).

• Um eine Unterscheidbarkeit von Knochen- und Weichgeweberegionen zu erreichen, war dieBeobachtung hilfreich, daß mit den vorhandenen Merkmalen nicht zwischen hellen Objek-ten auf dunklem Grund und dunklen Objekten auf hellem Grund unterschieden werdenkann, da sie lediglich die Objekte selbst, nicht aber ihre direkte Nachbarschaft beschreiben.Hier wurde Abhilfe geschaffen, indem ein Merkmal eingefuhrt wurde, das den Helligkeits-unterschied zur direkten Pixelumgebung einer Region beschreibt (siehe Abschnitt 4.2). Dabeobachtet wurde, daß bei den in das Training eingehenden Regionen der gesuchten Bil-dobjekte ausnahmslos alle heller als ihre Umgebung sind, dies jedoch typischerweise nurauf etwa die Halfte aller im HARAG einer Handradiographie enthaltenen Regionen zu-trifft, wurde dieses Merkmal nachtraglich in die Merkmalsauswahl eines jeden trainiertenBildobjektes aufgenommen (siehe Abschnitt 5.3).

• Da die Merkmalsauswahl mit einer einfachen Greedy-Strategie umgesetzt wurde, bestehteine hohe Wahrscheinlichkeit, daß es eine bessere Teilmenge der Merkmale gibt. Das globa-le Setzen des neu eingefuhrten Merkmals etwa brachte deutliche Voreteile. Deshalb wurdeversucht, durch globales Setzen, bzw. Entfernen einzelner weiterer Merkmale eine Verbes-serung der Graphmatchingergebnisse zu erzielen (siehe Abschnitt 5.8). Hierdurch konntendeutliche Verbesserungen auf dem hierfur verwendeten Datensatz erzielt werden. Die Ver-besserung spiegelte sich jedoch bei Ubertragung auf einen anderen Datensatz nicht wieder,was auf Overfitting hinweist. Somit wurde dieses Verfahren nicht in die finale Bildverar-beitungskette aufgenommen. Dennoch wird eine verbesserte Merkmalsteilmengenauswahlprinzipiell fur sinnvoll gehalten. Jedoch mussen hier geeignetere Strategien gefunden wer-den.

Da beobachtet wurde, dass die Rekonstruktion der Hauptachsen uber eine Registrierung anfalliggegen Ausreisser ist, wurde ein weiteres Verfahren implementiert, das eine Schatzung der feh-lenden Hauptachsen anhand der relationalen Merkmale des Strukturprototyps vornimmt (sieheAbschnitt 4.4.2). Diese Strategie brachte zwar nur geringfugige Verbesserungen, die jedoch aufandere Datensatze ubertragbar waren, sodass dieses Verfahren in die finale Bildverarbeitungs-kette aufgenommen wurde.

Eine weitere Moglichkeit zur Verbesserung der Graphmatchingergebnisse ist, durch Vorverarbei-tungsschritte sicherzustellen, dass bestimmte Merkmale der gesuchten Bildobjekte in einem en-geren Wertebereich angesiedelt sind, sodass die Unterschiede zu nicht-Objektregionen deutlicherausgepragt sind. Hier wurde etwa beobachtet, dass auf den Radiographien jeweils unterschied-lich lange Teile des Unterarms mit abgebildet sind. Dies fuhrt zu großen Standardabweichungender geometrischen Merkmale wie der Hauptachsenlangen oder der relativen Abstande. Um die-se geometrischen Variabilitaten auszuschalten, wird hier durch Beschneiden der Trainings- undTestbilder dafur gesorgt, daß die Hand jeweils das Bild komplett ausfullt (siehe Abschnitt 4.5).Da dies eine deutliche Veresserung der Graphmatchingergenisse sowie der Extraktionsergebnisseermoglicht, wird dieser Vorverareitungsschritt der finalen Bildverarbeitungskette vorangestellt.Eine weitere Moglichkeit um Variabilitaten aus dem Bildmaterial zu entfernen waren etwa eineStreckung des Grauwerthistogramms. Hierbei besteht jedoch die Schwierigkeit, daß radiologischeMarkierungen im Bild das Histogramm zu stark beeinflussen wurden, bzw. hierdurch Artefakteentstehen konnen oder das Bildrauschen zu stark betont wird. Somit wird hierauf verzichtet.Auch die Moglichkeit den Bildhintergrund oder radiologische Markierungen automatisch zu ent-fernen wurden hier nicht naher betrachtet.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 29 von 73

4.1.1 Extraktionsstrategie

Ziel der ROI-Extraktion ist es, rechteckige Teilbilder aus dem Anfragebild auszuschneiden, diejeweils die fur den betreffenden Bereich aussagekraftigen Bildinhalte umfassen. Dies soll eine an-schließende Analyse der Teilbilder mit dem Ziel einer Altersschatzung erleichtern. Diese Analyseist jedoch nicht Teil dieser Arbeit. In einer Epiphysen-ROI soll die Epiphyse moglichst vollstandigenthalten sein. Ebenso soll ein Teil der Diaphyse des Knochens, zu dem die Epiphyse gehort undein Teil der Diaphyse des Knochens, der der Epiphyse am selben Gelenk gegenuberliegt mit ex-trahiert werden (Abb. 14). Nachdem die hierarchische Segmentierung und das Graphmatching

Abbildung 14: Beispiele fur korrekt extrahierte Epiphysen-ROI in verschiedenen Reifestadien. Die Teilbil-der umfassen jeweils die Epiphyse und Teile der zugehorigen Diaphyse und der Diaphyse des benachbartenKnochens.

auf einem Anfragebild durchgefuhrt wurden, steht die Information bereit, welche der in der Seg-mentierung erstellten Regionen den gesuchten Metakarpal- und Phalanxknochen entsprechen.Fur jedes der im Matching enthaltenen Bildobjekte ist also der Vektor seiner lokalen Merkmaleverfugbar. Um die Epiphysen-ROI in einer Handradiographie zu lokalisieren, kann nun auf Vor-wissen uber den Aufbau der Hand zuruckgegriffen werden. Die gesuchten Epiphysenregionen be-finden sich jeweils zwischen zwei benachbarten Phalanxknochen eines Fingers und zwischen demproximalen Phalanxknochen und dem Metakarpalknochen. Die aussagekraftigen Strukturen sindbei einem senkrechten Blick auf die Hand fur Radiologen am besten zu erkennen. Deshalb sind inHandradiographien, die zum Zweck der Skelettreifebestimmung erstellt wurden die Finger meistgerade und weisen nur eine leichte Krummung auf. Der Schwerpunkt der gesuchten Epiphysen-region liegt somit nah an der Verbindungslinie zwischen den Schwerpunkten der angrenzendenKnochen. Unter der Voraussetzung, dass beide angrenzenden Knochen hinreichend gut durcheine der Regionen der Segmentierung abgebildet sind und diese Regionen im Graphmatchingkorrekt zugeordnet wurden, lasst sich die Epiphysen-ROI leicht anhand der Hauptachsen dieserRegionen bestimmen. Alle hierfur notwendigen Merkmale sind entweder Skalierungsinvariantoder aber uber die Bildgroße normiert. Deshalb kann die Extraktion auch dann auf dem Anfra-gebild in voller Große durchgefuhrt werden, wenn Segmentierung und Graphmatching auf einerherunterskalierten Version des Anfragebildes durchgefuhrt wurden. Durch eine Denormalisierungwerden die Hauptachsen der jeweiligen Skalierung des Bildes angepaßt, wobei w hier die Breiteund h die Hohe des Bildes angibt, aus dem extrahiert wird.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 30 von 73

Sei Oa ein Bildobjekt, dem im Matching die Region ROa zugeordnet ist, so ist die Hauptachsebestimmt durch:

Axis Orientation(Oa) = Orientation(ROa) (69)

Axis RadNorm(Oa) = PrinRadNorm(ROa) (70)

Axis Center X(Oa) = CentrXnorm(ROa) · w (71)

Axis Center Y(Oa) = CentrXnorm(ROa) · h (72)

Zusatzlich werden der oberste und unterste Punkt der Hauptachse bestimmt. Die Normalisierungder Hauptachsenlange uber die Bilddiagonale wird hier ruckgangig gemacht:

Axis Top X(Oa) =Axis Center X(Oa) + cos(Axis Orientation(Oa)·Axis RadNorm(Oa) ·

√w2 · h2)

(73)

Axis Top Y(Oa) =Axis Center Y(Oa) + sin(Axis Orientation(Oa)·Axis RadNorm(Oa) ·

√w2 · h2)

(74)

Axis Bottom X(Oa) =Axis Center X(Oa) − cos(Axis Orientation(Oa)·Axis RadNorm(Oa) ·

√w2 · h2)

(75)

Axis Bottom Y(Oa) =Axis Center Y(Oa) − sin(Axis Orientation(Oa)·Axis RadNorm(Oa) ·

√w2 · h2)

(76)

Zunachst wird nun aus einer Datei eine Liste der zu lokalisierenden Epiphysen-ROI eingelesen.Jede ROI wird hier unter einem eindeutigen Bezeichner gefuhrt (siehe Abb. 27). Fur jede dergesuchten ROI sind die IDs der Bildobjekte Oi und Oj aufgelistet, die an sie angrenzen (sieheAbb. 26). So befindet sich die ROI mit dem Bezeichner 1 stets zwischen den Bildobjekten, die imPrototypgraphen unter den IDs 19 und 14 erfasst sind. Nun wird vorausgesetzt, dass die Handim Anfragebild grob senkrecht orientiert ist, sodass bei allen Fingern der Hand die Fingerspitzenoberhalb der Handwurzelknochen liegen. Eine gewisse Verkippung ist in diesem Rahmen alsodurchaus erlaubt.

Sei Oi das obere und Oj das untere an die Epiphyse angrenzende Bildobjekt. Die ROI wirdbestimmt durch:

EROI Center X =Axis Bottom X(Oi) + Axis Top X(Oj)

2(77)

EROI Center Y =Axis Bottom Y(Oi) + Axis Top Y(Oj)

2(78)

EROI Orientation =

angle(Oi, Oj) falls (Axis Center X(Oi) 6= Axis Center X(Oj))∨(Axis Center Y(Oi) 6= Axis Center Y(Oj))

0 sonst(79)

Sei −→v = (vx, vy)T der Einheitsvektor, der die Orientierung der Verbindungslinie zwischen Oi

und Oj angibt, mit

vx =Axis Center X(Oj) − Axis Center X(Oi)

(Axis Center X(Oj) − Axis Center X(Oi))2(Axis Center Y(Oi) − Axis Center Y(Oj))2

vy =Axis Center Y(Oi) − Axis Center Y(Oj)

(Axis Center X(Oj) − Axis Center X(Oi))2(Axis Center Y(Oi) − Axis Center Y(Oj))2

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 31 von 73

So ist angle(Oi, Oj) gegeben durch:

angle(Oi, Oj) =

π + arccos vy falls vy < 0 ∧ vx < 02π − arccos vy falls vy < 0 ∧ vx ≥ 0π − arccos vy falls vy ≥ 0 ∧ vx < 0

arccos vy falls vy ≥ 0 ∧ vx ≥ 0

Der Schwerpunkt der Epiphysen-ROI wird also zwischen dem unteren Ende der Hauptachse desoben angrenzenden Bildobjektes und dem oberen Ende der Hauptachse des unten angrenzendenBildobjektes gesetzt. Die Orientierung der ROI wird bestimmt durch den Winkel zwischen derVerbindungslinie der Schwerpunkte der angrenzenden Bildobjekte und der x-Achse (Abb. 15).Die so bestimmte ROI wird nun als Teilbild BEROI ausgeschnitten. Zur besseren Vergleichbarkeit

Abbildung 15: Bestimmung einer Epiphysen-ROI. Die ROI (rot) wird zwischen den Endpunkten der Haupt-achsen der angrenzenden Knochen (Rot) zentriert. Die Orientierung wird durch die Verbindungslinie zwischenden Schwerpunkten dieser Knochen (grun) bestimmt.

der extrahierten Teilbilder wird fur jede der ROI die gleiche Hohe und Breite gesetzt, wobeiBreite und Hohe als Parameter ubergeben werden. Die Pixelwerte der rotierten ROI werden,um Aliasing zu vermeiden, mit bikubischer Interpolation bestimmt. Hierzu wird ein gewichteterDurchschnitt der angrenzenden Pixel des Eingabebildes berechnet (Abb. 16):

Sei ϕ = EROI Orientation. (80)

Fur einen Pixel p = (x1, y1) ∈ BEROI lasst sich der zugehorige Pixel q = (x2, y2) ∈ B desEingabebildes B berechnen durch q = r(p), wobei r(p) gegeben ist durch:

x2 = EROI Center X + x1 · ϕ cos +y1 · sin ϕ (81)

y2 = EROI Center Y + x1 · (− sinϕ) + y1 · cos ϕ (82)

Sei die 4x4 Nachbarschaft eines Pixels p ∈ BEROI gegeben als:

n4×4(p) := {(x − 1, y − 1), (x, y − 1), (x + 1, y − 1), (x + 2, y − 1),(x − 1, y), (x, y), (x + 1, y), (x + 2, y),(x − 1, y + 1), (x, y + 1), (x + 1, y + 1), (x + 2, y + 1),(x − 1, y + 2), (x, y + 2), (x + 1, y + 2), (x + 2, y + 2)}

(83)

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 32 von 73

Nun kann der Grauwert g(p) berechnet werden durch:

g(p) =∑

pn=(xpn ,ypn )s∈nx×4(r(p)))g(pn)· (r(xpn )+2)3−4(r(xpn )+1)3+6r(xpn )3−4(r(xpn )−1)3

6 ·(−r(ypn )+2)3−4(−r(ypn )+1)3+6(−r(ypn ))3−4(−r(ypn )−1)3

6

Im Matching ist nicht immer jedem der benotigten Bildobjekte eine Region zugeordnet. Umdennoch die angrenzenden ROI extrahieren zu konnen, genugt es die Hauptachsen dieser Ob-jekte zu bestimmen. Hierzu kann ein Strukturprototyp genutzt werden, da hier die Informationenthalten ist, wie ein Bildobjekt typischerweise zu den anderen Bildobjekten positioniert undorientiert ist.

Abbildung 16: Orientiertes Ausschneiden eines Teilbildes mit bikubischer Interpolation. Der Grauwert des rotmarkierten Pixels wird durch den gewichteten Durchschnitt seiner Umgebung (blau) errechnet.

4.2 Merkmalsberechnung

Die Berechnung der Regionenmerkmale des HARAGs stellt einen entscheidenden Schritt derBildverarbeitungskette dar, da nur die Informationen im Graphmatching genutzt werden konnen,die hier erfasst wurden. Hier bietet sich die Moglichkeit durch die Berechnung zusatzlicher Merk-male Informationen bereitzustellen, die eine Unterscheidbarkeit von Regionen gewahrleisten, umsomit eine Verbesserung der Graphmatchingergebnisse zu erreichen.

Im Strukturprototyp sind lediglich die Verteilungen der lokalen Merkmale relevanter Bildob-jekte und der relationalen Merkmale, die das Verhaltnis der relevanten Bildobjekte zueinanderbeschreiben, hinterlegt. Informationen uber die Regionen, die keine relevanten Bildobjekte dar-stellen sind somit ebensowenig erfasst, wie Informationen uber den lokalen Kontext in dem einrelevantes Bildobjekt steht und stehen somit fur das Graphmatching nicht zur Verfugung. Dieskann dann problematisch werden, wenn in Bildern der betrachteten Bildklasse nicht-relevanteBildobjekte vorhanden sind, die in den Auspragungen ihrer Merkmale relevanten Bildobjektenahneln. So sind im betrachteten Anwendungsfall etwa haufig die Weichgeweberegionen zwischenden Metakarpalknochen als eigenstandige Regionen in der Segmentierung enthalten. Diese glei-chen, im Rahmen der im Training anzutreffenden Variationen, den Metakarpalknochen in derLange und Orientierung der Hauptachse, dem Flacheninhalt, der Position und vielen weiterenMerkmalen. Somit werden sie haufig beim Matching den eigentlichen Bildobjekten vorgezogen(Abb. 17).

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 33 von 73

Abbildung 17: Graphmatchingergebnisse mit falsch zugeordneten Metakarpalknochen

Weitere Beispiele fur Regionen, die haufig in den definierten Merkmalen den Bildobjekten ahneln,sind kleine Regionen in inhomogenen Bereichen des Hintergrundes oder die Weichgeweberegio-nen der Finger. Fur einen menschlichen Betrachter sind solche Fehlzuordnungen schwer nach-zuvollziehen. Besonders bei den Weichgeweberegionen zwischen den Metakarpalknochen ist derUnterschied zu den benachbarten Knochen uberdeutlich, da die Weichgeweberegionen dunkler,die Knochen jedoch heller als ihre Umgebung sind. Mit den bisher vorhandenen Merkmalen istjedoch im Prototypgraphen keine Information uber die Umgebung enthalten.

Deshalb wird hier ein zusatzliches lokales Merkmal definiert, um das Verhaltnis der Helligkeiteiner Region zu ihrer direkten Umgebung zu beschreiben. Sei die 8er-Nachbarschaft eines Pixelsp = (x, y) ∈ B gegeben durch die Funktion:

n8(p) = { (x − 1, y − 1), (x, y − 1), (x + 1, y − 1),(x − 1, y), (x + 1, y),(x − 1, y + 1), (x, y + 1), (x + 1, y + 1)} ∩ B

(84)

Die Umgebung Ul(R) einer Region R ⊂ B sei im Folgenden definiert als die Menge der Pixeldie nicht in R enthalten sind und die uber einen Pfad der Lange kleiner l mit einem Pixel ausR verbunden sind (Abb. 18).

Ul(R) = {p ∈ B|p /∈ R,∃q ∈ R : ∃ ein Pfad p, p1, ..., pn, q mitpi ∈ n8(pi−1) ∧ p ∈ n8(p1) ∧ q ∈ n8(pn) fur i = 1, ..., n < l} (85)

Abbildung 18: Metakarpalknochens eines Daumens (grun) mit Umgebung (gelb)

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 34 von 73

Die Pixelmenge R ∪ Ul(R) kann konstruiert werden, indem man l Schritte morphologischerDilatation mit einem Strukturelement der Große 3x3 durchfuhrt. Durch Entfernen der Pixel vonR aus dieser Menge erhalt man somit Ul(R).

Analog zur Berechnung des mittleren Intensitatswertes von R (Gleichung 45) wird hier diemittlere Intensitat von Ul(R) bestimmt durch:

EnvironMeanGrey =

pi∈Ul(R) g(pi)

|Ul(R)| (86)

Sie wird ebenso uber die Spanne der Grauwerte des Bildes normiert:

EnvironMeanGreyNorm =EnvironMeanGrey − minp∈B g(p)

maxp∈B g(p) − minp∈B g(p)(87)

Die relative Helligkeit einer Region zu ihrer Umgebung kann nun angegeben werden als:

RelEnvironMeanGreyNorm = MeanGreyNorm − EnvironMeanGreyNorm (88)

Da die mittlere Intensitat der Region und ihrer Umgebung jeweils durch Normierung auf denWertebereich [0,1] abgebildet werden, ergibt sich fur das neue Merkmal RelEnvironMeanGrey-Norm eine Normierung auf den Wertebereich [-1,1]. Intuitiv bedeuten hier Werte großer als Null,dass die Region R heller ist als ihre Umgebung Ul(R), wahrend Werte kleiner als Null anzeigen,dass die Region dunkler als ihre Umgebung ist.

Da die Umgebung einer Region nur Pixel enthalt, die auch im Bild enthalten sind, ergibt sichein Sonderfall, der getrennt zu betrachten ist. Ist |Ul(R)| = 0, so ist obige Berechnungsvorschriftnicht anwendbar. Deshalb wird der Merkmalswert 0 ausgegeben. Dies ist beim Wurzelknoteneines HARAGS der Fall, der samtliche Pixel eines Bildes umfasst, womit keine Pixel mehr inseiner Umgebung liegen konnen.

Es ergibt sich ein pseudorelationales Merkmal. Es enthalt relationale Informationen, da dasVerhaltnis zweier Pixelmengen zueinander beschrieben wird. Da aber Ul(R) durch die RegionR und den konstanten Parameter l eindeutig bestimmt ist, kann es als rein lokales Merkmalvon R behandelt werden. Allerdings wird hier der zusatzliche Parameter l in die Berechnungder lokalen Merkmale eingefuhrt, der die Große der Umgebung vorgibt. Fur Handradiographiender Hohe 256 Pixel hat sich der Wert l = 3 als geeignet erwiesen, da bei den Regionen derBildobjekte ein hinreichend großes Stuck ihrer Umgebung erfasst wird, ohne zu viele Pixel zuenthalten, die zu benachbarten Bildobjekten gehoren. Dieses zusatzliche Merkmal ist hinreichendallgemein, um bei einer Vielzahl von Bildklassen eingesetzt werden zu konnen. Bei Anwendungauf der Bildklasse der Radiographien linker Hande ergibt sich eine deutliche Verbesserung derGraphmatchingergebnisse.

4.3 Durchfuhrung des Prototyptrainings

Fur das Training der Strukturprototypen ist die Qualitat und Quantitat der zugrundeliegendenMerkmalsvektoren ein Faktor von entscheidender Bedeutung. Diese wurden in vorausgegangenenArbeiten folgendermaßen bestimmt:

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 35 von 73

• Zunachst wird auf einer Menge von auf die einheitliche Hohe von 256 Pixeln skaliertenTrainingsbildern eine hierarchische Segmentierung durchgefuhrt. Hierbei ist zu beachten,daß das Anfragebild interpoliert, eine zugehorige manuelle Segmentierung jedoch durchSampling skaliert werden sollte, um die Farbmarkierungen nicht zu verandern.

• Die lokalen Merkmale aller in den resultierenden HARAGs enthaltenen Regionen werdenberechnet.

• Die Regionen des HARAGs, die gesuchten Bildobjekten entsprechen, werden identifiziert.Hierzu kann jeder HARAG der Trainingsmenge mit einem hierfur entwickelten Browsermanuell durchsucht werden. Alternativ kann ein automatischer Vergleich mit einer ma-nuellen Segmentierung durchgefuhrt werden, in der die gesuchten Bildobjekte jeweils miteinem Farblabel markiert sind (siehe Abschnitt 5.1.2). Es wird fur ein gesuchtes Bildobjektjeweils diejenige Region ausgewahlt, die die großte Ubereinstimmung mit den Pixeln dermanuellen Segmentierung aufweist, die das Farblabel dieses Objektes tragen. Die Uberein-stimmung wird bewertet durch Overhang/Overlap, also das Verhaltnis der Anzahl nichtubereinstimmender Pixel zur Anzahl ubereinstimmender Pixel. Sowohl bei der manuellen,als auch bei der automatischen Auswahl werden jeweils mit einer gewissen Toleranz auchRegionen akzeptiert die keine hundertprozentige Uberdeckung zu den manuellen Markie-rungen aufweisen. Dies ist sinnvoll, da bei medizinischem Bildmaterial insbesondere imRandbereich von Objekten aufgrund von Unscharfe ein gewisser Interpretationsspielraumbesteht, welche Pixel noch zum Objekt gehoren und welche nicht mehr. Auch zwei ma-nuelle Segmentierungen werden stets um einige Pixel voneinander abweichen. Falls keineder Regionen des HARAGs hinreichend gut mit dem Objekt ubereinstimmt, geht fur die-ses Objekt des HARAGs kein Merkmalsvektor in das Training mit ein. Dies kann etwageschehen, wenn Teilregionen des Objektes mit großen Regionen außerhalb des Objektesverschmelzen, bevor sie miteinander verschmolzen wurden.

• Zu jedem HARAG steht nun die Menge der Merkmalsvektoren aller Regionen bereit unddiejenigen Merkmalsvektoren, die eines der Bildobjekte beschreiben, sind mit einem Labelmarkiert. Nun kann ein Strukturprototyp mit den so gewonnenen Daten trainiert werden(Abb.19 ).

BerechneBerechnelokalelokale

MerkmaleMerkmale

MarkiereMarkiereMerkmalsMerkmals--vektorenvektoren

Vergleich mitVergleich mitManuellerManueller

SegmentierungSegmentierung

RegionenRegionen--auswahlauswahl

HARAGHARAG

SegmentierungSegmentierung

MerkmalsvektorenMerkmalsvektorenMarkierteMarkierte

MerkmalsvektorenMerkmalsvektoren

TrainingsbildTrainingsbild ManuelleManuelleSegmentierungSegmentierung

Abbildung 19: Prototyptraining: Aus der Segmentierung eines Trainingsbildes werden durch Vergleich mit einermanuellen Referenz-Segmentierung Regionen ausgewahlt, deren Merkmalsvektoren fur das Training markiertwerden.

Dieses Vorgehen hat den Vorteil, dass die Regionen, deren Merkmale in die Verteilungen desPrototyps eingehen, auf die gleiche Art und Weise erzeugt wurden, wie die Regionen der An-fragebilder, die durch das Graphmatching mit einem Strukturprototyp gefunden werden sollen.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 36 von 73

Nachteilig ist hingegen, dass nicht fur alle Regionen die volle Anzahl von Trainingsbeispielenverfugbar ist. Bei Regionen, die gerade noch akzeptiert werden, treten zudem kleine Abwei-chungen von der manuellen Segmentierung auf, die auch ins Training mit einfließen. Dadurchwird im Prototyp der Segmentierungsfehler mittrainiert, anstatt die idealen Auspragungen derMerkmale der betreffenden Objekte zu erfassen.

Damit man diese Nachteile umgeht, wird dieses Vorgehen hier modifiziert, um das Training miteinem vollstandigen Satz von Merkmalsvektoren durchfuhren zu konnen, die die Bildobjektebesser beschreiben. Hierzu kann die manuelle Segmentierung verwendet werden.

• Zunachst wird die hierarchische Segmentierung anstatt auf dem Trainingsbild auf dessenmanueller Segmentierung durchgefuhrt. Der initialen Wasserscheidentransformation kannuber einen Schwellwert vorgegeben werden, wie stark sich kleine Grauwertgradienten aufdas Ergebnis auswirken. Da jeweils alle Pixel eines Bildobjektes in der manuellen Seg-mentierung einen eindeutigen Grauwert haben (siehe Abschnitt 5.1.2), fallen stets mitwenigen Ausnahmen alle Pixel eines Bildobjektes in eine einzige Region der initialen Par-titionierung. Nun kann zusatzlich durch Nullsetzen des Schwellwertes erzwungen werden,dass die Pixel verschiedener Objekte nicht in einer gemeinsamen Region zusammengefasstwerden. Somit enthalt die initiale Partitionierung des Bildes fur jedes der gesuchten Bild-objekte eine Region. Nachdem die restlichen Schritte der hierarchischen Segmentierungdurchgefuhrt wurden, ergibt sich ein HARAG, der fur jedes der gesuchten Bildobjekte inder Menge seiner Blatter eine Region enthalt. Diese gesuchten Regionen konnen durcheinen automatischen Vergleich des HARAGS mit der manuellen Segmentierung bestimmtwerden.

• Im HARAG sind fur jede seiner Regionen die Koordinaten aller in ihr enthaltenen Pixel,nicht jedoch die zugehorigen Grauwerte gespeichert. Diese werden zur Berechnung derlokalen Merkmale aus einem Bild ausgelesen. Typischerweise ist dies das Bild, aus demder HARAG berechnet wurde. Hier wird stattdessen wieder direkt auf die Grauwerte ausdem Trainingsbild zugegriffen.

• Nachdem die Merkmalsvektoren der Bildobjekte markiert wurden, kann das Training wieoben beschrieben stattfinden.

Die Berechnung der HARAGs aus einer manuellen Segmentierung hat den Vorteil, dass beiallen Trainingsbildern jedes Bildobjekt durch einen wohlgeformten Merkmalsvektor reprasen-tiert werden kann, was zu besseren Merkmalsverteilungen fuhrt. Da die Anzahl der Regionender initialen Partitionierung sehr viel weniger Regionen enthalt, wird auch der HARAG selbstdeutlich kleiner (durchschnittlich 180 statt uber 2000 Knoten), was zu einer Beschleunigung desPrototyptrainings fuhrt (Abb.20 ).

4.4 Rekonstruktion fehlender Regionen

Ein Matching enthalt nicht notwendigerweise fur jeden der gesuchten Handknochen eine Zuord-nung zu einer Region des Anfragebildes. Dies kann verschiedene Ursachen haben.

• Hier kann entweder verfahrensbedingt im Graphmatching fur das gesuchte Bildobjekt keinehinreichend gute Zuordnung gefunden worden sein. So kann etwa zunachst eine falscheZuordnungshypothese bessere Bewertungen erhalten und die korrekte Zuordnung vorzeitigaussortiert werden.

• Eine weitere Moglichkeit ist, dass die Merkmale der korrekten Region nicht den typi-schen Auspragungen entsprechen, die im Training beobachtet wurden. Dies kann dazu

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 37 von 73

BerechneBerechnelokalelokale

MerkmaleMerkmale

MarkiereMarkiereMerkmalsMerkmals--vektorenvektoren

Vergleich mitVergleich mitManuellerManueller

SegmentierungSegmentierung

RegionenRegionen--auswahlauswahl

HARAGHARAG

SegmentierungSegmentierung

MerkmalsvektorenMerkmalsvektorenmarkiertemarkierte

MerkmalsvektorenMerkmalsvektoren

ManuelleManuelleSegmentierungSegmentierung

TrainingsbildTrainingsbild

Abbildung 20: Prototyptraining: Die manuelle Segmentierung wird zur Bestimmung der Bildregionen verwen-det, die trainiert werden. Hierdurch wird jedes Bildobjekt mit seiner tatsachlichen Form im Training beruck-sichtigt.

fuhren, dass die korrekte Region schon in einem Vorverarbeitungsschritt des Graphmat-chings aufgrund ihrer lokalen Merkmale ausscheidet und somit nicht bei der Bildung vonZuordnungshypothesen berucksichtigt wird.

• Falls schon die Segmentierung keine Region enthalt, die dem benotigten Knochenobjektentspricht, so kann im Graphmatching auch keine gefunden werden.

Da auch die Hauptachsen der nicht im Matching enthaltenen Bildobjekte zur Extraktion derEpiphysen-ROI benotigt werden, ist es notwendig die Lage, Lange und Orientierung der fehlen-den Hauptachsen zu bestimmen. Hierzu konnte nun eine erneute Suche auf dem entsprechendenBereich des Anfragebildes durchgefuhrt werden. Eine nachgelagerte Objektsuche wurde jedochan der Zielsetzung dieser Arbeit, die Objektsuche mit den vorhandenen Verfahren der Extrakti-on zugrunde zu legen, vorbeigehen. So wird hier ein Ansatz verfolgt, der nur die Informationendes Matchings und des Strukturprototyps verwendet.

Fur einen menschlichen Betrachter ist es haufig leicht moglich, allein anhand der Hauptach-sen der im Matching enthaltenen Bildobjekte und ohne Kenntnis des Anfragebildes eine guteSchatzung der fehlenden Hauptachsen zu erreichen. Dies ist moglich, da die Knochen der Handin bestimmten typischen Konstellationen zueinander positioniert und orientiert sind und diesesWissen uber den Kontext, in dem die fehlenden Knochen stehen dem menschlichen Betrachterbekannt ist. Oft reicht hierfur eine geringe Anzahl von verlasslich bestimmten Hauptachsen.Auch im Strukturprotoyp ist die relative Lage und Orientierung der Objekte zueinander co-diert. Es wird angenommen, dass die Anordnung und Auspragung der Knochenobjekte in einerHandradiographie der Anordnung und Auspragung ahnelt, die beim Training des Prototyps imSchnitt beobachtet wurde. Unterschiede zu den Merkmalsauspragungen im Prototyp werdeninsbesondere bezuglich der Positionierung, Orientierung, Große und der Pose der Hand (ge-spreizt, geschlossen, gekrummt) erwartet. Diese kann nun genutzt werden, um automatisch dieHauptachsen der fehlenden Bildobjekte grob zu schatzen, und zumindest mit einer gewissenWahrscheinlichkeit noch korrekte ROI extrahieren zu konnen.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 38 von 73

Hierzu werden zunachst die Hauptachsen der Bildobjekte des Matchings bestimmt (siehe Ab-schnitt 4.1.1). Diese konnen nun in Beziehung zum Strukturprototyp betrachtet werden.

4.4.1 Registrierung durch Least-Squares-Fitting mit einem Strukturprototyp

Um die gesuchten Merkmale der nicht im Matching enthaltenen Bildobjekte schatzen zu konnen,lassen sich die im Prototyp enthaltenen Verteilungen der lokalen Merkmale nutzen. Insbesonderewerden durch die Erwartungswerte der Merkmale des Ellipsenfittings (siehe Abschnitt 3.3.2) dieHauptachsen der Knochen einer durchschnittlichen Hand (im Rahmen der trainierten Bilder)beschrieben.

Die Hauptachsen der Knochen dieser Durchschnittshand konnen nun durch Rotation, Skalierungund Translation mit den Hauptachsen aller entsprechenden im Matching enthaltenen Bildobjek-te bestmoglich in Deckung gebracht werden. Die so transformierten Hauptachsen der Prototyp-objekte werden dann als Schatzung der nicht gematchten Bildobjekte verwendet (Abb. 21). Das

Abbildung 21: Rekonstruktion fehlender Hauptachsen durch Registrierung: links die Hauptachsen der imMatching gefundenen Knochen (blau) und mittlere Hauptachsen aus Strukturprototypen vor der Registrierung(gelb); rechts die vermuteten Hauptachsen nicht gematchter Knochen (gelb) und resultierende ROI(rot)

somit gestellte Problem der Hauptachsenregistrierung der im Matching gefundenen Bildregio-nen zu den Hauptachsen der Prototypobjekte, die durch ihre Merkmalsverteilungen gegebensind, lasst sich auf das Problem der Registrierung von Punktmengen zuruckfuhren. Fur die Re-gistrierung von Punktmengen existiert eine Vielzahl von erfolgreichen Losungsansatzen. Da zujedem im Matching enthaltenen Bildobjekt bekannt ist, welchem der im Prototyp beschriebe-nen Objekt es entspricht, kann eine bekannte Punktkorrespondenz vorausgesetzt werden. Umnaturliche Variationen der Handform sowie ihre Pose in der Registrierung berucksichtigen zukonnen, wurde hier fur die Implementierung der Rekonstruktion ein Punktregistrierungsverfah-ren mit nicht uniformer Skalierung gewahlt, das unterschiedliche Skalierungsfaktoren fur dieAchsen des Koordinatensystems abbilden kann. Auf die Verwendung der relationalen Merkmalekann bei diesem Vorgehen verzichtet werden, da die gewahlte Transformation die relative Lageder Objekte zueinander erhalt.

Sei die Menge der Objekte, denen im Matching eine Region zugewiesen wurde OM ⊂ O und dieMenge der Objekte, denen keine Region zugewiesen wurde:

ON = O ∩ OM (89)

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 39 von 73

Zunachst wird die Punktmenge bestimmt, die die Hauptachsen der im Matching detektiertenBildregionen beschreibt. Jede dieser Hauptachsen wird durch ihren Schwerpunkt und die beidenEndpunkte beschrieben. Somit sind die Position, Lage und Orientierung der jeweiligen Haupt-achse eindeutig durch diese drei Punkte bestimmt. Der Schwerpunkt ist in dieser Hinsicht vomInformationsgehalt zwar redundant, wird jedoch aus praktischen Erwagungen hier mitgefuhrt,da hierdurch die anschließende Rekonstruktion der Hauptachse erleichtert wird und diese zusatz-lichen Punkte in der Registrierung keinen negativen Effekt haben konnen.

Die Hauptachsen der gematchten Regionen konnen nun durch folgende Punktmenge beschriebenwerden:

{d1, ..., du} mit n = 3 · |OM | (90)

Hierbei sei:

d11 = Axis Top X(O1), d12 = Axis Top Y(O1), (91)

d21 = Axis Center X(O1), d22 = Axis Center Y(O1), (92)

d31 = Axis Bottom X(O1), d32 = Axis Bottom Y(O1), (93)

..., du2 = Axis Bottom Y(Ou) mit OM = {O1, ..., Ou} (94)

Seien die benotigten Erwartungswerte der Merkmale eines Objektes Oi im Prototyp gegebenals:

CentrXnormµ(Oi) (95)

CentrYnormµ(Oi) (96)

PrinRadNormµ(Oi) (97)

Orientation Cosµ(Oi) (98)

Orientation Sinµ(Oi) (99)

Die Endpunkte und der Schwerpunkt der Hauptachsen werden analog zur Berechnung der Haupt-achsen der im Matching gefundenen Bildobjekte ermittelt (siehe Abschnitt 4.1.1):

Axis Center XP (Oi) = CentrXnormµ(Oi) · w (100)

Axis Center YP (Oi) = CentrXnormµ(Oi) · h (101)

Axis Top XP (Oi) =Axis Center XP (Oi) + cos(Orientationµ(Oi)·PrinRadNormµ(Oi) ·

√w2 · h2)

(102)

Axis Top YP (Oi) =Axis Center YP (Oi) + sin(Orientationµ(Oi)·PrinRadNormµ(Oi) ·

√w2 · h2)

(103)

Axis Bottom XP (Oi) =Axis Center XP (Oi) − cos(Orientationµ(Oi)·PrinRadNormµ(Oi) ·

√w2 · h2)

(104)

Axis Bottom YP (Oi) =Axis Center YP (Oi) − sin(Orientationµ(Oi)·PrinRadNormµ(Oi) ·

√w2 · h2)

(105)

Die mittleren Hauptachsen konnen nun durch folgende Punktmenge beschrieben werden:

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 40 von 73

{e1, ..., eu}mitu = 3 · |OM | (106)

Hierbei sei:

e11 = Axis Top XP (O1), e12 = Axis Top YP (O1),

e21 = Axis Center XP (O1), e22 = Axis Center YP (O1),

e31 = Axis Bottom XP (O1), e32 = Axis Bottom YP (O1), ...,

eu2 = Axis Bottom YP (Ou) mit OM = {O1, ..., Ou}

Nun ist zu jedem Punkt d der Hauptachsen aus dem Matching ein korrespondierender Punkt ader Hauptachsen aus der mittleren Hand gegeben. Gesucht wird nun eine Transformation, diedie Punkte {d1, ..., dn} bestmoglich auf die Punkte {e1, .., en} abbildet:

T (d) = QHd + t (107)

Hierbei ist Q eine 2×2 Rotationsmatrix, H eine 2×2 Skalierungsmatrix und t ein 2-dimensionalerTranslationsvektor. Gefordert ist nun, dass Q, H und t so gewahlt werden, dass

i∈{1,...,n}(T (di) − ei)

2 (108)

minimal wird. Hier wurde aus der Vielzahl der bekannten Registrierungsverfahren eines aus-gewahlt, das in einem Schritt die optimale Abbildung im Sinne der kleinsten quadratischenAbstande findet [35].

Zunachst werden beide Punktmengen im Schwerpunkt des gemeinsamen Koordinatensystemszentriert, indem der Schwerpunkt der jeweiligen Punktmenge von jedem enthaltenen Punktabgezogen wird. Die zentrierten Punkte sind somit:

d′i = di −1

n

n∑

i=1

di (109)

e′i = ei −1

n

n∑

i=1

ei (110)

Die Rotationsmatrix mit dem optimalen Winkel φ kann nun bestimmt werden uber:

Q =

[

cos φ − sin φsin φ cos φ

]

mit φ =1

2tan−1 k3

k1 − k2(111)

Die Hilfsvariablen k1,k2 und k3 sind wie folgt definiert:

k1 =α2

11

β1+

α2

22

β2, k2 =

α2

12

β1+

α2

21

β1, k3 = 2α21α22

β2− 2α11α12

β1

αj =n∑

i=1e′ijd′i, β =

n∑

i=1d′2ij

Seien die Zeilen der Rotationsmatrix:

ρ1 = (cos φ,− sin φ) und ρ2 = (sin φ, cos φ) (112)

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 41 von 73

Die Skalierungsfaktoren, die die Diagonale der Skalierungsmatrix bilden, berechnen sich durch:

s1 =ρ1α1

β1und s2 =

ρ2α2

β2(113)

Nun, da die Rotations- und Skalierungsparameter bekannt sind, kann der Translationsvektor tberechnet werden:

t =1

n

n∑

i=1

ei − HQ1

n

n∑

i=1

di (114)

Die Summe der quadratischen Abstande kann wie folgt berechnet werden:

2∑

i=1

(T (di) − ei)2 =

n∑

i=1

e′Ti e′i −(ρ1α1)

2

β1− (ρ2α2)

2

β2(115)

Um nun die Hauptachsen der nicht im Matching enthaltenen Bildobjekte zu schatzen, mussendie mittleren Hauptachsen mit der inversen Transformation T−1 transformiert werden. Diese istdefiniert, wenn die Determinante |QH| 6= 0 ist. Diese ist bestimmt durch:

|QH| = cos2 φs1s2 + sin2 φs1s2 (116)

Die inverse Transformation ist nun definiert durch:

T−1(e) =

[ cos φ·s2

|QH|sinφ·s1

|QH|− sinφ·s2

|QH|cos φ·s1

|QH|

]

· e − t

Fur ein Objekt Oi ∈ ON ergeben sich die Endpunkte der Hauptachse und der Schwerpunkt wiefolgt:

(

Axis Top X(Oi)Axis Top Y(Oi)

)

= T−1

(

Axis Top XP (Oi)Axis Top YP (Oi)

)

(117)

(

Axis Center X(Oi)Axis Center Y(Oi)

)

= T−1

(

Axis Center XP (Oi)Axis Center YP (Oi)

)

(118)

(

Axis Bottom X(Oi)Axis Bottom Y(Oi)

)

= T−1

(

Axis Bottom XP (Oi)Axis Bottom YP (Oi)

)

(119)

Axis RadNorm(Oi) =

√(Axis Bottom X(Oi)−Axis Top X(Oi))2+(Axis Bottom Y(Oi)−Axis Top Y(Oi))2

2√

w2+h2

Sei −→v = (vx, vy)T der Einheitsvektor, der die Orientierung der Verbindungslinie zwischen den

Endpunkten der Hauptachse angibt, mit

vx =Axis Bottom X(Oi) − Axis Top X(Oi)

(Axis Bottom X(Oi) − Axis Top X(Oi))2(Axis Center Y(Oi) − Axis Center Y(Oj))2

vy =Axis Center Y(Oi) − Axis Center Y(Oj)

(Axis Bottom X(Oi) − Axis Top X(Oi))2(Axis Center Y(Oi) − Axis Center Y(Oj))2

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 42 von 73

Axis RadNorm(O) =

π + arccos vy falls vy < 0 ∧ vx < 02π − arccos vy falls vy < 0 ∧ vx ≥ 0π − arccos vy falls vy ≥ 0 ∧ vx < 0

arccos vy falls vy ≥ 0 ∧ vx ≥ 0

(120)

Somit konnen Position, Lange und Orientierung der fehlenden Hauptachsen geschatzt werdenund stehen fur die Bestimmung der ROI zur Verfugung. Nachteilig ist hier jedoch, dass auchvereinzelte falsch zugeordnete Regionen bereits eine starke Auswirkung auf das Registrierungs-ergebnis haben konnen. Dies wirkt sich besonders deutlich aus, wenn sie weit von der korrektenPosition entfernt sind, da sie dann eine starke Auswirkung auf die Summe der quadratischenAbstande haben, hinsichtlich der hier die optimale Registrierung gesucht wird (Abb. 22).

Abbildung 22: Beispiele fur Rekonstruktion fehlender Hauptachsen uber eine Registrierung mit Hauptachsender gematchten Regionen (blau), Schatzung der fehlenden Hauptachsen (gelb) und resultierenden ROI (rot):links ein akzeptables Extraktionsergebnis mit 10 korrekt extrahierten ROI; rechts ein inakzeptables Extrakti-onsergebnis mit einer korrekt extrahierten ROI, fehlerhaft zugeordnete Regionen fuhren bei der Registrierungzu einer starken Verzerrung

4.4.2 Schatzung uber relationale Merkmale

Die Rekonstruktion der Hauptachsen nicht im Matching enthaltener Regionen uber eine Re-gistrierung der Hauptachsen einer Modellhand hat den Nachteil, dass sich einzelne Ausreißerglobal auf das Registrierungsergebnis auswirken. Deshalb wurde eine alternative Moglichkeitzur Schatzung fehlender Hauptachsen gesucht, bei der sich falsch zugeordnete Bildobjekte we-niger stark auf weiter entfernte Bildobjekte auswirken.

Im Strukturprototyp sind neben den Verteilungen der lokalen Merkmale der beschriebenen Bil-dobjekte auch die Verteilungen relationaler Merkmale hinterlegt, die das Verhaltnis der Objektezueinander beschreiben (siehe Abschnitt 3.3.3). Insbesondere sind hier die relative Lage, Großeund Orientierung erfasst.

Zur Schatzung eines der Parameters der Hauptachse eines nicht im Matching enthaltenen Bild-objektes Oi ∈ ON konnen die relationalen Merkmale der Prototypkanten EPS

(Oi, Oj) zu einemjeden im Matching enthaltenen Bildobjekt Oj ∈ OM verwendet werden (Abb. 23).

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 43 von 73

Abbildung 23: Rekonstruktion einer fehlenden Hauptachse (schwarz) uber Prototyprelationen (grun) zu allengematchten Bildobjekten (farbig, Achsen und Schwerpunkt rot). Die Schatzung erfolgt uber die Relation mitder geringsten Standardabweichung (gelb)

Diese relationalen Merkmale des Strukturprototyps sind so definiert, dass sie direkt aus den loka-len Merkmalen berechnet werden konnen. Somit konnen sie genutzt werden, um die Hauptachsender nicht im Matching enthaltenen Bildobjekte zu schatzen. Hierbei ist zu beachten, dass nichtalle Relationen gleichermaßen stabil sind. So variiert zwischen verschiedenen Handradiographiendie relative Position der Spitze des kleinen Fingers zur Daumenspitze deutlich starker als dierelative Position zur medialen Phalanx des kleinen Fingers. Diese Zusammenhange werden auchim Prototyptraining in Form der Standardabweichung der jeweiligen Merkmale miterfasst.

Da die relationalen Merkmale Redundanzen aufweisen, gibt es fur jeden der zu bestimmendenHauptachsenparameter Moglichkeiten, ihn uber relationale Merkmale zu schatzen. So kann et-wa die relative Position zweier Objekte durch ihre Abstande in x- und y-Richtung beschriebenwerden oder durch ihren Abstand und ihre relative Lage (Winkel zwischen der Verbindungslinieder Schwerpunkte und der x-Achse). Hier wurde jeweils fur Lange, Orientierung und Positionder Hauptachse eines Objektes Oi eine der alternativen Moglichkeiten, den jeweiligen Parame-ter anhand von relationalen Merkmalen zu einem Objekt Oj zu schatzen, gewahlt und eineBerechnungsvorschrift fur Oi in Abhangigkeit von Oj gebildet.

Der Strukturprototyp ist ein vollstandiger, gerichteter Graph. Somit waren fur zwei beliebigeBildobjekte O1 und O2 mit VPS

(O1), VPS(O2) ∈ VPS

eigentlich die Kanten EPS(O1, O2) ∈ EPS

und EPS(O1, O2) ∈ EPS

enthalten. Jedoch ist nur je eine dieser Kanten explizit im Prototypenthalten, da die relationalen Merkmale so definiert sind, dass ein Merkmalswert einer Kanteaus dem der jeweils entgegengesetzten Kante berechnet werden kann. Deshalb mussen jeweilszwei Berechnungsvorschriften angegeben werden, fur den Fall, dass das nicht gematchte Objektdurch eine eingehende Kante mit einem Objekt des Matchings verbunden ist und den Fall einerausgehenden Kante.

Seien die Erwartungswerte derjenigen relationalen Merkmale einer Kante EPS(O1, O2), die im

Folgenden zur Bildung von Berechnungsvorschriften verwendet werden, gegeben als:

DiffXµ(O1, O2),DiffYµ(O1, O2), (121)

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 44 von 73

Rel PrincipalRadµ(O1, O2), (122)

Cos Rel Orientationµ(O1, O2),Sin Rel Orientationµ(O1, O2) (123)

Nun konnen Schatzwerte fur die Orientierung, Lange und Schwerpunkt der Hauptachse einesnicht gematchten Knochenobjektes Oi anhand der Relationen zu einem gematchten Objekt Oj

berechnet werden.

Fur EPS(Oi, Oj) ∈ EPS

seien die Schatzer:

S(Axis Center X(Oi), Oj) = Axis Center XP (Oj) − DiffXµ(Oi, Oj) · w (124)

S(Axis Center Y(Oi), Oj) = Axis Center YP (Oj) − DiffYµ(Oi, Oj) · h (125)

S(Axis Orientation Y(Oi), Oj) =

π2 + arccos vx − vz falls vx > 0 ∧ vy > 0π2 − arccos vx − vz falls vx > 0 ∧ vy ≤ 0

32π + arccos vx − vz falls vx ≤ 0 ∧ vy > 032π − arccos vx − vz falls vx ≤ 0 ∧ vy ≤ 0

(126)

mit den Hilfsvariablen vx = Cos Rel Orientationµ(Oi, Oj), vy = Sin Rel Orientationµ(Oi, Oj)und vz = Axis Orientationµ(Oj)

Bei der Berechnung der relativen Hauptachsenlangen wird eine normierte Division durchgefuhrt,um eine Symmetrie zu erzwingen. Diese muß in der Berechnungsvorschrift beachtet werden.

Falls Rel PrincipalRadµ(Oi, Oj) ≤ 1, ist:

S(Axis RadNorm(Oi), Oj) = PrinRadNormµ(Oj) · (2 − Rel PrincipalRadµ(Oi, Oj)) ·√

w2 + h2

(127)

Falls Rel PrincipalRadµ(Oi, Oj) > 1, ist:

S(Axis RadNorm(Oi), Oj) =PrinRadNormµ(Oj) ·

√w2 + h2

Rel PrincipalRadµ(Oi, Oj)(128)

Fur EPS(Oj , Oi) ∈ EPS

seien die Schatzer:

S(Axis Center X(Oi), Oj) = Axis Center XP (Oj) + DiffXµ(Oj , Oi) · w (129)

S(Axis Center Y(Oi), Oj) = Axis Center YP (Oj) + Diffyµ(Oj , Oi) · h (130)

(131)

S(Axis Orientation Y (Oi), Oj) =

π2 − arccos vx − vz falls vx > 0 ∧ vy > 0π2 + arccos vx − vz falls vx > 0 ∧ vy ≤ 0

32π + arccos vx − vz falls vx ≤ 0 ∧ vy > 032π − arccos vx − vz falls vx ≤ 0 ∧ vy ≤ 0

(132)

mit den Hilfsvariablen vx = Cos Rel Orientationµ(Oj , Oi), vy = Sin Rel Orientationµ(Oj , Oi)und vz = Axis Orientationµ(Oj)

Falls Rel PrincipalRadµ(Oj , Oi) ≤ 1 ist:

S(Axis RadNorm(Oi), Oj) =PrinRadNormµ(Oj) ·

√w2 + h2

Rel PrincipalRadµ(Oj , Oi)(133)

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 45 von 73

Falls Rel PrincipalRadµ(Oj , Oi) > 1 ist:

S(Axis RadNorm(Oi), Oj) = PrinRadNormµ(Oj) · (2 − Rel PrincipalRadµ(Oj , Oi)) ·√

w2 + h2

(134)

Seien Ferner die Standardabweichungen gegeben als:

DiffXσ(O1, O2),DiffYσ(O1, O2), (135)

PrinRadNormσ(O1, O2), (136)

Cos Rel Orientationσ(O1, O2),Sin Rel Orientationσ(O1, O2) (137)

(138)

Nun liegen fur jeden der benotigten Parameter Schatzwerte vor, die jeweils aus den relationa-len Merkmalen zu einem der im Matching enthaltenen Objekte berechnet wurden. Aus dieserMenge von Schatzwerten kann nun ein einzelner Schatzwert berechnet werden. Dies kann etwauber die Bildung eines Mittelwertes aus allen Schatzungen erfolgen. Da jedoch die einzelnenverwendeten Relationen zu den vorhandenen Objekten unterschiedlich stabil sind, ist hier eindifferenzierteres Vorgehen angezeigt. Den Schatzwerten der Hauptachsenparameter wird des-halb ein Verlasslichkeitsmaß v zugeordnet. Hier kann die Standardabweichung der verwendetenRelationen als Grundlage verwendet werden, da diese die Schwankungen der einzelnen Objekt-beziehungen in der Trainingsmenge abbildet.

Fur EPS(Oi, Oj) ∈ EPS

sei das Verlasslichkeitsmaß gegeben als:

u(Axis Center X(Oi), Oj) = max(DiffXσ(Oi, Oj),DiffYσ(Oi, Oj)) (139)

u(Axis Center X(Oi), Oj) = max(DiffXσ(Oi, Oj),DiffYσ(Oi, Oj)) (140)

u(Axis RadNorm(Oi), Oj) = PrinRadNormσ(Oi, Oj) (141)

u(Axis Orientation Y (Oi), Oj) =max( Sin Rel Orientationσ(O1, O2),

Cos Rel Orientationσ(O1, O2))(142)

Die Verlasslichkeitsmaße der Schatzung uber die entgegengesetzten Kanten sind identisch defi-niert. Diese Verlasslichkeitsmaße werden nun verwendet, um fur jeden Parameter der Hauptachseden verlasslichsten Schatzwert auszuwahlen.

Parameter(Oi) = min S(Parameter(Oi), Oj) (143)

Die Endpunkte der Hauptachse lassen sich nun analog zu Gleichung 102 ff. berechnen.

Dieses Vorgehen hat den Vorteil, dass sich falsch zugeordnete Bildobjekte nicht auf die Re-konstruktion der Hauptachs weiter entfernter Bildobjekte auswirken, sofern es im MatchingBildobjekte mit stabileren Relationen gibt. Matchingfehler wirken sich also eher lokal auf dieRekonstruktion aus. Die Auswahl der Schatzwerte der jeweils stabilsten Kante kann jedochdann nachteilig sein, wenn die stabilste Relation im Prototyp zu einem Bildobjekt fuhrt, das imMatching falsch zugeordnet wurde (Abb. 24).

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 46 von 73

Abbildung 24: Beispiele fur Rekonstruktion fehlender Hauptachsen uber relationale Merkmale mit Hauptach-sen der gematchten Regionen (blau), Schatzung der fehlenden Hauptachsen (gelb) und resultierenden ROI(rot): ein akzeptables Extraktionsergebnis mit 11 korrekt extrahierten ROI; rechts ein inakzeptables Extrakti-onsergebnis mit einer korrekt extrahierten ROI. Fehlerhaft zugeordnete Regionen fuhren bei der Registrierungzu einer starken Verzerrung (gelb).

4.5 Preprocessing

Auf Handradiographien sind oft unterschiedlich große Teile des Unterarms mit enthalten. Somitnimmt auch die Hand selbst einen unterschiedlich großen Teil des Bildes ein. Hierdurch kommtes zu betrachtlichen Schwankungen der Hauptachsenlangen, der relativen Abstande sowie vielerweiter Merkmale. Hier kann das Prolem deutlich vereinfacht werden, indem ein Bildausschnittgewahlt wird, der lediglich die Hand selbst, sowie ein kurzes Stuck von Radius und Ulna enthalt.Die hierdurch verringerten Standardabweichungen der Prototypmerkmale fuhren zu einer kla-reren Abgrenzung von Objektregionen gegenuber nicht-Objektregionen. Allerdings ist hier In-formation uber die Position der Hand im Bild vonnoten. Diese kann etwa vom Anfragestellermit wenig Aufwand durch Markierung zweier Punkte bewerkstelligt werden (Abb. 25). Diesgeschieht in der hier vorgestellten Bildverarbeitungskette mit Hilfe eines bereits vorhandenenWebinterfaces zur Bearbeitung von Referenzpunkten. Der zusatzliche Aufwand belauft sich aufwenige Sekunden pro Bild. Die Lokalisierung der Hand ist prinzipiell auch automatisierbar, etwadurch die Auswertung von zeilenweise angewandten Schwellwerten. Dies wird jedoch hier nichtweiter betrachtet.

5 Experimente und Ergebnisse

Im Folgenden werden die Experimente detailliert geschildert, die zur Bewertung von Einzelkom-ponenten der entwickelten Bildverarbeitungskette dienen. In einem abschließenden Versuch wirddie Qualitat des Gesamtsystems bewertet.

5.1 Daten

Die fur die Experimente verwendeten Daten die sich in Bildmengen zu Trainings- und Test-zwecken sowie Referenzdaten zur Bewertung von Ergebnissen gliedern, werden Im Folgendenvorgestellt.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 47 von 73

Abbildung 25: Auswahl der Mittelfingerspitze und des Ellenendes mit einem Webinterface

5.1.1 Bildmengen

Zur Bewertung der Bildverarbeitungskette, ihrer Einzelkomponenten und fur das Training vonStrukturprototypen der Hand ist eine große Anzahl von Radiographien linker Hande notwendig.In der Bilddatenbank des IRMA-Projektes ist eine große Anzahl von medizinischen Bildern zu-sammengetragen worden. In der Bildliste 2006-03 hands cthies 100 sind 100 Radiographien lin-ker Hande von Kindern zusammengefasst. Bilder dieser Bildliste wurden bereits in Vorarbeitenverwendet [31, 33]. Die Bildliste umfasst Radiographien von gesunden Kindern aller Altersklas-sen zwischen 0 und 18 Jahren. Hierbei ist jedoch die Verteilung der Bilder auf die Altersklassenunbekannt, da zu den einzelnen Bildern das chronologische Alter nicht hinterlegt ist. Die Bildersind grob senkrecht orientiert. Da die Bilder aus der radiologischen Routine stammen, weisensie die typischen Variationen in Bezug auf Bildhelligkeit, Helligkeitsgradienten, Bildrauschen,gewahlten Bildausschnitt und Orientierung, sowie radiologische Marker auf. Sie sind somit alsreprasentativ fur Bilder aus der routinemaßigen radiologischen Altersbestimmung zu betrach-ten.

Um eine vollstandige Trennung von Trainings- und Testdaten zu gewahrleisten, war es notwen-dig, zusatzliches Bildmaterial aus externen Quellen mit einzubeziehen. Insbesondere Bildmengenmit bekanntem chronologischen Alter und Geschlecht der Patienten waren hier in Anbetrachtdes Kontextes der Arbeit von Interesse.

Es konnten verschiedene Bilddatensatze erschlossen werden:

Der im Springerverlag erschienene Atlas zur Skelettreifebestimmung von Gilsanz und Ratib [36]umfasst nach Geschlecht getrennt 58 aus typischen Handradiographien synthetisierte, fur diejeweilige Altersklasse prototypische Radiographien. Obwohl diese Bilder, insbesondere in Ver-bindung mit der mitgelieferten Software fur PDAs ein nutzliches Hilfsmittel fur Radiologen dar-stellen, sind die abgebildeten Hande letztlich idealisiert und wurden somit nicht in dieser Arbeitverwendet. Am Image Processing and Informatics Laboratory (IPI) der University of SouthernCalifornia (USC) wurde ein umfangreicher digitaler Handatlas zusammengestellt [23]. In diesemsind 1103 Radiographien linker Hande gesunder Kinder und Jugendlicher gesammelt, wobei sichdie Bildmenge aus acht etwa gleich großen Teilmengen zusammensetzt, in denen jeweils Bildereines Geschlechts und einer von vier Ethnien enthalten sind. Die betrachteten Bildmengen um-fassen jeweils Kinder kaukasischer, afroamerikanischer, asiatischer und hispanischer Ethnie und

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 48 von 73

Datensatz IRMA CAUM CAUF USC baaweb

Bilder 100 137 137 1107Manuelle Segmentierung

√ √X X

Epiphysenpositionen√ √ √ √

Beschneidungsinformation√ √ √

XAltersreferenz X

√ √ √

Tabelle 1: Ubersicht uber verfugbare Daten nach Bilddatensatzen

weisen jeweils eine ahnliche Verteilung der Bilder auf die verschiedenen Altersklassen auf. Zujedem der Bilder ist das genaue chronologische Alter hinterlegt. Da in diesem Atlas eine großeAnzahl von Bildern in guter Qualitat enthalten sind und diese von den Autoren uber ein Web-interface mitsamt einer Vielzahl zugehoriger Informationen zum Patienten (Alter, Geschlecht,Ethnie, Große, Gewicht, etc.) uber ein Webinterface offentlich verfugbar gemacht wurden, stelltdieser eine gute Basis fur weitergehende Versuche dar.

5.1.2 Manuelle Segmentierung

Fur die Bewertung der segmentierten Bildobjekte sowie fur das Training von Strukturprototypenist es notwendig, die genaue Form und Lage eines jeden gesuchten Objektes zu kennen. Eine sol-che Referenzinformation wurde hier in Form einer manuellen Segmentierung bereitgestellt. Dabeiwurde zu jedem Bild ein leeres Bild derselben Große erstellt. In diesem wurde jedes vorhandeneBildobjekt manuell mit einem zuvor festgelegten Farblabel markiert. Dazu wurde jeder zumjeweiligen Objekt gehorende Pixel mit dem entsprechenden Farbwert versehen. Die Label 1 bis 5reprasentieren die Metakarpalknochen, die Label 5 bis 19 die Phalanxknochen der Hand. Nichtrelevante Bildobjekte, wie der Hintergrund, radiologische Marker oder Weichgewebe wurden mitdem Farbwert 0 eingefarbt. Mit weiteren Farbwerten wurden die einzelnen Handwurzelknochenund Epiphysen, sowie Radius und Ulna eingefarbt. Fur Bereiche, in denen sich mehrere Objekteuberschneiden wurde global ein einziger Farbwert verwendet. Insgesamt wurden 52 Farblabelvergeben (Abb. 26). Fur die verwendeten 100 Handradiographien des IRMA-Corpus wurdenjeweils zwei solche manuelle Segmentierungen erstellt und in der IRMA-Datenbank hinterlegt.Fur eine Teilmenge der Radiographien des USC-Corpus wurde zu Auswertungszwecken einemanuelle Segmentierung erstellt und in der IRMA-Datenbank hinterlegt. Da die Erstellung dermanuellen Segmentierungen einigen Zeitaufwand erfordert, konnte sie nicht fur alle Bilder desumfangreichen USC-Corpus erstellt werden. Die Auswahl einer Teilmenge der Bilder wurde da-durch erleichtert, dass die Bilder bereits nach Geschlecht und Ethnie in 8 Teilmengen unterteiltwaren, die jeweils in etwa die gleiche Anzahl von Bildern jeder Altersstufe enthielten. Die Wahlfiel hier auf die 137 Radiographien mannlicher Patienten kaukasischer Ethnie. Diese Ethnie wur-de gewahlt, da sie den am UK Aachen erfassten Radiographien am nachsten kommen sollte. DieWahl des Geschlechts erfolgte willkurlich.

5.1.3 Epiphysenpositionen

Um eine Bewertung der Lokalisierung von Epiphysenregionen vornehmen zu konnen, wurden Re-ferenzpunkte benotigt, die die genaue Lage der Schwerpunkte der jeweiligen Epiphysenregionenbeschreiben. Hierzu wurden mit Hilfe eines Webinterfaces pro Bild jeweils 19 Punkte markiertund die Referenzpunkte in die IRMA-Datenbank integriert. Die Referenzpunkte wurden bei al-len 100 verwendeten Bildern des IRMA-Corpus sowie bei allen 1108 Bildern des USC-Corpusmarkiert. Damit stehen diese Bilder fur Extraktionsversuche zur Verfugung.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 49 von 73

12

345

6

789

10

1112

13

14

15

1617

18

19

2021

22 23

2425

2627

2829

30 31

32

333435

3637

383940

41

42

4344

45

46

47

48

49

50

Überschneidung51

Eventuell52

53

Accessori54

Abbildung 26: Farblabel der manuellen Segmentierung

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 50 von 73

Abbildung 27: Webinterface zur manuellen Markierung der Schwerpunkte der Epiphysen-ROI

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 51 von 73

Distanzmaß Gewicht

Quadratischer euklidischer Abstand 0.5Beachte Canny-Kanten 20Kontrast an der Regionengrenze 15Kompaktheit 10Minimale Große zweier Regionen 4

Tabelle 2: Konfiguration des hierarchischen Segmentierungsalgorithmus

5.2 Initiale Versuche

Zunachst wurde eine Reihe von Versuchen durchgefuhrt, die dazu dienen, den Stand der Dingebei den gewahlten Komponenten der Bildverarbeitungskette zu erfassen. Hierdurch soll die Ver-gleichbarkeit der Ergebnisse der jeweiligen Komponenten zu Vorarbeiten gewahrleistet werden([31],[30]). Zudem dienen diese Versuche dazu, zu bestimmen, welche Komponenten der Bildver-arbeitungskette optimiert werden konnen, um eine signifikante Verbesserung der Extraktions-fehlerrate von Epiphysenregionen zu erreichen bzw. bei welchen Komponenten eine Optimierungnicht lohnenswert erscheint. Zu diesem Zweck wurden hier Parametrierungen eingesetzt, die sichin vorherigen Arbeiten als gunstig erwiesen haben.

5.2.1 Segmentierung

Da die hierarchische Segmentierung den ersten Schritt der hier vorgestellten Methode zur Loka-lisierung von Epiphysenregionen darstellt, kommt ihr besondere Bedeutung zu. Bildobjekte, diein der durch die Segmentierung erzeugten hierarchischen Szenenbeschreibung nicht hinreichendgut durch Regionen reprasentiert sind, konnen in den darauf folgenden Schritten der Bildverar-beitungskette nur schwierig korrekt erkannt werden. Deshalb sollte zunachst festgestellt werden,ob hinreichend viele der gesuchten Bildobjekte als eigenstandige Regionen in den Segmentie-rungsergebnissen enthalten sind.

Hypothese: Es wird erwartet, dass mindestens 50 % der gesuchten Bildobjekte hinreichendgut durch eine Region der Segmentierung uberdeckt werden.

Durchfuhrung: Die 100 Bilder der Bildliste 2006-03 hands cthies 100 des IRMA-Corpus undihre jeweilige manuelle Segmentierung wurden, wie bereits beschrieben, auf eine Hohe von 256Pixeln skaliert.

Die fur das kantenbasierte Distanzmaß der Regionenverschmelzung benotigten Kantenbilderwurde aus den Bilddaten mit Hilfe der im IRMA-System vorhandenen Implementierung desCanny-Edge-Detection-Algorithmus erstellt, wobei fur den Parameter sigma der Wert 1.75 ver-wendet und der untere und obere Schwellwert des Verfahrens auf 0.3 und 0.6 gesetzt wurde.Anschließend wurde die hierarchische Segmentierung durchgefuhrt. Hierbei wurde auf die ak-tuellste vorhandene Implementierung des hierarchischen Segmentierungsverfahrens, hierarchi-cal region growing michele, zuruckgegriffen. Bei der Auswahl der Distanzmaße fur die Regio-nenverschmelzung und ihrer jeweiligen Gewichtung wurde eine bewahrte Parametrierung ausVorarbeiten verwendet (Vorsegmentierung mit Wasserscheidentransformation (mit noise thres-hold 2), siehe Tabelle 5.2.1).

Die Bewertung der so entstandenen HARAGs erfolgte durch Vergleich mit den Regionen dermanuellen Segmentierung.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 52 von 73

Ergebnis: In den generierten HARAGs waren 1697 der gesuchten 1900 Bildobjekte (Metacarpal-und Phalanxknochen), also 89,9%, als eigenstandige Regionen enthalten. Insbesondere waren inkeinem HARAG weniger als 16 der gesuchten 19 Knochenobjekte angemessen reprasentiert.

Insbesondere sind die Knochenobjekte, die zu den von Pietka et al [25] extrahierten Epiphysen-regionen adjazent sind zu 96% korrekt im HARAG reprasentiert (Abb. 28).

71%

87%

94%

73%

86%

99%

96%

73%

85%

96%

99%

91%87%

99%

98%

93%

89%

86%

95%

Abbildung 28: Anteil der Bildobjekte, die als eigenstandige Regionen im HARAG auftauchen; Die 6 Bildojekte,die am haufigsten korrekt segmentiert worden sind in grun, die 6 schlechtesten in rot markiert.

Diskussion: Somit wurde die Segmentierung mit den verwendeten Parametern als fur die Auf-gabenstellung hinreichend gut bewertet. Sie findet somit in allen weiteren Experimenten implizitVerwendung.

5.2.2 Graphmatching

Das Graphmatching dient in dieser Bildverarbeitungskette der Identifikation von Objektregionenin einem HARAG. Hier soll zunachst der Stand der Dinge festgehalten werden.

Hypothese: Anhand der in vorausgegangenen Arbeiten dokumentierten Ergenisse wird erwar-tet, dass der Evolutionary-Gametheory-Graphmatcher bessere Ergebnisse hinsichtlich Precisionund F-Measure liefert als das Similarity-Flooding.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 53 von 73

Durchfuhrung: Zunachst wurde anhand von 100 Bildern ein Strukturprototyp trainiert. Dieserwurde in einem Versuch mit 5-facher Kreuzvalidierung jeweils zum Graphmatching mit einemder ausgewahlten Verfahren verwendet.

Ergebnis: Es zeigte sich ein deutlicher Vorteil des Evolutionary-Gametheory-Graphmatchershinsichtlich Precision und F-Measure.

Graphmatcher Korrekt Falsch Recall Precision F-Measure

Sim-Flood 944 955 0.497366 0.497104 0.497235EVO-GM 917 493 0.48314 0.650355 0.554414

Tabelle 3: Initialer Versuch zum Graphmatching: Der Vergleich von Similarity-Flooding undEvolutionary-Gametheory-Graphmatcher zeigt deutliche Vorteile des Evolutionary-Gametheory-Graphmatchers (beste Ergebnisse jeweils hervorgehoben).

Diskussion: Der Vorteil des Evolutionary-Gametheory-Graphmatchers kann dadurch erklartwerden, daß hier nur diejenigen Zuordnungshypothesen uberleben, die eine gewisse Plausibi-litat aufweisen anstatt, dass wie beim Similarity-Flooding unabhangig von der Plausibilitat derZuordnungshypothese jedem gesuchten Objekt eine Region zugewiesen wird.

5.3 Graphmatching

Um eine bessere Unterscheidbarkeit von Objektregionen und nicht-Objektregionen zu erreichen,wurde das Merkmal RelEnvironMeanGreyNorm eingefuhrt. Hier wird nun durch Experimenteuberpruft, ob die angestrebte Verbesserung der Graphmatchingergebnisse hierdurch erreichtwird.

Hypothese: Es wird vermutet, daß das neue Merkmal eine bessere Unterscheidbarkeit dergesuchten Objektregionen und nicht-Objektregionen im Bild ermoglicht. Dementsprechend wer-den vom Einsatz des Merkmals Steigerungen von Precision und F-Measure, nicht jedoch Recallerwartet.

Durchfuhrung: Zunachst wurde anhand der 100 Bilder aus dem IRMA-Corpus ein weitererStrukturprototyp trainiert, der die Merkmale RelEnvironMeanGreyNorm und EnvironMean-GreyNorm enthalt. Dieser wurde in einem Versuch mit 5-facher Kreuzvalidierung jeweils zumGraphmatching mit einem der ausgewahlten Verfahren verwendet. Anschließend wurde in denverwendeten Prototypen das Merkmal RelEnvironMeanGreyNorm nachtraglich bei allen Objek-ten in die Auswahl der zu verwendenden Merkmale aufgenommen und der Versuch wiederholt.

Ergebnis: Das neue Merkmal bringt deutlich erkennbare Vorteile bei beiden Graphmatchern.Die Weichgeweberegionen zwischen den Metakarpalknochen tauchen nicht mehr in den Mat-chings auf. Weichgeweberegionen an den Seiten der Finger sind jedoch immer noch vorhanden.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 54 von 73

SF EVO

neues Merkmal - ja erzwungen - ja erzwungen

correct 944 1041 1131 917 991 1395

false 955 854 754 493 285 435Recall 0.49736 0.548472 0.59589 0.48314 0.522129 0.734984

Precision 0.497104 0.54934 0.6 0.650355 0.776646 0.762295F-Measure 0.497235 0.548906 0.5979380 0.554414 0.624449 0.748391

Tabelle 4: Versuch zum Graphmatching: Einsatz des neu definierten Merkmals RelEnvironMean-GreyNorm. Die besten Ergebnisse sind jeweils hervorgehoben.

Diskussion: Die verbesserten Recall- und Precision Werte lassen sich dadurch erklaren, daßden Graphmatchern mit dem neuen Merkmal ein neues, starkes Unterscheidungskriterium zurVerfugung steht. Die unerwartete Verbesserung des Recalls konnte darin begrundet sein, dass we-niger inkorrekte Regionen bei den Zuordnungshypothesen mit den Objektregionen konkurrieren,und diese deshalb mit hoherer Wahrscheinlichkeit im Matching auftauchen. Die Weichgewebe-regionen an den Seiten der Finger werden von diesem Merkmal wahrschenlich deshalb nichtaussortiert, da sie direkt an den Hintergrund grenzen, sodass sie immer noch heller sind als derDurchschnitt ihrer Umgebung.

Um auf die Ubertragbarkeit des Verfahrens auf andere Datensatze folgern zu konnen, wurdendie Versuche auf Bildern des Online-Handatlas der USC [23] wiederholt.

Hypothese: Es wird erwartet, dass sich der Einsatz des neuen Merkmals auch auf unbekanntenBildern als vorteilhaft erweist.

Durchfuhrung: Es wurde die Teilmenge der 137 Bilder von Patienten kaukasischer Ethnieverwendet. Die im vorhergegangenen Versuch erzeugten Strukturprototypen wurden jeweils inExperimenten ohne das neue Merkmal, mit dem neuen Merkmal und mit erzwungenem Einsatzdes neuen Merkmals fur alle Bildobjekte eingesetzt. Somit ist eine vollstandige Trennung vonTrainings- und Testdaten erreicht worden.

Ergebnis: Auch auf unbekannten Bildern zeigen sich die Vorteile des neuen Merkmals bei bei-den Graphmatchingverfahren deutlich. Im Vergleich zum Kreuzvalidierungstest auf den IRMA-Daten wurde ein deutlich geringerer Recall bei erzwungenem globalen Einsatz des neuen Merk-mals bei einer hoheren Precision beobachtet werden (siehe Tabelle 5).

SF EVO

neues Merkmal - ja erzwungen - ja erzwungen

correct 1082 1200 1297 1405 1463 1223false 1502 1316 1210 1090 897 343

Recall 0.415994 0.461361 0.498654 0.540177 0.562476 0.470204Precision 0.418731 0.476948 0.517351 0.563126 0.619915 0.780971

F-Measure 0.417358 0.469025 0.507831 0.551413 0.5898 0.586993

Tabelle 5: Versuch zum Graphmatching: Einsatz des neu definierten Merkmals RelEnvironMean-GreyNorm. Es wurden an IRMA-Bildern trainierte Strukturprototypen fur ein Graphmatching auf un-bekannten Bildern verwendet. Die besten Ergebnisse sind jeweils hervorgehoben.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 55 von 73

Diskussion: Die Ergebnisse entsprachen hier den Erwartungen. Auch auf dem ungesehenenDatensatz konnte eine Verbesserung des Graphmathingergebnisses durch den Einsatz des neuenMerkmals erzielt werden. Die Unterschiede zwischen den Datensatzen konnen moglicherweiseauf Unterschiede hinsichtlich der Bildaufnahmetechnik zuruckzufuhren sein.

5.4 Lokalisierung und Extraktion von Epiphysenregionen

Die Extraktion von Epiphysen-ROI stellt den letzten Schritt der Bildverarbeitungskette dar.Somit dient die Fehlerrate als Maß zur Bewertung des Gesamtergebnisses. Der Rekonstruktionder Hauptachsen stellt hierbei eine entscheidene Komponente dar. Fur die Schatzung der feh-lenden Hauptachsen wurden hier zwei verschiedene Strategien entwickelt. Im Folgenden werdendie Ergebnisse beider Verfahren vorgestellt.

5.5 Auswertung der Extraktion mit einer Rekonstruktionsstrategie uber eineRegistrierung

Zur Schatzung der fehlenden Hauptachsen werden aus den Erwartungswerten der lokalen Merk-male die mittleren Hauptachsen der beschriebenen Objekte berechnet und auf die Hauptachsender gematchten Objekte registriert. Die der so bestimmten Transformation unterworfenen mitt-leren Hauptachsen der fehlenden Bildobjekte werden dann zur Lokalisierung der Epiphysen-ROIverwendet. Da hier eine Transformation bestimmt wird, die hinsichtlich der Summe der Fehler-quadrate minimal ist, wird das Verfahren im Folgenden auch als Least-Squares-Fitting oder kurzLS-Fit bezeichnet.

Hypothese: Es gilt zu bewerten, ob durch eine Rekonstruktion mit dieser Methode hinrei-chend viele ROI extrahiert werden konnen. Hierbei wird mit einer Fehlerrate von unter 10 %gerechnet.

Durchfuhrung: Auf 137 Bildern des USC-Corpus wurde ein Graphmatching durchgefuhrt. Derhierzu verwendete Prototyp wurde auf 100 IRMA-Bildern trainiert, wobei das Merkmal Re-lEnvironMeanGreyNorm fur alle Bildobjekte erzwungen wird. Es wird die Fehlerrate fur alleextrahierten ROI, sowie fur die ROI eines jeden gesuchten Objektes bestimmt.

Ergebnis: Von 1918 Epiphysen-ROI konnten mit 1313 (also 68%) korrekt extrahiert werden.Der Anteil der Bilder, in denen mindestens 6 ROI korrekt extrahiert wurden, betrug 88% (sieheTabelle 6). Die Fehlerrate pro gesuchtem Bildobjekt findet sich in Abbildung 6.

#valid ROI/image 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14

#images 1 3 1 5 2 5 5 7 14 13 19 15 22 17 8

Tabelle 6: Bewertung der Rekonstruktion anhand einer Registrierung: Anzahl Bilder in denen jeweilseine bestimmte Anzahl ROI korrekt extrahiert wurden

Diskussion: Es konnte festgestellt werden, dass insbesondere auf Bildern, bei denen einzelnenBildobjekten Regionen zugeordnet wurden, die weit von der korrekten Position entfernt waren,die Registrierung stark verzerrt wurde. Auch gab es einzelne Bilder, bei denen im Graphmatchingsehr wenige korrekte Zuordnungen enthalten sind. Hierdurch sind wenige Anhaltspunkte fur dieRegistrierung vorhanden. Dies erklart moglicherweise die unerwartet hohe Fehlerrate.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 56 von 73

33%

29%

46%

32%

28%

15%

32%

23%

32%20%

12%

21%

65%

48%

Abbildung 29: Rekonstruktion der Hauptachsen nicht gematchter Bildobjekte uber die Registrierung einesHandmodells: Fehlerrate der Extraktion pro gesuchter ROI; Die jeweils besten (grun) und schlechtesten (rot)ROI sind hervorgehoben.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 57 von 73

5.6 Auswertung der Extraktion mit einer Rekonstruktionsstrategie uber relationaleMerkmale:

Die Rekonstruktionsstrategie fur nicht im Matching enthaltene Regionen uber ein Least-Squares-Fitting des Strukturprototyps gegen die gematchten Regionen ist anfallig gegen Ausreißer, alsoeinzelne falsch lokalisierte Knochenobjekte, denn auch vereinzelte Fehler gehen quadratisch indie Gesamtregistrierung ein. Deshalb wurde eine Rekonstruktionsstrategie implementiert, diedie Schatzung der Lange, Orientierung und Lokalisierung der fehlenden Regionen uber die re-lationalen Merkmale des Strukturprototyps vornimmt. Hierbei wurde fur jedes der gesuchtenMerkmale der Wert derjenigen Kante verwendet, die die geringste Varianz bezuglich der ver-wendeten relationalen Merkmale aufweist. Hierdurch soll bewirkt werden, dass sich einzelnefehlerhaft gematchte Regionen eher lokal auf das Extraktionsergebnis auswirken und wenigerstarken Einfluss auf weiter entfernte Epiphysenregionen ausuben.

5.6.1 Rekonstruktion fehlender Regionen uber relationale Merkmale und uberLeast-Squares-Fitting im Vergleich

Hypothese: Es wird erwartet, dass das neue Verfahren einen Vorteil gegenuber dem Least-Squares-Fitting bietet. Um die Rekonstruktionsstrategie bewerten zu konnen, soll die Anzahlder Epiphysenregionen bestimmt werden, die mit diesem Verfahren korrekt extrahiert werdenkonnen. Um die Hypothese zu uberprufen, soll die Extraktionsrate mit der bei Rekonstruktionuber eine Registrierung erreichten verglichen werden.

Durchfuhrung: Der Versuch wurde auf 137 Bildern des USC-Corpus durchgefuhrt. Es wurde,wie beim vorhergegangenen Versuch der Rekonstruktion uber Least-Squares-Fitting, das Ergeb-nis eines Graphmatchings mit Evo-GM mit erzwungener Verwendung des relativen Grauwerteszur Regionenumgebung verwendet. Die lokalisierten Epiphysenschwerpunkte wurden mit denmanuellen Referenzen verglichen und der Anteil korrekt lokalisierter Epiphysenregionen an deninsgesamt 1918 extrahierten Regionen bestimmt und das Ergebnis mit dem des LS-Fittingsverglichen.

Ergebnis: Es wurden 70,07% aller gesuchten Epiphysen-ROI korrekt extrahiert (LS-Fitting68%). Auf den 6 distalen und medialen ROI der drei mittleren Finger wurden 79,2% der ROIkorrekt extrahiert (LS-Fitting 77%).

Es ergibt sich bezuglich der Extraktionsfehlerrate ein Vorteil von ca. 2 Prozentpunkten gegenuberdem Least-Squares-Fitting.

Diskussion: Alternative Vorgehensweisen waren eine Schatzung der Merkmale uber einen (ge-wichteten) Mittelwert der Schatzwerte aller Kanten zu gematchten Regionen, einen Mittelwertder Merkmalsschatzungen der n besten Kanten (nicht untersucht) oder ein Hybridverfahren ausder Schatzung uber die relationalen Merkmale und einem Least-Squares-Fitting. Insbesonderebesteht die Moglichkeit, Epiphysenregionen mit beiden Verfahren zu extrahieren, da eventuellbei einem Retrieval der Regionen in der Datenbank korrekt extrahierte Regionen großere Uber-deckung zu den in der Datenbank hinterlegten Regionen aufweisen und somit starker in eineAltersschatzung eingehen konnen.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 58 von 73

34%

36%

39%

27%

27%

20%

30%

21%

28%17%

13%

20%

57%

49%

Abbildung 30: Rekonstruktion der Hauptachsen nicht gematchter Bildobjekte uber relationale Merkmale:Fehlerrate der Extraktion pro gesuchter ROI; Die jeweils besten (grun) und schlechtesten (rot) ROI sindhervorgehoben.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 59 von 73

Hypothese: Bei oberflachlicher Betrachtung der Extraktionsergebnisse entstand der Eindruck,dass bei einem Großteil der Anfragebilder akzeptable Extraktionsergebnisse erzielt werden konn-ten. Um dies bewerten zu konnen, sollte die Anzahl der korrekt extrahierten Regionen pro Bildbestimmt werden. Als Anhaltspunkt dafur, wie viele der gesuchten Epiphysen-ROI korrekt lo-kalisiert werden mussen, um eine verlassliche Altersschatzung zu ermoglichen, konnen das Ex-traktionsverfahren von Pietka et al [25] und das darauf basierende Verfahren zur automatischenAltersbestimmung von Gertych et al [23] dienen. Bei diesem Verfahren werden jeweils die 6distalen und medialen Epiphysenregionen der drei mittleren Finger ausgewertet, um zu einerSchatzung der Knochenreife zu gelangen. So sei hier als Arbeitshypothese angenommen, dassbei einer korrekten Lokalisierung von weniger als 6 beliebigen Epiphysenregionen der Hand eineAltersschatzung nicht mehr hinreichend robust vorgenommen werden kann. Es wird vermutet,dass der Anteil der Bilder, auf denen nach diesem Kriterium hinreichend viele Epiphysen-ROIextrahiert werden konnen, bei einer Rekonstruktion uber die relationalen Merkmale großer alsbei einer Rekonstruktion uber eine Registrierung ist.

Durchfuhrung: Es wurde pro Bild bestimmt, wieviele der 14 extrahierten Epiphysenregionenals korrekt bewertet werden. Anschließend wurden die 137 untersuchten Bilder nach der Anzahlder korrekt extrahierten Regionen in 15 Klassen unterteilt (von Klasse 0, keine Region korrektextrahiert bis Klasse 14, alle Regionen korrekt extrahiert). Um zu bewerten, auf welchem An-teil der Bilder hinreichend viele Epiphysenregionen fur eine Altersschatzung extrahiert werdenkonnen, wurde auch bestimmt, in wievielen Bildern mindestens 6 Epiphysenregionen korrektlokalisiert wurden (Tabelle 7, Abb. 31). Des Weiteren wurde bei jedem untersuchten Bild dieAnzahl der korrekt extrahierten Regionen zwischen den Verfahren verglichen und die Bilder indrei Klassen unterteilt. Hierbei enthielt eine Klasse alle Bilder auf denen Minv-Rel mehr Re-gionen korrekt extrahieren, die zweite Klasse die Bilder bei denen beide Verfahren die gleicheAnzahl Regionen korrekt extrahieren konnten und eine dritte Klasse die Bilder, bei denen dasLS-Fitting besser abschnitt.

Ergebnis: In 89,88% der Bilder wurden 6 oder mehr ROI korrekt extrahiert (LS-Fitting 88%).Auf den 137 untersuchten Bildern konnten bei 56 Bildern mit Minv-Rel mehr Regionen korrektextrahiert werden, bei 48 Bildern wurden mit beiden Verfahren gleich viele ROI korrekt extra-hiert und bei 36 Bildern konnten mit LS-Fitting mehr Regionen korrekt extrahiert werden.

#valid ROI/image 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14

#images 1 1 1 4 3 4 2 10 14 13 14 18 23 20 9

Tabelle 7: Anzahl Bilder in denen jeweils eine bestimmte Anzahl Regionen korrekt extrahiert wurden

0

5

10

15

20

25

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14

Anzahl korrekt extrahierter Regionen pro Klasse

An

zah

lB

ild

er

pro

Kla

sse

Abbildung 31: Anzahl Bilder in denen jeweils eine bestimmte Anzahl Regionen extrahiert wurde

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 60 von 73

Diskussion: Die Vermutung wurde bestatigt. Auf dem Großteil der Bilder (89,88%) kann dieminimal geforderte Anzahl korrekt extrahierter ROI erreicht werden. Es konnte ein geringfugigerVorteil der Rekonstruktion uber relationale Merkmale gegenuber einer Rekonstruktion uber eineRegistrierung festgestellt werden. Allerdings konnten auch mit dieser Methode bei 10,12% derBilder nicht hinreichend viele Regionen extrahiert werden.

Hypothese: Es wird vermutet, dass sich die Extraktionsfehlerrate positiv durch die Verwen-dung von auf Bildern der jeweils vermuteten Altersklasse trainierten Protoypen beeinflussenlasst, da die Auspragungen der Knochen in Form, Struktur, Große und relativer Lage vomAlter abhangig sind. Dies soll zunachst anhand des verwendeten Stukturprototyps untersuchtwerden.

Durchfuhrung: Der verwendete Strukturprototyp wurde auf 100 IRMA-Bildern der BildlisteHand radiographs cthies 100 trainiert. Diese Bildliste enthalt Bilder gemischten Geschlechts undohne Alters-Annotation mit einer unbekannten Verteilung des Alters innerhalb der Bildliste.Die Extraktion wurde auf 137 Bildern des USC-Corpus mit Alters-Annotation durchgefuhrt.Das tatsachliche Alter der Patienten wurde aus der Referenzdatenbank erfragt und die Bilderentsprechend in 18 Altersklassen unterteilt, wobei hier jede der Altersklassen einen Rahmen vonjeweils einem Jahr umfasst. Fur jede Altersklasse wurde bestimmt, wie viele der 14 gesuchtenEROI pro Bild im Schnitt korrekt lokalisiert wurden (Tabelle 8, Abb. 32).

Ergebnis: Die Anzahl der durchschnittlich korrekt extrahierten ROI je Altersklasse schwanktezwischen 8 und 12. Hierbei gab es eine leichte Haufung im Bereich um 5 Jahre festgestelltwerden. Die Unterschiede zwischen den Altersklassen scheinen jedoch nicht sonderlich deutlichausgepragt zu sein.

Alter 0 1 2 3 4 5 6 7 8

Korrekte ROI 7.6 9.2 11.8 10.6 10 12.2 11.6 10.8 12.8

Alter 9 10 11 12 13 14 15 16 17+

Korrekte ROI 9.2 9.8 9.8 10.3 8.4 8.2 7.6 8 10.4

Tabelle 8: Mittlere Anzahl korrekt extrahierter Regionen pro Bild nach Alter

0

2

4

6

8

10

12

14

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

Alter

Ko

rrekt

extr

ah

iert

eR

eg

ion

en

Abbildung 32: Anzahl der korrekt extrahierten Regionen nach Alter

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 61 von 73

Diskussion: Fur den verwendeten Prototyp konnte kein direkter Zusammenhang zwischen demAlter der Patienten und der Anzahl korrekt extrahierter Regionen festgestellt werden. Da aberdie Altersverteilung auf den 100 IRMA-Bildern nicht bekannt ist, lasst sich hieraus noch keineweitergehende Aussage ableiten. Es ist weiterhin zu erwarten, dass fur bestimmte Altersgruppentrainierte Prototypen auf Bildern dieser Altersgruppen zu verbesserten Extraktionsergebnissenfuhren.

Hypothese: Beim Vergleich der implementierten Rekonstruktionsverfahren konnte festgestelltwerden, dass zwar auf dem Großteil der Bilder Minv-Rel bessere Ergebnisse lieferte, aber aufeinem Teil der Bilder auch LS-Fit gleich viele oder sogar mehr Regionen korrekt extrahierte. Diequalitative Beobachtung, dass insbesondere auf Bildern, bei denen das LS-Fitting eine Regis-trierung der Punkte der Prototypregionen (Schwerpunkt und Endpunkte der Hauptachse) aufdie gematchten Regionen liefert, die keine hinreichende Uberdeckung zu diesen bietet, Minv-Reldurchweg bessere Ergebnisse liefert.

Dies wirft die Frage auf, ob sich die Implementierung eines Verfahrens lohnt, das abhangig vonder Gute der Registrierung beim LS-Fitting automatisch entscheidet, welche Rekonstruktionss-trategie eingesetzt wird. Diese Vermutung ware dann bestatigt, wenn ein linearer Zusammenhangzwischen der Qualitat der Registrierung und dem jeweils davon abhangenden besseren Abschnei-den eines der Verfahren erkennbar ware. Wenn ein solcher Zusammenhang bestunde, ließe sichanhand des Schnittpunktes einer Ausgleichsgerade mit der x-Achse ablesen ab welchem Wertder Einsatz welchen Verfahrens lohnenswert ware.

Durchfuhrung: Der vorausgegangene Versuch zur Altersabhangigkeit wurde unter Betrachtungder Qualitat der Registrierung erneut ausgewertet. Fur jedes der untersuchten Bilder (USC-Corpus) wurde der mittlere quadratische Abstand der registrierten Punkte der Prototypregionenzu den Punkten der Regionen des Matchings berechnet. Dies wurde gegen die Differenz zwischenden Anzahlen der mit Minv-Rel und LS-Fitting jeweils korrekt extrahierten EROI in einemGraphen aufgetragen (Abb.33 ).

Ergebnis: Die Ausgleichgerade ist im gesamten von Messwerten abgedeckten Bereich positiv,d.h. es ist insgesamt ein Vorteil der Rekonstruktion uber relationale Merkmale zu erkennen.

Diskussion: Zwar werden bei denjenigen Bildern, bei denen die Registrierung einen hohen qua-dratischen Abstand aufweist zumeist tatsachlich mehr EROI durch Minv-Rel korrekt extrahiert,jedoch ist wieder Erwarten bei niedrigem quadratischem Abstand kein Vorteil der Rekonstrukti-on uber eine Registrierung festzustellen. Hier zeichnet sich insgesamt eher ein allgemeiner Vorteildes Minv-Rel Verfahrens ab, der allerdings bei einer guten Registrierung weniger deutlich aus-gepragt ist. Dadurch erscheint der mittlere quadratische Abstand als Entscheidungskriteriumhier wider Erwarten nicht lohnenswert, sodass insgesamt dem Minv-Rel Verfahren der Vorzuggewahrt wurde, da es geringfugig bessere Ergebnisse als das LS-Fitting erzielt (ca.2 Prozent-punkte).

5.7 Preprocessing

Um die Fehlerrate der Extraktion zu senken, wurde das Problem vereinfacht, indem die Trainings-und Anfragebilder so beschnitten wurden, dass die Hand sich uber die komplette Bildhohe er-streckt.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 62 von 73

y = 0,006x + 0,0241

R2 = 0,0153

-6

-4

-2

0

2

4

6

0 50 100 150 200 250

Mittlerer quadratischer Abstand

Ko

rre

kt

ex

tra

hie

rte

Re

gio

ne

n

Dif

fere

nz

Min

Va

r-

LS

-Fit

Abbildung 33: Differenz der Anzahl korrekt extrahierter Regionen zwischen den Verfahren nach quadratischemAbstand der Registrierung zu Regionen eines Matchings

Hypothese: Es wird erwartet, dass sich die Anderung des Bildausschnittes nicht auf die Ergeb-nisse der Segmentierung auswirkt. Jedoch wird eine deutliche Steigerung von Recall, Precisionund F-Measure erwartet.

Durchfuhrung: Es wurden in einem Kreuzvalidierungstest auf 100 Bildern des IRMA-Corpus5 Prototypen mit je 80 der Bilder trainiert. Hierzu wurden die Bilder wie zuvor beschriebenbeschnitten. Mit diesen Prototypen wurde dann nach der Segmentierung auf je 20 der be-schnittenen Bilder das Graphmatching mit den jeweils ungesehenen Bildern durchgefuhrt. DasMerkmal RelEnvironMeanGreyNorm wurde in allen Prototypknoten erzwungen. Hier wurde derEvolutionary-Gametheory-Graphmather eingesetzt.

Ergebnis: In den berechneten HARAGs waren 1780 der gesuchten 1900 Knochenobjekte mithinreichender Uberdeckung durch Regionen reprasentiert (93,6%). Es konnten im Matching 1243von 1900 Objekten in der Segmentierung korrekt den entsprechenden Bildregionen zugeordnetwerden. Hieraus resultiert ein Recall-Wert von 65, ein Precision-Wert von 89, sowie ein F-measurevon 75.

Diskussion: Der uberraschende Anstieg der Anzahl korrekt segmentierter Regionen ist mogli-cherweise darauf zuruckzufuhren, daß bei den skalierten Bildern nun die Hand einen großerenTeil des Bildes einnimmt, wodurch die Canny-Edge-Detection leicht unterschiedliche Kanten-bilder erzeugt. Die Steigerung der Precision (gegenuber Tabelle 4) wurde so aufgrund engererMerkmalsverteilungen erwartet. Das leichte Absinken des Recalls konnte darin begrundet liegen,dass korrekte aber untypische Regionen nun eher aussortiert werden.

Nun wurde anhand der so gewonnenen Prototypen und Matchings die Extraktion getestet.

Hypothese: Es wird eine deutliche Verringerung der Fehlerrate erwartet.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 63 von 73

Durchfuhrung: Die Extraktion wurde jeweils mit beiden hier implementierten Rekonstruktins-verfahren auf 100 IRMA-Bildern durchgefuhrt. Hierzu wurden die Matchings und Prototypenaus dem vorigen Versuch verwendet.

Ergebnis: Es konnte bei beiden Rekonstruktionsstrategien deutlich bessere Ergebnisse als zuvorerzielt werden (siehe Tabelle 9, Abbildung 34).

inkorrekt korrekt Fehlerrate 3 Finger min 6

LS-Fit 300 1100 21.4% 89.8% 97%Minv-Rel 262 1138 18.8% 89.3% 97%

Tabelle 9: Extraktionsergebnisse nach Beschneiden der Bilder auf 100 IRMA-Bildern: “3 Finger” stehtfur die Erkennungsrate der distalen und medialen Epiphysen-ROI der drei mittleren Finger; “min” 6 stehtfur den Anteil der Bilder, bei denen 6 oder mehr Epiphysen-ROI korrekt extrahiert wurden.

27%

18%

29%

16%

22%

7%

16%

7%

23%19%

7%

8%

27%

36%

Abbildung 34: Extraktionsergebnisse nach Beschneiden der Bilder auf 100 IRMA-Bildern: Fehlerraten progesuchter ROI; Die jeweils besten (grun) und schlechtesten (rot) ROI sind hervorgehoben.

Diskussion: Die mit dem Beschneiden verbundenen Verbesserungen sind vermutlich auf diegesteigerte Precision des Graphmatchers zuruckzufuhren.

Um die Ubertragbarkeit auf fremde Bilddatensatze zu bewerten wird die Bildverarbeitungsket-te auf 137 Radiographien von Patienten kaukasischer Ethnie des USC-Corpus angewendet: Eswurde ein an den IRMA-Bildern trainierter Prototyp eingesetzt. Die Konfiguration der Bildver-arbeitungskette entspricht dem vorherigen Versuch. In den berechneten HARAGs waren 2443der gesuchten 2603 Knochenobjekte mit hinreichender Uberdeckung durch Regionen reprasen-tiert (93,8%). Es konnten im Matching 1534 von 2603 Prototypobjekte in der Segmentierungkorrekt und 232 inkorrekt den entsprechenden Bildregionen zugeordnet werden. Hieraus resul-tiert ein Recall-Wert von 59, ein Precision-Wert von 86, sowie ein F-measure von 70. Es wurdewie in den vorigen Versuchen auf diesem Bilddatensatz ein etwas schlechteres Abschneiden imVergleich zum Versuch auf den IRMA-Bildern festgestellt. Es konnte eine Verbesserung hinsicht-lich Recall, Precision und F-Measure erzielt werden (gegenuber Tabelle 5).

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 64 von 73

Nun wurde anhand der so gewonnenen Matchings die Extraktion getestet.

Hypothese: Es wird eine deutliche Verringerung der Fehlerrate erwartet.

Durchfuhrung: Die Extraktion wurde jeweils mit beiden hier implementierten Rekonstruktins-verfahren auf allen 137 Bildern durchgefuhrt.

Ergebnis: Es konnte bei beiden Rekonstruktionsstrategien deutlich bessere Ergebnisse als zuvorerzielt werden (siehe Tabelle 10, Abbildung 34 ).

inkorrekt korrekt Fehlerrate 3 Finger min 6

LS-Fit 605 1313 31,5% 77.6% 86.8%Minv-Rel 489 1429 25.5% 84,9% 96.3%

Tabelle 10: Extraktionsergebnisse nach Beschneiden der Bilder auf 137 USC-Bildern von mannlichen Pa-tienten kaukasischer Ethnie: 3 Finger steht fur die Erkennungsrate der distalen und medialen Epiphysen-ROI der drei mittleren Finger; min 6 steht fur den Anteil der Bilder, bei denen 6 oder mehr Epiphysen-ROIkorrekt extrahiert wurden.

39%

28%

37%

21%

16%

12%

18%

12%

40%24%

11%

14%

38%

40%

Abbildung 35: Extraktionsergebnisse nach Beschneiden der Bilder auf USC-Bildern von mannlichen Patientenkaukasischer Ethnie: Fehlerraten pro gesuchter ROI; Die jeweils besten (grun) und schlechtesten (rot) ROIsind hervorgehoben.

Diskussion: Die Ergebnisse entsprechen den Erwartungen, da ein entsprechender Unterschiedzwischen den Bilddatensatzen, hinsichtlich der Graphmathingergebnisse bereits festgestellt wur-de. Insbesondere sei hier angemerkt, daß bei Einsatz der Hauptachsenrekonstruktion uber rela-tionale Merkmale auf uber 95 % der Bilder eine Anzahl von 6 oder mehr ROI korrekt extrahiertwerden konnte. Hiermit entspricht die Bildverarbeitungskette den definierten Kriterien fur diepraktische Nutzbarkeit auch fur unbekannte Bilder aus fremden Quellen (siehe Abschnitt 4.1).

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 65 von 73

Um diese Ergebnisse zusatzlich zu untermauern, wurde der Versuch auf 137 USC-Bildern weib-licher Patienten wiederholt. Hierbei wurde die Rekonstruktion der Hauptachsen mit Minv-Reldurchgefuhrt. In Ermangelung einer manuellen Segmentierung wird hier nur das Ergebnis derExtraktion aufgelistet (siehe Tabelle 11). Die Experimente wurden auf einem handelsublichen PCmit einem bei 1,8GHz getakteten Core2Duo-Prozessor und 2GB RAM durchgefuhrt. Die Lauf-zeit der Bildverarbeitungskette betrug hierbei zwischen 37 und 187 Sekunden (durchschnittlich79 Sekunden).

inkorrekt korrekt Fehlerrate 3 Finger min 6

Minv-Rel 541 1391 28% 85% 94.9%

Tabelle 11: Extraktionsergebnisse nach Beschneiden der Bilder auf 137 USC-Bildern von weiblichen Pa-tienten kaukasischer Ethnie: 3 Finger steht fur die Erkennungsrate der distalen und medialen Epiphysen-ROI der drei mittleren Finger; min 6 steht fur den Anteil der Bilder, bei denen 6 oder mehr Epiphysen-ROIkorrekt extrahiert wurden.

Hier ist noch einmal eine geringe Verschlechterung der Ergebnisse zu beobachten. Jedoch auchauf diesem zuvor ungesehenen Datensatz hat sich die Bildverarbeitungskette als hinreichend guterwiesen um praktisch einsetzbar zu sein.

5.8 Subset-Selection

Durch eine bessere Merkmalsteilmengenauswahl kann moglicherweise ein besseres Graphmat-chingergebnis erzielt werden. Da die Menge aller Merkmalskombinationen fur eine erschopfendeSuche zu groß ist, wurde hier eine Vereinfachung gewahlt. Hier hat sich bereits die erzwungeneAufnahme des neuen Merkmals RelEnvironMeanGreyNorm in die lokalen Merkmalsmenge al-ler im Prototyp beschriebenen Objekte als vorteilhaft erwiesen. Deshalb wurde versucht diesesVorgehen auf andere Merkmale zu ubertragen. Hierbei kam eine Greedy-Strategie zum Einsatz,die als Bewertungskriterium die Ergebnisse des Graphmatchings verwendete.

Hypothese: Es wird erwartet, dass durch eine anhand des Graphmathing-Ergebnisses bewer-tete Auswahl von Merkmalen eine Verbesserung des F-Measure erreicht werden kann.

Durchfuhrung: Zu diesem Zweck wurden die 5 Protoypen aus dem Kreuzvalidierungsver-such zur Bewertung der Bildbeschneidung verwendet. Mit diesen wurde jeweils das Graph-matching mit dem Evolutionary-Gametheory-Graphmatcher auf den verbliebenen 20 Bilderndurchgefuhrt. In jedem dieser Prototypen wurde nacheinander jedes vorhandene Merkmal indie die Merkmalsmengen aller Knoten der 5 Prototypen aufgenommen und anschließend aufallen Knoten entfernt und ein Matching bestimmt. Hierbei wurde jeweils das F-Measure uberalle 100 Matchings bestimmt, um die Auswirkung auf alle 5 Prototypen zusammenzufassen undsomit zu allgemeineren Aussagen zu gelangen. Dasjenige Merkmal dessen globale Aktivierungoder Deaktivierung die großte Steigerung des F-Measure erbrachte, wurde in allen Prototypenentsprechend gesetzt. Dies wurde drei mal wiederholt.

Ergebnis: In der ersten Iteration wurde nach Vergleich der 68 Einzelversuche das Merkmal Re-lEnvironMeanGreyNorm ausgewahlt, da es die großte Steigerung des F-Measure erzielen konn-te. In der zweiten Iteration, in der dieses Merkmal global gesetzt wurde, ergab sich durch dasMerkmal PrinRadNorm die großte Verbesserung. In einer dritten und letzten Iteration wurdeOrientationCos gewahlt. Hierbei war in jedem Schritt eine Verbesserung von sowohl Recall alsauch Precision zu beobachten.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 66 von 73

Iteration Merkmal Korrekt Falsch Recall Precision F-Measure

0 1160 187 0.61117 0.861173 0.7149461 RelEnvironMeanGreyNorm 1243 152 0.6549 0.891039 0.7549352 PrinRadNorm 1267 131 0.667545 0.906295 0.7688113 OrientationCos 1276 116 0.672287 0.916667 0.775684

Tabelle 12: Optimierung der Merkmalsauswahl: Das jeweils beste einzelne Merkmal wurde global er-zwungen.

Diskussion: Die erwartete Steigerung auf des F-Measure konnte auf den Trainingsdaten erzieltwerden. Die ausgewahlten Merkmale erscheinen plausibel.

Um nun festzustellen, ob die so erzielten Ergebnisse ubertragbar auf andere Datensatze sind,wurde einer der so erstellten Prototypen in einem Experiment auf 137 USC-Bildern getestet.

Hypothese: Es wird erwartet, daß sich auch auf einem fremden Bilddatensatz eine Verbesse-rung feststellen lassen wird.

Durchfuhrung: Zur Bewertung wird das Graphmatching und anschliessend die Extraktion derROI durchgefuhrt

Korrekt Falsch Recall Precision F-Measure1520 208 0.584391 0.87963 0.702241

Tabelle 13: Optimierung der Merkmalsauswahl: Graphmatching auf 137 ungesehenen Bildern.

Ergebnis: Das Graphmatching zeigte insgesamt ahnliche Ergebnisse wie auf den IRMA-Bildern.Hier konnte lediglich eine minimale Verschiebung zugunsten der Precision festgestellt werden.Die auf dem IRMA-Bildern erzielte Verbesserung des Graphmatchings konnte also nicht auf Bil-der aus einer fremden Quelle ubertragen werden. Anhand dieser Grahmatchingergebnisse konntedie Extraktion 1293 ROI korrekt lokalisieren. Dies entspricht einer Fehlerate von 32.8 %. Hierkommt es also zu einer Verschlechterung.

Diskussion: Eine Erklarung fur die mangelnde Ubertragbarkeit der Ergebnisse einer Optimie-rung durch nachgelagerte Merkmalsauswahl konnte Overfitting sein. Hinzu kommt, dass beimnachtraglichen Setzen der Merkmale in den 5 Prototypen als Entscheidungskriterium das F-Measure uber alle 100 Trainingsbilder verwendet wurde. Hierdurch wurde die Kreuzvalidierungausgehebelt. Diese Methode zur Verbesserung der Merkmalsauswahl findet dementsprechendkeine Anwendung in der finalen Bildverarbeitungskette.

6 Diskussion und Ausblick

In dieser Diplomarbeit wurde eine Bildverarbeitungskette konzipiert und umgesetzt, die auto-matisch die Epiphysen in Handradiographien lokalisiert und als orientierte Teilbilder extrahiert.Hierbei wurden u.a. ein bestehendes Region-Merging-Verfahren und ein Graphmatcher auf Basisevolutionar Spieltheorie um Komponenten zur Lokalisierung der ROI anhand eines Matchings

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 67 von 73

erganzt. Es wurden Verfahren entwickelt, um die Hauptachsen nicht im Matching enthalte-ner Regionen zu approximieren und die bestehenden Verfahren durch Entwicklung zusatzlicherMerkmale optimiert.

Durch das Beschneiden der Radiographien konnte erreicht werden, daß bei mehr als 95% dergetesteten Anfragebilder mindestens 6 der 14 gesuchten ROI korrekt extrahiert werden konnten.Somit konnten Resultate erzielt werden, die eine praktische Anwendbarkeit in der Skelettrei-febestimmung plausibel erscheinen lassen. Das Beschneiden der Anfrage- und Trainingsbildervereinfacht das Problem enorm, erfordert jedoch in der hier umgesetzten Form eine zusatzlicheNutzerinteraktion. Hier ist eine Automatisierung wunschenswert.

Da nicht auf allen Handradiographien ausreichend viele ROI extrahiert werden konnten um eineverlassliche Schatzung der Skelettreife zu erhalten, ist es evtl. ratsam, eine optionale manuelleMarkierung der Epiphysenschwerpunkte anzubieten.

Das Graphmatching stellt weiterhin einen kritischen Punkt der Bildverarbeitungskette dar. Ins-besondere konnte auch durch die zusatzlich entwickelten lokalen Merkmale offensichtlich nichtgewahrleistet werden, dass die Weichgeweberegionen an den Seiten der Finger nicht mit den ge-suchten Knochenobjekten verwechselt werden konnen. Ein mogliches Unterscheidungskriteriumkonnte hier die Varianz der Grauwertumgebung einer Region sein. Diese konnte leicht anhandder bereits bestimmten Umgebung einer Region berechnet werden.

Bei einer Laufzeit von durchschnittlich 70 Sekunden auf einem handelsublichen PC bestehtauch hier weiterer Handlungsbedarf, obgleich die praktische Anwendbarkeit hierdurch nicht ein-geschrankt wird. Der Großteil der Bearbeitungszeit wird fur die Berechnung lokaler Merkmalebenotigt. Hier kann eventuell auf die Bestimmung einzelner, besonders rechenintensiver Merk-male, verzichtet werden.

Durch das Training verschiedener Prototypen fur verschiedene Altersklassen und Handposensollte sich sowohl die Matchingqualitat, als auch die Qualitat der Hauptachsenrekonstrukti-on positiv beeinflussen lassen. In diesem Fall wurden mehrere Graphmatchings (evtl. parallel)durchgefuhrt und jeweils das Matching mit der besten globalen Ahnlichkeit verwendet werden.

Literatur

[1] Greulich W, Pyle S. Radiographic atlas of skeletal development of the hand and wrist.Stanford University Press. 1959;.

[2] Tanner JM, Whitehouse RH, Cameron N, et al. Assessment of skeletal maturity and pre-diction of adult height (TW2 method). Academic Press, London. 1983;.

[3] Pathak A, Pal SK. Fuzzy Grammars in Syntactic Recognition of Skeletal Maturity fromX-Rays. IEEE Trans Syst Man Cybern. 1986;16(5):657–67.

[4] Al-Taani AT, Ricketts IW, Cairns AY. Classification of hand bones for bone age assess-ment. Electronics, Circuits, and Systems, 1996 ICECS ’96, Proceedings of the Third IEEEInternational Conference on. 1996;2:1088–1091 vol.2.

[5] Bocchi L, Ferrara F, Nicoletti I, et al. An artificial neural network architecture for ske-letal age assessment. Image Processing, 2003 ICIP 2003 Proceedings 2003 InternationalConference on. 2003;1.

[6] Martin-Fernandez MA, Martin-Fernandez M, Alberola-Lopez C. Automatic bone age as-sessment: A registration approach. Proc SPIE. 2003;5032:1765–76.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 68 von 73

[7] Aja-Fernandez S, de Luis-Garcia R, Martin-Fernandez MA, et al. A computational TW3classifier for skeletal maturity assessment. A computing with words approach. J BiomedInform. 2004;2(37):99–107.

[8] Kim H, Kim W. Computerized Bone Age Assessment Using DCT and LDA. ComputerVision/Computer Graphics Collaboration Techniques. 2007; p. 440–8.

[9] Zhang A, Gertych A, Liu B. Automatic bone age assessment for young children fromnewborn to 7-year-old using carpal bones. Computerized medical imaging and graphics :the official journal of the Computerized Medical Imaging Society. 2007;31(4-5):299–310.

[10] Tristan-Vega A, Arribas* JI. A Radius and Ulna TW3 Bone Age Assessment System. IEEETrans Biomed Eng. 2008;55(5):1463–76.

[11] Lehmann TM, Wein B, Dahmen J, et al. Content-based image retrieval in medical appli-cations: A novel multi-step approach. Proc SPIE. 2000;3972:312–20.

[12] Keysers D, Dahmen J, Ney H, et al. A statistical framework for model-based image retrievalin medical applications. J Electron Imaging. 2003;12(1):59–68.

[13] Lehmann TM, Guld MO, Thies C, et al. IRMA - Content-based image retrieval in medicalapplications. Medinfo. 2004;11(2):842–6.

[14] Lehmann TM, Plodowski B, Spitzer K. Extended query refinement for content-based accessto large medical image databases. Proc SPIE. 2004;5371:90–8.

[15] Guld MO, Thies C, Fischer B, et al. A generic concept for the implementation of medicalimage retrieval systems. Int J Med Inform. 2007;76(2-3):252–9.

[16] Lehmann TM, Beier D, Thies C, et al. Segmentation of medical images combining local,regional, global, and hierarchical distances into a bottom-up region merging scheme. ProcSPIE. 2005;5747:546–55.

[17] Fischer B, Winkler B, Thies C, et al. Strukturprototypen zur Modellierung medizinischerBildinhalte. Bildverarbeitung fur die Medizin 2006. 2006; p. 71–5.

[18] Thiemann HH, Nitz I, Schmeling A. Rontgenatlas der normalen Hand im Kindesalter.Thieme, Stuttgart. 2006;.

[19] Schmeling A, Lockemann U, Olze A, et al. Forensische Altersdiagnostik bei Jugendlichenund jungen Erwachsenen. Dtsch Arztebl. 2004;101(18).

[20] Haiter-Neto F, Kurita LM, Menezes AV, et al. Skeletal age assessment: a comparison of 3methods. American journal of orthodontics and dentofacial orthopedics : official publicationof the American Association of Orthodontists, its constituent societies, and the AmericanBoard of Orthodontics. 2006;130(4):435.e15–20.

[21] OrtegaI Ana Isabel; Haiter-NetoII Francisco; AmbrosanoIII Glaucia Maria Bovi; BoscoloIIFrab Norberto; AlmeidaII Solange Maria; Casanova Marcia Spinelli. Comparison of tw2 andTW3 skeletal age differences in a brazilian population. J Appl Oral Sci. 2006;14(2):142–6.

[22] Buken B, Erzengin OU, Buken E, et al. Comparison of the three age estimation methods:which is more reliable for Turkish children? Forensic science international. 2009;183(1-3):103.e1–7.

[23] Gertych A, Zhang A, Sayre J, et al. Bone age assessment of children using a digital handatlas. Computerized Medical Imaging and Graphics. 2007;31(4-5):322–31.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 69 von 73

[24] Bull RK, Edwards PD, Kemp PM, et al. Bone age assessment: A large scale comparison ofthe Greulich and Pyle, and Tanner and Whitehouse (TW2) methods. Archives of diseasein childhood. 1999;81(2):172–3.

[25] Pietka E, Gertych A, Pospiech S, et al. Computer-assisted bone age assessment: imagepreprocessing and epiphyseal/metaphyseal ROI extraction. Medical Imaging, IEEE Tran-sactions on. 2001;20(8):715–29.

[26] Giordano D, Leonardi R, Maiorana F, et al. Epiphysis and metaphysis extraction andclassification by adaptive thresholding and DoG filtering for automated skeletal bone ageanalysis. Proceedings: Annual International Conference of the IEEE Engineering in Medi-cine and Biology Society IEEE Engineering in Medicine and Biology Society Conference.2007; p. 6551–6.

[27] Park KH, Lee JM, Kim WY. Robust epiphyseal extraction method based on horizontalprofile analysis of finger images. Information Technology Convergence, 2007 ISITC 2007International Symposium on. 2007; p. 278–82.

[28] van Rijn RR, Lequin MH, Thodberg HH. Automatic determination of Greulich and Pylebone age in healthy dutch children. Pediatr Radiol. 2009;.

[29] Thodberg HH, Kreiborg S, Juul A, et al. The bonexpert method for automated determi-nation of skeletal maturity. IEEE transactions on medical imaging. 2009;28(1):52–66.

[30] Beier D. Multiskalare Bildinhaltsbeschreibung mittels eines hybriden Ansatzes zur Bildseg-mentierung. Diplomarbeit am Institut fur Medizinische Informatik, RWTH Aachen. 2004;.

[31] Winkler B. Inhaltsbasierte Suche auf medizinischen Bilddaten mit Struktur-Prototypen.Diplomarbeit am Institut fur Medizinische Informatik, RWTH Aachen. 2005;.

[32] Ostwald T. Objekt-Identifikation anhand regionenbeschreibender Merkmale in hierarchischpartitionierten Bildern. Diplomarbeit am Institut fur Medizinische Informatik, RWTHAachen. 2004;.

[33] Sauren M. Graphmatching-verfahren zur inhaltsbasierten Ahnlichkeitssuche in medizini-schen Bilddatenbanken. Diplomarbeit am Institut fur Medizinische Informatik, RWTHAachen. 2007;.

[34] Fischer B, Fritsche A, Thies C, et al. Evolutionares Graphmatching zur Handknochen-Identifikation. Bildverarbeitung fur die Medizin 2009. 2009; p. 26–30.

[35] Skrinjar O. Point-based registration with known correspondence: Closed form optimalsolutions and properties. Biomedical Image Registration. 2006; p. 315–21.

[36] Gilsanz V, Ratib O. Hand bone age. A digital atlas of skeletal maturity. Springer VerlagBerlin Heidelberg. 2005;.

7 Formelzeichen

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 70 von 73

Symbol Bedeutung Definition in Gleichung Seite

α eine Hilfsvariable 112 40β eine Hilfsvariable 112 40δ normierte Division 50 18ϕ Orientierung einer ROI 80 31λ Qualitatsmaß Segmentierung 65 24ρ Zeile einer Rotationsmatrix 112 40θ Orientierung einer Hauptachse 36 16AuxiliaryRad Nebenachsenradius 21 15AuxRadnorm Nebenachsenradius 23 15Axis Bottom X unteres Ende der Hauptachse 75 30Axis Bottom Y unteres Ende der Hauptachse 76 30Axis Center X Schwerpunkt 71 30Axis Center Y Schwerpunkt 72 30Axis Orientation Orientierung der Hauptachse 69 30Axis RadNorm normierter -Hauptachsenradius 70 30Axis Top X oberes Ende der Hauptachse 73 30Axis Top Y oberes Ende der Hauptachse 74 30B Bild 2 12CentrXnorm Schwerpunkt 18 15CentrXnormµ Erwartungswert Schwerpunkt 95 39CentrYnorm Schwerpunkt 19 15CentrYnormµ Erwartungswert Schwerpunkt 96 39c eine ganze Zahl 0 ≤ c ≤ 255 43 17Cos Rel Orientation relative Orientierung 60 19Cos Rel Position relative Lage 55 19Compactness Kompaktheit 12 14ConLen Umfang, bzw. Anzahl Randpixel 8 14ConLenNorm Normierter Umfang 9 14d ein Punkt 90 39DiffX Schwerpunktverschiebung 51 19DiffY Schwerpunktverschiebung 52 19Distance euklidischer Abstand 53 19Distance PrinRad Norm Distanz normiert uber Lange 58 19Distance Size Norm Distanz normiert uber Flache 59 19e ein Punkt 106 40EPS

Menge der Prototypkanten 49 17E Menge der HARAG-Kanten 5 12Entropy Grauwertentropie 47 17EnvironMeanGrey mittlere Umgebungsintensitat 86 34EnvironMeanGreyNorm normierte Umgebungsintensitat 87 34EROI Center X Schwerpunkt 77 30EROI Center Y Schwerpunkt 78 30EROI Orientation Orientierung 79 30Excentricity Abweichung von der Kreisform 26 15ExcentricitBB Exzentrizitat der Bounding-Box 42 16ExtentC Fullgrad des Kreisfittings 29 16

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 71 von 73

Symbol Bedeutung Definition in Gl. Seite

ExtentFB Fullgrad der Ferret-Box 35 16ExtentBB Fullgrad der Bounding-Box 41 16F-Measure Qualitatsmaß Graphmatching 68 25Formfaktor Umfang/Flache 10 14g Grauwert, bzw. Intensitat 12G ein HARAG 5 12h Bildhohe 2 12h Grauwerthistogramm 43 17H eine Skalierungsmatrix 107 40HeightFB Hohe der Ferret-Box 30 16HeightFBnorm normierte Hohe der Ferret-Box 32 16HeightBB Hohe der Bounding-Box 37 16HeightBBnorm normierte Hohe der Bounding-Box 39 16m zentrale Momente 15 14MeanGrey mittlerer Grauwert 44 17MeanGreyNorm normierter mittlerer Grauwert 45 17n4 4er Nachbarschaft 3 12n4×4 4 × 4 Nachbarschaft 83 31n8 8er Nachbarschaft 84 33J Tragheitstensor 16 14O Menge der Bildobjekte 48 17OM Menge der gematchten Bildobjekte 48 17Orientation Winkel zur x-Achse 17 14OrientationCos Orientierung Hauptachse 24 15Orientation Cosµ Erwartungswert Orientierung 98 39OrientationSin Orientierung Hauptachse 25 15Orientation Sinµ Erwartungswert Orientierung 99 39Overhang Qualitatsmaß Segmentierung 63 24Overlap Qualitatsmaß Segmentierung 64 24p ein Pixel 12AchsparamP Achsparameter aus Prototyp 102 39PS ein Strukturprototyp 49 17Precision Qualitatsmaß Graphmatching 67 25PrincipalRad Hauptachsenradius 20 15PrinRadNorm Hauptachsenradius 22 15PrinRadNormµ Erwartungswert Hauptachsenradius 97 39q ein Pixel 12Q eine Rotationsmatrix 107 40r rotierte Abbildung 82 31R Region 4 12RadCircle Radius des Kreisfittings 27 16RadCircleNorm Radius des Kreisfittings 28 16RB Menge aller Regionen eines Bildes 4 12Recall Qualitatsmaß Graphmatching 66 25RelEnvironMeanGreyNorm Helligkeitsunterschied zur Umgebung 88 34Rel MeanGreyValue Helligkeitsunterschied 62 19Rel PrincipalRad Relativer Hauptachsenradius 57 19Rel Size Relativer Flacheninhalt 56 19Roundness Rundheit 11 14

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 72 von 73

Symbol Bedeutung Definition in Gleichung Seite

s Zeile einer Skalierungsmatrix 113 41

SFunktion zur Bestimmungder Achsenparameter

124 44

Sin Rel Orientation relative Orientierung 61 19Sin Rel Position relative Lage 54 19Size Flache, bzw. Anzahl Pixel 6 14Size norm Normierte Flache 7 14t Translationsvektor 114 41T eine Transformation 107 40

uVerlasslichkeitsmaßAchsparameterschatzung

139 45

Ul Umgebung der Breite l 85 33V Menge der HARAG-Knoten 5 12VPS

Menge der Prototypknoten 49 17Variance Grauwertvarianz 46 17w Bildbreite 2 12WidthFB Breite der Ferret-Box 31 16WidthFBnorm normierte Breite der Ferret-Box 31 16WidthBB Breite der Bounding-Box 38 16WidthBBnorm normierte Breite der Bounding-Box 38 16x, y Koordinaten 12x, y Schwerpunkte 13 14

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig

Automatische Extraktion von Epiphysen-ROI aus Handradiographien Seite: 73 von 73

8 Danksagung

Mein großer Dank geht an Prof. Klaus Spitzer dafur, dass ich meine Diplomarbeit an seinemInstitut bearbeiten durfte.

Weiterhin danke ich meinem Betreuer Prof. Deserno fur die nutzlichen Hinweise, die mich oftauf die richtige Spur gefuhrt haben, die Bereitstellung von umfangreichen Referenzdaten unddie tatkraftige Unterstutzung bei auftretenden Fragen.

Fur praktische Hilfen und Tips, die ich wahrend meiner Diplomarbeit erfahren habe, danke ichBenedikt Fischer, Petra Welter, Mark Oliver Guld, Christian Thies, Armin Fritsche, RobertMoosdorf, Michele Mawamba, Jens Hoffmann, Max Jung und Detlef Jung.

Zuletzt mochte ich noch meiner Frau, meinen Eltern und Schwiegereltern dafur danken, dasssie sich meine Sorgen und Note angehort, die Arbeit Korrektur gelesen und mich mit frischemKaffee aufrecht gehalten haben.

RWTH AACHEN · UNIVERSITATSKLINIKUM

INSTITUT FUR MEDIZINISCHE INFORMATIK

Abteilung Medizinische Bildverarbeitung

Stand: 28. April 2009

Autor:

Andre Brosig