Conference PaperPDF Available

Abstract

Die dreidimensionale Darstellung von Bildfolgen, die auf makroskopischen oder mikroskopischen Serienscnnitten basieren, ist ein in der Anatomie häufig auftauchendes Problem. Die meist linear und nieht-linear deformierten urnfangreichen Bilddaten erfordern eine effiziente und morphologisch befriedigende Korrektur, urn anatomisch relevante 3D-Rekonstruktionen zu erzeugen. Urn eine mikroskopisch interessante Information zu erhalten, miissen histologische Schnitte hochaufgelöst digitalisiert werden. Es wurde ein Verfahren entwickelt, welches die Artefakt anfalligen hochaufgelösten Bilder effizient registriert, urn so einen hinreichenden Ausgangsunkt fur eine nicht-lineare elastische Registrierung zu erhalten. Die Ergebnisse verschiedener Parameter-Konfigurationen und eine Beurteilung der resultierenden 3D-Morphologie werden hier vorgestellt.
Registrierung einer hochaufgelösten histologischen
Schnittserie eines Rattenhirns
Oliver Schmitta) und Jan Modersitzkib)
Institute für Anatomiea) und Mathematikb)
Medizinische Universität zu Lübeck, 23538 Lübeck
Email: schmitt@anat.mu-luebeck.de, modersitzki@math.mu-luebeck.de
Zusammenfassung. Die dreidimensionale Darstellung von Bildfolgen, die auf
makroskopischen oder mikroskopischen Serienschnitten basieren, ist ein in der
Anatomie häufig auftauchendes Problem. Die meist linear und nicht-linear
deformierten umfangreichen Bilddaten erfordern eine effiziente und
morphologisch befriedigende Korrektur, um anatomisch relevante 3D-
Rekonstruktionen zu erzeugen. Um eine mikroskopisch interessante
Information zu erhalten, müssen histologische Schnitte hochaufgelöst
digitalisiert werden. Es wurde ein Verfahren entwickelt, welches die Artefakt
anfälligen hochaufgelösten Bilder effizient registriert, um so einen
hinreichenden Ausgangsunkt für eine nicht-lineare elastische Registrierung zu
erhalten. Die Ergebnisse verschiedener Parameter-Konfigurationen und eine
Beurteilung der resultierenden 3D-Morphologie werden hier vorgestellt.
1 Einleitung
Die Registrierung von histologischen Schnitten beinhaltet besondere Probleme, die bei
der Anpassung von tomographischen oder episkopischen Bildserien nicht auftreten.
Hierbei handelt es sich z.B. um Einbettungs-, Schneide-, Streckungs-, Färbe- und
Eindeckartefakte, die in den histologischen Schnitten unterschiedlich stark ausgeprägt
sein können. Zu den nicht-linearen Artefakten zählen Einrisse, Ausrisse,
Fragmentierungen und Faltenbildung des histologischen Gewebes (Abb. 2). Bei
Schnittserien komplexer, windungsreicher Hirne, wie z.B. dem menschlichen Gehirn
oder aber auch schon im Bereich des Kleinhirns einer Ratte, treten multiple
Kappenanschnitte auf. In folgenden Schnitten ist dann eine Zusammenführung dieser
multiplen Objekte auf ein einziges Objekt zu erwarten.
Hier werden drei Verfahren zur linearen Registrierung eines kompletten Hirnes
untersucht. Das Resultat einer qualitativ hochwertigen linearen Registrierung kommt
als Ausgang für eine anschließende nicht-lineare Registrierung, wie z.B. dem
sogenannten Elastic-Matching, eine besondere Bedeutung zu.
Da aus den histologischen Schnitten monomodale Bilder erzeugt werden, die sich
anhand statistischer Kenngrößen homogenisieren lassen, wurde der Registrierung ein
Grauwert-basiertes Distanzmaß zugrunde gelegt. Auf einen rechenintensiveren
Mutual-Information basierten Ansatz konnte daher verzichtet werden.
Abb. 1. Gehirn einer Ratte, nachdem es aus dem Schädel präpariert wurde. Die Hemisphären
des Großhirns, das Kleinhirn und der Hirnstamm lassen sich auf den Rekonstruktionen
eindeutig wiederfinden. Die für das Kleinhirn typische Faltenbildung ist in dieser Abbildung
ebenfalls erkennbar. Der helle Pfeil (links) markiert die Lage des letzten und der graue Pfeil
(rechts) des ersten histologischen Schnittes. Das Präparat ist also von hinten nach vorne in der
sog. Frontalebene (=Koronarebene) aufgeschnitten worden.
2 Material und Methode
Das Gehirn einer Sprague-Dawley Ratte (Abb. 1) wurde in einer 4% Formalinlösung
fixiert und anschließend in Paraffin eingebettet. Eine Schnittserie von insgesamt 503
Schnitten mit einer Schnittdicke von ca. 20 x 10-6 m wurde mit Gallocyanin
Chromalaun gefärbt [1, 2]. Die gefärbten Schnitte wurden mit einem hochauflösenden
transparenten Flachbettscanner (Duoscan, Agfa) bei einer Auflösung von 4000 ppi
digitalisiert (ca. 2300 x 2000 Pixel große Bilder) (Abb. 2).
Die Grauwertverteilungen der Bilder wurden anhand statistischer Kenngrößen
homogenisiert. Die Grauwertcharakteristika Mittelwert und Varianz eines jeden Bildes
wurden standardisiert. Als Referenzgröße diente eine Medianfilterung der
Charakteristika der umgebenden Bilder. Kleinere Artefakte und abgerissene
Gewebepartikel wurden mit einem morphologischen Opening-Filter entfernt. Das
Gewebe wurde durch Schwellwertfilter segmentiert und in ein standardisiertes Bild
eingebettet, so dass nun alle Bilder dieselbe Größe und vergleichbare Dynamik,
Mittelwert und Hintergrundwert aufweisen.
Abb. 2. Beispiel eines hochaufgelösten histologischen Schnittes (426) durch das Rattenhirn.
Typische Artefakte sind kursiv bezeichnet. In der gefensterten ROI lassen sich bei dieser
Auflösung die unscharfen Umrisse sehr großer Nervenzellen (Neurone) erkennen.
Die monomodalen Bilder 2-dimensionaler Projektionen weisen globale und lokale
Verzerrungen auf. Zu den globalen Verzerrungen gehören insbesondere affin-lineare
Verzerrungen, d.h. Translation (T), Rotation (R) aber auch Scherung und Skalierung
(SS) [3]. Global projektive und nicht-lineare sowie lokale Verzerrungstypen sollen
hier zunächst nicht betrachtet werden, da die globalen TRSS-Komponenten,
physikalisch bedingt, den größten Anteil an den Verzerrungen zwischen
aufeinanderfolgenden Bildern besitzen. Das vorliegende Anpassungsproblem lässt
sich nach [4] wie folgt spezifizieren:
Merkmalsraum: Bildintensitäten
Suchraum: affin-lineare Transformationen bzw. geeignete Teilmengen
Suchstrategie: Minimierung des Distanzmaßes
mittels Gauss-Newton-Verfahren (φ: Abbildung, T:
Template-Bildes, R: Referenz-Bild),
Ähnlichkeitsmaß: mittlere Grauwertdistanz der Bilder.
Zur Lösung des globalen Anpassungsproblems wurden vier Ansätze verfolgt:
(a) principal axis transformation (PAT) [5–9]
(b) PAT mit Minimierung der Scherung
(c) PAT mit Minimierung der Translation, Rotation und Scherung bei Vorgabe
von statistischen geschätzten Skalierungskomponenten (α optimal)
(d) PAT mit Minimierung der Parameter Translation, Rotation, Scherung und
Skalierung (partial optimal).
Als Startwerte für die Minimierungsverfahren dienten dabei die aus der PAT [5–9]
gewonnenen Referenzgrößen. Hierbei wurde eine robuste Variante ausgenutzt. Diese
basiert hier auf der Schätzung der unimodalen Dichten durch eine Cauchy-Dichte
mittels der sogenannten Kullback-Leibler-Distanz [10, 11]. Im Vergleich zum
Standardverfahren erwies sich dieser Ansatz bei den mit relativ großen Artefakten
versehenen Rattenbildern als vorteilhaft. Zur Regularisierung der Optimierung wurde
ein Haar-Wavelets Mehrskalenansatz verfolgt.
T R
φ
3 Ergebnisse
Alle vier Registrierungen des Rattenhirns zeigten in der dreidimensionalen
Rekonstruktion ein morphologisch deutlich besseres Ergebnis als der nicht registrierte
Datensatz (Abb. 3). Das anatomisch beste Ergebnis wurde mit Verfahren (c) erzielt.
Exemplarisch ist ein feineres Detail des Hirns in einer 3D-ROI dargestellt (Abb. 4). Es
zeigt eine realistische und konsistente Morphologie, wobei die Geometrie des
konvergenten Interhemisphärenspaltens erhalten bleibt und die Ränder eine
realistische Glattheit aufweisen.
Abb. 3. Links ist die 3D-Rekonstruktion des nicht registrierten Datensatzes dargestellt, auf der
rechten Seite jene nach der PAT partial optimalen Anpassung.
Abb. 4. Der Interhemisphärenspalt wurde als ROI von den Schnittbildern 229 bis 238
vergrößert. Das partial-optimale PAT Verfahren ergibt das morphologisch günstigste Resultat.
Die unteren 3D-Rekonstruktionen wurden geglättet.
4 Diskussion
Alle drei Registrierungstechniken erzielten bei den mit relativ starken Artefakten
versehenen Schnittbildern des Rattenhirns befriedigende Ergebnisse. Insbesondere
konnte hier das gesamte Gehirn unter Berücksichtigung der Gewebegröße registriert
werden. r eine weitere nicht-lineare Registrierung, auf die bei dem Rattenhirn
aufgrund der erwähnten Artefakte verzichtet wurde, ergibt insbesondere die Variante
(c) eine gute Ausgangssituation für die nachfolgende nicht-lineare Registrierung. Dies
zeigen auch erste Ergebnisse einer auf Gewebeelastizität beruhenden, nicht-linearen
3D-Registrierung von hochaufgelösten Schnitten eines Teils des menschlichen
Gehirns.
Bevor jedoch eine Bildregistrierung durchgeführt wird, müssen die Bilddaten
restauriert werden, um Fehler bei der Anpassung zu vermeiden und das
Anpassungsergebnis zu verbessern. Noch erfordert dieser Schritt einen Experten, der
sowohl über ausreichende morphologische Vorstellungskraft als auch über Wissen
von den spezifischen Effekten von Bildverarbeitungsprozeduren verfügt. Inwieweit
eine derartige Vorverarbeitung gerade in Hinblick auf Rissbildung und
Fragmentierung automatisierbar ist, bleibt weiteren Untersuchungen vorbehalten.
5 Literatur
1. Schmitt O, Eggers R High contrast and homogeneous staining of paraffin sections of whole
human brains for three dimensional ultrahigh resolution image analysis. Biotech Histochem
73: 44-51, 1997.
2. Schmitt O, Eggers R: Systematic investigations of the contrast results of histochemical
stainings of neurons and glial cells in the human brain by means of image analysis. Micron
28: 197-215, 1997.
3. Elsen PA van den, Pol E-JD, Viergever MA: Medical image matching a review with
classification. IEEE Eng. Med. Biol. 12: 26-39, 1993.
4. Brown LG: A survey of image registration techniques. ACM Computing Surveys 24: 325-
276, 1992.
5. Alpert NM, Bradshaw JF, Kennedy D, Correia JA: The principal axes transformation - a
method for image registration. J Nuc Med 31: 1717-1722, 1990.
6. Banerjee PK, Toga AW: Image alignment by integrated rotational and translational trans-
formation matrix. Phys Med Biol 39: 1969-1988, 1994.
7. Toga AW, Ambach K, Quinn B, Hutchin M, Burton JS: Postmortem anatomy from cryo-
sectioned whole human brain. J Neurosci Meth 54: 239-252, 1994.
8. Schormann T, Zilles K (1997) Limitations of the principal axes theory. IEEE Trans Med
Imag 16: 942-947
9. Schormann T, Darbinghaus A, Zilles K (1997) Extension of the principle axes theory for
the determination of affine transformations Proceedings of the 19. DAGM-Symposium:
Mustererkennung 1997. Informatik Aktuell: 384-391
10. Kullback S, Leibler RA: On information and sufficiency. Ann. Math. Statist. 22: 79-86,
1951.
11. Linhart H, Zuchini W: Model Sellection. Wiley, New York, 1986.
... A three dimensional reconstruction of the histological data set is a common task in brain research and will suffer from nonlinear distortions introduced by the cutting process (see e.g. [43,44,45,46,47,48]). In order to guarantee structural equivalence between reference and template image, we use an artificial displacement field (which moves the left temporal lobe top down, see Figure 4 left) to obtain the template image. ...
Article
We consider the image registration problem, i.e. to find a reasonable displacement field, such that a transformed template image becomes similar to a so–called reference image. This yields a nonlinear ill-posed inverse problem. The behavior of image registration problems is governed by an energy functional, which measures the disparity between the images. In order to minimize the matching energy, we replace it by a quadratic approximation. The resulting quadratic minimization problem is also ill-posed, since the associated Hessian is ill-conditioned. A common approach is to replace the Hessian by the so–called Navier-Lamé operator from linear elasticity theory. This regularization results in a globally smooth displacement field and becomes poor if discontinu-ities are present in the actual displacement field. Therefore we propose a total variation based regularization that improves the condition of the problem while not penalizing discontinuities in the displacement field. Finally, numerical experiments demonstrate the capabilities of the proposed approach.
Conference Paper
Zusammenfassung. Zu einer besseren Beschreibung und Typisierung der Ausbreitungsmuster von Tumoren sollen deren Invasionsfronten in das umliegende gesunde Gewebe basierend auf histologischen Serien-schnitten dreidimensional rekonstruiert werden. Im Vordergrund dieser Arbeit steht daher die Registrierung von VOIs aus dem Bereich dieser Invasionsfronten. Angewendet und gegenübergestellt werden zwei ridige intrinsische Verfahren: voxelbasierte und kantenbasierte Registrierung. Die Gewebestücken werden im Bereich der Invasionsfront rekonstruiert und die darin enthaltene r?umliche Struktur des Tumorgewebes dreidi-mensional visualisiert.
Conference Paper
Full-text available
Die 3D-Charakterisierung des Invasionsmusters beim Plattenepithelkarzinom des Geb?rmutterhalses anhand histologischer Serienschnitte ist eine aktuelle klini-sche Fragestellung, die h?chste Anforderungen besonders an Bildverarbeitung und-analyse stellt. Die Arbeit ist Teil eines Projektes und hat die weitere Auf-kl?rung der Tumorinvasion am Beispiel des Plattenepithelkarzinoms des Geb?r-mutterhalses (Cervix Uteri) zum Ziel. Bei der Ausbreitung von Tumoren spielen viele Einzelfaktoren eine Rolle, deren Zusammenspiel sich in Variationen mor-phologisch charakterisierbarer Invasionsmuster niederschl?gt, obwohl der dersel-be Tumortyp vorliegt (hier: Plattenepithelkarzinom). Die Variationsbreite reicht dabei von einer glatten Tumor-Wirt-Grenz ?che bis hin zu di us aufgesplitter-ten Mustern, die unterschiedliche prognostische Relevanz besitzen [1]. Wichtige Einschr?nkung dieser Studien ist, da? alle morphologischen Einteilungen nur anhand einzelner histologischer Schnitte erfolgt sind. Zur genauen Analyse von Gewebevolumina mit Submillimeteraufl?sung wer-den histologische Serienschnitte als Referenzmethode angesehen. Daher wurde für unsere Fragestellung prinzipiell auf diese Technik zurückgegri en. Allerdings mu? eine Vielzahl von Artefakten (Verzerrungen, Risse, Falten, Schwankungen der HE-F?rbung) in Kauf genommen werden. Diese k?nnen bei routinem??igen Untersuchungen vom Pathologen gut toleriert werden. Für eine automatische Rekonstruktion mit Registrierung und Segmentierung resultieren daraus aber er-hebliche Anforderungen. Daher wird in der vorliegenden Arbeit ein mehrstu ges
Conference Paper
Full-text available
We present a novel approach for a combined homogenization and registration technique. Medical image data is often disturbed by inhomogeneities from staining, illumination or attenuation. State-of-the-art approaches tackle homogenization and registration separately. Our new method attacks both troublemakers simultaneously. It is modeled as a minimization problem of a functional consisting of a distance measure and regularizers for the displacement field and the grayscale correction term. The simultaneous homogenization and registration enables an automatic correction of gray values and improves the local contrast. The combined approach takes slightly more computing time for an optimization step as compared to the non-combined scheme and so is much faster than sequential methods. We tested the performance both on academic and real life data. It turned out, that the combined approach enhances image quality, especially the visibility of slightly differentiable structures.
Article
Full-text available
We have developed a computational technique suitable for registration of sets of image data covering the whole brain volume which are translated and rotated with respect to one another. The same computational method may be used to register pairs of tomographic brain images which are rotated and translated in the transverse section plane. The technique is based on the classical theory of rigid bodies, employing as its basis the principal axes transformation. The performance of the method was studied by simulation and with image data from PET, XCT, and MRI. It was found that random errors in determining the brain contour are well tolerated. Progressively coarser axial sampling of data sets led to some degradation, but acceptable performance was obtained with axial sampling distances up to 10 mm. Given adequate digital sampling of the object volume, we conclude that registration by the principal axes transformation can be accomplished with typical errors in the range of approximately 1 mm. The advantages of the technique are simplicity and speed of computation.
Article
The investigation of neurohistological specimens by image analysis has become an important tool in morphological neuroscience. The problems which arise during the processing of these images are non-trivial, especially if a pattern recognition of cells in the imaged tissue is intended. One of the major problems faced concerns the segmentation of structures of interest, whether cells or other histologic structures. The segmentation problem is often the result of an inappropriate staining procedure. For serious image analysis to be performed, the material under investigation must be optimally prepared. Spatially complex patterns, e.g. fuzzy-like neighbouring neurons, are easy to recognize for humans. But the integrative and associative performance of current artificial neuronal network schemes is too low to achieve the same recognition quality as humans do. Therefore, a general analysis of staining characteristics was performed, especially with respect to those stains which are relevant to object segmentation. Although most image analytical investigations of tissues are based on stained samples, a study of this type has not been previously conducted. Of the stains and procedures evaluated, the gallocyanin chrome alum combination staining provided the best stain contrast. Furthermore, this staining method shows sufficient constancy within different parts of the human brain. Even the fine nuclear textures are differentiable and can be used for further pattern recognition procedures.
Conference Paper
The classical principle axes theory (PAT) is generalized to affine transformations with a new parametrization approach. Based on this extended theory, a fast multi-scale technique is derived for the alignment of affine objects which is at least by one magnitude more accurate than the results of the classical PAT [1]–[8]. Compared to the algorithms of Cygansky & Orr [7] and Faber & Stokeley [8] the technique is not sensitive to noise [9] or to symmetries of the objects, since the transformation is derived from a second order moment tensor. In addition, it is shown with the extension of the theory, that the application of the PAT described in [1] by Bajcsi & Kovacic results in strong rotational and scaling misalignment (with rotational errors up to 45°), which can be completely suppressed by the generalized theory based on an appropriate parametrization and optimization of a similarity criterion.
Article
The classical principal-axes transformation (PAT) has been used in numerous publications for three-dimensional (3-D) reconstructions by sequential alignment of histological sections. However, the PAT can determine at most 1/2n(n + 1) parameters (scaling-rotation) in n dimensions. Distortions (shearing) of histological sections can be described by an affine transformation with n2 parameters. An analytical model is devised for calculating rotational and scaling errors which can be determined by relating the transformation parameters of the PAT to the exact solution of a singular value decomposition (SVD) of the perturbation matrix. The results show that form and deformation of the form are intertwined and that these results can be transferred to real data. The model is important for assessing the quality that can be expected with the PAT for 3-D reconstructions if no multimodality reference is available (rigid transformation) and reveals the misalignment in terms of rotational and scaling errors resulting from the PAT as derived in a previously published paper.
Article
A system of histologic and digital processing protocols are presented for the acquisition of high-resolution digital imagery from postmortem cryosectioned whole human brain and head for computer-based 3-dimensional (3D) representation and visualization. We designed and evaluated several protocols for optimal preparation of frozen specimens including fixation, decalcification, cryoprotection, freezing and sectioning procedures. High-resolution (1024(2) pixel) serial images were captured directly from the cryoplaned blockface using an integrated color digital camera and fiber optic illumination system mounted over a modified cryomacrotome. Specimens frozen and sectioned with the cranium intact preserved brain spatial relationships and anatomic bony landmarks. Color preservation was superior in unfixed tissue heads were incompatible with decalcification and cryoprotection procedures and section collection from such specimens was complicated by bone fragmentation. Collection of 1024(2) images from whole brain resulted in a spatial resolution of 200 microns/pixel in a 1-3 Gbyte data space. Even higher 3D spatial resolution was possible by primary image capture of selected regions such as hippocampus or brain stem. Discrete registration errors were corrected using image processing strategies such as cross-correlative and other algorithmic approaches. Data sets were amenable to resampling in multiple planes as well as scaling and transpositioning into standard coordinate systems. These methods enable quantitative measurements for comparison between subjects and to published atlas data. These techniques allow visualization and measurement at resolutions far higher than those available through other imaging technologies and provide greatly enhanced contrast for delineation of neuroanatomic structures, pathways, and subregions.
Article
The gallocyanin chromalum stain belongs to the classical DNA-RNA staining techniques in histochemistry. It has some important features for successful object orientated image analysis of whole sections of the human brain. To obtain reproducible staining results with these large sections, the method of Einarson was adapted to image analytical requirements. We discuss staining in a warm staining solution, pH adjustment, and optimal stain composition. The embedding procedure for whole human brains is considered as well.
Article
Presents an algorithm to align 2D images with similar densitometric patterns in the spatial domain. It performs automatic identification of control points through local maxima in normalized image cross correlations computed through projections of an image function on 2D orthonormal bases over a predefined circular domain. The image is subsequently subjected to translational and rotational corrections through an integrated transformation matrix obtained by the least-squares minimization technique. The algorithm restricts the corrections required for alignment to rotation and translation only, and care is taken to see that the image does not go through scaling (isotropic or anisotropic) or nonlinear distortions. The least-squares method results in implicit equations in three variables, theta , h, upsilon , representing rotation, and translations along x and y axes. The present algorithm, on the other hand, is based on an approximation that results in a set of explicit equations that are easy to solve. The mathematical validity of this approximation is proved and the results obtained show that the algorithm performs well with similar biological (histological, autoradiographic, and tomographic) images. The algorithm is iterative, and its computer implementation is discussed.
Article
A classification scheme for multimodal image matching is considered. The scope of the classification is restricted to methods that register data after acquisitions. The classification scheme may be used for any modality; not only for (2-D) projection images and (3-D) tomographic images, but also for other signal modalities that provide spatial insight into function or anatomy, e.g., EEG (electroencephalography) or MEG (magnetoencephalography) and for the real physical patient. The available literature on image matching is discussed and classified.< >