ArticlePDF Available

Integration von haptischen Ein-/Ausgabegeräten zur intuitiven Interaktion mit virtuellen Körpern in OP-Planungssysteme

Authors:
Färber M
Färber M
Färber M
  • This person is not on ResearchGate, or hasn't claimed this research yet.
Jan Ehrhardt at University of Lübeck
Jan Ehrhardt
Selina Müller at University of Applied Management
Selina Müller
Heinz Handels at Deutsches Forschungszentrum für Künstliche Intelligenz
Heinz Handels
Download full-text PDF
Read full-text
Download citation
Content uploaded by Heinz Handels
Author content
All content in this area was uploaded by Heinz Handels
Content may be subject to copyright.
Integration von haptischen Ein-/Ausgabegeräten zur intuitiven Interaktion mit virtuellen Körpern in OP-Planungssysteme
Färber M1, Drescher F12, Ehrhardt J1, Müller S2, Handels H1
1Institut für Medizinische Informatik, Universitätsklinikum Hamburg-Eppendorf, Deutschland
2Institut für Computervisualistik, Universität Koblenz, Deutschland
mfaerber@uke.uni-hamburg.de
Einleitung und Fragestellung Die aktuellen Entwicklungen im Bereich bildgebender tomografischer Geräte (z.B. CT, MRT) und die damit
einhergehenden Fortschritte in der computerbasierten Bildverarbeitung haben es in einem bisher beispiellosen Umfang ermöglicht, die
Patientenanatomie zu modellieren, zu visualisieren und die so gewonnenen Informationen für die Diagnose und Therapieplanung zu nutzen. Im
Bereich der computergestützten Operationsplanung wurden in den letzten Jahren Systeme entwickelt, welche den Arzt bei der Planung spezifischer
medizinischer Eingriffe unterstützen (z.B. [1]). Der Eingriff wird hierbei anhand virtueller Oberflächenmodelle vorbereitet und visualisiert. Die
Interaktion mit diesen Systemen erfolgt im Normalfall mit gängigen Eingabegeräten wie Maus und Tastatur, zum Teil auch mit 3D-Mäusen. Virtuelle
Planungssysteme zeichnen sich durch Kosteneffizienz, Reproduzierbarkeit und Quantifizierbarkeit aus. Demgegenüber steht die erschwerte
Interaktion mit dem virtuellen Modell, da die Ein- und Ausgabegeräte ein Ertasten von Oberflächen und ein intuitives Interagieren mit den virtuellen
Modellen nicht ermöglichen. Im Folgenden wird ein Framework vorgestellt, welches neben den gängigen Eingabegeräten die Verwendung haptischer
Ein-/Ausgabegeräte mit Kraftrückkopplung zur Exploration und Modifikation von 3D-Modellen ermöglicht, und somit die Interaktion mit virtuellen
Oberflächenmodellen stark vereinfacht.
Material und Methoden Für die haptische Ein- und Ausgabe werden Kraftrückkopplungsgeräte der Firma SensAble verwendet (Abb. 1). Diese
Geräte ermöglichen über einen stiftartigen Endeffektor die Eingabe von Positionen (drei Freiheitsgrade) und Rotationen (drei Freiheitsgrade) im
dreidimensionalen Raum. Kraftrückkopplung erfolgt in den drei Freiheitsgraden der Positionierung. Als Datenbasis dienen dreidimensionale
Oberflächenmodelle von anatomischen Strukturen, die aus CT- bzw. MR-Schichtbildfolgen generiert werden. Die Integration des
Kraftrückkopplungsgerätes in die Planungsumgebung umfasst zum einen die Exploration der 3D-Modelle und Szenen (haptisches Rendering) und
zum anderen die Interaktion mit einzelnen Strukturteilen. Die Komponente des haptischen Renderings basiert auf von Ruspini [2] und Salisbury [3]
vorgeschlagenen Ansätzen zum haptischen Oberflächenrendering. Hierbei wird aufgrund der aktuellen Position des haptischen Gerätes die
Eindringtiefe in ein virtuelles Objekt berechnet und daraus resultierend eine Kraft mit Hilfe des Hooke’schen Gesetzes. Diese Rückgabekraft, die
jeweils in Richtung der Oberflächennormalen des aktuell berührten Polygons verläuft, wird durch das haptische Gerät an den Benutzer
zurückgegeben, so dass ein tieferes Eindringen in das virtuelle Objekt verhindert wird. Dadurch wird die Berührung eines soliden Gegenstandes
simuliert. Die Rückgabekräfte können für verschiedene Modelle durch Parameter für Dämpfung, Festigkeit sowie statische und dynamische Reibung
verändert werden, um verschiedene Materialeigenschaften nachzubilden, so dass etwa Knochen- oder Weichteilgewebe nicht nur visuell, sondern
auch haptisch unterschieden werden können.
Das haptische Ein-/Ausgabegerät wird weiterhin verwendet, um mit einzelnen 3D-Objekten oder der gesamten Virtual-Reality-Szene zur interagieren
(Abb. 2). Der Benutzer hat die Möglichkeit 3D-Objekte mit Hilfe eines virtuellen 3D-Cursors zu fassen, um sie zu drehen und zu positionieren.
Zudem können interaktiv Landmarken und Linien auf die Oberflächen gezeichnet werden. Anhand von, auf diese Weise eingezeichneten Linien,
können einfache Schnittoperationen durchgeführt sowie die geschnittenen Objektteile für spätere Weiterverarbeitung gespeichert werden. Weiterhin
wird die Exploration der Szene durch eine über das Gerät frei wählbare Kameraposition erleichtert.
Um sowohl das haptische als auch das grafische Rendering der Daten zu ermöglichen und die Erweiterung bestehender OP-Planungssysteme zu
vereinfachen, wurde das Visualization Toolkit (VTK) [4], das häufig zur grafischen Darstellung von aus Patientendaten generierten 3D-Modellen
verwendet wird, dahingehend erweitert, dass sich Geräte der Firma SensAble [5] zur haptischen Exploration der virtuellen Daten verwenden lassen.
Für die Integration der haptischen Ein-/Ausgabegeräte wurde auf das OpenHaptics Toolkit zurückgegriffen, welches die Algorithmen zum haptischen
Rendering von OpenGL-Modellen bereithält. Um eine spätere Verwendung in VTK basierten Applikationen so einfach wie möglich zu gestalten,
wird der Datenstrom, der in VTK die 3D-Modelle in Form von Dreiecksgittern definiert, zusätzlich für die Definition der haptischen
Oberflächenmodelle verwendet. Auf diese Weise bleiben bestehende VTK-Datenpipelines zur Visualisierung von dreidimensionalen
Oberflächenmodellen erhalten und ein unnötiges Vorhalten von zusätzlichen Datenstrukturen im Hauptspeicher wird vermieden. Die
Implementierung erfolgte in C++.
Ergebnisse Es wurde ein Prototyp erstellt mit dem die haptische Exploration und Modifikation von Virtual-Reality-Szenen exemplarisch
durchgeführt werden kann. Über die Bedienknöpfe am Ein-/Ausgabegerät ist ein Wechsel zwischen den unterschiedlichen Modi (Positionierung,
Zeichnen, Kameraführung) sowie deren Benutzung möglich, ohne auf andere Eingabegeräte zurückgreifen zu müssen. Eine erste Evaluation erfolgte
an Oberflächenmodellen von medizinischen Strukturen unterschiedlicher Komplexität. Nach einer kurzen Lernphase mit dem ungewohnten
Eingabegerät konnten die Benutzer schnell zu ersten Ergebnissen beim Schneiden und Positionieren von Teilmodellen gelangen. Als Plattform diente
zum einen ein Windows System mit Dual Xeon (3GHz) Konfiguration, 2GB Ram und Nvidia Quadro FX 4400 512MB Grafikkarte und zum anderen
ein Linux System mit 3,6 GHz Prozessor, 2 GB Ram und Nvidia Quadro FX 3400 256MB Grafik. Auf beiden Systemen war eine haptische
Exploration der Oberflächen problemlos möglich. Lediglich bei der Bearbeitung von Dreiecksmodellen mit mehr als 2 Millionen Dreiecken kam es
zu leichten Verzögerungen beim Drehen und Positionieren auf dem leistungsschwächeren Linux System. Die Software wurde mit verschiedenen
Phantom Kraftrückkopplungsgeräten (Omni, Desktop, Premium) getestet. Mit allen Geräten konnte ein realistisches Gefühl bei der haptischen
Exploration von virtuellen Modellen erzeugt werden. Unterschiede bestehen lediglich in der maximalen Kraftrückgabe der Geräte, in der Größe des
Arbeitsbereiches und in der Positionierungsauflösung.
Diskussion Das entwickelte Framework bietet die Möglichkeit bestehende Systeme um eine intuitive haptische Exploration von Virtual-Reality-
Szenen zu erweitern. Weiterhin wird die Modifikation von dreidimensionalen Oberflächenmodellen vereinfacht. Erste Erfahrungen mit einem
Prototyp zur Bearbeitung von 3D-Modellen zeigen, dass die Benutzer schnell zu ersten Ergebnissen kommen können. Weitere
Entwicklungsmöglichkeiten bieten sich auf dem Gebiet der Kollisionserkennung zwischen Oberflächenmodellen. Hier kann die Rückgabe von
Kräften entsprechend den vom Benutzer interaktiv positionierten 3D-Objekten den haptischen Eindruck noch verstärken.
Abb. 1: Kraftrückkopplungsgerät PHANTOM Omni der Firma SensAble Abb. 2: 3D-Modell der Hüfte. Der rechte Femu
r
wurde mit Hilfe der Software repositioniert, die
linke Hüftpfanne wurde geschnitten
Literatur
[1] Handels H, Ehrhardt J, Strathmann B, Plötz W, Pöppl SJ. Three Dimensional Planning and Simulation of Hip Operations and Computer-Assisted Design of
Endoprotheses in Bone Tumor Surgery. J. Comput. Aided Surg. 2001; 6:65-76.
[2] Salisbury J, Brock D, Massie T, Swarup N, Zilles C. Haptic Rendering: Programming Touch Interaction with Virtual Objects. In Proceedings of the 1995
symposium on Interactive 3D graphics, 1995
[3] Ruspini DC, Kolarov K, Khatib O. The Haptic Display of Complex Graphical Environments. Comp Graph, 31:345-5, 1997
[4] Schroeder W, Martin K, Lorensen B. The Visualization Toolkit An Object-Oriented Approach To 3D Graphics, 3rd Edition. Kitware Inc, 2004
[5] Massie T, Salisbury J. The PHANTOM Haptic Interface: A Device for Probing Virtual Objects. In Proc. of the ASME Winter Annual Meeting, Symposium on
Haptic Interfaces for Virtual Environment and Teleoperator System, Chicago, 1994
View
Computergestützte 3D-Operationsplanung zur präoperativen Repositionierung von Knochenfragmenten bei komplizierten Knochenbrüchen
Conference Paper
Full-text available
  • Jan 2007
In diesem Beitrag wird das Softwaresystem PROFRAPS zur virtuellen Repositionierung von Knochenfragmenten bei komplexen Frakturen vorgestellt. Mittels verschiedener Visualisierungstechniken, wie z.B. Farb- und Transparenzdarstellungen, wird die räumliche Zusammensetzung der Fraktur dem Anwender verdeutlicht. Die detailierte Analyse eng beieinander liegender und verdeckter Fragmente wird dabei durch eine Explosionsdarstellung ermöglicht. Die Einzelschritte der vollständigen Repositionierung werden in einer Transformationshistorie dokumentiert und für die spätere intraoperative Umsetzung ausgegeben. Eine integrierte Kollisionserkennung gewährleistet stets gültige Fragmentpositionen. PROFRAPS wurde an zwei Trümmerfrakturen getestet. Eine quantitative Evaluation der Laufzeit ergab, dass die Kollisionserkennung auch für sehr komplexe Frakturen in Echtzeit erfolgt. Die vorgestellte Anwendung ermöglicht damit die detaillierte Planung der Fragmentrepositionierung für eine Operation, indem komplizierte Knochenbr üche präoperativ umfassend analysiert und virtuell repositioniert werden.
View
Haptic Landmark Positioning and Automatic Landmark Transfer in 4D Lung CT Data
Conference Paper
Full-text available
  • Jan 2008
Manual landmark positioning in volumetric image data is a complex task and often results in erroneous landmark positions. The landmark positioning tool presented uses image curvature features to precompute suitable candidates for landmark positions on surface data of anatomical structures. A force-feedback I/O device is then used to haptically guide the user during the definition of the correct landmarks in the 3D data volume. Furthermore, existing landmarks in a time-point of a sequence of 3D volumes (4D data set) can iteratively be transferred to other time-points using a surface based registration technique. First results show significant time savings and small interobserver variability (IROV) compared to the IROV of manually defined landmark positions using orthogonal slices of the image data.
View
View
The PHANTOM haptic interface: a device for probing virtual objects
Conference Paper
  • Jan 1994
This paper describes the PHANTOM haptic interface - a device which measures a user's finger tip position and exerts a precisely controlled force vector on the finger tip. The device has enabled users to interact with and feel a wide variety of virtual objects and will be used for control of remote manipulators. This paper discusses the design rationale, novel kinematics and mechanics of the PHANTOM. A brief description of the programming of basic shape elements and contact interactions is also given.
View
Haptic Rendering: Programming Touch Interaction with Virtual Objects.
Conference Paper
  • Jan 1995
Haptic rendering is the process of computing and generating forces in response to user interactions with virtual objects. Recent efforts by our team at MIT's AI laboratory have resulted in the development of haptic interface devices and algorithms for generating the forces of interaction with virtual objects. This paper focuses on the software techniques needed to generate sensations of contact interaction and material properties. In particular, the techniques we describe are appropriate for use with the Phantom haptic interface, a force generating display device developed in our laboratory. We also briefly describe a technique for representing and rendering the feel of arbitrary polyhedral shapes and address issues related to rendering the feel of non-homogeneous materials. A number of demonstrations of simple haptic tasks which combine our rendering techniques are also described.
View
The Haptic Display of Complex Graphical Environments
Conference Paper
  • Jan 1997
Force feedback coupled with visual display allows people to interact intuitiv ely with complex virtual environments. For this synergy of haptics and graphics to flourish, however, haptic systems must be capable of modeling environments with the same richness, complexity and interactivity that can be found in existing graphic systems. To help meet this challenge, we have developed a haptic rendering system that allows for the efficient tactile display of graphical information. The system uses a common high-level framework to model contact constraints, surface shading, friction and tex ture. The multi- level control system also helps ensure that the haptic device will remain stable even as the limits of the renderer's capabilities are reached.
View
Three-Dimensional Planning and Simulation of Hip Operations and Computer-Assisted Construction of Endoprostheses in Bone Tumor Surgery
Article
  • Jan 2001
Objective: This article presents the VIRTOPS (VIRTual Operation Planning in Orthopaedic Surgery) software system for virtual preoperative planning and simulation of hip operations. The system is applied to simulate the endoprosthetic reconstruction of the hip joint with hemipelvic replacement, and supports the individual design of anatomically adaptable, modular prostheses in bone tumor surgery. The virtual planning of the operation and the construction of the individual implant are supported by virtual reality techniques. The central step of the operation planning procedure, the placement of the cutting plane in the hip bone, depends strongly on the tumor's position. Segmentation of the tumor and the bones in MR and CT data, as well as fusion of MR and CT image sequences, is necessary to visualize the tumor's position within the hip bone. Materials and methods: Three-dimensional models of the patient's hip are generated based on CT image data. A ROI-based segmentation algorithm enables the separation of the bone tumor in multispectral MR image sequences. A special registration method using segmentation results has been developed to transfer CT and MR data into one common coordinate system. During the 3D planning process, the surgeon simulates the operation and defines the position and geometry of the custom-made endoprosthesis. Stereoscopic visualization and 3D input devices facilitate navigation and 3D interaction in the virtual environment. Special visualization techniques such as texture mapping, color coding of quantitative parameters, and transparency support the determination of the correct position and geometry of the prosthesis. Results and conclusions: The VIRTOPS system enables the complete virtual planning of hip operations with endoprosthetic reconstruction, as well as the optimal placement and design of endoprostheses. After the registration and segmentation of CT and MR data, 3D visualizations of the tumor within the bone are generated to support the surgeon during the planning procedure. In the virtual planning environment, individually adapted endoprostheses can be constructed without the need to generate expensive solid 3D models. Furthermore, different operation strategies can be compared easily. Three-dimensional images and digital movies generated during the virtual operation planning can be used for case documentation and patient information purposes.
View