82 Fraunhofer IOF Jahresbericht 2006

Stereobasierte Streifenprojektion – industrietaugliche 3D-Digitalisiersysteme

Stereobasierte Streifenprojektion

Bei der Entwicklung der 3D-Digitalisier -systeme »kolibri« zur Vermessungkom plexer Objektgeometrien stand die Erhöhung der Messgenauigkeit und Fehlertoleranz bei gleichzeitigerRe duktion der Anzahl der benötigtenKameras im Vordergrund. Diese Vor -gaben werden mit der stereobasiertenStreifenprojektion erreicht. Dabei wer -den die herausragenden Eigenschaftendes bisherigen messtechnischen An -satzes der Phasogrammetrie /1,2/, wiez. B. die Selbstkalibrierung und der Ver zicht auf extra anzubringende Mar -ker auf dem Messobjekt, bei behalten. Das Neuartige an dem Ansatz der ste reobasierten Streifenprojektion ist durch folgende Merkmale gekenn -zeichnet:Für die Berechnung wird eine Phasen -korrelation zwischen Phasenwerten inden Bildern von zwei Messkamerasverwendet. Dies steht im Gegensatzzur bisherigen Nutzung von aus schließ -lich Phasenmesswerten (Phasogram me -trie) oder der klassischen Triangulation(Phasenmesswerte und Kameraraster -daten) zur Koordinatenberechnung.Die Methodik der Phasenkorrelationbe wirkt, dass sich Phasenmessfehlernicht mehr direkt auf die Koordinaten -berechnung auswirken und weit geh -end kompensiert werden. Dies er gibteine deutlich größere Robustheit ge -genüber Gegenbeleuchtungs arte fak tenund Intensitätsinhomogenitäten, diebei der Vermessung technischer Ob jek -te nicht vermeidbar sind.

Technisch von Vorteil ist, dass die Ge -nau ig keit der 3D-Rekonstruktion vonder stagnierenden Auflösungser höh -ung bei digitalen Projektoren ent kop-pelt ist. Umgekehrt wird dadurch derWeg bereitet, von fortschreitenden Ver-besserungen bei der Kamera ent wick-lung zu partizipieren. Somit kann dieerreichbare Güte der 3D-Rekonstruk-tion gezielt durch die Ver wendunghochwertiger, industriell verfügbarerKameraobjektive gesteigert werden.Die Qualitätswerte der Pro jek tionsoptik(insbesondere die Verzeich nung) hin-gegen besitzen nahezu keine Wirkungmehr auf die Koordinaten messgenau-igkeit. Damit entfällt die Kalibrierungder Optik der eingesetzten digitalenProjektoren.

Aufbau des modularenSensorkopfes

Eine entscheidende Rolle bei der Rea- li sierung stereobasierter Streifenpro- jek tion kommt dem sogenanntenSen sorkopf zu. Bei der Entwicklung desSensorkopfes, der Einheit aus di gitalemStreifenprojektor und typi scher weisezwei Messkameras Kp (Abb. 1), standenModularität und Skalierbarkeit derLösung im Vordergrund.

Christoph Munkelt

Matthias HeinzePeter Kühmstedt

Gunther NotniChristian Bräuer-Burchardt

83Fraunhofer IOF Annual Report 2006

Stereo based fringe projection – 3D digitization systems for industrial applications

Stereo based fringe projection

During the development of the“kolibri“ 3D digitization systems forthe measurement of complex objectgeometries, the focus was directed onthe improvement of the measurementaccuracy and error tolerance togetherwith the reduction of the number ofcameras used. These requirements canbe achieved by stereo based fringe projection. Here, the advanced proper-ties of the previous phasogrammetricmeasurement method, e.g. the self-calibration and the avoidance of addi-tional markers on the measuring ob-ject, are retained.The novelty in the approach of thestereo based fringe projection is char-acterized by the following features:A phase correlation between the valuesof the images of two measuring cam-eras is used for the calculation. This

works contrary to the usage of onlyphase values (phasogrammetry) or classical triangulation (phase valuesand camera raster values) for the de-termination of the co-ordinates. Themethod of phase correlation causes acompensation of the phase value errorsand thus prevents errors in the deter-mination of the co-ordinates. Hence a considerably improved robustness isachieved with regard to reflection arte-facts and inhomogeneous regions ofintensity, which cannot be avoided inthe measurement of technical objects.A technical advantage is the fact thatthe accuracy of the 3D reconstructiondoes not depend on the slow develop-ment of the projection resolution. Thisalso means that one can participate inimprovements in modern camera tech-nologies. Thus the achievable quality of the 3D reconstruction can be selec-tively improved by the use of highquality industrial lenses. The quality

values of the projection optics (espe-cially lens distortion) have almost no influence on the accuracy of the co-ordinate measurement. The calibrationof the optics of the digital projectorsused can therefore be omitted.

Composition of the modular sensor head

As the sensor head we denote the connected unit of a digital fringe pro-jector and typically two measuringcameras Kp (Fig. 1). It plays an impor-tant role in the realization of stereobased fringe projection. Modularityand the scalability of the solution weremain aspects in the development ofthe sensor head.

Abb. 1: Grundanordnung und Foto des stereobasierten Streifenprojektions-Sensorkopfes.

Fig. 1: Basic configuration and photograph of the stereo based fringe projection sensor head.

84 Fraunhofer IOF Jahresbericht 2006

Systemlösung »kolibri MOVE« im Detail

Eine Umsetzungsform des Messprinzipsstellt das Messsystem »kolibri MOVE«dar (Abb. 2 und 3). Die mobile Anord -nung besteht aus einem frei beweg li -chen Sensorkopf und einer soge nan -nten Verknüpfungskamera KV (beidesind jeweils auf einem Stativ gelagert).Um das Objekt rundum zu erfassen,wird im Messablauf der Sensorkopfmittels des beweglichen Stativs anverschiedene Positionen in Bezug zumObjekt positioniert. Weiterhin wird dieVerknüpfungskamera KV einmalig so inBezug zum Messobjekt positioniert,dass sie eine Übersicht über die Mess -szene aufnehmen kann. Während desMessablaufs projiziert der Projektor dieStreifensequenzen. Diese werden vonden Messkameras simultan mit der Ver -knüpfungskamera KV aufge nommen.

Hiernach erfolgt das Umpositionierendes Sensorkopfes mit dem beweg li -chen Stativ und die Messwertauf nah -me wird aus dieser neuen Richtungwiederholt. Dies erfolgt so lange, bisdas Objekt aus allen erforderlichenRich tungen erfasst worden ist.

Nach abgeschlossener Messwert auf -nah me erfolgen die Koordinaten be -rechnung mittels Phasenkorrelationzwischen den Messkameras und dieSystemkalibrierung in einem gemein -samen Prozessschritt. Die Kamerapixelder Verknüpfungskamera bilden hierbei»virtuelle Passmarken« zur Registrie -rung der Einzelansichten zum Gesamt -bild. Dadurch können in der Koor di na- ten berechnung alle Einzelansichten ineinem gemeinsamen Weltkoordinaten -system berechnet werden. Als Beson -derheit des Systemkonzepts ergibt sichsomit, dass keine Passmarken, externeeingemessene Referenzrahmen oderandere Einmessvorrichtungen (Tracker)verwendet werden müssen. Dies führtzu einer hohen Flexibilität und Nutzer -freundlichkeit. Damit wird ein flexiblespassmarkenfreies Vermessen groß flä -chiger Objekte (z. B. PKW-Teile, Clay-Modelle, Skulpturen etc.) möglich.Zusätzlich besteht die Möglichkeit,durch Hinzufügen von weiteren Ver -knüpfungskameras KV das Mess volu -men um das von ihnen zusätzlich beo -bachtete Gebiet bis auf einige m2 zuerweitern.Für den Einsatz in Industrieum gebun -gen sind eine Reihe von hard- undsoftwarespezifischen Detaillösungenintegriert. Um fehlerhaften Messungendurch Störeinflüsse, wie z. B. Erschütte -rungen oder Helligkeitsschwankungen,zu vermeiden, identifiziert eine online-Überprüfung der Messdaten gestörteAufnahmen und ermöglicht eine auto -matische Wiederholung.

Abb. 2: Grundanordnung eines Stativmesssystems »kolibri MOVE«.

Fig. 2: Basic configuration of a tripod measuring system “kolibri MOVE”.

85Fraunhofer IOF Annual Report 2006

System solution ”kolibri MOVE“in detail

One realization of the measuring prin-ciple is the measuring system “kolibriMOVE“ (see Figs. 2 and 3). The mobileconfiguration consists of a freely move-able sensor head and a so-called con-necting camera KV (both are mountedon tripods). In order to measure thewhole body of the object in the meas-uring process, the sensor head is posi-tioned in several positions relative tothe object using a moveable tripod.Furthermore, the connecting camera KV

is uniquely positioned relative to themeasuring object such that it canrecord an overview of the completemeasuring scene. The projector gener-ates fringe sequences during the meas-uring process, which are recordedsimultaneously by the connecting cam-era KV and the measuring cameras.After that the sensor head is reposi-tioned by the moveable tripod and themeasurement is repeated from thisnew direction. The whole process is repeated until the object is recordedfrom all required directions.

The calculation of the co-ordinates iscarried out by means of phase correla-tion between the measuring camerasand system calibration in a commonstep after the complete recording ofthe image sequences. The pixel of theconnecting camera form ‘virtual land-marks’ for the registration of the singleviews in order to obtain a completecommon image. By this the calculationof the co-ordinates of all single views is realized in a common world co-ordi-nate system. Thus the avoidance ofphysical landmarks, extrinsic calibratedreference frames, and other calibrationdevices (tracker) becomes a specialproperty of the system concept.

This leads to high flexibility and con-venience. Thus a flexible measurementof large objects (e.g. car parts, claymodels, sculptures, etc.) becomes possible without landmarks.

Additionally, the measuring volume can be increased up to several squaremeters by adding more connectingcameras.

Abb. 3: Messanordnung »kolibri MOVE«.

Fig. 3: Measuring configuration ”kolibri MOVE“.

86 Fraunhofer IOF Jahresbericht 2006

Der Bediener des Gerätes wird währendder Mes sung aktiv bei der Planung wei -terer Aufnahmen unterstützt, in demjeder zeit der aktuelle Messfort schritt indie Live-Anzeige der Kameras einge -blendet werden kann. Eine Schnell an -sicht des Rekonstruk tions ergebnissesist abruf bar, um selbst an schwierig zu ver mes senden Objektre gio nen dieVoll stän dig keit der Daten durch ent -sprechende Aufnahme posi tionen zuermög lichen.Zu der hohen Flexibilität durch denmanuell und zielgenau steuerbarenSensorkopf kommt jedoch die im In -dustrieumfeld wichtige weitgehendeAutomatisierung hinzu. Nachdem dieMessdatenaufnahme abgeschlossenwurde, erfolgt eine Ausgabe der Mess -resultate als CAD-Datei (STL). Um einehohe Geschwindigkeit auch bei denhohen Punktdichten und den darausresultierenden Datenmengen zu ge -

währleisten, wird die verfügbare Paral -lelität auf zeitgemäßen Work stationssoftwareseitig bestmöglich genutzt. Bis zu 100 Teilansichten können aufge -nom men werden, um selbst anspruchs -volle Messobjekte vollständig mit einerMessunsicherheit (1σ) von 50 μm bis100 μm in Messfeldern bis zu meh re -ren Quadratmetern zu vermessen. DieGesamtmesszeit (Messdatenaufnahmeplus Datenberechnungszeit) liegt dabeije nach notwendiger Anzahl der Teil an -sichten zwischen 10 und 60 Minuten.Ein Beispiel der Vermessung einesSand kernes zeigt Abb. 4 (BMW-Motorenwerk Landshut) /3/.

Abgeleitete Systemlösungen

Insgesamt ist die aus dem Ansatz derstereobasierten Streifenprojektion ent -wickelte Software-Basis der Grund steinfür die Skalierbarkeit des Lösungsan -satzes für verschiedenste Messgeräte -realisierungen. Durch die gezielte An -passung der verwendeten Optiken,aber unter Beibehaltung der generellenGeometrie und Algorithmik, konntedas neue Messprinzip sowohl in Syste -men zur Zahndigitalisierung (Messfeld -durchmesser 90 mm) als auch zur Ver -messung großer Industriebauteile (biszu einigen m2 Fläche) erfolgreich ein -gesetzt werden. Die Flexibilität dieserLösung ermöglicht auch eine schnelleAnpassung der Messsysteme an neueEinsatzgebiete, wie z. B. dem Einsatz inrobotergeführten 3D-Scannern wiedem »kolibri ROBOT« (Abb. 5).

Zusammenfassung

Die vorgestellte neue Lösung der ste -reobasierten Streifenprojektion mit Pha senkorrelation ermöglicht einefehler tolerante, flexible Ausführung von Mess systemen für verschiedeneMess felder. Hierauf basierend sind sehrro buste, industrietaugliche Anordnungumgesetzt worden. Die Genauigkeitwird weitgehend durch die Kamera -optik bestimmt. Die Wirkung von Pha senmessfehlern wird weitgehendkom pensiert.

Literatur:/1/ Kühmstedt, P.; Heinze, M.; Notni, G.:

Phasogrammetric optical 3D-Sensor for the measurement of large objects, Proc. SPIE 5457 (2004) S. 56-64.

/2/ Kühmstedt, P.; Heinze, M., Himmelreich, M.;Bräuer-Burchardt, Ch.; Brakhage, P.; Notni, G.: Optical 3D sensor for large objects in industrial applications, Proc. SPIE 5856 (2005) S. 118 – 127.

/3/ Notni, G.: Einsatz von 3D-Messsystemen in der Produktionsumgebung, Fachmagazin Gießerei Erfahrungsaustausch 8 (2006) S. 10-13.

Abb. 4: 3D-CAD-Vergleich eines Lufteinlasskanals (Sandkern), »kolibri 900«.

Fig. 4: 3D CAD comparison of an air flushing channel (sand core), ”kolibri 900”.

A number of hardware and softwaredetail solutions are integrated for usein industrial environments. In order toavoid erroneous measurements due todisturbances like vibrations or illumina-tion artifacts, an online check of themeasuring data is performed, whichdetects impaired recordings and initial-izes an automatic repetition. The userof the device is supported actively inthe planning of further recordings, asthe measuring progress can be shownat any time on the live display of thecameras. A quick view of the recon-struction result may be accessed inorder to facilitate the integrity of thedata in object regions which are diffi-cult to measure, by means of relevantrecording positions. In addition to the high flexibility of themanually controlled sensor head thesystem possesses extensive automationwhich is important in industrial envi-ronments. After completion of themeasuring value recording, the outputof the measuring results is realized asCAD files in the STL format. In order to achieve high speed of the measure-ment even with high point density andthe resulting high volume of outputdata, the available parallelism of mod-ern workstations is utilized in the bestpossible way by the software. Up to100 partial views may be recorded inorder to measure even sophisticatedmeasuring objects with a measuringuncertainty (1σ) of 50-100 μm in meas-uring fields of up to several square meters. The complete measuring timeincluding the recording of the measur-ing values and the calculation of thedata is between 10 and 60 minutes depending on the number of necessarypartial views. An example of the meas-urement of a sand core is shown in Fig.4 (BMW engine works Landshut)/3/.

Derived system solutions

The software basis developed from the stereo based fringe projection ap-proach is the initial point for the possi-bility of the scalability of the solutionapproach for the most diverse realiza-tions of the measuring devices. The new measuring principle was suc-cessfully applied in systems for toothdigitization (measuring field diameter90 mm) as well as for the measure-ment of large industrial parts (up toseveral square meters in area) by theselective adaptation of the optics usedand the retention of the general geom-etry and algorithms. The high flexibilityof the solution also facilitates a rapidadaptation of the measuring systemsto new application fields, e.g. the usein robot-driven 3D scanners (“kolibriROBOT“ – see Fig. 5).

Summary

The presented new solution of thestereo based fringe projection withphase correlation makes a flexible,error-tolerant realization of measuringsystems with different measuring fieldspossible. Based on this, very robustconfigurations for industrial applica-tions were realized. The accuracy ismainly determined by the camera op-tics. The influence of phase errors ismostly compensated.

References:/1/ Kühmstedt P., Heinze M., Notni G.:

Phasogrammetric optical 3D-Sensor for the measurement of large objects, Proc. SPIE 5457 (2004) p. 56-64.

/2/ Kühmstedt P., Heinze M., Himmelreich M., Bräuer-Burchardt Ch., Brakhage P., Notni G.:Optical 3D sensor for large objects in industrial applications, Proc. SPIE 5856 (2005) p. 118 – 127.

/3/ Notni G.: Einsatz von 3D-Messsystemen in der Produktionsumgebung, Fachmagazin Giesserei Erfahrungsaustausch 8 (2006) p. 10-13.

87Fraunhofer IOF Annual Report 2006

Abb. 5: Messsystem »kolibri ROBOT«.

Fig. 5: Measurement system “kolibri ROBOT“.