Home

Bericht - IGP

1. T emo u WE ee mmm gt Ce Program Options Export Import Modify Various mumos iter no kenz a Tale mater custom Ji Allgemein Name GroBe Elementtyp Anderungsdatum EU E aaka Ji Fs2009 e Flug0511_0000 jpg 141KB JPEG Bild 07 11 2010 21 39 ll n E Flug0511_0001 jpg 139 KB JPEG Bild 07 11 2010 21 39 1 H52009 Make Panasonic J Hs2010 Flug0511_0002 jpg 142KB JPEG Bild 07 11 2010 21 39 re a jb MA Christoph_ob E Flug0511_0003 jpg 141KB JPEG Bild 07 11 2010 21 39 Seen Pepe ce Flug0511_0004 jpg 139 KB JPEG Bild 07 11 2010 21 39 ren 180 Austrais _ E Flug0511_0005 jpg 140KB JPEG Bild 07 11 2010 21 39 YResolution 180 Wb Avisynth 5 Flug0511_0006 jpg 137 KB JPEG Bild 07 11 2010 21 39 ResolutionUnit inches a Bildverarbeitur Flug0511_0007 jpg 141KB JPEG Bild 07 11 2010 21 39 Software Ver 2 2 J Christoph Flug0511_0008 jpg 135KB JPEG Bild 07 11 2010 21 39 YCbCrPositioning Centered J Christoph2 Flug0511_0009 jpg 137KB JPEG Bild 07 11 2010 21 39 Se af J Copan Flug0511_0010 jpg 134KB JPEG Bild 07 11 2010 21 39 emeng J Davids Vor E Flug0511_0011 jpg 134KB JPEG Bild 07 11 2010 21 39 TE J Flug0511 Flug0511_0012 jpg 139KB JPEG Bild 07 11 2010 21 39 EE DIE jp Flug0511_E Flug0511_0013 jpg 138KB JPEG Bild 07 11 2010 21 39 MaxApertureValue 2 0 dJi Hausl_JPG Flug0511_0014 jpg 138 KB JPEG Bild 07 11 2010 21 39 Flash No Flash Je landenberg F1ug0511_0015 jpg 136 KB JPEG Bild
2. Der von David Lowe an der Universitat von British Columbia entwickelte SIFT Algorithmus ist masstabs und rotationsunabh ngig wie auch gegen ber projektiven Verzerrungen im Zuge von nderung des Aufnahmestandortes Beleuchtungsunterschieden und Bildrauschen in Massen robust Lowe 2004 Aufgrund seines Ansatzes der Filterung und Bearbeitung nach Bildpyramiden ist der Rechenaufwand minimiert und rechenaufw ndige Schritte werden nur an Featurepunkten durchgef hrt die gewissen Eingangsanforderungen gen gen Somit eignet er sich gut f r Rundumaufnahmebildserien von Objekten wie sie mit einem UAV gemacht werden die bersichtsaufnahmen und Detailaufnahmen enthalten Die Featuregenerierung l sst sich in vier Schritte unterteilen scale space extrema detection keypoint localisation orientation assignment und keypoint description Sie werden im folgenden zusammengefasst widergegeben auf Grundlage der Ver ffentlichung von Lowe Lowe 2004 F r den ersten Schritt der scale space extrema detection wird zun chst eine Bildpyramidenberech nung durchgef hrt Anschliessend wird eine Gaussfilterung die im Prinzip eine Tiefpassfilterung ist mit festgelegten unterschiedlichen Standardabweichungen bei den einzelnen Bildpyramidenbildern berechnet Abbildung 18 deutet die Bildung der unterschiedlichen Stufen an Je gr sser die Standard abweichung o ist desto mehr werden Details in den Bildern unterdr ckt Die Filterung stellt quasi die Betrachtu
3. Eidgen ssische Technische Hochschule Z rich Swiss Federal Institute of Technology Zurich ep Fernerkundung Untersuchungen zum Videomodus der Kamera auf dem Oktokopter Masterarbeit Verfasser Leitung Christoph Ober Prof Dr Konrad Schindler Betreuung David Novak ETH Z rich Institut f r Geod sie und Photogrammetrie Geomatik und Planung MSc D BAUG Professur f r Photogrammetrie HS 2010 Vorwort Vorwort Die vorliegende Arbeit entstand im Rahmen der Masterarbeit am Institut f r Geod sie und Photogrammetrie IGP der ETH Z rich Ausgangspunkt fur die Arbeit bildet die Anschaffung des UAV Oktokopter AscTec Falcon 8 mit der auf am UAV montierten Kamera Panasonic DMC LX 3 am IGP Das Gesamtsystem soll im Hinblick auf die Verwendung zur automatischen Erstellung von 3D Modellen berpr ft werden basierend auf Methoden die aus der Computer Vision CV stammen Hierbei sollen im Speziellen die M glichkeiten die der Videomodus der Kamera f r die Aufnahme bietet untersucht werden Die automatische CV Prozessierung von Bildern zu 3D Modellen als zeit und arbeitssparende Weiterentwicklung der in der Photogrammetrie blichen halbautomatischen Datenauswertung von Bildern klang f r mich interessant Die sich daraus ergebenden Problemstellungen zur Durchf hrung eines Projektes und Untersuchungen zur Genauigkeit motivierten mich immer mit dem Hinter gedanken wo und wie die Methoden in der Praxis eingesetzt werden
4. Reference for direction of movement Direction of movement Reference for direction of image Direction of image Geodetic survey data used Reference for latitude of destination Latitude of destination Reference for longitude of destination Longitude of destination Reference for bearing of destination Bearing of destination Reference for distance to destination Distance to destination Name of GPS processing method Name of GPS area GPS date GPS differential correction GPSVersionID GPSLatitudeRef GPSLatitude GPSLongitudeRef GPSLongitude GPSAltitudeRef GPSAltitude GPSTimeStamp GPSSatellites GPSStatus GPSMeasureMode GPSDOP GPSSpeedRef GPSSpeed GPSTrackRef GPSTrack GPSImgDirectionRef GPSImgDirection GPSMapDatum GPSDestLatitudeRef GPSDestLatitude GPSDestLongitudeRef GPSDestLongitude GPSDestBearingRef GPSDestBearing GPSDestDistanceRef GPSDestDistance GPSProcessingMethod GPSArealnformation GPSDateStamp GPSDifferential GO OO JO Om KR WN OH OO MAMA MAMA MAMA RA NNN sch A sch AH AH AH A a OO ON Oo Oo P OUNs OO OND UO P ONO mm DO0m0 Po o J Om E oa O Tabelle 9 GPS Informationen in Exif File Standard 2 2 Quelle www exif org Exif2 2 PDF BYTE ASCII RATIONAL ASCII RATIONAL BYTE RATIONAL RATIONAL ASCII ASCII ASCII RATIONAL ASCII RATIONAL ASCII RATIONAL ASCII RATIONAL ASCII ASCII RATIONAL ASCII RATIONAL ASCII RATIONAL ASCII RATIONAL UNDEFINED UNDEFINED ASCII SHORT ANANSNSANNZOs
5. A DirectShowSource E ETHZ MA Christoph_Ober Panasonic Aufnahmen Regal MOY 2 SelectEvery in 25 0 Normal text file length 100 lines 2 In 2 Col 22 Sel 0 Dos Windows Abbildung 10 Skriptdatei in Editor zur Auswahl jedes 25 Videoframes einer MOV Videodatei Wird die Skriptdatei mit Virtual Dub ge ffnet so sind nur die ausgew hlten Frames sichtbar und k nnen als Einzelbilder exportiert werden Die Einzelbilder k nnen mit Pr fix versehen und mit einer erg nzenden aufsteigenden Nummerierung in den 4 Bildformaten JPG TARGA PNG BMP abgespeichert werden F r das JPG Format ist zus tzlich der Komprimierungsfaktor w hlbar Diese Option kann f r HD Videoaufnahmen eine sinnvolle Datenreduktion ergeben In der durchgef hrten Arbeit wurden die Bilder jedoch unkomprimiert abgespeichert Virtual Dub Version 1 9 10 Info www virtualdub org Stand 27 01 2011 12 4 Bildvorverarbeitung 4 2 Editierung der Exif Daten Die Bildmetadaten der exportierten Einzelbilder sind unvollst ndig gegen ber direkt mit einer Kamera aufgenommener Bilder F r eine weitere Verarbeitung ist deshalb mitunter die Erg nzung der im Exif Format Exchangeable Image File Format in den Bilder enthaltenen Metadaten erforderlich Die f r die Auswerteprogramme wichtigen Eintr ge sind hierbei unterschiedlich Bundler ben tigt beispielsweise den Kamerahersteller und das Kameramodell sowie die Resolution und die Brennweite im 35mm Kleinbildfor
6. Ir Abbildung 8 Drehscheibe im Stillstand Abbildung 9 Drehscheibe mit 6 1 U s und gemessener Bewegungsunsch rfe Die Auswertung des Belichtungsversuchs zeigt dass die Belichtung nicht mit 1 30 Sekunde angegeben werden kann sondern sich entsprechend der Belichtungsverh ltnisse anpasst Im dargestellten Beispiel betr gt die berechnet Belichtungszeit 1 42 Sekunde Dieser Wert korrespondiert mit dem in den Exif Daten des zur Videosequenz abgespeicherten JPG Bildes von 1 40 Sekunde Tabelle 8 mit der Auswertung der durchgef hrten Drehaufnahmen ist im Anhang beigef gt F r die Verwendung am Oktokopter im Videomodus ist die Kamera also je nach Lichtverh ltnissen und Eigenbewegung des Oktokopters geeignet Bei den mit Bedacht durchgef hrten Videobefliegungen die allesamt bei windstillen Bedingungen und guten Lichtverh ltnissen stattfanden ist Bewegungsunsch rfe nicht vorhanden 11 4 Bildvorverarbeitung 4 Bildvorverarbeitung Die Objektaufnahme im Videomodus bedingt eine Vorverarbeitung des Filmmaterials zu Einzelbildern um anschliessend die eigentliche Bildverarbeitung durchf hren zu k nnen Des weiteren wird in Abschnitt 4 4 gezeigt wie eine Verzeichnungskorrektur an die Bilder angebracht werden kann die sich positiv auf die Prozessierung und deren Ergebnisse auswirkt 4 1 Zerlegung der Videosequenz in Einzelbilder Die Videosequenzen k nnen mit dem Programm Virtual Dub einem Skript basierten Videobearbeitungsprogramm zu
7. r rausch rmere Punktewolke gerade in den texturarmen Bereichen der blauen Leinwand Mit Erh hung der Windowsize k nnen beim Vergleich von Spalte 2 und Spalte 4 mehr Punkte an den Grenzen zu Bereichen mit einheitlichen Texturen erstellt werden Wird hingegen die Cellsize erh ht ist wie zu erwarten die Dichte der rekonstruierten Punkte geringer Dies kann gut im Vergleich der Spalten 2 und 3 gesehen werden 8 3 3 Geometrie In den dargestellten Punktwolken aus Abbildung 51 f llt auf dass die Geometrie der Objekte die im Zentrum der Bilder vertreten sind besser ist als die Geometrie der in den Aussenbereichen der Bilder abgelichteten Objekte Gut zu sehen ist dies bei den Punkten der Leinwand Hier verst rkt sich in der Ansicht von oben die Punktwolke der eigentlich ebenen Leinwand Ursache hierf r k nnte eine nicht ordentlich korrigierte Verzeichnung in den Bildern sein die im Aussenbereich der Bilder immer am gr ssten ist vgl Tabelle 1 Kapitel 3 2 2 Weitere Gr nde f r schlechte Geometrien der Punktwolken sind schlechte Aufnahmekonfigurationen Erfolgt die Aufnahme einer Fassade nur mit 46 8 Modellierung und Analyse berlappenden Schr g bzw Orthogonalaufnahmen wie in Abbildung 52 bei der bergreifende Aufnahmen zur Stabilisierung fehlen so ist h ufig eine Verschwenkung oder Drift in der Punktwolke ersichtlich Die Abbildung 52 zeigt die Ansicht der HXE Nordfassade von oben erstellt aus dem Datensatz der Videobeflieg
8. weshalb der Vergleich zum Laserscan in diesem Bereich belastbarer ist Abbildung 64 Vergleich Laserscanmodell zu Photosynth Toolkit Punktwolke Einheit m Sind Punktwolken in identischen Koordinatensystemen enthalten so k nnen einfache Vergleiche zur Geometrie auch anhand von Schnitten durchgef hrt werden Die Bilder der Abbildung 65 zeigen jeweils gemeinsame Schnitte der vermaschten aus dem Datensatz HXE_MPA_816 847 div_Schraeg entstandenen Punktwolke violett und der aus der Videobefliegung entstandenen vermaschten Punktwolke des Datensatzes HXE Flug 4 70u114 207 schwarz Die Lage der Schnitte ist im dar ber abgebildeten Modell zu erkennen Weil bei der Videobefliegung keine Targets ausgelegt wurden wurde die aus der Videobefliegung erhaltene Punktwolke nur optisch in die ber Passpunkte transformierte Punktwolke eingepasst Es zeigt sich eine gute bereinstimmung in der absoluten und relativen Lage der beiden Modelle zueinander Beim genaueren Betrachten kann eine h here Detailgenauigkeit bei den Schnitten der Videobildauswertung erkannt werden Die Ursache hierf r ist in der umfassenderen Abbildung des Geb udes w hrend des Videorundflugs begr ndet Diese hat zur Folge dass das Geb ude fast berall rekonstruiert werden kann Bei den zwar hochaufgel sten 56 9 Vergleich zu Testdaten aber sp rlicher vorhandenen Einzelbildern treten mehr L cher in der Fassade auf die aus den wenigen Bildern nicht ausreichend rekonstrui
9. 0 1311 Skew 0 0 Radial coefficients 0 02219 0 02548 0 0 0006502 0 001192 0 Tangential coefficients 0 0007859 0 0007896 7 52e 005 9 427e 005 Remove camera reterence fans Abbildung 15 Darstellung der Gesamtverzeichnung im Abbildung 16 Aufnahmekonfiguration der Kalibrierung Videomodus bezogen auf das Kamerazentrum 16 4 Bildvorverarbeitung Wichtig f r die Prozessierung der Bilder ist dass die ermittelte Verzeichnungskorrektur auf Bilder angewendet werden kann und diese als korrigierte Bilder abgespeichert werden k nnen Hierf r sind die Bilder die mit der gleichen Aufnahmekonfiguration wie die Kalibrierungsbilder gemacht wurden einzeln zu laden und k nnen entweder im Farb oder im schwarz weiss Modus korrigiert werden In Abbildung 17 ist links ein Originalbild der Kalibrierung sowie rechts das verzeichnungskorrigierte Pendant dargestellt W hrend im Original die Tonnenform an den R ndern gut zu sehen ist f llt im verzeichniskorrigierten Bild die Geradlinigkeit auf Im Vergleich gut erkennbar ist auch der kleinere Bildbereich im korrigierten Bild der aus der pixelweisen Verschiebung des Bildinhalts nach Aussen resultiert mit den in der Grafik in Abbildung 15 dargestellten Gr ssenordnungen Anzumerken ist dass die Bilder zu ihrer Prozessierung im gleichen Verzeichnis wie die Toolbox vorhanden sein m ssen Dort werden auch die korrigierten Bilder abgespeichert Ausserdem ist zu beachten dass die Kalib
10. Einzelbildern zerlegt werden Dies kann frame by frame f r s mtliche Einzelbilder erfolgen oder in einem bestimmten Intervall Entscheidend f r die Auswahl ist die Qualit t und Aufnahmegeschwindigkeit der Aufnahme Nach einem ersten Sichten des Bildmaterials ist die Abdeckung des zu modellierenden Objekts bekannt Ebenso wird beim Ansehen des Videos erkannt ob Bewegungsunscharfe in den Bildern vorhanden ist Tritt Bewegungsunsch rfe nur vereinzelt auf so muss bei der Auswahl der Einzelbilder keine R cksicht genommen werden Ist sie ein h ufiges Problem so muss die Auswahl davon nicht betroffene Frames umfassen und manuell durchgef hrt werden Da die Videoaufnahmen der durchgef hrten Fl ge kaum Bewegungsunsch rfe aufweisen wurde f r die Einzelbilderstellung pauschal jeder 25 Frame ausgew hlt Dies entspricht einem Zeitintervall von knapp einer Sekunde zwischen benachbarten Bildern F r die Skript Erstellung eignet sich ein einfacher Texteditor Die Befehle k nnen diversen Foren entnommen werden In Abbildung 10 ist ein Skript zur Zerlegung eines Videos im MOV Format in jedes 25 Bild dargestellt Wichtig ist Speicherung des Skripts als AVS Datei mit der Endung avs Es E ETHZ MA_Christoph_Ober Bildverarbeitungstests EverySelect avs Notepad Date Bearbeiten Suchen Ansicht Kodierung Sprachen Einstellungen Makro Ausf hren TextFA Erweiterungen Fenster orl RE ziel Db812 da 49 R alam e IS as Ss EverSelect avs
11. Grund hierf r scheint zu sein dass die Autokalibrierung vom Vorhandensein und der Verteilung der Featurepunkte in den Bildern abh ngig ist In Bereichen wo wenige oder keine Featurepunkte zwischen den Bildern gematcht werden z B im Aussenbereich der Seitenstreifen einer Blockbefliegung kann die Autokalibrierung Schw chen aufweisen Schw chen zeigen sich auch darin dass die im Zuge der B ndelblockausgleichung mit Photosynth ermittelten Brennweiten unterschiedlich sind auch wenn sie alle mit der gleichen Brennweite aufgenommen wurden Dies kann anhand der im Zuge der Prozessierung mit Photosynth Toolkit heruntergeladenen Datei coord_system_O_cameras txt im bin Ordner gesehen werden Die Struktur ist dabei derjenigen von Bundler entsprechend Sie wird in Tabelle 4 dargestellt In Tabelle 5 sind nur die Werte der inneren Orientierung f k1 k2 einer solchen Kameraparameterdatei dargestellt Zu sehen ist dass sich die Werte unterscheiden obwohl die Bilder schnell nacheinander mit den gleichen Kameraeinstellungen gemacht wurden BE ee we Bild of a ke EE Al 0 764586 0 001196 0 001202 lt B gt 3x3 Matrix mit der 0 761799 0 000157 0 000156 Kamerarotation 6 076x405 0 001618 0 001633 Bl wel 0 001762 0 001779 Tabelle 4 Datenstruktur der Kameradatei aus Photosynth Tabelle 5 Kameraparameter von 5 Bildern im Videomodus aus Photosynthprojekt Einheiten unbekannt Die in der eigenen Kamerakalibrierung unter 3 2 2 darges
12. Platz zu F ssen der Trib ne ist bis auf die Entw sserungsrinne in Wirklichkeit eben Rechts der Entw sserungsrinne ist entlang der dort befindlichen Schattenkante eine falsche Rekonstruktion von 3D Punkten erfolgt die sich in einer Unebenheit der vermaschten Oberfl che zeigt Abbildung 60 zeigt einen Ausschnitt des Daches des HXE Geb udes wie es aus den nicht verzeichnungskorrigierten Bildern des HXE Datensatzes rekonstruiert wurde Die unterhalb des 50 8 Modellierung und Analyse Daches befindlichen Fl chen sind falsch rekonstruierte Patches die zwischen fehlerhaft gematchten Featurepunkten im Zuge der Expansion gebildet wurden Abbildung 61 zeigt den Datensatz Krattingen Die ber der Landschaft schwebenden gr nen Linien sind im Zuge des Dense Matching falsch den ber dem Grundst ck verlaufenden Hochspannungs leitungen zugeordnete Bodenpunkte der Vegetation Ein Grund hierf r kann die Bewegung der Hochspannungsleitungen wegen Windes w hrend der Aufnahme sein die zu falschen Geometrien bei der R ckprojektion f hrt Sicherlich tr gt auch die Verwendung von nicht verzeichnungskorrigierten Bildern zu den Fehlern bei Die Verzeichnungen haben Einfluss auf das Matching und somit auf die B ndelblockausgleichung und die darin berechneten Kamerapositionen und Kameraparameter Ebenso wirkt sich eine schlecht behobene Verzeichnung beim Dense Matching aus 8 3 5 Verzeichnungen Die Auswertung aller Datens tze mit Bildern der
13. Punktwolke herum verteilt Hieraus folgere ich dass das Matching zwischen mehreren Bildern nicht richtig funktioniert Sowohl bei kleinen Zwischenwinkeln wie in einem beschr nkten Datensatz der Videobefliegung des HXE Flug0511 VGA Dach191 210 als auch bei wenigen Datens tzen mit wenigen Einzelbildern mit gr sseren Zwischenwinkeln Physik sind fehlerhaft rekonstruierte Kamerapositionen auszumachen Mit diesen Positionen kann der Schritt zum Dense Matching nicht erfolgen Bundler gelingt aus dem Kermit Datensatz die Rekonstruktion der Kamerapositionen von neun aus elf eingef hrten Bildern die in Abbildung 28 dargestellt sind Datensatz Kermit_Bundler bzw Photosynth Kermit_ori_ohne_4_6 Die beiden rot umrandeten Bilder werden von Bundler nicht in die gemeinsame Ausgleichung hineingenommen Die gr ssere Blickwinkel nderung der beiden gegen ber den restlichen Bildern ist ersichtlich und Ursache f r das misslungene Matching F r die brigen nicht umrandeten neun Bilder werden die richtigen Kamerapositionen und eine geometrisch richtige Featurepunktwolke berechnet In Abbildung 29 ist eine aus Bundler Zwischenergebnissen zusammengesetzte Punktwolke zu sehen Die gr ngelben bzw rotgelben Doppelpixel kettenartig aneinandergereiht stellen die sich ver ndernden Kamerapositionen der iterativen B ndelblockausgleichung dar 26 6 Bildverarbeitung Bundler Variante Abbildung 28 Bilder des Datensatzes Kermit rot umrandet d
14. Verwendungsgebiete und Besonderheiten betreffen Datensatz Christoph2_Obis1 55 Duebendorf_058 _091 Duebendorf_undi stort Duebendorf_58_ 91 Matlab Grundlage Konfiguration Kamera Video Handaufnahme 2 konzentrische Kreise Panasonic Lumix DMC LX 3 Hochaufgel ste Einzelbilder UAV Blockbefliegung NIKON D2Xs Hochaufgel ste Einzelbilder UAV Blockbefliegung Panasonic Lumix DMC LX 3 Hochaufgel ste Einzelbilder UAV Blockbefliegung Panasonic Lumix DMC LX 3 Hochaufgel ste Einzelbilder UAV Blockbefliegung Panasonic Lumix DMC LX 3 Anzahl Bilder Pixelzahl 156 640x480 22 2848x4288 34 3648x2736 34 3648x2736 PS_verzeic hnungskor rigiert 34 3648x2736 Matlab verzeichnu ngskorrigie rt PS Punktanzahl PST Punktanzahl Parameter Level Threshold Cellsize Windowsize PS 19693 PST 81148 L1 T0 7 C2 W7 PST 923078 LO T0 7 C1 W7 PS 54162 PST 412924 L2 T0 7 C2 W7 PS 52061 PST 2035638 L2 T0 7 C1 W7 PS 53073 PST 2116860 L2 T0 7 C1 W7 PS 51534 PST 2518699 L2 T0 7 C1 W7 Bemerkung Innenraum Personenrekon struktion Forensik Arch ologie Flughafen Gel ndemodell Lageplan Werksgel nde Flughafen Gel ndemodell Lageplan Werksgel nde Flughafen Gel ndemodell Lageplan Werksgel nde 71 15 Anhang Architekten_Hae uschen_444_544 HXE_Flug_4_70u 114_207 HXE_Flug0511 0 004bis0026 Flug_0511
15. ber 2 Mio Punkte umfassenden Datei die die Rechenleistung der Software bersteigt 0 210 0 150 0 090 Ce e 0 030 0 030 0 090 0 150 ai SS ke i RK Ze 2 EE Pre z OG Z 4 na 2 om L Wa DL M kW rs vi a S wn Ir r ai RITTER oe bad ee t b Ke Ce E r Le d SE ee Sa e d D K E X 0 210 3 e a edit A f RER CT CAN ue h d i t 3D Abweichung SEH Max 0 200 0 200 m Durchschnitt 0 065 0 041 m 7 tt GC e Ka Standardabweichung 0 069 m ae ur x ait iy RA at Sales D 7 Kl W x 80 313 m fe E te RRS sa RA EPA aa ke SR eS 4 Abbildung 68 Vergleich Photosynth Punktwolke auf Matlab Verzeichnungskorrektur basierend mit Laserscan Einheit m 1 Geosynth ist von Vexcel zu beziehen Info www vexcel com geospatial geosynth index asp Stand 27 01 2011 61 10 Ergebnisse Eine Transformation zwischen den lokalen Passpunkten und den Passpunkten im Landessystem ist aber vielversprechend Die Ergebnisse einer 7 Parameter Transformation der auf Matlab Verzeichnungskorrekturen basierten Punktwolke sind im Anhang in Tabelle 11 und Tabelle 12 aufgef hrt Sie zeigen gegen ber der in 9 1 durchgef hrten Transformation Standardabweichungen in den Transformationsparametern die etwa halb so gross sind Abbildung 68 zeigt die transformierte Photosynth Punktwolke im Vergleich mit dem Laserscan Die Photosynth Punktwolke war mit ihren 70000 Punkten leicht zu transformieren Gr n eingef rbt
16. berstrahlung des weissen Innenbereichs ber die schwarze Aussenfl che liegen Folge hiervon ist dass die Kreise in unterschiedlichen Bildern nicht nur wegen der Perspektive unterschiedlich aussehen sondern dies verst rkt wird durch berstrahlung Das Dense Matching w rde somit Pixel bild bergreifend verbinden die nicht identische Bereiche zeigen bzw an Positionen liegen die nicht der Wirklichkeit entsprechen Dieser Positionsfehler im Bild w rde wenn man an einen Vorw rtsschnitt denkt einen H hen und Lagefehler im Modellraum erkl ren Weitere fehlerhafte Pixel lassen sich an Kanten von Objekten hin zum offenen Raum ausmachen Sie treten oft in der Form eines Schweifes auf Mittels der einstellbaren Parameter von PMVS lassen sich unterschiedliche Punktwolken erstellen Die Abbildung 50 zeigt die Originalbilder des Physik Datensatzes w hrend Abbildung 51 Ansichten der prozessierten Datens tze beinhaltet Die Prozessierungen wurden mit unterschiedlichen Parametern der Zuverl ssigkeit der Punkte threshold bzw unterschiedlicher Einstellungen zur Rekonstruktionsdichte cellsize und Fenstergr sse der Kreuzkorrelation windowsize durchgef hrt Parameterdetails siehe Tabelle 3 Abbildung 50 Alle 7 Bilder des Physik Datensatzes Photosynth Physik In Reihe 1 3 wird die Punktwolke aus unterschiedlichen Positionen betrachtet In der ersten Reihe ist eine bersicht von vorne in der zweiten Reihe ist eine Ansicht von oben ohne
17. dass ein Objekt aus mehreren Bildern rekonstruiert wird Der Ablauf wird im Folgenden zusammengefasst widergegeben Grundlage bilden das PMVS beschreibende Paper Furukawa Documentation of Patch Based Multi View Stereo Software PMVS 2007 sowie eine vom Entwickler gehaltenen Pr sentation Furukawa PMVS Documentation 2010 PMVS f hrt f r die Objektrekonstruktion die Schritte Featurepunkterkennung im Modul Affine und Matching im Modul Match aus Anschliessend wird in den featurepunktlosen R umen versucht durch Expansion der bestehenden Punkte mit Patches das Modell zu verdichten Diese Verdichtung wird mit einer Filterung zur lokalen photometrischen Konsistenz der Punkte und zur Geometrie der Sichtbarkeit berpr ft Die Featurepunkterkennung basiert auf zwei Detektionsfiltern dem Harris Corner Detektor HCD und dem Difference of Gaussian DOG Detektor vgl 5 1 Abbildung 22 zeigt beispielhaft Featurepunkte die mit den beiden Methoden in zwei leicht zueinander versetzen Aufnahmen extrahiert wurden Punkte die mit HCD gefunden wurden sind rot dargestellt DOG basierte Featurepunkte sind blau eingef rbt Es f llt auf dass im auch f r das Auge einheitlich wirkenden Bildbereichen mit DOG viele Featurepunkte gefunden werden w hrend HCD vor allem an Stellen mit starken punktuellen Kontrasten Featurepunkte setzt Mit Hilfe von Epipolarlinien werden die Featurepunkte zwischen den Bildern gematcht wie in Abbildung 25 dargestellt Poten
18. den Farbwerten der rekonstruierten Punkte bertragen GE EA ei us ZK cht ET 2 A or w E e DE Ren ab 4 Mn ZS CR Leica d b sry d e Zi TE 4 P gt Ke ie Videobefliegung Punktwolke aus Videobefliegung Kamerapositionen gelb unten Detail in Punktwolke Abbildung 45 Datensatz HXD Geb ude aus Videobefliegung Photosynth Architekten_Haeuschen_444_544 Die im Videomodus durchgef hrte Befliegung des HXD Geb udes hat zu den in Abbildung 45 dargestellten Bildern gef hrt Links oben ist ein aus dem Video extrahiertes Einzelbild zu sehen Man erkennt dass das Geb ude eine gute Textur bietet da es vom Architekturlehrstuhl als Kunstobjekt verwendet wird was zur uneinheitlichen Farbgebung gef hrt hat Die herbstliche F rbung der Bl tter ist auch geeignet um nicht nur sch ne sondern auch in der Vegetation dichte Rekonstruktionen zu erm glichen Dass die Vegetation in der Rekonstruktion so gut dargestellt ist liegt allerdings nicht nur an der Farbenvielfalt sondern auch an der Videobefliegung Die extrahierten Einzelbilder zeigen kurze Abst nde zwischen ihren Aufnahmepositionen die als gelbe Punkte im rechten Bild der Punktwolke dargestellt sind Da es bei der Befliegung zus tzlich windstill war k nnen Featurepunkte auch in den kleinstrukturierten Baumbereichen in nah beieinanderliegenden Bildern gematcht werden Anhand des links unten dargestellten Details welches das Dach des Geb udes von der Seite zeigt sind aber auch Fehl
19. der Punktnormalen V und der Modelloberflache M 1 C f 0 amp 0 VI yh i 0 eT 04 e Vi Ai A 0 0 Oriented points Indicator gradient Indicator function Surface V VX f XM oM Abbildung 46 Poisson Surface Reconstruction vereinfacht dargestellt in 2D Kazhdan Bolitho amp Hoppe 2006 Der Poisson Ansatz ber cksichtigt alle Oberfl chenpunkte auf einmal ohne r umliche Unterteilung und ist deshalb sehr nachgiebig gegen ber Rauschen Die M glichkeit des Poisson Ansatzes auf einer Hierachie von lokalen Basisfunktionen aufzubauen erm glicht die Komplexit t auf ein beschr nktes lineares System zu reduzieren PSR ist ein sich r umlich anpassender Algorithmus der in mehreren Detailierungsstufen gew hlt werden kann Kazhdan Bolitho amp Hoppe 2006 Die Dauer f r die Prozessierung richtet sich nach der Gr sse und dem Detailierungsgrad der Punktwolke und der zu erstellenden Rekonstruktion Der Algorithmus ben tigt zwingend Punkte die eine Normale besitzen also orientiert sind Dies ist bei den Ausgabedaten der meisten Scanner wie auch von bei Photosynth Toolkit und Bundler gegeben WN C stetige Kurve C stetige Kurve Viertel bogen C stetige Kurve Funktion der ist Verbindungsst ck gekr mmten Linie y x Abbildung 47 CO C1 C2 Kr mmungen von Oberfl chen vereinfacht in 2D dargestellt 42 8 Modellierung und Analyse Vermaschungen mit PSR k nnen nur Oberfl chen richtig nachbilden die C1 ode
20. die ausgeblendeten Bodenpunkte und in der dritten Reihe ist die Punktwolke von rechts zu sehen Die Parameter der spaltenweise unterteilten Prozessierungen finden sich in den Reihen vier bis acht Es ist deutlich in den Drauf und Seitenansichten zu erkennen dass das Rauschen mit Erh hung der Zuverl ssigkeit abnimmt Gleichzeitig sinkt aber auch die Anzahl rekonstruierter Punkte 45 8 Modellierung und Analyse 1 P i Level O Level O Level O Level O Cellsize 2 Cellsize 2 Cellsize 4 Cellsize 1 Threshold 0 25 Threshold 0 70 Threshold 0 70 Threshold 0 70 Windowsize 7 Windowsize 7 Windowsize 7 Windowsize 10 minlmageNum 3 minlmageNum 3 minlmageNum 3 minlmageNum 3 Abbildung 51 Datensatz Physik prozessiert mit unterschiedlichen Parametereinstellungen Photosynth Physik 8 3 2 Textur In texturarmen Bereichen der Bilder werden kaum Featurepunkte generiert wie aus den Erl uterungen zu SIFT in Kapitel 5 1 nicht anders zu erwarten Somit k nnen ausgehend von den Featurepunkten als Keimzelle des Dense Matching auch keine guten Patches gebildet werden Nur bei einer niedrig gesetzten Schwelle f r die photometrische Konsistenz werden in texturarmen Bereichen Patches gebildet Diese besitzen aber ein hohes Rauschen und fallen deshalb bei einem h her gew hlten threshold Wert weg Bei optischem Vergleich der Spalte 1 zur Spalte 2 in Abbildung 51 kann dies belegt werden Der bei Spalte 2 h here threshold Wert f hrt zu einer weniger dichten daf
21. in Punktbl cken durchgef hrt werden um nicht zu viel virtuellen Speicherplatz zu belegen 9 2 Geometrietests Die transformierte Punktwolke des HXE_MPA_ 816 847 div _Schraeg Datensatzes wird mit dem Programm Geomagic Qualify 12 mit der unter Kapitel 9 genannten vermaschten Laserscanpunktwolke verglichen Einschr nkend muss vorab gesagt werden dass die Qualit t des Laserscanmodells im Dachbereich nicht gew hrleistet ist aufgrund von Problemen bei der Erfassung des HXE Daches Des weiteren ist zu erw hnen dass keine manuelle Bereinigung der Toolkit Punktwolke stattgefunden hat bei der offensichtlich falsche Punkte h tten gel scht werden k nnen Ein fl chiger Vergleich der nicht auf einzelne fehlerhafte Punkte eingeht ist deshalb der richtige Ansatz um die Toolkit Punktwolke beurteilen zu k nnen Der in Abbildung 64 dargestellte Vergleich zeigt in den fl chigen Bereichen des kiesigen Vorplatzes gute bereinstimmungen von 5 cm Die dunkelblaue Linie vor der Westfassade verl uft entlang des Geb udeschattens und zeigt dass in diesem kontraststarken Bereich falsche Punkte mit der Toolkitmethode erstellt werden Ebenso fallen die dunkel eingef rbten Punkte entlang der Geb udekanten auf die das in Abschnitt 8 3 1 beschriebene Rauschen pr sentieren Die ovale blaue Linie die unmittelbar rechts vor der Westfassade gelegen ist wie auch andere linienhafte Abweichungen auf dem Vorplatz sind jedoch mit Fahrzeugen zu begr nden die be
22. in den markierten nach hinten laufenden Schnitten gut zu erkennen Im unteren Modell hingegen das auf Basis in Matlab verzeichnungskorrigierter Bilder erstellt wurde ist die Gradlinigkeit der in Wirklichkeit ebenen Objekte zu sehen Die langgestreckten Ellipsen fassen einen Schnitt durch den Runway ein die beiden nebeneinanderliegenden Ellipsen sind im Bereich eines ebenen Daches das zwischen den Ellipsen einen H hensprung besitzt Photosynth Toolkit arbeitet eigentlich mit Bildern deren Verzeichnung es korrigiert Das Programm nutzt hierf r die Kameraparameter c k1 k2 die von Photosynth ausgegeben werden wo sie mittels Autokalibration im Rahmen der B ndelblockausgleichung ermittelt wurden Im Zuge der Prozessierung werden in Photosynth Toolkit die Originalbilder auf Grundlage der Photosynth Parameter verzeichnungskorrigiert Anschliessend wird mit bereinigten Bildern das Dense Matching durchgef hrt Der Vergleich eines Originalbildes und eines von Bundler verzeichnungskorrigierten Bildes wurde bereits in Abbildung 27 dargestellt und ist f r Photosynth Toolkit hnlich Trotzdem sind in den rekonstruierten Punktwolken Fehler in der Geometrie wie Abbildung 62 oben dargestellt die auf eine mangelnde Verzeichnungskorrektur hindeuten Das erneute Einf hren der entzerrten Bilder in den Photosynth Prozessierungsprozess f hrt nicht zu einer sichtbaren Verbesserung der beanstandeten konvexen Geometrien in der Blickrichtung der Kamera Der
23. p pt i d i i i i MEREANA E pm mm d am an i i i i i I i L PDF A oOo WwW i L i i i i I i l i i i L i i pore d N l L i i l i i i i L i l i i vi u ge ass ES DT ET H Sen E D BE Dee EEN GE i L l i A l i l i i ae ge ae iu Menu ET i h 05 06 07 08 09 1 Ratio of distances closest next closest x Abbildung 21 Wahrscheinlichkeitsdichtefunktion des Matchings eines 40000 Keypoints umfassenden Projekts Lowe 2004 20 5 Methoden zur automatischen Featurepunktbestimmung und Matching Der Deskriptor ist also die Beschreibung eines Featurepunktes besitzt hierbei aber keine Eindeutigkeit da ansonsten eine Robustheit gegen ber Belichtungsunterschieden und Verzerrungen nicht gegeben w re Damit die Featurepunkte zwischen den Bildern m glichst gut zueinander gematcht werden und Fehlzuordnungen reduziert werden wird wie oben beschrieben nach dem Nearest Neighbor Verfahren gearbeitet 5 2 Patch Based Multi View Stereo PMVS PMVS ist ein Programm das von Yasutaka Furukawa an der Universit t von Washington entwickelt wurde um aus orientierten Bildverb nden automatisch eine Rekonstruktion des Objekts bzw der Szene als 3D Punktwolke zu erstellen Es baut auf der Methode des Multi View Stereo auf was bedeutet
24. sind Punkte die Abweichungen im Bereich von 3 cm gegen ber dem Laserscan Modell haben Auch in Bereichen mit Gel ndever nderungen sind vorwiegend gr ne Punkte vorhanden Bedenkt man dass durch Vermaschungsmethoden das vorhandene Rauschen weggel ttet werden kann so scheint die Photosynth Punktwolke f r grossfl chige Gel ndeaufnahmen geeignet F r den interessanten Geb udebereich und hier vor allem den Fassadenfl chen kann wegen zu wenig vorhandenen Featurepunkten leider keine Aussage gemacht werden 62 11 Fazit 11 Fazit F r die Photogrammetrie sind die bisherigen Methoden der Computer Vision oft nur bedingt tauglich Eine m glichst umfassende Rekonstruktion und Darstellung von Objekten scheint in der CV wichtiger als hohe Genauigkeitsanforderungen an rekonstruierte Objekte die in der Photogramme trie h chste Priorit t besitzt In der CV wird versucht Fehler die im Zuge der automatischen Prozessierung von Bildern passieren auf Grundlage stochastischer Methoden wie Ransac zu beheben Eine Wiederholungsgenauigkeit ist hierdurch nicht gegeben da dieses Verfahren auf einer zuf lligen Auswahl von Pr fdaten basiert Eine Verbesserung der Featurepunkt und Matching methoden die zuverl ssig Ausreisser eliminiert w rde zu zuverl ssigeren Ergebnissen im Matching und somit in der B ndelblockausgleichung f hren M glichkeiten der Verbesserung best nden z B darin in die Auswahl der Featurepunkte Geometrie berlegungen
25. wiki INS 2010 auch ist ein Abgleich mit dem elektronischen Kompass und dem Barometer denkbar Die G te eines INS zeichnet sich durch eine hohe Aufl sung und geringe Drift aus Ober 2010 2 3 Sensordatenfusion f r Georeferenzierung F r die direkte Bestimmung der Ausrichtung der Kamera des Oktokopters m ssen die Positionsdaten des GNSS Moduls die Verdrehungen und Verkippungen die mittels INS bestimmt werden die Ausrichtung aufgrund des elektronischen Kompass die H henmessung des Barometers und die relative Ausrichtung der motorgesteuerten Kameraaufnahme kombiniert werden Neben dem Wissen zur relativen Lage der Systeme zueinander ist die Zeitsynchronisation aller beteiligten Systeme wichtig Die Integrationszeiten der einzelnen Systemschritte sind ebenso zu beachten um eine genaue Kombination der Sensordaten durchf hren zu k nnen Eine Eintragung der aus der Sensordatenfusion resultierenden 3D Kameraposition samt 1D Aufnahmerichtung in die Exifdaten des Bildes w re bereits heute technisch m glich Tabelle 9 zeigt die GPS Positionsdaten die als Bildmetadaten in Exif Eintragen abgespeichert werden k nnen Diese M glichkeit wird aber vom Oktokopter derzeit nicht unterst tzt Der Oktokopter protokolliert allerdings die Positionen des UAV samt Ausrichtung sowie die Auslenkung der Kameraaufnahme und weist diese im Protokollfile der Befliegung aus Friedli 2010 S 10 Eine selbstst ndige Weiterverarbeitung und Zuordnung zu den Exif Da
26. zur automatischen Auswertung eignen So k nnte zum Beispiel das Wissen ber eine einigermassen konstante Flugbahn ausgenutzt werden um bei den automatischen Messungen eine gewisse Suchraumreduktion zu definieren Es sollen im ersten Schritt Literaturrecherchen bez glich SIFT SURF und hnlichen Interestoperatoren sowie deren Matching durchgef hrt werden Matlab libraries und bestehende Funktionen sollten ebenfalls recherchiert und deren Nutzbarkeit berpr ft werden Des weiteren sollen Recherchen zwecks Extrahierung von Einzelbildern aus dem Video sowie Nachbearbeitungsm glichkeiten der betreffenden Bildern angestellt werden In den n chsten Schritten sollen zwei Bildern zueinander gematcht werden Sobald dies funktioniert sollen weitere Bilder verwendet werden um einen photogrammetrischen Block zu bilden Die GPS Messungen des Oktokopters k nnen hierbei als Approximation verwendet werden 1 2 Ausgangslage Das institutseigene UAV steht f r Befliegungen zur Erfassung von Objekten mittels Videoaufnahmen zur Verf gung F r die Auswertbarkeit des Bildmaterials m ssen geeignete Objekte und Aufnahmekonfigurationen gefunden werden Die Umsetzung der Flugplanung erfolgt im Feld durch den Piloten der f r die Steuerung zust ndig und einer zweiten Person die quasi als Regisseur f r die Bildaufnahmen verantwortlich ist Wird das Objekt vollumf nglich umflogen und erfasst so steht Bildmaterial zur photogrammetrischen Auswertung zur Verf
27. 04 S 6 benachbarten Skalenraum der DOG Filterung Lowe 2004 S 7 Im dritten Schritt dem orientation asignment werden die Gradienten mit ihren Orientierungen f r die einzelnen Featurepunkte berechnet Die Orientierungen der Gradienten in der Region um den Featurepunkt herum werden in einem 36 Spalten umfassenden Histogramm eingetragen 10 Grad pro Spalte gewichtet nach ihrer Gradientenl nge und dem Abstand zum Featurepunkt Der Eintrag mit der gr ssten L nge sowie alle weiteren Eintr ge die mindestens 80 dieser L nge besitzen werden als Keypoints zu dem einen Featurepunkt generiert Die Rotationsunabh ngigkeit und Massstabsunabh ngigkeit wird hierbei erzeugt indem alle Eintr ge relativ zur Orientierung und zum SEP EEE Image gradients Keypoint descriptor Massstab des Eintrags mit der gr ssten Lange erfolgen en Ir MEM MME ANJA AS SEI FEINE E E a a l alt be y Abbildung 20 Beispielhafte Darstellung eines keypoint descriptors auf Grundlage eines Gradientenbildes Lowe 2004 S 15 Im vierten Schritt dem keypoint descriptor wird der Deskriptor des Featurepunktes erstellt Es wird ahnlich vorgegangen wie beim orientation asignment Der Deskriptor stellt eine Matrix dar die die Werte der orientierten Histogrammeintrage enthalt In 4x4 Subregionen um den Featurepunkt 19 5 Methoden zur automatischen Featurepunktbestimmung und Matching werden die Gradienten und Orientierungen berechnet A
28. 07 11 2010 21 39 FocalLength 5 1mm Ji Wohnung Flug0511_0016 jpg 136 KB JPEG Bild 07 11 2010 21 39 FlashpixVersion 0100 Ji Bingo Flug0511_0017 jpg 132KB JPEG Bild 07 11 2010 21 39 ColorSpace SRGB Bi Bundles Z Flug0511_0018 jpg 138KB JPEG Bild 07 11 2010 21 39 ees HE Eet b a E Flug0511 0019 jpg 137KB JPEG Bild 07 11 2010 21 39 SSES TA m Flug0511_0020 jpg 134KB JPEG Bild 07 11 2010 21 39 Flug0511_0021 jpg 134KB JPEG Bild 07 11 2010 21 39 Flug0511_0022 jpg 135KB JPEG Bild 07 11 2010 21 39 Flug0511_0023 jpg 137 KB JPEG Bild 07 11 2010 21 39 Flug0511_0024 jpg 140 KB JPEG Bild 07 11 2010 21 39 Flug0511_0025 jpg 140 KB JPEG Bild 07 11 2010 21 39 Flug0511_0026 jpg 141 KB JPEG Bild 07 11 2010 21 39 Flug0511_0027 jpg 139KB JPEG Bild 07 11 2010 21 39 Flug0511_0028 jpg 139KB JPEG Bild 07 11 2010 21 39 Flug0511_0029 jpg 138KB JPEG Bild 07 11 2010 21 39 Flug0511_0030 jpg 138KB JPEG Bild 07 11 2010 21 39 Kees Lie Flua0511 003L iva 135 KB JPEG Bd 07 11 2010 21 39 1 files selected Abbildung 11 Programmansicht ExifToolGUl Kameras die einen GNSS Empf nger und einen elektronischen Kompass integriert haben schreiben die Aufnahmeposition und Blickrichtung der Kamera ebenso in die Exif Daten F r die Georeferen i ExifToolGUI Version 3 38 von Bogdan Hrastnik Info http freeweb siol net hrastni3 Stand 27 01 2011 13 4 Bildvorverarbeitung zierung der Bilder k nnen diese Daten direkt verwendet werd
29. 2 W7 PST 118934 LO TO 7 C1 W10 15 Anhang Kiesgrube Gelandeauf nahme Volumen Schneeflachen Privatgrundstuck Einzelgebaude DTM Lageplan Dachrekonstruk tion Geb ude h hen Treppen Gel ndeauf nahme Dachrekonstruk tion Geb ude h hen Treppen Gel ndeauf nahme Testdaten diverse Parameter 73 Anhang CD Anhang CD a CD MA Ober d II Ausarbeitung IP Bericht A Poster A Praesentation gt A Datensaetze IF Software A Zusatz 74
30. 20NON amp el eNe N WN W ND gt sc lt 15 Anhang Bd Ef Kl e 4 0 764586 0 001196 0 001202 0 761799 0 000157 0 000156 a LA CH CH CH Go Ln CH CIAO Pa t E D L d Co LA d 0 761405 0 001618 0 001633 7 0 759260 0 000224 0 00022 Ln 2 00177 9 0 761239 0 002741 0 00274 10 0 00323 11 0 000793 12 0 00267 13 0 00254 14 0 765477 0 003529 0 003532 15 0 765818 0 004409 0 0 16 0 002923 i zl 11 0 729146 0 0012 75 0 001260 212 d SP in IV zl D a 0 727957 0 002881 0 00284 ke zl Pa Wo Kl ful Lu gt HJ HJ ii HJ un wu 001 zl zl 17 0 765937 0 002454 0 00245 0 764857 0 002129 0 002146 19 0 761251 0 001756 0 001761 Ti old CIS Es Ou if 0 00097 21 0 757570 0 001788 0 00180 0 002281 0 00598 0 0074 0 005137 26 0 754626 0 006752 0 006713 Tabelle 10 Kameraparameter aus Photosynthprojekten li auf Originalbildern re auf verzeichnungskorrigierten Bildern g LA oo a PJ gt D ba CH F m zl pl LD CH IV 19 0 724597 0 000185 0 000194 20 0 724202 0 000769 00075 22 0 000101 23 0 721081 0 002748 0 00268 24 0 718535 0 002442 0 00242 2 Ti amp Ti 12 0 729005 0 002345 0 00233 17 0 723122 0 001634 0 00159 0 721388 0 000828 0 000815 20 0 720341 0 0023
31. 27 01 2011 54 9 Vergleich zu Testdaten die mit der Photosynth Toolkit Methode erstellte Punktwolke geometrisch richtig ist was durch die kleinen Standardabweichungen der Transformationsparameter in Tabelle 7 best tigt wird Transformationsparameter Standardabweichung Opa 35 2916140512 0 0116918777 at fiat PPP Tz Tabelle 7 Transformationsparameter der ungewichteten 7 Parameter Transformation Die gesamte Punktmenge wird daraufhin mit den Transformationsparametern ins Landeskoordinatensystem transformiert Da f r die Berechnung die Punkte ohne ihre Farb und Normalenwerte in JAG3D eingelesen werden m ssen werden anschliessend den transformierten Punkten die urspr nglichen Farb und Normalenwerte wieder zugewiesen und erneut eine PLY Datei erstellt Eine gute Anleitung zur Vorgehensweise bei der Transformation von Photosynth Punktwolken zu georeferenzierten Punktwolken ist von Craig verfasst worden Craig 2010 Aufgrund der grossen Punktmenge von ber 800 000 zu transformierenden Punkten ist das Datenhandling zeitaufw ndig und muss teilweise blockweise erfolgen Um die Transformation in JAG3D mit der grossen Punktmenge durchf hren zu k nnen muss der virtuelle Speicherplatz der vom Programm belegt werden darf in der Batch Datei manuell erweitert werden Die Vorgehensweise hierzu ist auf im Diskussionsforum von JAG3D festgehalten die manipulierte Batch Datei im Anhang beigef gt Alternativ kann die Transformation auch
32. 3 3 2 Kamerakalibrierung Die Kamerakalibrierung dient der Ermittlung der inneren Orientierung der Kamera d h der Kamerakonstanten c und der Lage des Bildhauptpunktes Xo Yo sowie zus tzlicher Parameter die eine Bestimmung der Verzeichnungseffekte erlauben Luhmann 2003 Da die Kamera 3 Bildformate und eine variable Fokussierung besitzt m sste f r jede spezifische Konfiguration mit der photogrammetrisch auszuwertende Bilder gemacht werden eine Kalibrierung durchgef hrt werden F r die Video Befliegungen im Projekt wird nur das Bildformat 4 3 ohne Zoomfunktion verwendet Es bietet die gr sste Bildfl che und ist das einzige bei dem eine direkte Livebild bertragung des Bildes der Kamera auf die Steuereinheit funktioniert Nur f r dieses Format in Kombination mit der beim Einschalten im manuellen Modus automatisch eingestellten Fokussierung wird die Kalibrierung durchgef hrt F r die Verzeichnungskorrektur der hochaufgel sten Einzelbildaufnahmen wird eine weitere Kalibrierung wie unter Kapitel 4 4 beschrieben durchgef hrt 3 2 1 Kalibrierungsauswertung F r die Kamerakalibrierung wird das Programm Australis verwendet Als Ausgangsdaten sind die Bilder der Testfeldaufnahmen und die Pixelgr sse einzuf hren Um gute Aufnahmen der neonfarben codierten Targets zu erhalten die in Australis automatisch ausgewertet werden k nnen empfiehlt es sich das Kalibrationsfeld auf mattem schwarzen Untergrund zu installieren Die Pixelgr
33. 38 0 00232 z co 0 722216 0 001685 0 00187 ai beruhend Punktnum Rechts Y m 680563 657 680580 733 2512 680584 613 25128 4 680559 074 25126 680575 131 251265 00 0 006 6 680578 955 25126 005 0 006 0 0 003 007 0 009 0573 331 SE 0 006 680535 178 251239 908 _ 0 011 0 007 0 009 _ 0 019 0 019 _ 0 001 0 009_ 0 012 _ 0 075__ Tabelle 11 vorl ufige Ergebnisse der 7 Parametertransformation auf Matlab Verzeichnungskorrektur basierend Transformationsparameter Standardabweichung dpa Signifikant M 35 0870576469 0 0061868814 Rx R Rz Tx Ty Tz Tabelle 12 Parameter der ungewichteten 7 Parameter Transformation auf Matlab Verzeichnungskorrektur basierend 70 15 2 Datens tze 15 Anhang Folgende Tabelle 13 zeigt die in der Arbeit beschriebenen Datens tze mit ihren Photosynth Namen Spalte 1 unter denen sie auf der Webseite von Photosynth Verlinkung in PDF zu finden sind sowie je nach Wichtigkeit und Speicherkapazit t auch auf der Anlagen CD Eine kurze Beschreibung der Aufnahme und Kamera wird in Spalte 2 gegeben Spalte 3 nennt die Anzahl verwendeter Bilder und ihre Aufl sung und ob die Bilder verzeichnungskorrigiert wurden Spalte 3 gibt die Punktwolkengr sse von Photosynth PS und Photosynth Toolkit PST an inkl der verwendeten PMVS Parameter Spalte 4 nennt Stichw rter die die Art der Objekte
34. Eckendetektierung vom Programm durchgef hrt werden Die Eckendetektion erfolgt in jedem Bild direkt nach der manuellen Vorgabe Anschliessend wird wie in Abbildung 14 dargestellt mit Farbsymbolen die Eckendetektion zur Verifikation angezeigt Joe V 3 5a Info http toolsandmore de Central Produkte Software Datei Tools Joe Stand 27 01 2011 Camera Calibration Toolbox Info www vision caltech edu bouguetj calib_doc htmls example htmla Stand 27 01 2011 GIMP 2 Version 2 6 11 15 4 Bildvorverarbeitung Extracted corners S d a a 8 u a EN ER Re m m 9 ES E Bi WW we LSW un 2000 nie RR H mM m m m m u E E E WR WWW WWW WWW em Be D WW 3 E LI Li Ei LI LI Ki L E E SS m oe ee eee ee eee nun EEE EEE EEE EEE Te sl WWW RWWWWRWWR WWW Be E vom Eee ee ee a a a a ee a u u u EEE EEE uw Be E Ennn A LE EEE Eu mw une Aa win TDewievvv u Te www ien Te De Del De De D E E ee z u uw u ee we E E E S 22 8 2 2 2S eS Zei Ball Be e Bee S wee See E a z Lee RS TEN C 2 EEEE NN ag 2500 a E ee SW BR u Ei u u u u EEE uw RW 3 RR ER s E a wi a RI gt gt TT TT MM RW WW a a o SS WW wl g 500 1000 1 Abbildung 13 Schachbrettmuster f r Kalibrierung Abbildung 14 Automatische Eckendetektion in Matlab Ist in allen Kalibrationsbildern die Eckendetektion abgeschlossen kann die Kalibrierung berechnet w
35. GE d TEE 1 1 1 Aufgabenstellung ee 1 1 2 AUSE INE E 1 1 3 Zielider Arbeit EE 2 LA SAUTBSU GERALD ee er ee ee 2 2 Unmanned AerialVehicle Heiser eege ee een 4 2 1 PBC WAC EE 4 2 2 Wichtige SYSTEMKOMDONCNTCN ME 4 2 2 1 Global Navigation Satellite System Gs 5 2 2 2 Inertiales Navigationssystem INS ME 5 Zs Sensordatenfusion f r Georeferenzierung 5 3 Kamera EE 7 3 1 Kamera LUMI DIV CL EE 7 3 2 Kamerakalibrierung ee Ehe 7 32 1 KAllDHIErUNGSAUSWEILUNG anna em E u 7 3 2 2 KOUDFIEFLUNGSERGEDNISSE un un nee 8 3 3 VIII IRC 8 3 3 1 AUfIOSUNG EE 8 3 3 2 ee 10 3 3 3 ee 10 AS IBIAVORVEFALDCILUN TEE 12 4 1 Zerlegung der Videosequenz in Einzelbilder cccccecessccccesececeeececceeecceeeeeceeeeeeceeeeneeeeeas 12 4 2 Editieruing der Exit Daten 2 ee a ee ee near 13 4 3 Bildumbenenn ne 22 28 RR Lei EEE 15 4 4 Korrekt rder VErZelEnnUN Sen EE 15 5 Methoden zur automatischen Featurepunktbestimmung und Matching cccccccscssessecsees 18 5 1 SIFT Scale Invariant Feature Transtorim sccccccsssssecsscsssssccssssessccscosssscccssesssssecseessssseeses 18 5 2 Patch Based Multi View Stereo DM 21 5 3 20 rel EE 24 6 Bildverarbeitung Bundler Variante ccscsccccscsceccccscsceccccccscsccccccscncescccscscececcecscesessecnces 25 6 1 Vorgehensweise ue EE 25 6 2 BEA tte WEE 27 7 Bildverarbeitung Photosynth Toolkit Variante ccscscscsccscsccccccscsccccccscsceccccscscescscecsces 29
36. Inhaltsverzeichnis 7 1 Sieg 29 7 1 1 Voraussetzungen f r Dhotosvngth 29 71 2 Zugrundeliegende Methoden un A 30 7 1 3 ege 30 7 1 4 EE 32 7 2 Dateie ee ee ee he ea Reise 33 7 2 1 Dense Matching mit Photosynth Toolkit cccccccsseseccccesececceesececesecessesecsseeesecensueeeeeas 34 7 2 2 AUSGONGSOGLEN EE 34 7 2 3 TEE Ee 34 7 2 4 Ergebnisse von Photosynth Toolkit cccccsescccceseeccceesecccssecscceeseceeeusecsssesseseeuesecsssuseeenes 37 8 Modellierung und Analyse Geseis eege eege NENNEN ENEE SNE 41 8 1 AYA Eo DE 41 8 2 een ee ct bib neat sate ee ee Aere eeng 41 8 2 1 POISSON Surface Reconstruction PSR 2 2 2 ikea 42 8 2 2 Ball ee gel EE 43 8 3 Analyse der e te 44 8 3 1 ROUSCHEN E 45 8 3 2 E EE 46 8 3 3 GEOMIEIL IE EE 46 8 3 4 Beispiele von Rekonstruktionsfehlern ccccccseeeecccesececssccsccuesececeusecssseeeesseeesecessuseeenes 50 8 3 5 eet e EE 51 9 Mergleich zu Testen ee Ee 53 9 1 Transformation der PUNKCWOIKE cccccccessccecesseccceesececeeececceecceeeesecessesecesseneceeseneceeseeneeetas 53 9 2 GEOMELMIELESES ee Ee 55 10 Ergebnisse ae Ener ee EE 60 a MN CEET 63 12 Eeer EE EE ee 65 Kg EE EN EI TE ienemsilsinwed 66 14 Literaturverzeichhis a 67 KE E sn een 69 Een Me En EE 69 15 2 Datensatze an see ea nee ee ee 71 PATNI CD EE 74 Abbildungsverzeichnis Abbildungsverzeichnis Titelbild In Einzelbilder zerlegtes Video der HXE Befliegung Abbildung 1 Darstellung div
37. Prozentangabe der sogenannte Synthyfaktor gibt Auskunft dar ber wie viele der hochgeladenen Bilder zusammengesetzt werden konnten F r die Weitervearbeitung der Daten mit Photosynth Toolkit ist ein Synthyfaktor von 100 wichtig Sollte dieser nicht erreicht sein muss ein neues Photosynth erstellt werden bei dem die nicht der gemeinsamen Szene zugeordneten Bilder nicht mit hochgeladen werden Eine L schung von Bildern und anschliessende Neuberechnung in einem bereits erstellten Photosynth ist n mlich nicht durchf hrbar www bing com maps Stand 27 01 2011 32 7 Bildverarbeitung Photosynth Toolkit Variante Eine Online Navigation durch die gewonnene Punktwolke ist eingeschr nkt ausf hrbar Besser ist die M glichkeit die Punktwolke inklusive der Kamerapositionen mit dem Programm SynthExport im PLY Format herunterzuladen Die PLY Datei kann anschliessend im Freeware Programm MeshLab einem 3D CAD Programm ge ffnet werden Die Raumwirkung kann durch die Vermaschung der Punktwolke verst rkt werden Abbildung 36 zeigt die von Photosynth erstellte Punktwolke des HXE Geb udes von Nord West mitsamt den in gelb dargestellten Kamerapositionen Grundlage sind 264 Einzelbilder die aus einer Videobefliegung des Geb udes extrahiert wurden Die aus den Kamerapositionen ersichtliche Flugbahn stellt den gelungenen Versuch Fassaden und Nadiraufnahmen ber eine Zwischenbahn mit Schr gaufnahmen zu verbinden dar In Abbildung 37 ist die
38. Quali series Neue 58 Abbildung 68 Vergleich Photosynth Punktwolke auf Matlab Verzeichnungskorrektur basierend MIR LISersean ale nee ner 61 VIII Tabellenverzeichnis Tabellenverzeichnis Tabelle 1 Verzeichnungswerte dr des Videomodus in Abh ngigkeit vom Bildhauptpunktabst nd Tessa ae 8 Tabelle 2 Kalibrierungsergebnisse des Videomodus in Matlab mit ihren Unsicherheiten 16 Tabelle 3 einstellbare PMVS Parameter Und ihre Bedeutung 35 Tabelle 4 Datenstruktur der Kameradatei aus Photosvpthb 52 Tabelle 5 Kameraparameter von 5 Bildern im Videomodus aus Photosynthprojekt Einheiten UNDEKANNE ee ee Nee A 52 Tabelle 6 Ergebnis der 7 Parametertransformation anhand der 9 eingef hrten Passpunkte 54 Tabelle 7 Transformationsparameter der ungewichteten 7 Parameter Transformation 55 Tabelle8 Alswertung ere 69 Tabelle 9 GPS Informationen in Exif File Standard 2 2 Quelle www exif org Exif2 2 PDF 69 Tabelle 10 Kameraparameter aus Photosynthprojekten li auf Originalbildern re auf verzeichnungskorrigierten Bildern beruhend cccccssseccceeseccceeseccceeesececeeseccceeuecceseesecessusecessuneceeeeees 70 Tabelle 11 vorl ufige Ergebnisse der 7 Parametertransformation auf Matlab Verzeichn ngskorrekt r Basierend een 70 Tabelle 12 Parameter der ungewichteten 7 Parameter Transformation auf Matlab Verzeichnungsk rrektur basierend ea N 70
39. S 133819 PST 705396 L2 T0 7 C2W7 PST 2217666 L1 T0 7 C2 W7 Einzelgeb ude Privatgrundst ck Vegetationsstudie Lageplan 101 640x480 Einzelgeb ude Visualisierung Geometrie konvex Dachaufmass Visualisierung geradlinig Lageplan Gel ndeaufmass Geb udevolumen Dachaufmass Visualisierung Dokumentation Lageplan Gel ndeaufmass Geb udevolumen Dachaufmass Visualisierung Dokumentation Testdaten Bundler PST Vergleich Kiesgrube Gel ndeauf nahme Volumen Kiesgrube_Gabba _Winter_116_18 2 Krattingen Landenberg_alle_ Heli _ verwendet _ ohne5Seitenbilde e Landenberg Sarn en_undistort Hochaufgel ste Einzelbilder UAV Nadir u Schr gaufnahmen 62 unterschiedliche H hen Panasonic Lumix FX35 Hochaufgel ste Einzelbilder UAV 1 Nadir u Schr gaufnahmen 3648x2736 Panasonic Lumix DMC LX 3 15 Hochaufgel ste Einzelbilder UAV 5 Hochaufgel ste Einzelbilder UAV Schr gaufnahme Kreisbefliegung NIKON D2Xs Schr gaufnahme Kreisbefliegung 2848x4288 NIKON D2Xs PS_verzeic hnungskor rigiert Video Handaufnahme 7 Konfiguration Parallele Basis 640x480 Panasonic Lumix DMC LX 3 Tabelle 13 bersicht verwendeter Datens tze PS 82925 PST 413342 3648x2736 18 1 PS 113986 PST 476107 L2 T0 7 C2 W7 PS PST 1317825 LO TO 75 C2 W7 PS 74043 PST 299408 L2 t0 8 C2 W7 PST 955810 L1 T0 8 C2 W8 PS 498 PST 9188 L1 T0 7 C
40. Tabelle 13 bersicht verwendeter Datens tze 73 Abk rzungsverzeichnis Abk rzungsverzeichnis BPA CV DGPS DOG GNSS GPS HCD HD ICP IGP INS PMVS PS PSR PST SfM TLS UAV URL Ball Pivot Algorithmus Vermaschungsmethode Computer Vision Forschungsgebiet des maschinellen Sehens Differentielles GPS differentielle Basislinienmessung Difference of Gaussian Featurepunktdetektormethode Global Navigation Satellite System allg Satellitennavigationssystem Global Positioning System US Satellitennavigationssystem Harris Corner Detektor Featurepunktdetektormethode High Definition HD Aufnahmen sind hochaufgel ste Videoaufnahmen Iterative Closest Point Einpassungsverfahren f r Punktwolken Institut f r Geod sie und Photogrammetrie der ETH Z rich Inertial Navigation System Beschleunigungsmesssystem Patched Based Multi View Stereo Dense Matching Methode Photosynth Poisson Surface Reconstruction Vermaschungsmethode Photosynth Toolkit Struture from Motion CV Methode zur 3D Rekonstruktion aus Bildern Terrestrisches Laserscanning Unmanned Aerial Vehicle Drohne Uniform Resource Locator Internetadresse 1 Einleitung 1 Einleitung 3D Modelle stellen eine digitale Kopie realer Objekte dar Sie bieten viele M glichkeiten das Objekt virtuell zu erfassen Sei es aufgrund des interaktiven Zugangs z B durch Wahl der Betrachtungsperspektive oder durch das leichte Editieren um Variantenstudien zu betreiben Im heut
41. Washington in dessen Zuge das Programm Bundler f r die relative Orientierung von Bildsammlungen und die Darstellung dieser als 3D Punktwolken entwickelt wurde Microsofts Engagement im Bereich der Online Bildbearbeitung und betrachtung ist als Teil einer gross angelegten Kampagne zu sehen um Google dem Marktf hrer des Internets und Eigent mer von Onlinediensten wie Google Maps Picasa oder Streetview Konkurrenz zu machen Durch neue bzw verbesserte Produkte wie Bing Maps mit Erg nzung der Orthophotokarten durch Schr gaufnahmen oder der Verlinkung zu georeferenzierten Photosynths sollen Nutzer vermehrt Microsoft Seiten und Dienste nutzen Die gesteigerte Zahl von Klicks auf diese Webseiten f hrt zur Erh hung der Werbeeinnahmen von Microsoft da diese branchen blich an die Popularit t einer Webseite gekoppelt sind Photosynth sum GS eise e Abbildung 31 Photosynth Darstellung von Machu Pichu li in orientierten Bildern re als 3D Punktwolke 7 1 1 Voraussetzungen fur Photosynth Um nicht nur Photosynths was auch die Bezeichnung f r das Resultat einer erfolgreichen Zusammenstellung einer Bildgalerie ist des Webservice betrachten zu k nnen sondern eigene Quelle http photosynth net view aspx cid b777e0ee f9aa 4d19 941f 542b0b4b6f31 Stand 25 01 2011 29 7 Bildverarbeitung Photosynth Toolkit Variante Photosynths erstellen zu k nnen ist zun chst eine Anmeldung bei Photosynth n tig Im Anschluss ste
42. _0004_ 0026 Matlab HXE_MPA_816_8 47 div Schraeg HXE_MPA_Matla b Kermit_ori_ohne 46 Kermit_Bundler Kiesgrube_Somm er 00 90 kleinjp g 72 Videobefliegung UAV 2 Streifen vor zur ck Nadir u schr g Panasonic Lumix DMC LX 3 Videobefliegung UAV Nadir Fassadenschr g Panasonic Lumix DMC LX 3 Videobefliegung UAV Fassadenschr g parallele Basis Panasonic Lumix DMC LX 3 Videobefliegung UAV Fassadenschr g parallele Basis Panasonic Lumix DMC LX 3 Hochaufgel ste Einzelbilder UAV Nadir u Schragaufnahmen Panasonic Lumix DMC LX 3 Hochaufgel ste Einzelbilder UAV Nadir u Schragaufnahmen Panasonic Lumix DMC LX 3 Niedrig aufgel ste Einzelbilder 640x480 Px Objekt immer Zentrisch Canon Powershot A10 Hochaufgel ste Einzelbilder UAV Nadir u Schragaufnahmen Panasonic Lumix FX35 161 640x480 24 640x480 24 640x480 Matlab verzeichnu ngskorrigie rt 49 3648x2736 49 3648x2736 Matlab verzeichnu ngskorrigie rt 9 640x480 91 3648x2736 PS 21944 PST 153793 LO T0 7 C2 W7 PST 745635 LO T0 8 C1 W10 PS 30647 PST 225103 LO T0 7 C2 W7 PS 4828 PST 65213 LO 0 7 C2 W7 PS 3626 PST 369934 LO 0 7 C2 W7 PS PST 977336 L1 T0 7 C2 W7 PST 2320984 L1 T0 7 C2 W10 PS 69977 PST 2058203 L1 T0 7 C2 W7 PST 2320984 L1 T0 7 C2 W10 PS 657 PST 39540 Bundler 628 PMVS 36718 LO T0 7 C2 W7 P
43. _Matlab eeen 39 Abbildung 44 Datensatz Kiesgrube Sommer Photosynth Kiesgrube_ Sommer _00_90_kleinjpg 39 Abbildung 45 Datensatz HXD Geb ude aus Videobefliegung Photosynth Architekten Haeuschen 44A 544 sea 40 Abbildung 46 Poisson Surface Reconstruction vereinfacht dargestellt in 2D Kazhdan Bolitho amp HORDE ZOO een 42 Abbildung 47 CO C1 C2 Kr mmungen von Oberfl chen vereinfacht in 2D dargestellt 42 Abbildung 48 Vergleich von BPA li und PSR re an Datensatz Christoph2 Photosynth CHIFISCODM2 ODIS T95 ME 43 Abbildung 49 Der Ball Pivot Algorithmus in 2D Bernardini Mittleman Rushmeier Silva amp TaUBIn 1999 Seen east else 44 Abbildung 50 Alle 7 Bilder des Physik Datensatzes Photosynth Physik ccsccccceessseeeeceeeeeeeees 45 Abbildung 51 Datensatz Physik prozessiert mit unterschiedlichen Parametereinstellungen PROTOS e PHYSIK een 46 Abbildung 52 Draufsicht HXE Nordfassade Basis verzeichnungsbehaftete Bilder Photosynth HXE FOS 117000430026 EE 47 Abbildung 53 Draufsicht HXE Nordfassade Basis verzeichnungsbehaftete Bilder Photosynth HNE US AR OU Ee EE 47 Abbildung 54 HXE Nordfassade von oben rekonstruiert aus vorab entzerrten Bildern der Schr gaufnahme Photosynth Flug_0511_0004_0026 Matlabl cc cecccccceeessecceeeeeeeceeeseeeees 47 Abbildung 55 Darstellung des Mittelpunktes eines Kreises in orthogonaler a und Derspekti
44. abl uft und dabei unterschiedliche Programme und Ergebnisse vergleichen Ausserdem soll die Eignung des Videomodus der Panasonic Kamera in dieser Art der Bildgewinnung und auswertung bewertet werden Zu diesem Zweck wird Bildmaterial mit dem Oktokopter im Videomodus erfasst es werden aber auch bestehende UAV Aufnahmen und Handaufnahmen verwendet Eine Bewertung im Hinblick der eingesetzten Methoden und Komponenten sollte durch Vergleich mit bestehenden Modellen und Auswertemethoden m glich sein Aus der Analyse der Methode sollen Vorteile und Schw chen der Methoden und Systeme abgeleitet werden sowie Bereiche der weiteren Nutzung benannt werden 1 4 Aufbau der Arbeit Die Arbeit gliedert sich in 12 textliche Abschnitte deren Reihenfolge und Inhalt hier kurz wiedergegeben wird Der Einleitung schliesst sich das 2 Kapitel Unmanned Aerial Vehicle UAV an In diesem wird kurz auf die wichtigsten Systemkomponenten eines UAV f r die Nutzung in der UAV Photogrammetrie eingegangen Der darauf folgende 3 Abschnitt Kamera befasst sich mit der zu untersuchenden Kamera des Oktokopters dem Panasonic Modell Lumix DMC LX3 Die Kamerakalibrierung und Tests zur Aufl sung und Belichtung im Videomodus werden ebenso behandelt Der 4 Absatz Bildvorverarbeitung zeigt die notwendigen Schritte auf um aus den Kameraaufnahmen im Video oder Einzelbildmodus zu Bildmaterial f r die Prozessierung zu gelangen Er ist unterteilt in die vier Sc
45. aten f r Prozessierung verwendet werden Als N herungswerte k nnten diese in die B ndelblockausgleichung einfliessen und ihre relative Orientierung die aus den Daten ersichtlich ist einen Startwert f r eine schnellere L sung bilden Auch das Matching k nnte von Orientierungsdaten profitieren Zum einen k nnte durch Ausschluss von Bildpaaren aufgrund ihrer relativen Geometrie die keine gemeinsamen Punkte zul sst die Prozessierungszeit verk rzt werden Zur Steigerung der Zuverl ssigkeit des Matchings k nnte die relative Orientierung ebenso beitragen da die aus dem Initialisierungsbildpaar mittels Matching ermittelte relative Lage hieran berpr ft werden k nnte Andersherum k nnten die GPS Orientierungen als N herungswerte f r das Initialisierungsbildpaar und die weiteren Bilder eingef hrt werden Gensetter gt e ee x Datei Bilder Suchen amp Fitemn Kate Anucht Hilfe m C ENENTM_Chratnoh_OberiTest_GP5 as ren_500Wrenelz D Duib EC x ege Ge dx J A 2a v er J MA a Ee NH Ab Hawe S I Aen fa 47 0823 82 47 40020 6 505437 47 40631 8 503447 37 0334 Oregon 30 Date 05000136 Fe 136 Bader 135 mit Geodaten 1 ausgewshit 1 mut Geodaten 2 ge ndert BA Vorschau 0x N 4 P N Einpessen Autom sinpassen 100 Zenteerge Abbildung 12 Aufnahmeposition und Blickrichtung aus Exif Daten im Programm GeoSetter 14 4 Bildvorverarbeitung 4 3 Bildu
46. aufgrund von Verzeichnungen und Perspektive einfliessen zu lassen wahrscheinlich in iterativer Vorgehensweise Des weiteren w re es f r die Photogrammetrie sinnvoll Kameraparameter einer Kalibrierung eingeben zu k nnen Die Autokalibrierung ist n mlich vom Matching abh ngig was aufgrund von Matchingfehlern und uneinheitlichen Bildern zur Berechnung unterschiedlichen Parameter f r jedes Bild f hrt Mit geeigneten Programmierkenntnissen k nnten die Orientierungen von Photosynth und die Bildmessungen von Photosynth Toolkit ber Transformationsmatrizen jetzt schon als N herungs werte bzw Bildmessungen in einen eigenst ndig durchzurechnenden Prozess einfliessen Die B ndelblockausgleichung k nnte z B mit dem Programm Bingo durchgef hrt werden Doch auch ohne solche Verbesserungen kann festgestellt werden dass f r Visualisierungen die vorhandenen Methoden bereits ansehnliche Rekonstruktionen der Wirklichkeit zulassen Recherchen im Internet zeigen diesbez glich dass fachfremde Personen aus der Arch ologie oder der Biologie Ausgrabungsst tten oder ganze Flussl ufe aus der Hand oder von UAVs aus photographisch festhalten und daraus 3D Modelle erstellen Sie wundern sich hierbei mitunter ber den H henverlauf ihres Flusses gehen aber nicht den Schritt weiter die Ursachen zu ergr nden Dies ist zum einen eine Gefahr f r die klassische Vermessung die hier anscheinend nicht mehr ben tigt wird kann aber auch als Chance aufgefasst wer
47. bildung 56 Verdeutlichung des SIFT Drift Effekts bei einer in orthogonaler a und perspektivischer Ansicht b 3D Rekonstruktion Kien Worring amp Dorst 2009 Da Bundler f r die Berechnung der relativen Orientierung auf den SIFT Algorithmus aufbaut m ssten die relativen Kamerapositionen zwischen einem Bildpaar fehlerbehaftet sein Inwieweit die Fehler im 48 8 Modellierung und Analyse Rahmen der B ndelblockausgleichung bei der die Featurepunktmessungen bildpaar bergreifend eingef hrt werden kompensiert werden k nnen h ngt meines Erachtens von der Geometrie der Aufnahmepositionen ab Bei einer Umrundung eines Objektes beispielsweise auf einer Kreisbahn mit gleichen Zwischenwinkeln zwischen den Aufnahmen m sste sich der Einfluss der durch die SIFT Drift entstandenen Fehler zumindest in den berechneten Kamerapositionen aufheben F r das Matching von Featurepunkten im Rahmen von PMVS m sste sich der SIFT Drift Effekt ein zweites Mal auswirken Mit der Folge dass die erstellten Punkte weiter von den Kamerazentren entfernt liegen m ssten als tats chlich Ein Vergleich der aus Photosynth erstellten Punktwolken mit denen in Photosynth Toolkit erstellten Punktwolken ist leider nicht aussagekr ftig Der in Abbildung 57 dargestellte Vergleich zeigt lediglich dass die vermaschte Toolkit Punktwolke des Datensatzes HXE_Flug0511 0004 0026 mittig in der mit mehr Rauschen versehen Photosynth Punktwolke liegt Blau eingefarbt sind die vor d
48. ch des Bildes in der Mitte zum Bild rechts f llt auf das die D cher der T rme im rechten Bild deutlich besser rekonstruiert wurden Der Unterschied in den beiden Datens tzen liegt darin dass im rechten Datensatz verzeichnungskorrigierte Bilder verwendet wurden Hierf r wurde die Prozessierung mit Photosynth zwei Mal durchgef hrt Beim zweiten Mal wurden die von Photosynth Toolkit nach dem ersten Photosynth Durchlauf erstellten verzeichnungskorrigierten Bilder erneut in Photosynth eingef hrt Dieser nicht ganz ordentliche Schritt war die einzige M glichkeit verbesserte Bilder einzuf hren da die Kamera der Befliegung nicht f r eine Kalibrierung in Matlab vgl 4 4 zur einheitlichen Verzeichnungskorrektur verf gbar war Die Verbesserungen in der Rekonstruktionsdichte zeigen aber dass die gew hlte Vorgehensweise zum Erhalt sch nerer Visualisierungen von fremden Datens tzen geeignet ist D Ke mei Draufsicht orthogonale Seitenansicht Abbildung 42 Datensatz HXE_MPA_Matlab Photosynth HXE_MPA_Matlab Die beiden Bilder in Abbildung 42 stellen die mit Photosynth Toolkit verdichtete Rekonstruktion des HXE Geb udes der ETH dar Grundlage bilden insgesamt 49 hochaufgel ste Bilder die im Rahmen der Masterprojektarbeit des Autors entstanden Ober 2010 Das ganze Gebiet wird in 32 Nadirbildern abgedeckt die beiden Geb ude sind in 17 Fassadenschr gaufnahmen zus tzlich erfasst Die Bilder 38 7 Bildverarbeitung Photosynth T
49. cumentation 2010 si Detected features Wi Features satisfying epipolar Harris DoG consistency Harris DoG 1 u Ue LX Ae Ke DECH iF vo ge er wm we mm wm K SS BR zk Epipolar line Abbildung 25 Finden von Matchingkandidaten anhand Epipolarlinie 22 5 Methoden zur automatischen Featurepunktbestimmung und Matching Patch expansion Pickapatch J Patch expansion e Pick a patch E a JIN Look for neighborin Identify neighborin All occupied Do nothing arn empty pixels empty pixels Image 2 Patch expansion A A lq c q tangent plane of p Patch expansion p c q refine Reconstruct a patch intersects w ray Reconstruct a patch 19 visible in an empty pixel visible in an empty pixel Ah n q n p n q refine Wal Vir Image 2 Image 2 Abbildung 26 Vier Schritte des Dense Matching mit PMVS Furukawa PMVS Documentation 2010 In PMVS kann der Benutzer die Dichte angeben mit der Featurepunkte falls vorhanden ber das Bild verteilt detektiert werden sollen Im matching Modul kann die Dichte des Dense Matching eingestellt werden also innerhalb welcher Pixelregion oder Fenstergr sse mindestens ein Punkt mittels R ckprojektion aus den Bildebenen erstellt werden soll Des Weiteren kann die Zuverl ssigkeit dieser R ckprojektion und die Fenstergr sse des f r die Projektion erforderlichen Pixelvergleichs angegeben werden wie auch die mi
50. d Harris Edge Detector Nach erfolgreichem Durchlaufen der weiteren unter 5 2 beschriebenen PMVS Schritte Matching Expansion Filtering wird das Command Fenster geschlossen und die Prozessierung ist beendet 36 7 Bildverarbeitung Photosynth Toolkit Variante 7 2 4 Ergebnisse von Photosynth Toolkit Als Ergebnisse sind drei Dateien im vom Programm erstellten Ordner models zu finden Diese beinhalten in unterschiedlichen Formaten die erstellten 3D Punkte Sowohl in der PLY Datei als auch in der Patch Datei sind neben den Punktkoordinaten die Farbwerte und die Normalen der Punkte vorhanden In der PSET Datei fehlen die Farbwerte F r die weitere Bearbeitung mit einem 3D CAD Programm ist das PLY File zu verwenden und kann beispielsweise in MeshLab eingelesen werden Die Patch Datei enth lt neben den Koordinaten der Normalen und dem Farbwert eines Punktes auch noch Angaben in welchen Bildern der Punkt enthalten ist Diese Informationen k nnten z B f r eine eigenst ndige R ckprojektion zur Validierung und Verbesserung der Punktwolke verwendet werden Auch die Sichtbarkeiten unter den Bildern k nnen hieraus ausgewertet werden Die unter 7 2 3 angedeuteten Verbesserungen aufgrund von Sichtbarkeitsangaben in einer neuen Toolkit Version werden aus der Patch Datei erstellt werden Beim Einlesen der original PLY Datei ins das Programm Geomagic Studio 12 kann der Farbwert nicht gelesen werden Wird die Originaldatei aber zun chst im Program
51. d einer Transformation und geometrischer Tests Kapitel 10 Ergebnisse fasst die Analysen und im Zuge der Arbeit gewonnenen Einsichten zu einer Gesamtbewertung zusammen In Abschnitt 11 Fazit wird ein Res mee ber die Arbeit und die verwendeten Methoden gezogen wie auch der Blick auf alternative Entwicklungen und Verbesserungspotential gelenkt Im letzten textlichen Kapitel 12 Ausblick wird ein Blick in die n here und weitere Zukunft aufgrund der aktuellen Entwicklungen gewagt 2 Unmanned Aerial Vehicle UAV 2 Unmanned Aerial Vehicle UAV UAV sind kleine unbemannte Flugmaschinen die mittels Fernbedienung vom Benutzer gesteuert werden oder auf vorprogrammierten Flugrouten selbstst ndig durch die Luft fliegen Heider 2006 2 1 Allgemein Es gibt eine Vielzahl von UAVs unterschiedlichster Bauart Gr sse Flugmodi und Kosten Ihre Einsatzbereiche in milit rischer polizeilicher und ziviler Nutzung sind weitgestreut von Aufkl rung ber Transport bis zu aktivem Kampfeinsatz Dienen sie wie in dieser Arbeit als Aufnahmeplattform f r die Luftbildbefliegung so ist der Begriff der UAV Photogrammetrie eingef hrt Eisenbeiss 2009 Der folgende Abschnitt konzentriert sich auf das verwendete UAV das Modell Oktokopter Falcon 8 der Firma Ascending Technologies bzw dessen Bauteile die f r eine Verbesserung der automatischen Bildverarbeitung von Bedeutung sein k nnen Abbildung 1 zeigt diverse low cost UAVs mittig is
52. den Es beweist dass Fachwissen erforderlich ist um Projekte auch zu geometrisch richtigen Rekonstruktionen zu f hren Der bestehende Beratungsbedarf ist offensichtlich Vergleichende Studien der Computer Vision Techniken zeigen hohe Genauigkeiten und grosse Abdeckung bei Rekonstruktionen aus Bildern Die in den Studien prozessierten Datens tze basieren allerdings auf genau bestimmten externen und internen Kameraparameter Die Gr nde f r die M ngel der im Rahmen dieser Masterarbeit erstellten Modelle m ssen also zu grossem Teil auf Seite der Orientierung und Kalibrierung der Bilder in Photosynth liegen F r das Kalibrierungsproblem wurde eine erste Verbesserungsm glichkeit durch die Verzeichnungskorrektur mit Matlab gefunden Das Verbesserungspotential auf der Seite der Orientierung der Bilder wurde bereits oben er rtert Ob Photosynth in diese Richtung weiterentwickelt wird ist jedoch zu bezweifeln F r zuverl ssige photogrammetrische Auswertungen sollte deshalb auf Produkte zur ckgegriffen werden die einen hybriden Ansatz verfolgen Zum einen soll der Benutzer in den Prozess eingreifen k nnen um z B Bilder manuell vorzuorientieren oder Kameraparameter einer Kalibrierung einf hren 18 Evaluation zu MVS Reproduktion Info http vision middlebury edu mview Stand 27 01 2011 63 11 Fazit zu k nnen Zum anderen sollen Verfahren der automatischen Bildmessung und des Dense Matching zu genauen und dichten Modellen f hren Di
53. e Punktnormalen der m glichen drei Eckpunkte mit der Normale der sie verbindenden Fl che Ist der Unterschied gegen ber der Vorgabe zu gross wird die Fl che nicht gebildet Ein anderer Filter berpr ft den Winkel zwischen zwei benachbarten Dreiecken bersteigt dieser die Vorgabe von z B 90 Grad so wird das neue Dreieck nicht vom der bestehenden Oberfl che aus gebildet Bernardini Mittleman Rushmeier Silva amp Taubin 1999 Im mittleren Bild der Abbildung 48 ist ein Modell basierend auf einer BPA Vermaschung dargestellt Das in der urspr nglichen Punktwolke enthaltene Rauschen f hrt zur Bildung einer ungleichm ssigen schroffen Oberfl che bestehend aus Dreiecken Diese Dreiecke bilden keine zusammenh ngende Form sondern weisen L cher auf Die L cher finden sich in Bereichen wo grosse Unterschiede in den Normalen der Punkte vorhanden sind z B im kleinteilig strukturierten Haarbereich Kanten bzw Wechsel in der Oberfl chenneigung k nnen durch BPA gut nachgebildet werden 8 3 Analyse der Modelle Bei der Betrachtung der dichtgematchten Punktwolken und vermaschten Modelle k nnen Fehler und Schw chen einfach erkannt werden wie teilweise schon bei der Darstellung der Photosynth Toolkit Ergebnisse in Abschnitt 7 2 4 aufgezeigt Zu ber cksichtigen ist bei der Analyse immer das eingef hrte Bildmaterial In erster Linie ist hierbei immer die Textur die in den Bildern bzw auf den Objekten vorhanden ist entscheidend Des Wei
54. e konvexe Form der Fassade ist in der Folge nicht mehr vorhanden Die Punktdichte ist um ein Vielfaches erh ht da aufgrund einer besseren Orientierung der Bilder ein erfolgreicheres Dense Matching durchgef hrt wird Von ca 65 000 Punkten ist die Zahl der rekonstruierten Punkte auf fast 370 000 angestiegen Abbildung 54 HXE Nordfassade von oben rekonstruiert aus vorab entzerrten Bildern der Schr gaufnahme Photosynth Flug_0511_0004_0026_Matlab 47 8 Modellierung und Analyse Ein Vergleich der von Photosynth berechneten Kameraparameter des auf den verzeichnungsbehafteten Originalbildern beruhenden Projekts mit dem Projekt in das die mit Matlab verzeichnungskorrigierten Bilder eingef hrt wurden ist im Anhang in Tabelle 10 aufgef hrt Hier zeigt sich dass die Werte der Brennweite und der Verzeichnung innerhalb eines Projekts unterschiedlich sind obwohl alle Bilder mit den gleichen Einstellungen gemacht wurden Des weiteren ist ersichtlich dass die Standardabweichung der von Photosynth berechneten Fokussierungen zwar hnlich ist die Standardabweichungen der Verzeichnungsparameter k1 und k2 beim verzeichnungskorrigierten Projekt aber um den Faktor 3 kleiner sind Die Parameter der verzeichnungskorrigierten Bilder erfahren also in Photosynth zwar immer noch eine Ver nderung diese ist aber minimiert Eine weitere Ursache fur falsche Geometrien k nnte in der Vorgehensweise des Programms Photosynth beim Matching mittels SIFT zu finden
55. eim Fehlen der Originalbilder die Vorschaubilder thumbnails von der Photosynthseite herunterzuladen und zu verwenden F r einen ersten schnellen Ablauf der Prozessierung stellt die Verwendung der Minibilder immer eine gute Alternative dar Bei Verwendung der im Videomodus erstellten Einzelbilder ist die Aufl sung der Vorschaubilder mit 512 x 384 Pixeln nur unwesentlich kleiner als die 640 x 480 Pixel grossen Videobilder Wichtig ist dass die Bilder in Photosynth vollst ndig zu einer Szene zusammengesetzt werden konnten ihr Synthyfaktor also 100 ist 7 2 3 Ablauf In Schritt 1 Download Synth fordert Photosynth Toolkit die Eingabe der URL des zu bearbeitenden Photosynths Hierauf werden die in Photosynth ermittelten Kameradaten und die dort erstellte Featurepunktwolke einmal mit und einmal ohne die Kamerapositionen in den Ordner bin gespeichert Werden auch die Voransichtsbilder vom Nutzer gew nscht so werden diese in den 34 7 Bildverarbeitung Photosynth Toolkit Variante thumbs Ordner heruntergeladen Anschliessend ist der vom Programm geforderte 2 Schritt Put pictures in distort folder zu erledigen Hierf r ist der erstellte distort Ordner mit den Voransichtsbildern oder den Originalbildern zu versehen Distort steht in diesem Fall als Synonym f r Distortion was Verzeichnung bedeutet Es soll Aussagen das die hier befindlichen Bilder eigentlich noch nicht verzeichnungskorrigiert sind Eine Verzeichnungskorrektur erf
56. ellierung und Analyse 8 3 4 Beispiele von Rekonstruktionsfehlern Aufgrund der Erstellung von vielen unterschiedlichen Modellen aus unterschiedlichen Datens tzen kann eine grosse Anzahl von Rekonstruktionen betrachtet werden Hierbei sind immer wieder hnliche Fehler zu sehen die im Folgenden kurz an Beispielbildern dargestellt werden Abbildung 58 Fehlerhafte Geometrie Photosynth Abbildung 59 Fehlerhafte Punkte entlang von Schattenkanten Architekten Haeuschen Handaufnahme Photosynth Copan Abbildung 60 Fehlerhafte Patches bei repetitiven Abbildung 61 Fehlerhafte Punkte in Lage und Farbe an Kanten Mustern Photosynth HXE_LMPA_816_847_div_Schraeg und d nnen Objekten Photosynth Krattingen Abbildung 58 zeigt eine fehlerhafte Geometrie am Beispiel des von oben betrachteten HXD Datensatzes Zu sehen ist die Draufsicht auf die Aussenw nde des HXD Geb udes die in Wirklichkeit rechtwinkelig zueinander stehen Eine Ursache f r die falsche Geometrie ist sicherlich in der Verwendung verzeichneter Bilder und in einer schlechten Aufnahmegeometrie ohne geometrieverst rkende bergreifende Bilder und ohne Schleifenschluss zu finden Der Schleifenschluss konnte nicht vollzogen werden da Vegetation in einem Bereich des Geb udes vorhanden ist Die Bilder dieses Teilbereichs konnten nicht gematcht werden was die L cke in der Rekonstruktion erkl rt Abbildung 59 zeigt eine Rekonstruktion einer antiken St tte in Copan Der
57. els eines virtuellen Balls der ber die Punktwolke rollt Oberfl chen zu generieren Folgende rudiment re Erkl rungen zu den beiden Algorithmen sind den jeweiligen Publikationen der Entwickler entnommen Detaillierte Informationen k nnen den angegebenen Quellen entnommen werden 41 8 Modellierung und Analyse 8 2 1 Poisson Surface Reconstruction PSR Der Algorithmus der Poisson Surface Reconstruction sieht die Vermaschung von orientierten Punkten als ein r umliches Randwertproblem an Der Grundgedanke ist dass es eine Beziehung zwischen den Punktnormalen und den Fl chen denen die Punkte entstammen gibt Den Kern bildet eine 3D Indikator Funktion x die definiert ist als 1 f r Positionen innerhalb des Modells und als O f r Positionen ausserhalb des Modells ber die Gradienten der Funktion die an der Modelloberfl che den Punktnormalen gleichen wird eine Verbindung zwischen der Funktion die das Modell beschreibt und den Punkten die die Realit t darstellen gekn pft Die L sung reduziert sich somit darauf die Funktion y zu finden deren Divergenz des Gradientenfeldes Ay bestm glich die Divergenz des Vektorfeldes der Punktnormalen V gt V approximiert In einer Formel ausgedr ckt lautet dies wie folgt Ar e V V H H In Abbildung 46 ist eine auf 2D reduzierte Illustration der Poisson Surface Reconstruction zu sehen Sie verdeutlicht den Zusammenhang von Indikatorfunktion Xm und dessen Gradienten Vyy zum Vektorfeld
58. em Geb ude befindlichen Punkte gelb rot sind die im Geb ude liegenden Punkte Ob mehr Punkte der original Photosynth Punktwolke oberhalb des Daches liegen und somit die in Abbildung 56 gemachte Aussage stutzen kann nicht bestatigt werden Abbildung 57 Vergleich zwischen vermaschter Photosynth Toolkit Wolke grau und original Photosynth Punktwolke farbig Der Hauptgrund fur Ungenauigkeiten in der Geometrie und Rekonstruktionsfehler wie Rauschen oder fehlerhafte Einfarbung der Punkte durfte mit grosster Sicherheit an verzeichneten Bildern und schlechten Aufnahmegeometrien liegen Diese k nnen zu Fehlern beim sukzessiven Aneinanderh ngen der Bilder im Prozess des Matching f hren Ist kein Schleifenschluss vorhanden so k nnen sie nicht kompensiert werden Eine weitere Fehlerursache k nnte im automatischen Matching zu finden sein Die gematchten Punkte bilden als Bildmessungen die Basis f r die B ndelblockausgleichung in Photosynth Sie besitzen wegen m glicher fehlerhafter Matches nicht die Zuverl ssigkeit eines Operators Automatische Matchingfehler m ssten sich in der G te der B ndelblockausgleichung niederschlagen Es konnten hierf r weder eigene Untersuchungen angestellt werden noch Genauigkeitsaussagen in den Photosynthdaten ausgemacht werden Ein angedachter Vergleich der von Photosynth berechneten Kameraparameter mit den Parametern der eigenen im Programm Australis durchgef hrten Kalibrierung war nicht m glich 49 8 Mod
59. en Das Programm Geosetter kann hierdurch bereits eine absolute Orientierung der Bilder darstellen Die Genauigkeit der GPS Messung und der Nordbestimmung ist f r die Aussagekraft jedoch zu ber cksichtigen Testaufnahmen wie in Abbildung 12 dargestellt aufgenommen mit dem Garmin Oregon 550 einem handlichen GPS Navigationsger t mit eingebauter Kamera und elektronischem Kompass zeigen wie die Lageinformationen zur Bilddarstellung verwendet werden Die Aufnahmepunkte f r die Erfassung des Verkehrskreisels wurden in der rtlichkeit alle gleichm ssig verteilt auf den usseren Fahrbahnmarkierungen gew hlt Die Kamera war jeweils so ausgerichtet dass sich das Zentrum des Kreisels immer in der Bildmitte befand Die Abweichung der registrierten GPS Positionen liegt im Bereich der vom Ger tehersteller vorgegebenen Positionsgenauigkeit von 3 5 m f r DGPS Die der Richtungen liegen im Bereich von 10 Grad was die Genauigkeitsangabe von 2 Grad bersteigt Garmin 2009 Der Grund f r die ungenauere Richtungsmessung ist wahrscheinlich im nicht ausreichend langen Ruhighalten vor dem Ausl sen der Bildaufnahme begr ndet Der Kompass ben tigt einige Zeit um die Nordrichtung nach Bewegung des Ger tes wieder zu bestimmen Desweitern ist die h chste Kompassgenauigkeit nur in der horizontalen Lage des Empf ngers gegeben w hrend der Aufnahme befand er sich jedoch in einer vertikalen Position Trotz der Ungenauigkeiten k nnten die Orientierungsd
60. en Exif Daten bei vorhandener Eintragung der Kamera in der Datei extract_focal pl richtig auszulesen bzw umzurechnen Anzumerken ist dass ohne die Erg nzung der extract_focal pl Datei Bundler keine ordentlichen Ergebnisse liefert Das Programm sucht nach den unter 5 3 beschriebenen Methoden Featurepunkte in s mtlichen Bildern und versucht diese zu matchen Die Bearbeitung dauert hierbei je nach Anzahl der Bilder und Aufl sung unterschiedlich lang Die maximale Bildgr sse sollte 1800 x 1800 Pixel nicht berschreiten wegen einer Beschr nkung im verwendeten SIFT Detektor Knabl 2009 S 24 Die erstellten Dateien werden in den neu erstellten Ordner Bundle geschrieben Hierbei stellen die PLY Files die Punktwolken der gematchten Featurepunkte dar Die OUT Datei ist das Protokoll von Bundler und zeigt unter anderem die w hrend der Bearbeitung durchgef hrten Zwischenschritte des Matchings der Bundelblockausgleichung und am Dateianfang die berechneten Brennweiten samt Verzeichnungsparametern Die Kameraparameter werden in einer Autokalibration w hrend der B ndelblockausgleichung berechnet Ihre Formatierung entspricht der von Photosynth wie in Tabelle 4 dargestellt Im Ordner Visualize sind die auf Grundlage der Kameraparameter um die radiale Verzeichnung korrigierten Bilder enthalten Im Aussenraum der Bilder sind wie in Abbildung 27 dargestellt z B Pixelverschiebungen bei den hochaufgel sten Bildern 3648 x 2736 Pixel von bis zu 10 Pi
61. en Kameraverzeichnung nicht korrigiert wird weisen viele Fehler wie unter den vorhergehenden Unterkapiteln von 8 3 beschrieben auf Die konvexe Form langgestreckter Objekte wie an der HXE Fassade in Abbildung 52 zu sehen k nnte ihre Ursache in nicht oder nur unzureichend korrigierten Verzeichnungen haben al Abbildung 62 Schnitte von Photosynthmodellen basierend auf unkorrigierten Originalbildern ol bzw verzeichnungs korrigierten Bilder u Um zu sehen ob die rekonstruierten Punktwolken auf Grundlage von verzeichnungskorrigierten Bildern besser sind wird nach langer Suche eines geeigneten Programms eine Verzeichnungskorrektur mit Matlab durchgef hrt Sie ist unter Kapitel 4 4 beschrieben Die anschliessend auf Grundlage korrigierter Bilder mit Photosynth und Photosynth Toolkit prozessierten Daten f hren zu deutlich verbesserten Modellen Zum einen sind die Punktwolken die mit Photosynth Toolkit erstellt werden viel dichter Zum anderen weisen sie auch ein geringeres Rauschen auf Fehlerhafte Patches aufgrund sich wiederholender Strukturen sind stark minimiert Die 51 8 Modellierung und Analyse konvexe Form die bisher in langgestreckten Objekten zu sehen war ist verschwunden Abbildung 62 zeigt Schnitte durch zwei Modelle des Datensatzes Duebendorf oben Duebendorf_ 058 091 unten Duebendorf_ 58 91 Matlab Im oberen Modell das mit Bildern ohne Matlab Verzeichnungs korrektur erstellt wurde ist die konvexe Form
62. en sind die Registrierung verschiedener Punktwolken nach dem ICP Iterative Closest Point Algorithmus und die Anwendung diverser Filterverfahren zur Rauschreduktion MeshLab l uft auf allen g ngigen Betriebssystemen und unterst tzt die Formate PLY STL OFF OBJ 3DS VRML 2 0 U3D X3D und COLLADA Es wird in vielen Gebieten der Forschung und Wissenschaft angewendet wie z B im Bereich des Denkmalschutzes und der Arch ologie MeshLab Bei der Betrachtung und Bearbeitung der aus Photosynth Toolkit gewonnenen 3D Punktwolken geht es vor allem darum zu sehen wie die Qualit t der Punktwolke ist Hierbei ist zu achten auf ein vorhandenes Rauschen die Geometrie der Objekte und die Verteilung der Punkte Es soll aber auch versucht werden aus den gewonnenen Daten vorf hrbare Modelle zu generieren bzw den Nutzen und die G te dieser zu beurteilen F r die Erstellung von Modellen sind geschlossene texturierte Oberfl chen erstrebenswert da hierdurch die reale Szene am vielf ltigsten wiedergegeben werden kann Die Punktwolken k nnen durch Triangulation basierend auf unterschiedlichen Methoden vermascht werden um Oberfl chen zu erhalten 8 2 Vermaschungsalgorithmen Die beiden eingesetzten Arten von Vermaschungsalgorithmen sind die Poisson Surface Reconstruction PSR und der Ball Pivot Algorithmus PBA PSR betrachtet die Oberfl chenrekonstruktion als Randwertproblem dessen L sung eine bestm gliche Oberfl che bringt BPA versucht mitt
63. eobilder mit ihrer geringen Aufl sung wurde das Dense Matching auch mit 700 Bildern in Level O erfolgreich durchgef hrt Sind die Einstellungen in Schritt 3 get tigt kann die Prozessierung durch Ausf hren der Batchdatei launch pmvs gestartet werden Das Programm verwendet f r die Prozessierung die verzeichnugskorrigierten Bilder die sich im Ordner visualize befinden Es sucht zun chst in allen Bildern Featurepunkte Anschliessend beginnt es die Featurepunkte unter den Bildern zu matchen Der Aufwand steigt also exponentiell zur Anzahl der beteiligten Bilder ihrer Gr sse und der gew nschten Rekonstruktionsdichte W ren Sichtbarkeitsangaben verf gbar k nnte das Matching auf sinnvolle Bildkombinationen begrenzt werden In einer neueren Version von Photosynth Toolkit wird es m glich sein Sichtbarkeitsangaben aus einer schnellen wenig dichten Prozessierung in hohen Levels zu erhalten um diese dann bei dichten Prozessierungen in tiefen Levels ressourcenschonend verwenden zu k nnen Im Command Fenster kann der aktuelle Programmablauf betrachtet werden Es ist von Vorteil die Batchdatei aus dem Command Fenster heraus zu starten da im Falle eines Fehlers dieser im offenbleibenden Commandfenster protokolliert wird Abbildung 39 zeigt das Commandfenster zu Beginn der Prozessierung Oben sind die gew hlten Parameter zu sehen gefolgt von der Anzeige der eingelesenen Bilder Jeder Stern steht f r ein eingelesenes Bild Die folgenden Textzeilen ze
64. er die durch die kurzen Basisl ngen entstehen k nnen zu sehen In den Dachfl chen ist ein grosses Rauschen der Punkte in der H henkomponente vorhanden was auf die schlechten Schnittgeometrien als Folge der kurzen Basen zur ckzuf hren sein k nnte 40 8 Modellierung und Analyse 8 Modellierung und Analyse Die Modellierung erfolgt mit dem Freeware Programm MeshLab und dem propriet ren Programm Geomagic Studio 12 Die aus Photosynth Toolkit erstellten PLY Files werden in MeshLab eingelesen und dort betrachtet bzw da Geomagic die original Toolkit PLY Dateien nicht farblich darstellt in MeshLab abgespeichert und in Geomagic bearbeitet und analysiert 8 1 MeshLab MeshLab ist ein frei erh ltliches 3D Triangulations Programm das seit 2005 als Open Source System entwickelt wird Es ist f r die Prozessierung von grossen 3D Punktwolken gedacht wie sie beim 3D Scanning entstehen Eine grosse Anzahl von Tools erm glicht das Editieren Bereinigen Analysieren Vermaschen und Konvertieren der Punkte und Dreiecke Die automatischen Bereinigungsfilter bieten das Entfernen von doppelten unreferrenzierten Knoten und nicht mannigfaltigen Kanten und Dreiecken an Vermaschungstools erm glichen qualitativ hochstehende Vereinfachungen basierend auf Quadratsummenfehlerberechnungen Zwei Algorithmen zur Vermaschung der Punktwolken sind enthalten Einer basiert auf der Ball Pivot Technik der andere auf dem Poisson Surface Ansatz Weitere M glichkeit
65. erden Zur Verbesserung der Ergebnisse sollte nach der ersten Kalibrierung eine Neuberechnung der Eckendetektion stattfinden und ein weiteres Mal die Kalibrierung gestartet werden Anschliessend kann die ussere Orientierung wie in Abbildung 16 hier bezogen auf das Kamerazentrum dargestellt ausgegeben werden bzw k nnen die Kalibrationsergebnisse ausgegeben und verwendet werden Die Kalibrierungsergebnisse f r den Videomodus sind in Tabelle 2 und Abbildung 15 dargestellt Anzumerken ist dass sich die Kalibrierung auf das Brown Conrady Modell Brown 1966 bezieht und die L ngenangaben in Pixeln gemacht werden Der Nullpunkt des Systems befindet sich anders als in der Photogrammetrie blich nicht im Bildhauptpunkt sondern im Eck des Sensors Die Lage des Nullpunktes ist in der Abbildung 15 ersichtlich die die Gesamtverzeichnung bestehend aus radialer und tangentialer Verzeichnung im Videomodus darstellt Die konzentrischen Kreise zeigen die Linien gleicher Verzeichnung und beginnen innen mit einer Verzeichnungskorrektur von zwei Pixeln nach Aussen hin um jeweils zwei Pixel zunehmend fc 457 66180 457 79589 0 12117 0 12124 cc 319 03535 242 03673 0 15528 0 13110 Tabelle 2 Kalibrierungsergebnisse des Videomodus in Matlab mit ihren Unsicherheiten Complete Distortion Model 9 Pixel error 0 1285 0 1608 e Focal Length 457 662 457 796 0 1212 0 1212 Principal Point 319 035 242 037 0 1553
66. erechnet werden F r den Test der in Abbildung 8 und Abbildung 9 dargestellt ist wurde ein regelbarer Elektromotor mit einer schwarzen Scheibe best ckt auf die weisse Markierungen aufgetragen waren Da die Drehgeschwindigkeit nicht direkt in Umdrehungen pro Zeiteinheit angegeben werden konnte wurde angenommen dass die Framerate mit 30 Bildern pro Sekunde konstant sei Durch Ausz hlen der Umdrehungen pro Zeiteinheit anhand der aufgenommenen Videosequenzen konnte somit die Drehgeschwindigkeit ermittelt werden Mit Hilfe eines Bildschirmmesstools des Programms PicPick konnte die L nge des Schweifs der hellen Punkte als Zwischenwinkel gemessen und ber die bekannte Entfernung der Markierung vom Drehzentrum die Bahngeschwindigkeit berechnet werden Abbildung 8 und Abbildung 9 stellen zwei Aufnahmen der Scheibe dar Erstere zeigt die Scheibe bei Stillstand Zweitere bei einer Umdrehungsgeschwindigkeit von 6 1 Umdrehungen pro Sekunde Hier ist der Schweif der Bewegungsunsch rfe der weissen Markierung gut zu erkennen und seine L nge als Zwischenwinkel bestimmbar z PicPick Programm f r Screenshots und Bildbearbeitung Info www picpick org Stand 27 01 2011 10 3 Kamera 8H VirtualDub 1 9 10 Dreh100_everySelect avs SH VirtualDub 1 9 10 Dreh3000_everySelect avs File Edit d j pt Too Helj fit e G j t Is H 50 200 6 50 150 djalal Knji All el Frame 88 0 00 02 933 K Jalal niala lall ab Ge A Frome 455 0 00 15 167
67. erser ziviler UAV Eisenbeiss 2009 um den mittig platzierten Oktokopter Pricdli 2010 EE 4 ABDIAUNE2 LUMICDME EX 3 EE 7 Abbildung 3 Hochaufgel stes Testbild 3648 x 2736 bi 9 Abbildung 4 Testbild im Videomodus 640 x 480 Px 9 Abbildung 5 Teilausschnitt von Abbildung 3 ccccsscsesconsvecconevscecnssscnecsssestousvectonssscneusssensoussessonssss 9 Abbildung 6 Teilausschnitt von Abbildung A 9 Abbildung 7 Kompresionsartefakte li JPG komprimiertes Videobild 640x480 Px re Orieinalbild 3648X2730 PX nun ee ss een 9 Abbildung 8 Drehscheibe im Grillstand 11 Abbildung 9 Drehscheibe mit 6 1 U s und gemessener Bewegungsunsch rfe ssssesceeeeeeeeeeeeeees 11 Abbildung 10 Skriptdatei in Editor zur Auswahl jedes 25 Videoframes einer MOV Videodatei 12 Abbildung 11 Programmansicht ExifToolGUl essssessseseseessrrrsssrrresrresssreresrrrsssreresrrressrereserersrrereserresene 13 Abbildung 12 Aufnahmeposition und Blickrichtung aus Exif Daten im Programm GeoSetter 14 Abbildung 13 Schachbrettmuster f r Kalibrierung ccccececcccesecccceesececeesececeeeeceeeenseeecseneceseegecesseees 16 Abbildung 14 Automatische Eckendetektion in Matlab 16 Abbildung 15 Darstellung der Gesamtverzeichnung im Videomodus ssssssssssssssrsssrrresrrssrresrrrssrreereess 16 Abbildung 16 Aufnahmekonfiguration der Kalibrierung bezogen auf das Kamerazentrum 16 Abbildung 17 Gegen berste
68. ert werden k nnen wer D Aktuelle Deche 3065 008 Abh D ie RAD Aungem hlle Dremche 0 j ER g r Omecke 0 Anan Y TTP Spe d f 00m 2 ie f ex 213923 Meet ST weet 7 8 H Mere KSYS eier LO Horizontalschnitt RO Querschnitt Abbildung 65 3 Schnitte durch HXE Modelle Basis hochaufgel ste Einzelbilder violett bzw Videobefliegung schwarz a miecke 305609 Ge Deeeche 0 Sweaaksys LU L ngsschnitt Ein direkter optischer Vergleich der beiden Modelle wird in Abbildung 66 gezeigt und erm glicht es die Punktwolken bzw ihre vermaschten Modelle genauer zu betrachten Er ist nur f r das Geb ude und das angrenzende Gel nde interessant da der Videoflug nur darauf ausgelegt war Im Dachbereich der in beiden Datens tzen gut erfasst ist ist der Vergleich wahrscheinlich am besten durchzuf hren Beide Dachfl chen sind in grossen Bereichen sehr einheitlich was vermuten l sst dass die Bereiche mittels Dense Matching zwischen wenigen Featurepunkten entstanden sind wie in einer Art Interpolation Im linken Modell sind aber Spr nge in der Dachfl che vorhanden w hrend das rechte ziemlich glatt und somit fehlerfrei wirkt Tats chlich ist das Dachfl chestruktur allerdings einem Wellblechdach gleichend was das Dense Matching allerdings nicht zu rekonstruieren im Stande ist Die von ihm erstellten Punkte bilden bis auf an den angesprochenen Spr ngen eine Ebene Die Westfassade zeigt sich im rechten Bild deta
69. erten Punktwolke aber auch die Anzahl fehlerhafter Patches Das Programmpaket Photosynth Toolkit beinhaltet die Software PMVS und f hrt die in den Photosynths ermittelten Kamerapositionen als Werte f r die ben tigten Bildorientierungen ein 23 5 Methoden zur automatischen Featurepunktbestimmung und Matching 5 3 Bundler Das Programm Bundler ist im Rahmen des Forschungsprojekts Photo Tourism von Noah Snavely an der Universit t von Washington entwickelt worden Es ist ein auf der Methode Multi View Stereo MVS bestehendes System das aus einer Bildsammlung einer Szene oder eines Objektes eine 3D Rekonstruktion der Kameraparameter und Objektgeometrie erstellt Es bedient sich hierbei teilweise bestehender Methoden und Programme und geht Schritt f r Schritt inkrementell Bilder hinzuf gend vor Wichtige Komponenten sind unter anderen die Featurepunktdetektion auf Grundlage des SIFT Detektors vgl 5 1 die Nearest Neighbor Methode zum Verbessern des Matchings und das RANSAC Verfahrens Random Sample Consensus als stochastisches Verfahren zur Bestimmung von Ausreissern Grundlegender Prozess f r die Optimierung der 3D Punkte ist ein leicht modifizierter Algorithmus einer B ndelblockausgleichung namens SBA sparse bundle adjustment Dieser Algorithmus nutzt die Tatsache aus dass aufgrund der h ufig unabh ngigen Parametergruppen die Jacobi Matrix oft nur sp rlich besetzt ist Dadurch dass die unbesetzten Matrizenbereiche bei der B nde
70. es sollte auf m glichst schnelle einfache Art und Weise erfolgen Die Zuverl ssigkeit der Auswertung sollte nachvollziehbar und Aussagen zur Genauigkeit m glich sein Die Software PhotoModeler Scanner scheint nach Recherchen ein Produkt zu sein dass die neuen Techniken der CV mit den bew hrten Grundlagen der Photogrammetrie verbindet Orientierungen k nnen manuell oder bei vorhandenen codierten Targets automatisch durchgef hrt werden die Kameraparameter werden hierbei ber cksichtigt Das Dense Matching basiert auf einem Vergleich von Patches und erinnert in der Produktbeschreibung an PMVS 1 Eos Systems Inc Info http www photomodeler com products pm scanner htm Stand 27 01 2011 64 12 Ausblick 12 Ausblick Um die aufgrund der Matlab Verzeichnungskorrektur verbesserte Photosynth Toolkit Methode geometrisch noch besser beurteilen zu k nnen sollte die vollst ndige Transformation der HXE MPA Matlab Punktwolke unbedingt erfolgen und anschliessend ein erneuter Vergleich mit dem Laserscanmodell durchgef hrt werden Verbesserungen im Bereich f r die Transformation speziell den Koordinatenabgriff w ren auf Seite der Targets m glich Hierf r sollten Untersuchungen durchgef hrt werden die unterschiedliche Arten von Mustern und Targets umfassen Auch 3D Targets hnlich den Verkn pfungskugeln beim terrestrischen Laserscanning sollten in die Evaluation aufgenommen werden Falls nur die Masst blichkeit der Punktwolke von In
71. etailreichen Nahbereichsaufnahmen mit den N tzlichkeiten standortunabh ngiger Luftbildphotogrammetrie kombiniert Dies trifft vor allem f r UAV Modelle zu die im Stande sind uneingeschr nkt im dreidimensionalen Raum gelenkt zu werden und hierbei auch auf der Stelle schweben k nnen Mit solchen UAVs sind Befliegungen durchf hrbar in denen ein Objekt umfassend aufgenommen werden kann unter Einbezug von Kamerapositionen die eine bergreifende Stabilisierung des Bildverbandes bewirken Aufnahmen im Videomodus sind hierf r besonders geeignet da sie die maximale Anzahl an Bildern des Objektes w hrend eines Fluges erfassen k nnen F r die Auswertung stehen alle Bilder zur Verf gung die aber nicht zwangsweise verwendet werden m ssen Zur Vermeidung von schleifenden Schnitten kann es von Vorteil sein bei der Auswahl der zu verwendenden Bilder einen gewissen Minimalwinkel zwischen zwei Kamerastandpunkten nicht zu unterschreiten F r die automatische Auswertbarkeit mit der Photosynth Toolkit Methode wie auch aller anderen automatischer Verfahren des Structure from Motion Ansatzes Bundler V3D SfM SAMANTHA ist zun chst immer die Textur das beschr nkende Medium In zweiter Linie sind die Kamera und die Aufnahmekonfiguration entscheidend Die Photosynth Toolkit Methode ist f r den Benutzer komfortabel so lange alles funktioniert weil die richtigen Bilder von ihm eingegeben werden und das Programm diese richtig zusammensetzt Gibt e
72. fl chen zu Dachfl chen zu transferieren In dem Beispiel finden sich zwischen benachbarten Bildern viele Matches Zwischen Bildern die 1 Bild auseinander sind finden sich ausreichend Matches Bei den dargestellten Bildern die mehr als 2 Bilder auseinanderliegen sind kaum noch Matches zu finden Photosynth Microsoft Teen a za e T en Q T ae a Image Image 8 Image 9 Abbildung 33 Beispiel f r eine gute Aufnahmekonfiguration zur Umrundung einer Ecke Photosynth Microsoft 31 7 Bildverarbeitung Photosynth Toolkit Variante Sind die aufgenommenen Videos nach erstem Augenschein von guter Qualit t wobei Probleme in der Folge von Bewegungsunsch rfe und Belichtungsunterschieden auftauchen k nnen so m ssen sie wie unter 4 1 beschrieben in Einzelbilder zerlegt werden Anschliessend k nnen die Bilder zur Erstellung eines neuen Photosynths verwendet werden Hierf r m ssen die Exif Daten nicht nachbearbeitet werden Nach klicken des Men punkts Upload der sich wie in Abbildung 31 zu sehen rechts oben befindet ffnet sich ein neues Fenster bei dem das Icon Create a new synth geklickt werden muss In dem sich ffnenden Fenster dargestellt in Abbildung 34 k nnen die hochzuladenden Bilder ausgew hlt und Einstellungen zur Privatsph re gemacht werden Sind in den Exif Daten der Bilder Zusatzinformationen zur Lage z B in Form von GPS Koordinaten vgl 4 2 so k nnen diese f r das Geotaggen die r umliche Zuordnung des Photo
73. gt die Dichte der Rekonstruktion fest PMVS versucht im durch die Cellsize vorgegebenen Raster einen Punkt zu rekonstruieren F r dichtestes Matching sollte Cellsize 1 gew hlt werden Je gr sser die Cellsize desto schneller die Prozessierung Eine Patch Rekonstruktion wird akzeptiert wenn ihre gemessene photometrische Konsistenz ber dem Schwellenwert liegt wobei 1 einer schlechten Konsistenz entspricht und 1 einer guten Die photometrische Konsistenz wird ber eine normalisierte Kreuzkorrelation gemessen Das Programm tastet wsize x wsize Pixelfarben von jedem Bild ab um hieraus die Photokonsistenz in einer normalisierten Kreuzkorrelation zu berechnen bei einem Fester von 7 x 7 werden 49 Pixel in jedem Bild herangezogen Je gr sser der Wert ist desto stabiler ist die Rekonstruktion da weniger Fehlpatches vorhanden sind wie auch gr ssere texturarme Bereiche dichter rekonstruiert werden Die Prozessierungszeit wird aber durch h here Werte auch deutlich l nger max Empfehlung 10 Gibt an in wie vielen Bildern ein 3D Punkt zu sehen sein muss damit er rekonstruiert wird In je mehr Bildern er enthalten sein muss desto besser ist die Geometrie der Rekonstruktion Bei schlechten Texturen sollte der Wert erh ht werden Die Software unterst tzt multi threading d h mehrere Prozessoren k nnen zur Berechnung verwendet werden Je mehr Kerne verwendet werden desto schneller ist die Berechnung Jedoch besteht eine Gefahr des berla
74. gung Im Fall der Arbeit soll das UAV 1 1 Einleitung Bildmaterial auf seine Eignung zur automatischen Prozessierung zu einem 3D Modell hin untersucht werden F r die Bildbearbeitung sind diverse Programme zur Bildaufbereitung und Bildprozessierung auf dem Markt vorhanden Bei der Softwareauswahl wurde jedoch darauf geachtet dass die Programme f r den Privatgebrauch kostenlos verf gbar sind 1 3 Ziel der Arbeit Heutige Digitalkameras bieten die M glichkeit Objekte im Videomodus in kurzer Zeit umfassend aufzunehmen Die grosse bereinstimmung des Bildinhalts mit nur kleinen Ver nderungen zwischen benachbarten Bildern ist eine gute Voraussetzung f r das Finden identischer Punkte in den Bildern das sogenannte Matching Die hierdurch gewonnenen Bildmessungen fliessen in eine B ndelblock ausgleichung ein Als Ergebnis liefert sie die Rekonstruktion der Kameraaufnahmepositionen die Bestimmung der Kameraparameter und die Bestimmung der 3D Punktlage der Verkn pfungspunkte Durch anschliessendes Dense Matching was als ein Verdichten zwischen den Featurepunkten aufgrund gleicher photometrischer Eigenschaften von Pixeln in einer Art Region Growing verstanden werden kann wird das Modell erg nzt Dadurch wird die Darstellung des Objekts in einer dichten echtfarbenen 3D Punktwolke m glich Die vorliegende Arbeit soll untersuchen wie der beschriebene Prozess auf Grundlage von Methoden aus der Computer Vision mit gr sstm glicher Automation
75. he Einpassung der einen in die andere Punktwolke wurde aufgrund der schwierigen Erfassung identischer Punkte oder Formen verzichtet x gt Abbildung 67 Fehlversuch der Registrierung zweier Punktwolken mit unterschiedlichen Massst ben in Geomagic Qualify 58 9 Vergleich zu Testdaten Der Versuch eine Registrierung mit dem Programm Geomagic Qualify durchzuf hren scheiterte ebenso Grund hierf r ist dass das Tool zum manuellen Registrieren von Punktwolken das nach dem ICP Algorithmus arbeitet ICP Iterative Closest Point nicht bei unterschiedlichen Massst ben der beiden Punktwolken funktioniert Abbildung 67 zeigt den misslungenen Versuch die beiden Punktwolken mit unterschiedlichen Masst ben in Geomagic Qualify ber die manuelle Registrierung in ein Koordinatensystem zu bringen Linksoben Photosynth Kiesgrube_Sommer_00_90_kleinjpg und rechtsoben Photosynth Kiesgrube Gabba Winter_116 182 sind die manuell gew hlten Passpunkte in der jeweiligen vermaschten Punktwolke dargestellt Im unteren Bild ist der unterschiedliche Massstab zwischen den beiden System zu erkennen Die roten Positionen sind gegen ber den gr nen Symbolen immer nach innen versetzt Der Massstab wird bei der Wahl des Initialisierungsbildpaares festgelegt 59 10 Ergebnisse 10 Ergebnisse Die Analyse der bearbeiteten Datens tze und die im Zuge der Prozessierung gewonnen Einsichten zeigen dass automatische Techniken der Computer Vision eingebe
76. hen dem registrierten Benutzer 20 GB Online Speicherplatz zur Verf gung die mit Panoramabildern und Photosynths gef llt werden k nnen Das Programm zur Erstellung von Photosynths ist nur unter Betriebssystemen von Windows ab Version XP und h her lauff hig Da Bilder grosse Datenmengen darstellen ist die Verf gbarkeit eines Breitbandinternetanschlusses sowie aussreichend Prozessorleistung mindestens 2 GHz Quad Core ideal und Speicherplatz mindestens 256 MB mehr als 1 GB empfehlenswert des Computers bei der Verwendung essentiell Da die Erstellung von Photosynths teilweise lokal auf dem Rechner passiert muss ein Programmpaket installiert werden das online zur Verf gung steht 7 1 2 Zugrundeliegende Methoden Die Photosynth zugrundliegenden Methoden bauen auf dem im Rahmen des Forschungsobjektes Photo Tourism entwickelten Programmen und Ans tzen auf F r die Prozessierung der Bilder zu einem r umlichen Photosynth bildet Bundler die Basis wie in 5 3 ausgef hrt Die schnelle und gut zu navigierende Bildbetrachtung auf der Homepage von Photosynth bildet die zweite wichtige S ule f r eine kundenfreundliche Handhabung Sie wird durch die Silverlight Software gew hrleistet die von der Firma Seadragon entwickelt wurde und mittlerweile zu Microsoft geh rt Das Prinzip der Software ist dem von Flash hnlich Es wird immer nur der Teil eines oder mehrerer Bilder heruntergeladen und dies auch nur in der ben tigten Aufl sung des Bildschirm
77. hern in texturarmen Bereichen und falsch eingef rbten Punkten an den Aussenr ndern der Person die die Farbe des Hintergrundes besitzen M glichkeiten fehlerhaftes Dense Matching mit dem Hintergrund zu vermeiden best nde durch das Maskieren des Objekts 37 7 Bildverarbeitung Photosynth Toolkit Variante N Ausschnitt Originalbild 3D Punktwolke nach 1 Prozessierung 3D Punktwolke nach 2 facher Verzeichnungskorrektur Abbildung 41 Datensatz Landenberg Photosynth mitte Landenberg_alle_Heli_verwendet_ohne5Seitbilder re Landenberg_Sarnen_undistort In Abbildung 41 ist links ein Originalbildauschnitt eines hochaufgel sten Bildes zu sehen Der prozessierte Datensatz besteht aus insgesamt 50 Schr gbildern und entstand im Rahmen der Bachelorarbeit von Hannes P schel P schel Sauerbier amp Eisenbeiss 2008 Die Bilder wurden von einem UAV von einer um das Geb ude herum geflogenen Kreisbahn aus aufgenommen Die grossen L cher rechts vom Geb ude im mittleren und rechten Bild die beide rekonstruierte Punktwolken zeigen sind dort wo im Originalbild ein Baum zu sehen ist Feine Vegetation wird h ufig schlecht in den Rekonstruktionen dargestellt da sich bei Wind ihre Lage vom einen Bild zum N chsten ver ndert Ein weiterer Grund ist dass ihre 3D Struktur sehr kleinteilig ist und sich selbst bei nur kleinen unterschieden im Blickwinkel durch Verdeckungen keine gemeinsamen Featurepunkte zum Matching finden lassen Im Verglei
78. hritte Zerlegung der Videosequenz in Einzelbilder Editierung der Exif Daten Bildumbenennung sowie Korrektur der Verzeichnungen 1 Einleitung Im 5 Kapitel Methoden zur automatischen Featurepunktbestimmung und Matching werden die zugrundeliegenden Methoden der automatischen Prozessierung dargestellt Diese sind der Featurepunktdetektor SIFT der Dense Matching Algorithmus PMVS und das SfM Programm Bundler Der 6 Absatz Bildverarbeitung Bundler Variante zeigt die Vorgehensweise bei der automatischen Prozessierung mit dem Programm Bundler Das 7 Kapitel Bildverarbeitung Photosynth Toolkit Variante stellt die automatische Prozessierung in der Programmkombination von Photosynth und Photosynth Toolkit dar Hierbei werden die Abl ufe und die resultierenden Daten der Programme detailliert beschrieben In Abschnitt 8 Modellierung und Analyse werden M glichkeiten zur automatischen Vermaschung der aus den Prozessierungen gewonnenen Daten aufgezeigt Die Funktionsweisen der beiden hierf r verwendeten Methoden Poisson Surface Reconstruction und Ball Pivot Algorithmus werden erl utert Des weiteren umfasst das Kapitel die Analyse anhand unterschiedlicher Parametereinstellungen prozessierter Modelle und zeigt h ufig auftretende Fehler sowie die Verzeichnung als Hauptursache der Fehler auf Im 9 Absatz Vergleich zu Testdaten werden erstellte Modelle auf ihre Plausibilit t hin berpr ft Dies erfolgt aufgrun
79. i der Bildaufnahme vorhanden beim Laserscan aber nicht vorhanden waren i http forum derletztekick com index php id 1355 Stand 27 01 2011 55 9 Vergleich zu Testdaten Die gr sstenteils gr n dargestellten Fassadenbereiche die sich auf allen Seiten des Geb udes finden zeigen dass die Geometrie der beiden Punktwolke in sich stimmen muss Das bedeutet dass die beiden rekonstruierten Geb udek rper die gleiche Ausdehnung haben und sich an der gleichen Lage befinden Die aufgrund der Transformationsergebnisse erhaltene Genauigkeit im Bereich von 5 cm zeigt sich auch f r einen Grossteil der brigen Punkte Schwierig ist es aber ohne ein Referenzmodell Fehler zu entdecken Im rechten Bildbereich wo sich eine zur Strasse hinauff hrende Treppe befindet ist eine blaue Fl che zu sehen die eine rote berlagert Die beiden Fl chen befinden sich also in Entfernungen von mehr als 20 cm ber und unter der tats chlichen Treppenoberfl che Im dichtgematchten Modell erkennt man dass die Treppenstufen in zwei Lagen bereinander erstellt sind Die Ursache f r den Fehler ist wahrscheinlich in der sich wiederholenden Struktur der Treppen begr ndet Gleiches wird auch f r die schlecht passenden rekonstruierten Dachfl chen des HXE vermutet mit ihrer einheitlichen Struktur Das Dach des Nachbargeb udes das in Ziegelbauweise errichtet ist scheint besser zu stimmen Hier gab es zus tzlich beim Scannen auch keine Probleme in der Erfassung
80. ie Punkte oft in unterschiedlichen H hen weshalb auch hier eine Anpassung an den Durchschnitt bzw die n here Umgebung in dessen H he die Targets liegen manuell erfolgt 53 9 Vergleich zu Testdaten eh BER gr Kb nr Targetbereich WE een T rgeibereich eS ES pe seitlich Originalaufnahme des Targets Ferne Darstellung in der Nahe Darstellung von oben und Punktwolke seitlich Abbildung 63 Targetdarstellung im Original und in der Punktwolke Es werden die lokalen Koordinaten von mehreren Targetpunkten und nat rlichen Passpunkten erfasst Bei der Auswahl der Punkte ist auf eine gute Verteilung in Lage und H he im zu transformierenden Raum zu achten Werden diese Grunds tze der Transformation nicht beachtet so kann es zu Fehlern des transformierten Modells in ausserhalb der Passpunkte liegenden Bereichen kommen die auf einer Extrapolation beruhen und sich z B in einer Verkippung zeigen Mit dem Freeware Transformationsprogramm Java Graticule 3D JAG3D wird eine Transformation der gemessenen Punkte auf die von diesen Passpunkten ebenfalls vorhandenen Landeskoordinaten berechnet Zun chst wird eine 9 Parameter Transformation berechnet Hierbei werden 2 Ausreisser in den Passpunkten entdeckt und daraufhin nicht mehr ber cksichtigt Des weiteren zeigt die 9 Parameter Transformation wie erwartet dass die Werte der drei Massst be der drei Koordinatenrichtungen alle hnlich sind Deshalb wird schlussendlich eine 7 Paramete
81. ie von Bundler nicht zuordbaren Bilder 594 gematchte Featurepunkte Bundler Methode 36718 Pkte Photosynth Toolkit 39540 Pkte D Ke Die d s FRA S DE Abbildung 29 Aus Bundler Abbildung 30 Mit PMVS dichtgematchte Punktwolken unterschiedlicher Zwischenergebnissen zusammengesetzte Methoden Punktwolke Aufgrund der Probleme bei der Rekonstruktion der Kamerapositionen in den selbsterstellten Datens tzen sowie erst zum Schluss der Arbeit berwundener Problemen bei der bergabe der Bundlerergebnisse an PMVS zur Generierung einer mittels Dense Matching dichten Punktwolke ist nur der Kermit Datensatz auf diese Art prozessiert In Abbildung 30 ist links die resultierende Punktwolke der Bundler Methode dargestellt Offensichtlich werden die L cken in texturlosen Bereichen wie dem ins Buch eingesteckten weissen Papier gegen ber gut rekonstruierten Bereichen wie den Buchumschl gen wo diese eine gute Textur besitzen Das Rauschen in der 3D Punktwolke in den gut texturierten Bereichen ist gering Die R nder von Objekten vor allem diejenige R nder die zum offenen Raum hin liegen sind jedoch ausgefranst und haben die Farbe des Hintergrunds Hier sind meines Erachtens Ungenauigkeiten in der Bildgeometrie ausschlaggebend die sich im Matching fortsetzen und es negativ beeintr chtigen Rechts ist zum Vergleich die Punktwolke des gleichen Datensatzes mit den gleichen PMVS Parametern aus der Prozessierung mit der Photosynth Toolkit Varian
82. igen Alltag bilden 3D Modelle eine wichtige Grundlage Sie sind in vielen Bereichen anzutreffen Als 3D Stadtmodelle sind sie im Bereich der Navigation und Planung etabliert Detaillierter findet man sie in der Architektur der Denkmalpflege oder Arch ologie Ihre Erfassung erfolgt entweder aktiv z B mittels Laserscannern oder passiv mittels Photosensoren Die passive Erfassung mit Bildern und deren Auswertung ist als Photogrammetrie bekannt Bisher war die Photogrammetrie zu einem gewissen Teil meist im Rahmen der Orientierung der Bilder auf manueller Bearbeitung aufbauend Mit den Methoden aus der Computer Vision CV ist eine automatische Prozessierung von Bildern zu 3D Modellen m glich die kein Eingreifen des Benutzers erfordert Die zugrunde liegenden Techniken sollen im Rahmen der vorliegenden Masterarbeit erfasst werden Ausserdem soll untersucht werden inwieweit die Methoden der CV in der Photogrammetrie einsetzbar sind 1 1 Aufgabenstellung Die Kamera auf dem Oktokopter besitzt einen Videomodus der es erlaubt ein Video in einer Aufl sung von 640 x 480 Pixeln und 30 Bildern pro Sekunde aufzunehmen Es w re interessant zu sehen inwiefern sich diese Bilder zur Rekonstruktion von Objekten eignen w rden In einem ersten Schritt sollen die Bilder aus dem Video extrahiert und genauer untersucht werden Neben der M glichkeit ein Objekt manuell mittels dieser Bilder zu modellieren soll auch untersucht werden inwiefern sich die Bilder
83. igen die beiden Methoden der Keypointgenerierung Difference of Gaussian DoG und Harris Edge Detector Harris die auf jedes Bild angewendet werden mit der Anzahl gefundener Keypoints ER C Windows system32 cmd exe D Ee level 8 csize 2 a threshold 8 9 wsize 7 minImageNum 4 CPU 2 useVisData sequence i Reading images HHHHHHHHHIHHHHHHHNE a 1 Harris running Harris running 822 harris DoG running 829 harris done DoG running 1288 dog done 2 Harris running 1199 dog done 3 Harris running 818 harris done DoG running 839 harris done DoG running 1288 dog done 4 Harris running 1199 dog done 5 Harris running 797 harris done DoG running 813 harris done DoG running 1 dog done 6 Harris running 1195 dog done 7 Harris running 881 harris done DoG running 781 harris done DoG running 11 dog done 8 Harris running 1177 dog done 9 Harris running 837 harris done DoG running 788 harris done DoG running 1198 dog done 168 Harris running 119 dog done 11 Harris running 853 harris done DoG running 815 harris DoG running 1198 dog done 12 Harris running 1288 dog done 13 Harris running 819 harris done DoG running 824 harris done DoG running 1198 dog done 14 Harris running 1196 dog done 15 Harris running 851 harris done DoG running 813 harris done DoG running Abbildung 39 Keypointgenerierung mit Photosynth Toolkit basierend auf DoG un
84. ilder Da die Brennweite der Kamera in beiden Modi identisch ist muss bei der reduzierten Pixelzahl also zun chst auch die ganze Sensorfl che belichtet werden Wie jedoch die Farbwerte im reduzierten Bild 8 3 Kamera gewonnen werden ob durch diskrete Verwendung jedes 5 7x5 7 Pixels oder eine durch Mittelbildung ber 5 7x5 7 Pixel kann nicht mit Sicherheit gekl rt werden In Abbildung 3 bis Abbildung 6 sind die Testbilder und Teilausschnitte von diesen zu sehen Der identische Bildbereich wird aus Abbildung 3 und Abbildung 4 ersichtlich die Reduktion der Bildinformationen kann in Abbildung 5 und Abbildung 6 gesehen werden Da im reduzierten Bild offensichtlich keine Mischfarben im Vergleich zum hochaufgel sten Bild auftreten und das Abspeichern diskreter Werte zeitlich schneller ablaufen d rfte als eine wie oben beschriebene Mittelbildung wird vermutet dass die Skalierung auf diskreten Pixelwerten beruht Abbildung 3 Hochaufgel stes Testbild 3648 x 2736 Px Abbildung 4 Testbild im Videomodus 640 x 480 Px Abbildung 6 Teilausschnitt von Abbildung 4 Abbildung 7 Kompresionsartefakte li JPG komprimiertes Videobild 640 x 480 Px re Originalbild 3648 x 2736 Px Bei genauerer Betrachtung zeigen die auf Kompression basierten Videobilder Reduktionsartefakte wie in Abbildung 7 dargestellt Solche Artefakte k nnen das Matching beeintr chtigen da die 9 3 Kamera Featurpunkterstellung in den Artefakten Strukturen e
85. ilreicher und weniger von Rauschen beeintr chtigt als im linken Bild Die nicht ganz glatt rekonstruierten orangefarbenen Bereiche sind eigentlich eben Der Vorplatz ist im linken Modell ebener einzig die fehlerhaften Punkte entlang des Geb udeschattens die sich wie ein Gebirgsr cken darstellen sind als Fehler auszumachen Am Vorplatz der linken Aufnahme zeigt sich dass die Geometrie f r texturierte waagrechte Fl chen aus der Nadirbefliegung mit 75 Prozent berlappung optisch gut aussieht 57 9 Vergleich zu Testdaten be A A ba i ya ee ai DW Ess wn D ch Abbildung 66 HXE Modelle vermascht in Geomagic Basis hochaufgel ste Einzelbilder li bzw Videobefliegung re An vorhandenen Bildern der Bachelorarbeit von Gabriel Flury Flury 2009 sollte ein grossfl chiger Vergleich zwischen zwei Datens tzen einer Kiesgrube die zu unterschiedlichen Zeiten mittels Befliegung gewonnen wurden erstellt werden Ziel war es das abgebaute Kiesvolumen berechnen zu k nnen um es mit den Werten von Flury zu vergleichen Die Prozessierung der beiden Datens tze mittels Photosynth Toolkit funktionierte trotz fast 100 hochaufgel ster Bilder problemlos in Level 1 Die berf hrung der beiden Punktwolken in ein Koordinatensystem konnte nicht erfolgen da leider zum einen die in den Punkwolken ersichtlichen Passpunkte in den beiden Bilds tzen nicht identisch waren und zum anderen die Passpunktkoordinaten nicht verf gbar waren Auf eine optisc
86. irekte Georeferenzierung obligatorisch verwendet werden Durch GNSS lassen sich aber auch die Flugeigenschaften verbessern Hierbei ist die M glichkeit der Positionsstabilisierung gemeint Werden Lagever nderungen nicht durch Steuerungsbefehle verursacht sondern aufgrund von Wind erzeugt so k nnen diese mittels GNSS erfasst und zum Korrigieren der Position verwendet werden Eine Steigerung der Positionierungsgenauigkeit ist durch die Kombination von GNSS mit inertialen Navigationssystemen INS bzw durch Verwendung von differentiellem GPS DGPS zu erlangen Ober 2010 2 2 2 Inertiales Navigationssystem INS Aufgabe eines INS auch als Tr gheitsnavigationssystem bezeichnet ist das Erfassen der Beschleunigung und Drehrate mit Hilfe von Beschleunigungssensoren F r die Erfassung der 6 Freiheitsgrade der Beschleunigung werden 3 orthogonal angeordnete translatorische Tr gheits sensoren mit 3 ebenfalls orthogonal angeordneten Gyroskopen Kreiseln f r die Drehraten nderungen kombiniert ber einfache bzw zweifache Integration der Beschleunigung eines K rpers ber die Zeit kann die Geschwindigkeit bzw Position bestimmt werden Der Verkippungswinkel im inertialen Raum ergibt sich aus der Integration der gemessenen Winkelgeschwindigkeiten ber die Zeit in den drei Raumrichtungen Die fortlaufende Integration f hrt zum Anwachsen des Positionierungsfehlers mit der Zeit Um dieses Anwachsen zu begrenzen wird das INS mit GNSS kombiniert
87. k nnten Eine qualifizierte und quantifizierte Aussage ber die Verwendbarkeit des Systems mit der eingesetzten Software bei der Erstellung von Gel ndemodellen und der Modellierung von Geb uden sollte nach Abschluss der Arbeit m glich sein F r mich war es spannend herauszufinden inwieweit die automatische Prozessierung von UAV Bildern im Vergleich mit der manuellen Auswertung bzw gegen ber konventionell mittels Laserscanner erfasster Objekte mithalten w rde k nnen Den Fokus hielt ich hierbei auf den Bereich der Architektur und Grundlagenvermessung Ich testete aber auch M glichkeiten f r die Modellierung von Personen und erwog in welchen weiteren Bereichen die die automatische Prozessierung von UAV Aufnahmen geeignet w re eingesetzt zu werden Vorteile und Schw chen der Methoden und Abl ufe zu erfassen und berlegungen wie Verbesserungen erzielt werden k nnten machten diese Arbeit abwechslungs und lehrreich Ich konnte mir durch die intensive Auseinandersetzung mit dem Thema UAV Photogrammetrie Wissen aneignen in einer chancenreichen Zukunftstechnologie Dies war mir m glich dank der Unterst tzung und Hilfe von vielen Personen auf die ich stets z hlen durfte und bei denen ich mich hiermit herzlichst bedanke Einen speziellen Dank richte ich an e David Novak in seiner Funktion als Betreuer und Initiator dieser Arbeit e Prof Dr Konrad Schindler als leitender Professor dieser Arbeit e Prof Dr Hilmar Ingensand als Lei
88. kel M nster Universit t M nster Kazhdan M Bolitho M amp Hoppe H 2006 Poisson Surface Reconstruction The Eurographics Association Kien D T Worring M amp Dorst L 2009 SIFT Drift The Perspective Error in Blob Detectors Amsterdam University of Amsterdam Knabl T 2009 Generierung und Genauigkeitsuntersuchung von 3DPunktwolken aus Bildsequenzen Masterprojektarbeit Z rich IGP ETH Z rich 67 14 Literaturverzeichnis Loukaris M l amp Argyros A A M rz 2009 SBA A Software Package for Generic Sparse Bundle Adjustment New York ACM Lowe D G 2004 Distinctive Image Features from Scale Invariant Keypoints Vancouver CSD University of British Columbia Luhmann T 2003 Nahbereichsphotogrammetrie Grundlagen Methoden und Anwendungen 2 berarbeitete Auflage Wichmann Verlag MeshLab kein Datum Abgerufen am 26 01 2011 von http meshlab sourceforge net Ober C 2010 Orientierung und Kombination UAV gewonnener Bilddaten am Beispiel des Oktokopters Falcon 8 Masterprojektarbeit Z rich IGP ETH Z rich Photosynth Microsoft kein Datum Photosynth Guide v8 Abgerufen am 5 1 2011 von http mslabs 777 vo lInwd net e1 documentation Photosynth 20Guide 20v8 pdf P schel H Sauerbier M amp Eisenbeiss H 2008 A 3D model of Castle Landenberg CH from combined photogrammetric processing of terrestrial and UAV based images The International Archives
89. l sten Bildern sind auch Targets abgelichtet die im bergeordneten Landessystem LV 95 eingemessenen sind Die Bilder werden zur Erstellung eines Photosynths hochgeladen Nach nur 20 Minuten ist die Prozessierung mit Photosynth abgeschlossen und die relative Orientierung der Kamerapositionen sowie eine Punktwolke die die Szene bereits gut erkennen l sst vorhanden Das Dense Matching mit Toolkit kann mit allen Bildern nur in Level 1 durchgef hrt werden vgl Tabelle 3 Beim dichtesten Level 0 ist auch nach 5 Tagen noch kein Ergebnis in Form einer Punktwolke vorhanden die Prozessierung wird daraufhin abgebrochen Auch in der Punktwolke des Level 1 Dense Matching k nnen teilweise die ausgelegten Targets und nat rliche Passpunkte erkannt werden und ihre lokalen Koordinaten erfasst werden Abbildung 63 links zeigt ein Target das in Natur aus einer ca 27 cm Durchmesser grossen schwarzen Scheiben mit einem zentrisch aufgebrachten weissen Inneren mit 9 cm Durchmesser besteht Mittig ist es in der rekonstruierten 3D Punktwolke zu erkennen Rechts ist die Punktwolke stark vergr ssert Die einzelnen Pixel der Targetrekonstruktion sind zu erkennen Rechts oben im gr n markierten Bereich ist die weisse Innenfl che mit ca 4 Punkten und die schwarze Umrandung mit ca 40 Punkten zu sehen Die manuelle Koordinatenerfassung erfolgt deshalb teilweise auf Mittelbildung beruhend Rechts unten ist eine Seitenansicht dargestellt In der vertikalen Ausdehnung liegen d
90. lblockausgleichung nicht genutzt werden wird die ben tigte Rechenkapazit t und Zeit minimiert Loukaris amp Argyros 2009 Detaillierte Angaben zu Bundler und den genannten Komponenten k nnen zusammengefasst der Arbeit von Thomas Knabl Knabl 2009 S 6 ff bzw der Publikation des Entwicklers Noah Snavely Snavely Seitz amp Szeliski 2006 entnommen werden 24 6 Bildverarbeitung Bundler Variante 6 Bildverarbeitung Bundler Variante Die Bildverarbeitung wurde bei dieser Variante mit dem auf dem Computer zu installierten Programm Bundler Version 0 3 durchgef hrt Bundler ist f r eine Linuxumgebung erstellt und wird deshalb unter dem Kompatibilit tsprogramm Cygwin ausgef hrt Mit Cygwin lassen sich Programme die blicherweise auf POSIX Systemen wie Linux laufen auf Microsoft Windows portieren Cygwin Wikipedia 2010 6 1 Vorgehensweise Bundler Bundler liest als N herung f r die Brennweitenbestimmung den Exif Eintrag der verwendeten Bilder Bei aus Videoaufnahmen erstellten Einzelbildern ist deshalb die Erg nzung der Exif Daten n tig Die Kamera muss mit Hersteller und Typ eingetragen werden Fokusl nge und Resolution m ssen wie unter 4 2 beschrieben erg nzt werden Des weiteren ist es n tig die Datei extract_focal pl im bin Ordner mit dem Kameramodell und den Sensorwerten zu erg nzen Durch Ausf hren der Datei RunBundler sh in Cygwin beginnt Bundler die Bilder nacheinander einzulesen und die ben tigt
91. llung von Originalbild li und verzeichnungskorrigiertem Bild re 17 Abbildung 18 DOG Bildung in unterschiedlichen Bildpyramidenstufen Lowe 2004 S 6 19 Abbildung 19 Pixelvergleich im aktuellen und benachbarten Skalenraum der DOG Filterung CONE E EE 19 Abbildung 20 Beispielhafte Darstellung eines keypoint descriptors auf Grundlage eines Gradientenbildes LoWe 2004 5 35 sn ent 19 Abbildung 21 Wahrscheinlichkeitsdichtefunktion des Matchings eines 40000 Keypoints umfassenden Projekts LOWE 2004 EE 20 Abbildung 22 Featurepunkte erstellt mit HCD rot und DoG blau Furukawa Patch based MVS and its Applications 20 E ET 22 Abbildungsverzeichnis Abbildung 23 Definition eines Patch un sn eves vasntodiassdQusdcave eleesbddveddauebandsaddgeciveuvbstbooetes 22 Abbildung 24 Filterung aufgrund Sichtbarkeits und Entfernungskriterien Furukawa PMVS Documento ER EE 22 Abbildung 25 Finden von Matchingkandidaten anhand Epipolarlinie nennen 22 Abbildung 26 Vier Schritte des Dense Matching mit PMVS Furukawa PMVS Documentation Abbildung 27 Pixelverschiebung durch Verzeichnungskorrektur im Aussenbereich eines Nochauteelosten Bildes 2 EEN 26 Abbildung 28 Bilder des Datensatzes Kermit rot umrandet die von Bundler nicht zuordbaren 2 Ca a ee 27 Abbildung 29 Aus Bundler Zwischenergebnissen zusammengesetzte Punktwolke 27 Abbildung 30 Mit PMVS dichtgematchte Punktwolken unterschiedlicher Me
92. m MeshLab ge ffnet und erneut als PLY Datei abgespeichert so ist der PLY File auch in Geomagic als eingef rbte 3D Punktwolke zu betrachten Folgende Darstellungen zeigen mittels Photosynth Toolkit erstellte 3D Punktwolken unterschiedlichster Datens tze Teilweise sind sie im Vergleich zu der original Photosynth Punktwolke oder einem Originalbild angeordnet teilweise in weiterverarbeiteter Form als vermaschte Punktwolke dargestellt Eine detaillierte bersicht zu den dargestellten Datens tzen findet sich im Anhang e Zem Originalbildausschnitt Punktwolke aus Photosynth Punktwolke aus Photosynth Toolkit Abbildung 40 Datensatz Christoph2 Photosynth Christoph2_Obis_155 Abbildung 40 ist Teil einer Versuchsreihe Personen aus Bildern zu rekonstruieren Der Datensatz wurde im Videomodus erstellt wobei die dargestellte Person in zwei konzentrischen Kreisen umrundet wurde Der Originalbildauschnitt links ist eine Aufnahme aus dem Kreis mit dem gr sseren Abstand Der zweite Kreis wurde so eng um die Person gelegt dass von ihr nur noch Kopf und Schultern in den Bildern zu sehen waren Die dadurch gr ssere Detaillierung im Schulter und Kopfbereich ist in der mittleren Darstellung der Punktwolke aus Photosynth gut zu erkennen Bei der rechts dargestellten mittels Dense Matching verdichteten Punktwolke aus Photosynth Toolkit kann der Dichteunterschied auch erahnt werden M ngel wie unter Kapitel 8 3 beschrieben zeigen sich in L c
93. mat berfl ssige Exif Informationen werden von den Programmen ignoriert Die Bildmetadaten die w hrend der Aufnahme f r alle Einzelbilder gleich sind k nnen dem f r die jeweilige Videoaufnahme zus tzlich im JPG Format abgespeicherten Anfangsbild entnommen werden und auf die extrahierten Einzelbilder bertragen werden Dies ist z B f r die Brennweite m glich da die Kamera im Videomodus keine Zoomfunktion besitzt und sich an der Bildgeometrie w hrend der Filmaufnahme nichts ndert F r die Bearbeitung der Exif Daten wird das Programm ExifToolGUI verwendet das in Abbildung 11 dargestellt ist Es erm glicht die Editierung s mtlicher Bildmetadaten eines Bildes oder mehrerer Bilder auf ein Mal Sollten Angaben zur Position des aus den Videobildern extrahierten Bildes ben tigt werden so w re eine aufw ndige Prozedur die hier nur theoretisch beschrieben wird durchzuf hren Die Positionsbestimmung bed rfte einer Zuordnung aus den Positionsdaten des Oktokopters wie sie unter 2 3 beschrieben werden Eine Interpolation der Einzelframepositionen die maximal alle 1 30 Sekunde vorhanden sind in den diskret aufgezeichneten Track des Oktokopters w re hierf r n tig Unerl sslich w re ein einheitliches Zeitsystem bzw das Wissen ber den Versatz der Kamerazeit und der auf GPS basierenden Oktokopterzeit Diese Art der Positionsberechnungen und bertragung werden im Rahmen der Arbeit nicht durchgef hrt
94. mbenennung Aufgrund des Aussortierens einzelner Bilder oder dem Zusammenf gen unterschiedlicher Aufnahmen kann es erforderlich sein Bildnamen neu und in aufsteigender Reihenfolge zu vergeben um einen funktionierenden Programmablauf sicherstellen zu k nnen Mit dem Umbenennungs programm Joe ist dies in einfacher Weise m glich Wichtig f r die Programme Bundler und Photosynth Toolkit ist auch die Bilder mit der richtigen Endung n mlich als jpg in Kleinschreibung zu bezeichnen Dies ist angemerkt da vorhergehende Programme und unterschiedliche Computer hier auch Varianten zu jpeg oder JPG verursachen k nnen welche die Prozessierung verunm glichen da die Bilder nicht als solche erkannt werden 4 4 Korrektur der Verzeichnungen Die Auswertung aller Datens tze mit Bildern deren Kameraverzeichnung nicht korrigiert wird weisen viele Fehler auf wie in Kapitel 8 3 3 beschrieben Tests mit Bildern deren Verzeichnung korrigiert wurde und unter 8 3 5 aufgef hrt sind zeigen bessere Resultate Im Folgenden wird deshalb die Verzeichnungskorrektur beschrieben die aufgrund einer in Matlab durchgef hrten Kamerakalibrierung direkt auf die Bilder angewendet werden kann und zu verzeichnungskorrigierten Bildern f hrt F r die Verzeichnungskorrektur wird eine Kalibrierungs Toolbox verwendet die auf dem Matlabmodul der Bildverarbeitung aufsetzt F r die beiden Kameraeinstellungen Videomodus und hochaufgel ste Einzelbildaufnahme wird je
95. men Anschliessend wird erneut eine B ndelblockausgleichung berechnet Steht eine Datenbank mit Samples zur Verf gung so kann auch ein Matching gegen ber der Datenbank durchgef hrt werden Eine Validierung des Matchings kann auf Grundlage der Euklidischen Distanz unter den Featurevektoren durchgef hrt werden Basis hierf r bildet der Nearest Neighbor Algorithmus erg nzt durch einen Vergleich der hnlichkeit des besten Matchingpartners zum zweitbesten Matchingpartner Ein Verh ltnis der beiden potentiellen Matchingpartner von ber 0 8 bedeutet dass die beiden Matchingpartner sehr hnlich sind Um ein falsches Matching zu reduzieren wird der Featurepunkt deshalb weder mit dem einen noch mit dem anderen Matchingpartner verkn pft In einem von Lowe durchgef hrten Experiment dessen Matchingresultate in Abbildung 21 ersichtlich sind zeigt sich dass bei einem Signifikanzwert von 0 8 die Eliminierung von Matchingfehlern 90 Prozent betr gt w hrend nur 5 Prozent richtiger Verkn pfungen f lschlicherweise nicht weiterverwendet werden Dargestellt ist die Wahrscheinlichkeitsdichtefunktion PDF des Matchings eines 40000 Keypoints umfassenden Projekts als Vergleich der relativen Distanzen zwischen n chstem closest Nachbarn und zweitn chstem next closest Nachbarn die als Synonym f r bester und zweitbester Matchingpartner stehen Deutlich wird dass ab dem hnlichkeitsverh ltnisses von 0 8 das fehlerhafte Matching sprunghaft zunimmt 0 7
96. mp Taubin G 10 1999 The Ball Pivoting Algorithm for Surface Reconstruction Yorktown IBM T J Watson Research Center Brown D C 1966 Decentering Distortion of Lenses Photogrammetric Engineering 32 3 S 444 462 Craig N M 23 2 2010 Analytical Cartography and Geographic Information System Lab at the Pennsylvania State University Abgerufen am 4 12 2010 von http www personal psu edu nmc15 blogs anthspace 2010 02 structure from motion point clouds to real world coordinates html Eisenbeiss H 2009 UAV Photogrammetry Dissertation Z rich ETH Z rich Flury G 2009 Volumenabsch tzung eines Kiesabbau und Deponiegebietes mittels UAV Bilddaten Zurich IGP ETH Zurich Friedli E 2010 Evaluation des Oktokopters Falcon 8 Bachelorarbeit Zurich Geometh ETH Zurich Furukawa Y 2007 Documentation of Patch Based Multi View Stereo Software PMVS Washington Universitat Washington Furukawa Y 14 6 2010 Patch based MVS and its Applications 3D Shape Reconstruction from Pictures 3 teilige Prdsentation CVPR 2010 San Francisco Furukawa Y 13 7 2010 PMVS Documentation Abgerufen am 12 12 2010 von http grail cs washington edu software pmvs documentation html Garmin Dezember 2009 Oregon450_DEBenutzerhandbuch pdf Abgerufen am 24 11 2010 von http www8 garmin com manuals Oregon450_DEBenutzerhandbuch pdf Heider D 2006 Drohnen im zivilen und milit rischen Einsatz Arti
97. ng des Bildes aus unterschiedlichen Distanzen dar Wird ein Objekt von weit weg aufgenommen so sind wenige Details im Bild erkennbar wird es dagegen von nahem aufgenommen so ist das Bild detailreich Difference of Gaussian DOG bezeichnet die Bildung von Differenzen benachbarter Filterungen Die anschliessende local extrema detection erfolgt mittels Vergleich eines Pixels wie er exemplarisch in Abbildung 19 dargestellt wird Der Grauwert des Pixels wird innerhalb einer 3x3 Region mit den 26 umliegenden Nachbarpixeln im aktuellen 8 Nachbarn und benachbarten Skalenraum 2 x 9 Nachbarn verglichen Hierdurch k nnen lokale Maxima und Minima erkannt werden Die scale space extrema detection bewirkt die Massstabsunabh ngigkeit des Detektors Den zweiten Schritt keypoint localisation bestehen nur Punkte an denen sich das zu pr fende Pixel von allen 26 Umliegenden unterscheidet indem es relativ den gr ssten oder kleinsten Grauwert besitzt Um die Qualit t der Featurepunkte weiter zu verbessern werden in einem sp teren Schritt 18 5 Methoden zur automatischen Featurepunktbestimmung und Matching kontrastarme Features und solche entlang von Kanten die sich in Kantenrichtung nicht eindeutig zuordnen lassen eliminiert Scale EE a ee SE chef Scale first octave Difference of Gaussian Gaussian DOG Abbildung 18 DOG Bildung in unterschiedlichen Abbildung 19 Pixelvergleich im aktuellen und Bildpyramidenstufen Lowe 20
98. nimale Anzahl der Bilder aus denen die R ckprojektion erfolgen soll festlegbar ist F r die Stabilit t der Geometrie ist eine Anzahl von drei Bildern besser als die Minimalanforderung von zwei Bildern Je gr sser der Rahmen des Pixelvergleichs gew hlt wird desto geringer sind fehlerhafte Matches vgl Tabelle 3 7 2 3 Furukawa Documentation of Patch Based Multi View Stereo Software PMVS 2007 Fehlerhafte Matches zeigen sich in Form von vor oder hinter dem eigentlichen Objekt befindlichen fl chenhaften Pixeln und fehlerhaft eingef rbten Pixeln entlang von Kanten Sie treten meist in schlecht texturierten Bereichen oder in Bereichen mit sich wiederholenden Mustern auf wo nur wenige oder falsch gematchte Featurepunkte zu finden sind Die Ursache f r die falsche fl chenhafte Positionierung der Pixel liegt vermutlich in einer schlechten Orientierung der Bilder zueinander Diese f hrt zu einer Interpolation zwischen rtlich falschen Featurepunkten Bei der Vorgehensweise Match Expand and Filter wird die Expansion nicht als fehlerhaft erkannt da die falschen Featurepunkte einen Cluster bilden und r umlich zusammenliegen Dass dieser Fehler in der Filterung nicht bemerkt wird liegt wohl daran dass die Gewichtung von lokaler Konsistenz im Patch gegen ber den Sichtbarkeituntersuchungen zwischen den Bildern zu hoch ist Wird die Zuverl ssigkeit der erstellten Featurepunkte hinaufgesetzt so sinkt n mlich die Dichte der rekonstrui
99. nstatt der vorher 36 Spalten stehen diesmal aber nur 8 Spalten f r die Eintragung der Richtungen zur Verf gung 45 Grad pro Spalte Weitere Normalisierungen und Modifizierungen des ODeskriptors machen ihn gegen ber Belichtungsunterschieden robuster In Abbildung 20 ist rechts beispielhaft ein auf 2x2x8 reduzierter Deskriptor dargestellt w hrend in Wirklichkeit eine 4x4x8 Matrix also ein 128 Eintr ge umfassender Deskriptor von SIFT erstellt wird Links sind die Gradienten der einzelnen Pixel zu sehen Der blaue Kreis soll die verwendete Gauss und Abstandsgewichtung bei der Gradientenberechnung darstellen F r das Matching zwischen den Bildern werden die Featurepunkte der Bilder untereinander anhand ihrer Deskriptoren verglichen Gestartet wird mit dem Bild das die meisten Featurepunkte enth lt und einem zweiten das hnliche Featurpunkte aufweist und eine gute Geometrie zwischen den Bildern ergibt Hieraus wird die relative Orientierung des Bildpaares bestimmt Die Featurepunkte eines dritten Bildes werden individuell gegen das erste Bildpaar verglichen und bei bereinstimmung von mindestens 20 Punkten eine B ndelausgleichung berechnet um das dritte Bild zu orientieren Die weiteren Bilder werden sukzessiv eingef hrt Zur Beschleunigung des Prozesses wird nicht immer nur ein Bild hinzugenommen sondern alle Bilder deren Featurepunkte mit mindestens 75 Prozent der bereits im Rahmen der B ndelausgleichung verwendeten Featurepunkte bereinstim
100. of the Photogrammetry Remote Sensing and Spatial Information Sciences ISPRS Congress Beijing China Vol XXXVII Part B8 S 93 98 Snavely N Seitz S M amp Szeliski R 2006 Photo Tourism Exploring Photo Collections in 3D A Press Hrsg Siggraph 06 ACM SIGGRAPH 2006 Papers S 835 846 Snavely N Seitz S M amp Szeliski R 2008 Modeling the world from internet photo collections International Journal of Computer Vision S 189 210 Standardization Commitee 2010 CIPA DC 008 2010 Exchangeable image file format for digital still cameras Exif Version 2 3 Tokio Camera amp Imaging Product Association Szelinski R 2010 Computer Vision Algorithms and Applications Springer Visual Computing Laboratory kein Datum Meshlab Abgerufen am 5 1 2011 von http meshlab sourceforge net 68 15 Anhang 15 Anhang 15 1 Tabellen Motorregelung Frames Delta T Umdrehung U U T UI Radius Umfang Drehgeschwindigkeit Pixelschweif Pixelbogen Belichtung Belichtung pt ts as ft min Im tm mei Grad Im Iw Lost Tabelle 8 Auswertung Belichtungstest Tag ID Hex A Tags Relating to GPS GPS tag version North or South Latitude Latitude East or West Longitude Longitude Altitude reference Altitude GPS time atomic clock GPS satellites used for measurement GPS receiver status GPS measurement mode Measurement precision Speed unit Speed of GPS receiver
101. olgt vom Programm erst im 3 Schritt Prepare for PMVS2 Hier werden die Originalbilder aufgrund der in Photosynth berechneten Kameraparameter verzeichnungskorrigiert und in den Ordner visualize abgespeichert F r das Dense Matching werden die Bilder aus dem visualize Ordner verwendet Des weiteren werden in Schritt 3 alle Einstellungen get tigt die die Ausgestaltung der Punktwolke durch PMVS und somit die Dauer der Prozessierung bedingen In Tabelle 3 wird eine kurze Zusammenstellung der einzelnen PMVS Parameter gegeben wie sie in der Dokumentation von PMVS beschrieben sind Furukawa PMVS Documentation 2010 Level Bildpyramidenstufe Default 1 Einstellbar O bis X Csize Cellsize Zellengr sse Abtastrate Default 2 Einstellbar O bis X threshold Rekonstruktionsgenauigkeit Default 0 7 Einstellbar 1 bis 1 wsize Windowsize Fensterg sse Default 7 minlmageNum min Bildanzahl Default 3 Einstellbar 2 bis X CPU Anzahl verwendeter Kerne Default max Anzahl Kerne useVisData Sichtbarkeitsangaben Default 1 optional Entsprechend einer Bildpyramide wird das Originalbild Level 0 oder ein um den Wert 2 kleineres Bild was die Pixelanzahl betrifft verwendet Bei hochaufgel sten Bildern kann es bei Level O zu einem berlaufen des Speichers kommen deshalb wird f r diese Bilder Level 1 als Minimum empfohlen Die kleinen Videobilder konnte mit Level O ohne Probleme prozessiert werden Le
102. ometrischer Konsistenz ist nicht ersichtlich Es wird jedoch vermutet dass es sich hierbei um die Farbeigenschaften eines Bereichs handelt die bei der Filterung bild bergreifend verglichen werden 21 5 Methoden zur automatischen Featurepunktbestimmung und Matching zur Sichtbarkeit V q des hieraus neu entstanden Patches q wird zun chst vom Ausgangspatch p bernommen Die Verifizierung des neuen Patches q erfolgt unter Verwendung weiterer Bilder wie rechts unten dargestellt Sie ist gegebenenfalls mit einer Korrektur der Lage und Ausrichtung verbunden Der beschriebene Prozess wird durchgef hrt bis alle Patches ihn durchlaufen haben An die Expansion anschliessend wird eine Filterung der Patches durchgef hrt Hier wird sowohl die Sichtbarkeit der Patches als Pr fungskriterium verwendet als auch die Entfernungsinformationen einer Depth Map ber cksichtigt Die Filterung ist in Abbildung 24 dargestellt Die Abfolge Expandieren und Filtern wird mehrmals hintereinander durchgef hrt wobei die Filterschwellen immer mehr herabgesetzt werden 4 A m KS 2 e SJ ZE es 3 lt A e gt a oa Abbildung 22 Featurepunkte erstellt mit HCD rot und DoG blau Furukawa Patch based MVS and its Applications 2010 Position Abbildung 23 Definition eines Patch n E n by by A Correct patch A A Outlier 0 Abbildung 24 Filterung aufgrund Sichtbarkeits und Entfernungskriterien Furukawa PMVS Do
103. oolkit Variante wurden vor ihrer Prozessierung mit der Photosynth Toolkit Variante mit Matlab verzeichnungskorrigiert Die Anzahl rekonstruierter Punkte ist hierdurch verglichen mit der Prozessierung unkorrigierter Bilder um 25 h her und liegt bei ber 2 Mio Punkten Fehlerhafte Punkte in texturarmen Bereichen oder bei repetitiven Mustern wie beim verzeichnungsbehafteten Datensatz in Abbildung 60 zu sehen sind kaum mehr vorhanden Die gr nen Linien im rechten Bild der Abbildung 42 rechts oben ber dem rechten Geb ude sind allerdings falsch eingef rbte Punkte der auf dem Dach montierten Antennenanlage Diese kann ihre Position w hrend der Aufnahmen aufgrund von Wind leicht ver ndert haben was zu Fehlern in der Rekonstruktion f hren kann Ausschnitt Originalbild rekonstruierte 3D Punktwolke vermaschtes 3D Modell Abbildung 43 Datensatz Duebendorf Photosynth Duebendorf_58_91_Matlab Die drei Darstellungen der Abbildung 43 sind aus einer Nadirbefliegung des Flughafens D bendorf entstanden In den Originalbildern des Datensatzes wie links zu sehen sind H hen nicht herauszulesen In der 3D Rekonstruktion k nnen diese koordinatenm ssig erfasst werden bzw bei geeigneter Perspektivenwahl auch in Bildern dargestellt werden Im rechten Bild ist beispielweise an den orangefarbenen B gen einem Spielger t an dem eine Schaukel aufgeh ngt ist zu erkennen dass die Punktwolke volle 3D Funktionalit t besitzt Auch unter den B gen ist de
104. r Boden durchlaufend dargestellt Dies ist ein riesiger Vorteil gegen ber texturierten Oberfl chenmodellen die meist nur 2 5 D darstellen k nnen also nur einen H henwert pro Lagekoordinatenpaar abbilden Das mittlere Bild zeigt im Vergleich zum Originalbildauschnitt die hohe Detaillierung der mittels PMVS dichtgematchten Punktwolke L cher die in der Punktwolke noch vorhanden sind k nnen durch Vermaschung wie im rechten Bild passiert gestopft werden und so zu einheitlichen Oberfl chen f hren Dass im vermaschten Modell noch L cher vorhanden sind und manche Vermaschungen z B entlang des Zauns der mittig in allen Bildern auszumachen ist nicht gut ausgef hrt sind liegt an der fehlenden manuellen Bearbeitung des Modells e Ausschnitt Originalbild vermaschte 2 s 3D Modell Abbildung 44 Datensatz Kiesgrube Sommer Photosynth Kiesgrube_Sommer_00_90_kleinjpg 39 7 Bildverarbeitung Photosynth Toolkit Variante Die beiden Bilder der Abbildung 44 zeigen eine Kiesgrube Links ist ein Originalbild des Datensatzes zu sehen der 91 hochaufgel ste Nadir und Schr gaufnahmen der Grube enth lt Aufgrund der guten Textur die in den Bildern vorhanden ist konnte eine mit nur wenigen L chern versehene Rekonstruktion erstellt werden Das vermaschte Modell hat deswegen auch einen hohen Detaillierungsgrad in der Textur Die auf das vermaschte Modell aufgetragene Textur ist nicht etwa aus den Bildern auftexturiert sondern aus
105. r C2 gekr mmt sind Bei Oberfl chen mit Kanten was eine CO Kr mmung bedeutet ist die Nachbildung falsch Abbildung 47 zeigt vereinfacht drei Oberfl chen als Schnitt im zweidimensionalen Raum die sich in ihrer Kr mmung unterscheiden In Abbildung 48 wird ein visueller Vergleich mit dem BPA und einem Originalbild erm glicht Im rechten Bild ist zu sehen dass durch PSR Oberfl chen entstehen die von ihrer Kr mmung her stetig sind und keine L cher aufweisen Das in der urspr nglichen Wolke vorhandene Rauschen das in Abbildung 40 zu sehen ist beeintr chtigt die PSR nicht sichtbar Zu erkennen ist aber die gl ttende Wirkung von PSR die zur Verminderung der Detailierung f hrt Die dargestellte PSR Vermaschung wurde nur mit einer Detaillierungsstufe oft als Octree Depth bezeichnet von 9 erstellt obwohl theoretisch die Wahl bis Stufe 11 m glich ist Hier k nnten dann auch kleinteiligere Oberfl chenver nderungen ber cksichtigt werden indem Polynome h heren Grades zur Oberfl chenrekonstruktion verwendet werden Bei der mit MeshLab durchgef hrten PSR Vermaschung konnten jedoch keine Vermaschungen ber Stufe 9 durchgef hrt werden Ab Stufe 9 war kein Ende der Prozessierung innert abwartbarer Zeit zu erreichen Der weisse Bereich auf dem Kopf ist zum einen farblich Fehlmatches bei der Punkterstellung zuzuordnen die Form allerdings ist wegen der nicht ausreichend hohen Detaillierungsstufe vereinfacht dargestellt Bei h herer Detailie
106. r Transformation mit 9 Passpunkten berechnet Die Ergebnisse der Transformation sind in Tabelle 6 dargestellt Entscheidend sind vor allem die Verschiebungen VY VX VH der transformierten Koordinaten gegen ber den Sollkoordinaten der Passpunkte Hier weisen die Abweichungen der in Landeskoordinaten transformierten Punkte in allen drei Koordinatenachsen maximale Werte von 5 cm auf Die Standardabweichungen oY oX oH der transformierten Punkte sind in allen Achsrichtungen im Bereich von 1 cm Punkt 0 hat die h chsten Standardabweichungen aufzuweisen im H henwert 2 cm Punktnum Rechts Y m Hoch X m H he H oy m ox m oH m 1251312 376 0 013689 0 013677 0 019 251280 662 527 209 0 007493 0 007569 0 007410 JD 291284 886 0 010019 0 070029 0 077746 0 004 0 251266 810 0 011135 0 011140 95 251292 998 0 010954 0 010963 0 013136 5 251265 016 1 680578 946 251266 567 0 008788 680603 585 251285 028 0 010755 0 010771 680596 903 251278 615 522 862 0 009233 0 009242 Tabelle 6 Ergebnis der 7 Parametertransformation anhand der 9 eingef hrten Passpunkte Diese Ergebnisse stellen aufgrund der Dichte der Punktwolke und des vorhandenen Rauschens die zu nur vage auszumachenden Passpunkte f hren ein berraschend gutes Ergebnis dar Es zeigt dass JAG3D Transformationsporgramm von Michael L sler Info http derletztekick com software Stand
107. rierung und Verzeichnungskorrektur von hochaufgel sten Farbbildern viel Speicherplatz ben tigt Sie konnten nur auf einem 64 Bit Windows 7 System durchgef hrt werden w hrend die Kalibrierung f r den Videomodus auch auf einem 32 Bit System m glich war e Bee D Be NENNEN NNN a EEE EEE EEE NH E ee GE SR Be Ze De Dm D De EE n E E E E Abbildung 17 Gegen berstellung von Originalbild li und verzeichnungskorrigiertem Bild re 17 5 Methoden zur automatischen Featurepunktbestimmung und Matching 5 Methoden zur automatischen Featurepunktbestimmung und Matching In der Photogrammetrie und der Computer Vision sind bereits viele Methoden und Algorithmen entwickelt worden die eine automatische Bildprozessierung im Hinblick auf die Rekonstruktion der in den Bildern aufgenommenen Szenen und der Bestimmung von Kameraparametern erm glichen Gegen ber der manuellen Auswertung sind Ihre Ergebnisse leider nicht immer richtig und somit nicht zuverl ssig Um dieses Manko zu beseitigen werden statistische Verfahren zur Ausreisserdetektion verwendet Im Folgenden sollen die Methoden die in den verwendeten Programmen zum Einsatz kommen kurz genannt und erl utert werden Ausf hrlichere Beschreibungen finden sich in den jeweils angegebenen Quellen Einen guten Gesamt berblick ber die Computer Vision und die dort verwendeten Algorithmen bietet das Lehrbuch von Szelinski Szelinski 2010 5 1 SIFT Scale Invariant Feature Transform
108. rkennt die in Wirklichkeit nicht und in den anderen Bildern wahrscheinlich nicht an der gleichen Position vorhanden sind In Abbildung 7 ist links das JPG komprimierte Videobild mit Reduktionsartefakte im typischen 8x8 Pixel Muster der verlustbehafteten JPG Kompression zu sehen Die JPG Kompression basiert auf DKT Diskrete Kosinus Transformation Rechts ist das mit der vollen Sensorgr sse aufgenommene Bild dargestellt 3 3 2 Belichtungszeit Im VGA Videomodus im Format 4 3 werden 30 Einzelbilder pro Sekunde gemacht Ob hierdurch auch auf eine Belichtungszeit von 1 30 Sekunde r ckgeschlossen werden darf ist Teil der Untersuchung zur Belichtungszeit im Videomodus Da im Handbuch und bei der Onlinerecherche keine Angaben zur Belichtungszeit im Videomodus gefunden werden konnten wurde ein eigener Testaufbau zur Absch tzung der Belichtungszeit erstellt Im Allgemeinen w ren eine Belichtung von 1 30 Sekunden bei ruhigen Aufnahmepositionen und unbewegten Objekten nicht von Nachteil Bei der Montage der Kamera am Oktokopter jedoch kann eine zu lange Belichtungszeit zu Bewegungsunsch rfe f hren die sich negativ auf die Bildauswertung auswirkt 3 3 3 Test zur Belichtungszeit Ziel des Testaufbaus ist es eine Bewegung die mit bekannter Geschwindigkeit v stattfindet im Videomodus aufzunehmen und die Bewegungsunsch rfe s im Bild anhand des Schweifs des sich bewegenden Objekts zu ermitteln Hieraus kann die Belichtungszeit t aus der Formel t s v b
109. rungsstufe sollte sich die Form derjenigen in im linken Originalbild angleichen N E Originalbild Modell aus BPA Vermaschung Modell aus PSR Vermaschung Abbildung 48 Vergleich von BPA li und PSR re an Datensatz Christoph2 Photosynth Christoph2_Obis_155 8 2 2 Ball Pivot Algorithmus BPA Der Ball Pivot Algorithmus berechnet eine Dreiecksvermaschung durch Interpolation einer gegebenen Punktwolke mittels eines virtuellen Balls Typischerweise sind die orientierten Punkte Teil einer Oberfl che die z B von einem Scanner erfasst wurde Das Prinzip des BPA ist sehr einfach Drei Punkte bilden ein Dreieck wenn der Ball mit der vom Anwender vorgegebenen Gr sse sie ber hrt ohne einen weiteren Punkt zu ber hren Von einem Ausgangsdreieck startend rollt der Ball solange bis er keine unber hrten Punkte mehr findet Anschliessend startet er erneut bei einem Ausgangsdreieck geformt von drei bisher unber hrten Punkten Der Prozess wird solange durchgef hrt bis alle Punkte ber cksichtigt wurden In Abbildung 49 ist der zu Grunde liegende Ablauf der Einfachheit halber in 2D dargestellt In blau ist der Ball in schwarz sind die Oberfl chenpunkte und die echte Oberfl che und in rot die mittels Vermaschung rekonstruierte 43 8 Modellierung und Analyse Oberfl che dargestellt Haben die Oberfl chenpunkte eine regelm ssige Verteilung und besitzt die Oberfl che gleichm ssige Form so ist die Rekonstruktion wie in Detail a zu
110. s der gerade f r den Nutzer auf dem Bildschirm dargestellt werden soll Durch den Zusammenschluss der beiden Techniken k nnen Bildsammlungen mit vielen Gigapixeln hochaufgel ster Bilder ohne zeitraubendes Warten wegen langsamen Bildaufbaus mit einem bis dahin nicht gekannten Raumgef hl betrachtet werden 7 1 3 Vorgehensweise Damit Bilder f r die Rekonstruktion einer 3D Punktwolke dienen k nnen m ssen bereits einige Dinge bei der Aufnahme beachtet werden e Die berlappung zwischen den Bildern sollte mindestens 50 betragen e Um Bildpaare dreidimensional auswerten zu k nnen m ssen die Aufnahmen von unterschiedlichen Positionen erfolgen Eine blosse Verschwenkung der Kamera vom gleichen Standpunkt aus dient nur der Erstellung von Panoramen die aus Einzelbildern zusammengesetzt werden e Um der Punktwolke eine h here Dichte zukommen zu lassen ist das Aufnehmen von Details mittels Zoom oder N herherantreten an das Objekt unerl sslich Es ist darauf zu achten dass die Detailbilder mit den bersichtsbildern verkn pft werden k nnen Hierf r ist beim Verk rzen der Distanz zum Objekt zu beachten dass mindestens bei der Verk rzung der Aufnahmedistanz um die H lfte ein weiteres Bild des Objekts aufgenommen wird Hierdurch wird gew hrleistet dass identische Punkte aufgrund grosser identischer Bereiche gefunden werden k nnen e Wird ein Objekt bei der Aufnahme umrundet so sollten ca alle 15 Grad ein Bild gemacht werden Der be
111. s 7 Betriebssystem durchgef hrt werden Der Vergleich von Daten die mit Bundler und mit Photosynth prozessiert wurden zeigt dass von der Datenstruktur hin zu den Ergebnissen grosse bereinstimmung herrscht Bundler scheint also die grundlegende Basis f r Photosynth darzustellen In der Prozessierungsgeschwindigkeit ist Bundler abh ngig von der Rechenleistung des Systems und Bandbreite der Internetverbindung bei der mir zur Verf gung stehenden Hardware jedoch Photosynth unterlegen 28 7 Bildverarbeitung Photosynth Toolkit Variante 7 Bildverarbeitung Photosynth Toolkit Variante Das Literaturstudium und die Onlinerecherche haben mich auf das Programm Photosynth von Microsoft aufmerksam werden lassen Es handelt sich hierbei um einen Webservice der vom Benutzer hochgeladene Bilder selbstst ndig zu Panoramabildern oder Bildsammlungen mit Ihrer relativen Orientierung zusammensetzt Bei geeigneten Bildern ist wie in Abbildung 31 rechts zu sehen eine aus gematchten Featurepunkten erstellte 3D Punktwolken verf gbar Links sind die relativen Kameraaufnahmepositionen der Bilder erkennbar Hier setzt das zweite Programm der Variante Photosynth Toolkit an Es nutzt die berechneten Kamerapositionen und parameter um zusammen mit den Originalbildern der Aufnahme eine dichte 3D Rekostruktion basierend auf PMVS zu erstellen 7 1 Photosynth Grundlage von Photosynth bildet das Forschungsprojekt Photo Tourism der Universit t von
112. s aber Probleme in der Prozessierung die aufgrund manueller Bildmessungen l sbar w ren so hat der Nutzer wenn berhaupt nur durch Ver nderung der Auswahl der beteiligen Bilder die M glichkeit Einfluss auf die Auswerteblackbox zu nehmen Eine Kontrolle der aus Photosynth erstellten Kamerapositionen und Featurepunkte anhand von Qualit tswerten der B ndelblockausgleichung existiert nicht Die durchgef hrten 1 gt SfM Software der ETH Z rich Info http www inf ethz ch personal chzach opensource html Stand 27 01 2011 SfM Projekt der Universit t von Verona Info http profs sci univr it fusiello demo samantha Stand 27 01 2011 60 10 Ergebnisse Kontrollen anhand von Referenzdaten zeigen aber dass durch Beachtung guter Aufnahmekonfiguration und durch Anbringen von Verzeichnungskorrekturen bedingt brauchbare Modell durch die Methode erstellt werden Sind keine Referenzdaten vorhanden so ist eine Kontrolle des Modells auch aufgrund von allgemeinen Methoden m glich wie Diagonalenvergleich zur berpr fung der Rechtwinkeligkeit oder Schnitt und Ebenheitskontrollen Belastbare Aussagen zu Punktgenauigkeiten k nnen aber nicht gemacht werden Noch dazu k nnen Punkte aufgrund ihrer relativen Lage in den Bildern und der Aufnahmekonfiguration unterschiedliche Genauigkeiten aufweisen F r die Visualisierung einer Befliegung sei es zu Pr sentationszwecken im Rahmen von Architekturwettbewerben oder im Rahmen einer schnellen Erfass
113. s in Abh ngigkeit vom Bildhauptpunktabstand r Die Werte basieren auf der Auswertung von 37 in die Software Australis eingelesener Bilder mit einer berechneten Genauigkeit der Bildreferenzierung von 0 1 Pixeln was metrisch 1 1 um entspricht Eingef hrt in photogrammetrische Auswerteprogramme erm glichen sie die rechnerische Ber cksichtigung der Verzeichnung und abweichenden Strahlengeometrie Hierbei ist zu beachten dass unterschiedliche Programme mitunter nicht alle Parameter verarbeiten k nnen Deshalb sollte die Kalibrierung wie beschrieben angepasst an das Auswerteprogramm erfolgen 3 3 Videomodus Der Videomodus der Kamera ist nur in den Bildformaten 4 3 und 16 9 vorhanden Das Format 16 9 w rde auch Aufnahmen in HD High Definition mit 1280x720 Pixeln erm glichen Wegen bertragungsproblemen des Livebilds vom Oktokopter zur Fernbedienung in diesem Format ist nur das Fliegen und Aufnehmen im Format 4 3 mit 640 x 480 Pixeln und 30 Bildern pro Sekunde sinnvoll 3 3 1 Aufl sung Der CCD Sensor Charged Coupled Devices der Lumix LX 3 hat im Format 4 3 eine maximal nutzbare Pixelflache von 3648x2736 Pixel Um zu berpr fen wie die im Videomodus resultierende Bildgr sse von 640 x 480 Pixeln zustande kommt wurden Testaufnahmen in Form hochaufgel ster Einzelbilder und im wenig aufgel sten Videomodus gemacht Ein Vergleich der Bilder zeigt dass die pixel rmeren Bilder den gleichen Bildbereich darstellen wie die hochaufgel sten B
114. schr nkte Unterschied in den Aufnahmewinkeln erm glicht im Allgemeinen noch das Auffinden identischer Punkte in benachbarten Bildern e Je mehr Bilder eines Objekts aus unterschiedlichen Positionen gemacht werden desto besser ist die Geometrie der erstellten 3D Punktwolke 30 7 Bildverarbeitung Photosynth Toolkit Variante Im Benutzerhandbuch zur Erstellung guter Photosynths sind folgende Abbildungen zur leichten Erfassung der eben angesprochenen Punkte zu finden Photosynth Microsoft Aufnahmekonfiguration von 3D Aufnahmekonfiguration f r Aufnahmekonfiguration f r Objekten Innenr ume Teil 1 aus Innenraume Teil 2 von Seiten Zentrum und aus Ecken Abbildung 32 Aufnahmekonfigurationen um Bilder f r gute Photosynths zu erstellen Photosynth Microsoft Bei Aufnahmen im Videomodus wird die berlappung aufeinanderfolgender Bilder ausschliesslich ber die Zerlegungsrate in der Videonachbearbeitung festgelegt Eine einheitliche Bewegungsgeschwindigkeit bei der Aufnahme bei translatorischen Bewegungen und eine angepasste Drehgeschwindigkeit bei Rotationen f hren zu regelm ssigen berlappungen Die Wahl der Flugbahn um z B bei einer Geb udebefliegung Fassaden und Nadiraufnahmen gemeinsam prozessieren zu k nnen bedarf mitunter noch Zwischenbahnen mit Schr gaufnahmen in unterschiedlichen Winkeln Das aus dem Benutzerhandbuch gegebene Beispiel zur Umrundung einer Geb udeecke in Abbildung 33 ist auf den bergang von Fassaden
115. sehen nah am Original Sind die diskreten Punkte ungleichm ssige verteilt so k nnen wie in Detail b ersichtlich L cher entstehen wenn der Punktabstand zu gross gegen ber dem Balldurchmesser ist Detail c zeigt dass andererseits Oberfl chendetails verloren gehen wenn die Kr mmung der Oberfl che gr sser ist als der reziproke Kugelradius m pi bag x d Se Er G an H e d d 1 y f j f K j a i f 6 i j ER Ch ne K Fi u dk l f N i toy f i an Fi D nf J f t es d b d d N Z gt O ef a b c Abbildung 49 Der Ball Pivot Algorithmus in 2D Bernardini Mittleman Rushmeier Silva amp Taubin 1999 Der BPA erzielt gute Ergebnisse bei einer relativ gleichm ssigen Dichte der Punktwolken Der Algorithmus l sst nur die Einstellung eines festen Radius zu Er kann aber iterativ ver ndert werden von kleinen Radien f r dichte detailreiche Regionen zu gr sseren Radien f r sp rlicher dargestellte ebene Bereiche Um in dichten Bereichen nicht zu viele kleine Dreiecke zu erstellen kann eine Clustering Distanz angegeben werden In der Folge werden keine Punkte ber cksichtigt die innerhalb dieser bestimmten Distanz um einen Punkt z B 20 des Ballradius liegen Um bei einem Rauschen in den Punkten trotzdem eine glatte Oberfl che zu erhalten sind Filter eingebaut Einer vergleicht zum Beispiel di
116. sein und wird von Dang Trung et al Kien Worring amp Dorst 2009 als SIFT Drift bezeichnet Wie in Abbildung 55 dargestellt ist der Effekt der Tatsache geschuldet dass das Zentrum eines Kreises und der Schwerpunkt seiner Abbildung nur bei orthogonaler Draufsicht bereinstimmen Bei einer perspektivischen Abbildung wird der Kreis zur Ellipse und der echte Kreisschwerpunkt liegt hinter dem Zentrum der Ellipse SIFT und andere Blob Detektoren Detektoren die punktartige Keypoints extrahieren arbeiten hnlich wie Zentroidoperatoren und generieren den Featurepunkt immer im Schwerpunkt der Abbildung Somit stellen in perspektivisch verzerrten Bildern als identisch deklarierte Featurepunkte nicht die gleichen realen Punkte dar Je gr sser die Fl che und der Winkel der perspektivischen Verzerrung desto gr sser ist die Distanz zwischen Schwerpunkt und echtem Zentrum der Fl che Die Folgen f r die 3D Geometrie werden aus Abbildung 56 ersichtlich Wenn die Kamerapositionen Ci C2 bekannt sind so wird durch R ckprojektion durch die angenommenen Featurepunkte K4 K2 der Schnittpunkt S hinter der echten Struktur liegen Vice versa wenn die Featurepunkte f lschlicherweise als richtig angenommen werden sodass K und K identisch liegen so wird die Kameraposition der zweiten Aufnahme C n her an der Referenzaufnahmeposition C liegen View pull S Structure push Abbildung 55 Darstellung des Mittelpunktes eines Kreises Ab
117. sse ist nicht vom Hersteller zu erfahren und wird auf Grundlage der im Rahmen der Masterprojektarbeit des Autors durchgef hrten berlegungen modifiziert Ober 2010 S 13 ff Die dort mit 2 um angenommene Pixelgr sse ist um den Faktor 5 7 zu multiplizieren und ergibt somit eine Pixelgr sse von 11 4um f r die Videobildaufnahmen Ursache f r den Multiplikationsfaktor ist die im 7 3 Kamera Videomodus angewendete Bildskalierung von 3648x 2736 Pixel belichteter Sensorfl che auf 640 x 480 Pixel komprimierte Videobildaufl sung die in Kapitel 3 3 1 erl utert wird 3 2 2 Kalibrierungsergebnisse Die aus der Kamerakalibrierung mit 11 4 um Pixelgr sse resultierenden Werte sind Sensorgr sse 640 pixel x 480 pixel bzw 7 296 x 5 472 mm Kamerakonstante c 5 194 mm Lage des Bildhauptpunktes ve 0 0060 mm yo 0 0124 mm Radial symmetrische Verzeichnung K1 1 05861e 003 K2 2 62853e 005 Der Term 7 Ordnung der radial symmetrischen Verzeichnung K3 die radial asymmetrische Verzeichnung P1 P2 und Werte f r Affinit t und Scherrung B1 B2 wurden nicht berechnet Grund hierf r ist dass in Bundler und Photosynth nur K1 und K2 im Rahmen der B ndelblockausgleichung angegeben werden und hierf r ein Vergleichswert geschaffen werden soll Die Werte zum Verlauf der sogenannten Verzeichnungskurve sind in Tabelle 1 in metrischer Form bezogen auf den Bildhauptpunkt ersichtlich CECR Tabelle 1 Verzeichnungswerte dr des Videomodu
118. synths genutzt werden Eine Georeferenzierung der Punktwolke z B in WGS 84 Koordinaten erfolgt hierdurch aber nicht Lediglich die Verlinkung des erstellten Photosynths auf der microsofteigenen kartenbasierten Websuche wird dadurch lagerichtig erstellt Abbildung 35 zeigt eine solche Verlinkung im Luftbild zu einem geogetaggten Photoysynth des HXE Geb udes auf dem H nggerberg Name and Thumbnail Z rich ETH HXE mit Garmin 500 inkl GPS Add Photos Remove Selected Photos Use Selected Photo 2 Tags separated by mm Z rich ETH H nggerberg GPS Description 2901 characters left T 1 Mit Garmin Oregon 500 Handheld GPS Empf nger Am fgenommenes Geb ude zum Testen der 47 photos 17 5 MB au Georeferenzierungl Visibility BN ap Public Can be found by anyone on the site Photo Rights rl P ki cc Attribution m Ir We recommend a Creative Commons license V Geotag synth using location data in photos if present Abbildung 34 Eingabefenster zur Photosynth Erstellung mit Abbildung 35 Kartenbasierte Websuche mit Bing Maps und Einstellm glichkeit zu Privatsph re und Georeferenzierung verlinkten geogetaggten Photosynths 7 1 4 Erhaltene Daten Online sind Photosynths in 4 Modi zu betrachten als 2D Bild bersicht als Draufsicht auf die Punktwolke mit berblendung der Kameraaufnahmepositionen und Blickwinkel als 3D Bildsammlung und als 3D Punktwolke Eine
119. t der Oktokopter dargestellt Allgemeine Angaben zu UAVs finden sich in fr heren Arbeiten zum Thema UAV Photogrammetrie beispielsweise von Eisenbeiss Eisenbeiss 2009 Detailliertere Untersuchungen zum Oktokopter sind von Friedli erstellt worden Friedli 2010 Auf den Oktokopter in der UAV Photogrammetrie geht die Masterprojektarbeit des Autors ein Ober 2010 Abbildung 1 Darstellung diverser ziviler UAV Eisenbeiss 2009 um den mittig platzierten Oktokopter Friedli 2010 2 2 Wichtige Systemkomponenten Zu den wichtigen Systemkomponenten eines UAVs das f r die UAV Photogrammetrie geeignet sein soll z hlen neben der Kamera und der Livebild bertragung die positionsgebenden Systeme GNSS INS Kompass Barometer Sie erm glichen zum einen die Durchf hrung von autonomen Fl gen zum anderen sind sie f r die direkte Georeferenzierung der Bilder wie in Kapitel 4 2 beschrieben Voraussetzung Ihre Positionsdaten k nnen als Naherungswerte in die B ndelblockausgleichung einfliessen 2 Unmanned Aerial Vehicle UAV 2 2 1 Global Navigation Satellite System GNSS Ein Satellitennavigationssystem an Bord des UAVs dient dazu die Position des Flugger ts zu erfassen Diese fliesst bei der Umsetzung einer koordinatenm ssig festgesetzten Flugplanung als Soll Ist Abgleich in die Flugroutenverfolgung ein F r die Orientierung der Bilder kann die mittels GNSS bestimmte Aufnahmeposition als N herungskoordinate dienen bzw muss f r die d
120. te zu sehen Die beiden Modelle sind optisch von der Detailierung ziemlich identisch ihre Punktanzahl ist leicht unterschiedlich mit ca 7 mehr Punkten in der Photosynth Prozessierung 6 2 Fazit Bundler Als Fazit zu Bundler ist anzumerken dass mit dem Programm offensichtlich eine 3D Rekonstruktion aus Bildern m glich ist deren Ergebnisse mit denen von Photosynth gleichgesetzt werden k nnen Dass die Bearbeitung von mir nur bedingt durchgef hrt werden konnte ist meiner Hardware und mangelndem Wissen zur Arbeit mit Konsolenbefehlen zuzuschreiben Ein Vorteil des Programms ist sicherlich die Ausf hrbarkeit auf dem eignen Rechner die zur Datensicherheit f hrt und Offline betrieben werden kann Die Steuerung des Programms ber Konsolenbefehle sowie die Verwendung von Cygwin um die Kompatibilit t der gr sstenteils f r Linux geschriebenen Programmteile zu 27 6 Bildverarbeitung Bundler Variante erm glichen ist jedoch f r unge bte Windows Nutzer gew hnungsbed rftig Die bergabe von Bundler zu PMVS war mit dem von mir betriebenen 32 Bit Windows 7 System nicht durchf hrbar Obwohl es laut Recherchen eine auf 32 Bit kompilierte Version von PMVS gibt die ich hierf r versuchte einzusetzen konnten die Bundlerorientierungen nur auf einem 64 Bit System zum erfolgreichen Dense Matching mit PMVS verwendet werden F r zuk nftige Bearbeitung mit Bundler sollte die Ausf hrung auf einem Rechner mit einem Linux oder einem 64 Bit Window
121. tellten Parameter zeigen auf Grund der grossen Schwankungen in den Verzeichnungskoeffizienten von Photosynth keine Ubereinstimmung mit diesen Eine Umrechnung der Fokuslange in Pixel oder Inch f hrt nicht zu halbwegs hnlichen Werten 52 9 Vergleich zu Testdaten 9 Vergleich zu Testdaten Um die mit Photosynth und Photosynth Toolkit erhaltenen 3D Punktwolken nicht nur optisch sondern auch geometrisch bewerten zu k nnen wurden ein Vergleich anhand bestehender Daten durchgef hrt Aus einer fr heren Arbeit des Autors im Rahmen des Geomatik Seminars und der Masterprojektarbeit Ober 2010 S 46 ff gibt es vom Geb ude HXE bereits eine georeferenzierte 3D Punktwolke die mittels terrestrischem Laserscanning gewonnen wurde Um die 3D Punktwolken der Photosynth Methode mit der georeferenzierten Scanpunktwolke vergleichen zu k nnen ist zun chst eine Transformation n tig 9 1 Transformation der Punktwolke Aus Photosynth heraus ist die Punktwolke nur relativ orientiert in einem Rahmen der sich aus der Wahl des Ausgangsbildpaares des Matching ergibt Die Punktwolke die nach dem Dense Matching mit Photosynth Toolkit entsteht ist im gleichen Koordinatensystem wie die Original Photosynth Punktwolke Um zu sehen wie masshaltig und geometrisch richtig die mit Photosynth und Photosynth Toolkit erstellten Punktwolken sind wurde auf den bestehenden Bilddatensatz des HXE Geb udes zur ckgegriffen HXE_MPA_816_847_div_Schraeg In den hochaufge
122. ten w re somit m glich 2 Unmanned Aerial Vehicle UAV Falls ein Digitales Oberfl chenmodell im beflogenen Bereich verf gbar w re so k nnten ber die weitere Kombination der Position mit der Kameraausrichtung und den Kameraparametern Brennweite belichtete Sensorfl che Pixelgr sse Verzeichnung die in den Bildern abgebildeten Objektbereiche berechnet werden Dies w rde eine Zuordnung des Objektraums zum Bildraum bedeuten Die Sichtbarkeiten unter den Bildern k nnten hieraus bestimmt werden und als prozessbeschleunigende Vorgabe in die B ndelblockausgleichung und in das Dense Matching eingehen 3 Kamera 3 Kamera 3 1 Kamera Lumix DMC LX 3 Die Digitalkamera Lumix DMC LX3 von Panasonic ist eine Kompaktkamera mit 24 mm Weitwinkelobjektiv im 35mm Kleinbildaquivalent und kann mit unterschiedlichen Bildgr ssen formaten 4 3 3 2 16 9 Bilder aufnehmen Sie besitzt die M glichkeit der manuellen Fokussierung wodurch eine mittels Kalibrierung gewonnene innere Orientierung der Kamera reproduzierbar ist F r die low cost UAV Photogrammetrie ist die LX 3 aufgrund folgender Eigenschaften pr destiniert e manueller Fokus einstellbar e geringes Gewicht 265 g e im Vergleich zu anderen Kameras der Gewichtsklasse relative grosser lichtstarker Sensor mit 2 um Pixelgr sse e kurze Belichtungszeit einstellbar 1 2000 Sek e lichtstarkes Objektiv F 2 0 e Videomodus zur Aufnahme und als Livebild nutzbar Abbildung 2 Lumix DMC LX
123. ter CNC Fr smaschinen oder digitaler Web und Strickroboter Durch Webservices wie Photosynth werden 3D Stadtmodelle nicht mehr nur aufgrund von j hrlichen Befliegungen oder Mobile Mapping Fahrten erstellt und aktualisiert werden sondern tagesaktuelle virtuelle Kopien darstellen basierend auf den Bildern der Nutzer Im Vermessungsbereich wird Feldarbeit zur Erfassung von Grundlagendaten f r die Planung durch die Eingabe der gew nschten Parzellennummer erledigt sein Ein UAV wird daraufhin selbstst ndig in den geregelten Flugverkehr eintreten um das gew nschte Gel nde zu befliegen Die Daten zur Prozessierung wenn nicht gar das fertige 3D Modell werden in Echtzeit ins B ro gesendet 65 13 Plagiatserkl rung 13 Plagiatserkl rung Ich erkl re mit meiner Unterschrift das Merkblatt Plagiat zur Kenntnis genommen die vorliegende Arbeit selbst ndig verfasst und die im betroffenen Fachgebiet blichen Zitiervorschriften eingehalten zu haben Merkblatt Plagiat http www ethz ch faculty education plagiarism_ _de pdf Ort Datum Unterschrift 66 14 Literaturverzeichnis 14 Literaturverzeichnis Cygwin Wikipedia 10 11 2010 Abgerufen am 4 1 2011 von http de wikipedia org wiki Cygwin Astre H 22 8 2010 Visual Experiments Abgerufen am 4 12 2010 von http www visual experiments com 2010 08 22 dense point cloud created with photosyth and pmvs2 Bernardini F Mittleman J Rushmeier H Silva C a
124. ter des Instituts das s mtliches Material und einen Arbeitsplatz zur Verf gung gestellt hat e die Mitarbeiter und Assistenten des IGP im Speziellen Paul Sorber e alle Kommilitonen die durch ihre Anwesenheit die Arbeit stets bereicherten e meine Familie f r ihre stetige Unterst tzung e meine Muse Gesa Zusammenfassung Zusammenfassung Die folgende Arbeit untersucht wie sich UAV Bildaufnahmen in Verbindung mit automatischer Auswertesoftware aus dem Bereich der Computer Vision zum Erstellen von texturierten 3D Modellen eignen Die Grundlage bilden hierbei Videoaufnahmen der am Oktokopter montierten Kamera Lumix DMC LX3 Erg nzend werden aber auch hochaufgel ste Einzelbilder von UAV Befliegungen verwendet um Einschr nkungen die aus der systemspezifisch geringen Aufl sung des Videomodus resultieren zu umgehen In der Arbeit wird der Workflow von der Datenerfassung ber die Vorverarbeitung der Bilder hin zur Prozessierung mit zwei SfM Programmen Bundler und Photosynth mit Photosynth Toolkit beschrieben Hierbei werden auch M glichkeiten zur Verbesserung der Geometrie und zur Georeferenzierung aufgezeigt Die resultierenden Punktwolken werden analysiert Vorteile und Schw chen der Methoden daraus abgeleitet Die photogrammetrische Eignung der eingesetzten Computer Vision Methoden werde kritisch hinterfragt und Optimierungspotential sowie alternative Anwendungsbereiche f r sie angegeben Inhaltsverzeichnis Inhaltsverzeichnis L
125. teren sind die Aufnahmekonfiguration der Bilder in die Bewertung der Analysen mit einzubeziehen bzw aus den Analysen R ckschl sse auf bessere Vorgehensweisen bei der Bildaufnahme zu ziehen Auch die Eigenheiten der Kamera wie die 44 8 Modellierung und Analyse beschr nkte Aufl sung im Videomodus oder Verzeichnungen sind bei der Analyse zu ber cksichtigen Eventuelle Verbesserungen auf Grund von anderen Kameras oder einer aufw ndigeren Vorverarbeitung der Bilder k nnen so in Betracht gezogen werden Die Parameter bei der Prozessierung des Dense Matching sind vor allem f r die Dichte der Punktwolke und das darin enthaltene Rauschen ausschlaggebend Die Geometrie der Kamerapositionen mit eventuellen Lagefehlern und die Kameraparameter beide berechnet aus der B ndelblockausgleichung in Photosynth bzw Bundler haben aber grundlegende Auswirkung auf das Dense Matching in PMVS 8 3 1 Rauschen Je nach Einstellung der Zuverl ssigkeit des Dense Matching ist das Rauschen in der 3D Punktwolke gr sser oder kleiner Es unterscheidet sich aber innerhalb des Modells vor allem aufgrund der Textur die vorhanden ist In homogenen Bereichen ist es immer gr sser als in texturreichen Zonen Ein zu grosser Kontrast scheint allerdings einen negativen Einfluss auf die relative Punktlage zu haben So ist an Schattenkanten oder an schwarz weissen Targets die H henlage der dargestellten Punkte stark variierend Bei den Targets k nnte die Ursache in der
126. teresse ist sollten Versuche zur Abbildung von Referenzmassst ben oder Referenzobjekten unternommen werden Im Bereich des Dense Matching sollte die M glichkeit der Bildmaskierung berpr ft werden Punktfehler aufgrund von falschem Matching und fehlerhaftem Region Growing zwischen Objekt und Hintergrund k nnten durch die Ausblendung nicht zu rekonstruierender Bildbereiche mittels der Bildmasken verhindert werden Weitere Studien f r die Eignung der Photosynth Toolkit Methode in anderen Gebieten z B f r die Immobilienbranche zur einfachen Erstellung von Grundrissen f r Objektexposes oder f r die Dokumentation von Routen in Kletterg rten z B in Verkn pfung mit einem Web GIS k nnten folgen Auf weite Sicht kann vermutet werden dass mit Methoden wie sie in dieser Arbeit pr sentiert werden und der stetig ansteigenden Nutzung und Verf gbarkeit von Kameras Computern und Internet in allen Formen und Bereichen auch 3D Modelle immer allt glicher werden Internetshopping wird dann nicht mehr auf der Bestellung von Standardgr ssen basieren sondern man kann eine photogrammetrisch selbsterstellte digitale Kopie seines K rpers der Bestellung beif gen In der Post findet sich kurze Zeit sp ter ein massgeschneidertes Kleidungsst ck individuell angefertigte Schuhe oder ein Schokohase als 1 10 Kopie der eigenen Person Die Fertigungsprozesse werden nat rlich vollautomatisch ablaufen dank digitaler Reproduktionstechniken wie 3D Plot
127. thoden sascscccccrc 27 Abbildung 31 Photosynth Darstellung von Machu Pichu li in orientierten Bildern re als 3D PUNKTWOIKe serie 29 Abbildung 32 Aufnahmekonfigurationen um Bilder f r gute Photosynths zu erstellen gei eeh Alte e Ce H E 31 Abbildung 33 Beispiel f r eine gute Aufnahmekonfiguration zur Umrundung einer Ecke PROTO SVATE MICOS OM EE 31 Abbildung 34 Eingabefenster zur Photosynth Erstellung mit Einstellm glichkeit zu Privatsph re Hits E e CR 32 Abbildung 35 Kartenbasierte Websuche mit Bing Maps und verlinkten geogetaggten PHOtosVnths nr Eee dee 32 Abbildung 36 Punktwolke des HXE Geb udes aus Photosynth erstellt aus Videobefliegung in pelb die Kameraaufnanmepositionen a ansse sense 33 Abbildung 37 vermaschte Punktwolke aus Photosynth Datensatz HXE_MPA_Matlab 33 Abbildung 38 Ablauf zur Erstellung einer dichten Punktwolke mit Photosynth Toolkit Astre Abbildung 39 Keypointgenerierung mit Photosynth Toolkit basierend auf DoG und Harris Edge POLO CUO EE 36 Abbildung 40 Datensatz Christoph2 Photosynth Christoph Obis IBbl ececcccseseecceeeeeseeeeeeens 37 Abbildung 41 Datensatz Landenberg Photosynth mitte Landenberg_ alle Heli_verwendet_ohneSSeitbilder re Landenberg Sarnen_undistort 38 Abbildung 42 Datensatz HXE_MPA_Matlab Photosynth HNE MA Matlabl 38 VI Abbildungsverzeichnis Abbildung 43 Datensatz Duebendorf Photosynth Duebendorf_58_91
128. tielle Kandidaten m ssen sich in einem Abstand von max 2 Pixeln zur Epipolarlinie befinden Die Featurepunkte eines Bildes werden mit allen Kandidaten aus den anderen Bildern in den 3D Raum mittels R ckprojektion projiziert Aus den unterschiedlichen 3D Punkten zu einem Featurepunkt wird nur derjenige weiterverwendet der auf Grund seiner relativen Lage zum Bildzentrum als richtig angesehen werden kann und die Anforderungen an die photometrische Konsistenz erf llt Die anderen werden verworfen Die ausgew hlten 3D Punkte dieses ersten Matching Schrittes werden als Patches bezeichnet und bilden die Keimzellen f r die anschliessende Expansion Sie sind wie in Abbildung 23 zu sehen definiert ber ihre Position position Ausdehnung extent und die Ausrichtung ihrer Normalen normal Die Expansion setzt sich aus vier Schritten zusammen und ist in Abbildung 26 von links oben nach rechts unten verlaufend dargestellt und im Folgenden beschrieben Zun chst wird berpr ft wie links oben dargestellt ob ein Patch im Bildraum von direkten Nachbarn umgeben ist Ist dies der Fall so wird nicht weiter verdichtet Sind wie rechts oben jedoch Zellen unbesetzt rot eingef rbt so ist Verdichtungspotential vorhanden Hierf r wird wie links unten dargestellt die Tangente des bestehenden Patches p mit dem aus der freien Zelle durchs Objektivzentrum r ckprojezierten Strahl geschnitten Die Ausrichtung n q und Informationen Die Definition von phot
129. tographisch festgehaltenen Objekte erstellt 7 2 1 Dense Matching mit Photosynth Toolkit Photosynth Toolkit ist ein Programmpaket das in mehreren Schritten von den Ausgangsdaten aus Photosynth zu einer dichten 3D Punktwolke f hrt Die Grafik der Abbildung 38 stellt den bergeordneten Ablauf dar Die Komponenten von Photosynth Toolkit sind gr n umrahmt Der letzte Schritt der Vermaschung mittels Poisson Surface Reconstruction wird bei mir nicht vom Programm ausgef hrt kann aber in MeshLab erfolgen Die Systemvoraussetzungen sind bei Verwendung von Windows eine 64 bit Version und wie bei allen bildverarbeitenden Prozessen ausreichend Prozessorleistung und Arbeitsspeicher Die Installation der einzelnen Komponenten erfolgt beim von mir verwendeten Toolkit4 einwandfrei pictures un gt Wars camera parameters deep zoom images SEH I pictures parameters o oO dense point cloud gt vertex info color normal V Abbildung 38 Ablauf zur Erstellung einer dichten triangulated mesh Punktwolke mit Photosynth Toolkit Astre 2010 7 2 2 Ausgangsdaten Die Ausgangsdaten f r Photosynth Toolkit werden zum einen vom Programm selbst zum gew nschten Photosynth heruntergeladen zus tzlich m ssen nur die Originalbilder aus der das Photosynth erstellt wurde vorhanden sein Fehlen die Originalbilder so soll es zuk nftig auch m glich sein diese von Photosynth herunterzuladen Momentan ist es jedoch nur m glich b
130. ttet in benutzerfreundliche Programme zu sehenswerten Resultaten f hren Die CV Methoden bieten die M glichkeit in k rzester Zeit dichte 3D Modelle aus den unterschiedlichsten Bildern zu erstellen Der hierf r zu betreibende Aufwand des Nutzers ist minimal da die Prozessierung bis auf die Bildauswahl und die Parametereinstellung selbstst ndig abl uft Im Vergleich zur manuellen Bearbeitung teilweise identischer Datens tze die vom Autor oder von Kommilitonen durchgef hrt wurden stellen die Methoden eine riesige Verbesserung dar was die Zeitersparnis und die Detaillierung der automatischen generierten Punktwolken und vermaschten Modellen betrifft Hinzu kommt die Tatsache dass die ansehnlichen Resultate mit frei verf gbarer Software die teilweise auch den Code beinhaltet zu erlangen sind Bei entsprechenden Programmierkenntnissen w re es sogar m glich die nach Photosynth ablaufenden Schritte anzupassen z B einen anderen Featurepunktdetektor zu verwenden Die Bilder die im Videomodus der Kamera Panasonic DMC LX 3 aufgenommen werden eignen sich f r die Rekonstruktion von Objekten in Kombination mit der Photosynth Software gut Ist die Kamera an ein UAV montiert um die Aufnahmen zu machen so sind optimale 3D Aufnahmekonfigurationen m glich was ein Vorteil gegen ber der bodengebundenen Nahbereichsphotogrammetrie ist Auch gegen ber der klassischen Luftbildphotogrammetrie ist die UAV Photogrammetrie im Vorteil da sie die Vorz ge der d
131. ufen des Speichers Sind die gegenseitigen Sichtbarkeiten innerhalb des Bildverbandes klar so k nnen diese verwendet werden um das Matching dementsprechend zu begrenzen und damit zu beschleunigen H ufig wird Software basierend auf dem Structure from Motion Ansatz f r die Berechnung der Kamerapositionen verwendet Diese besitzt meist die Sichtbarkeitsinformationen die dann verwendet werden k nnen Tabelle 3 einstellbare PMVS Parameter und ihre Bedeutung 35 7 Bildverarbeitung Photosynth Toolkit Variante Abbildung 51 verdeutlicht die Auswirkungen unterschiedlich gew hlter Parameter anhand einer Zusammenstellung des gleichen Projekts prozessiert mit unterschiedlichen Parametern Bei der Wahl der Parameter ist immer die Rechenkapazit t mit einzubeziehen was bedeutet dass der Wunsch nach einer m glichst dichten Punktwolke mitunter die Speicherleistung des Rechners bersteigt bzw die Prozessierungszeit ins Unendliche zu gehen scheint Das zu w hlende Level und die Cellsize sind die entscheidenden Faktoren f r die Prozessierungszeit und die Punktdichte F r alle Datens tze konnten mit den voreingestellten Default Werten ansehnliche Punktwolken erstellt werden Liegen nur wenige hochaufgel ste Bilder vor so kann das niedrigste Level O gew hlt werden Sind es hingegen mehr als 20 hochaufgel ste Bilder so sollte zun chst min Level 1 ausgew hlt werden um ein Ergebnis innert abwartbarer Frist zu erhalten F r die Vid
132. ung Es wurden nur 23 Bilder der Fassadenschr gaufnahme verwendet Verdeutlicht wird die falsche gekr mmt rekonstruierte Geometrie der eigentlich ebenen Fassade Die Ursache kann zum einen in fehlenden bergreifenden Aufnahmen liegen was zu einer Drift in der Fassadentiefe als Folge schlechter Schnittgeometrien in der B ndelblockausgleichung f hren kann Zum anderen ist aber wohl auch eine schlechte Verzeichnungskorrektur der Bilder die Ursache Abbildung 52 Draufsicht HXE Nordfassade Basis verzeichnungsbehaftete Bilder Photosynth HXE_Flug0511_0004_0026 Eine Rekonstruktion des Objektes aus unterschiedlichen Perspektiven hingegen wie in Kapitel 7 1 3 verdeutlicht f hrt zu einer stabilen Geometrie Abbildung 53 zeigt ebenfalls das HXE Geb ude Gegen ber der Auswertung die in Abbildung 52 dargestellt ist wurden aber zus tzlich zu den Schr gaufnahmen alle Bilder der in Abbildung 36 dargestellten Kamerapositionen verwendet Somit ist das Objekt den Vorgaben zur Bildaufnahme entsprechend Kapitel 7 1 3 erfasst und besitzt eine ebene Fassade Abbildung 53 Draufsicht HXE Nordfassade Basis verzeichnungsbehaftete Bilder Photosynth HXE_Flug_4_70u114_207 Dass Verzeichnungen in den Bildern einen grossen Einfluss auf die Geometrie haben zeigt Abbildung 54 Hier ist der gleiche Datensatz wie bei Abbildung 52 prozessiert worden jedoch wurden die Bilder vor dem hochladen zu Photosynth in Matlab verzeichnungskorrigiert vgl 4 4 Di
133. ung und Darstellung von Situationen z B bei Verkehrsunf llen oder Katastropheneins tzen ist die dargestellte Methode aber unbedingt empfehlenswert Da alle Schritte mit Programmen die dem privaten Nutzer keine Kosten verursachen durchf hrbar sind kann die breite Masse von der Anwendung profitieren Dass die Daten f r die Prozessierung ins Internet hochgeladen werden m ssen und somit theoretisch f r alle sichtbar sind stellt einen Nachteil der Photosynth Toolkit Variante dar F r sensible Bilddaten und kommerzielle Nutzer besteht aber bereits die M glichkeit eine Photosynth Offline Version namens Geosynth k uflich zu erwerben Zur Kompatibilit t dieses lokal laufenden Programms zu Photosynth Toolkit kann keine Aussage gemacht werden Die Verbesserungen in den Modellen auf Grund der Einf hrung von verzeichnungskorrigierten Bildern zeigen dass die verwendeten Auswertemethoden von Photosynth nicht unbedingt auf Genauigkeit sondern eher auf die stabile Prozessierung von Bilddaten ausgelegt ist Weiter zeigen sie aber auch dass mit photogrammetrischen Grunds tzen bessere Ergebnisse erzielbar sind Der interessante Vergleich zwischen der auf Grundlage von verzeichnungskorrigierten Bildern prozessierten dichtgematchten HXE Punktwolke mit den Scandaten konnte aus Zeitgr nden nicht mehr durchgef hrt werden Ursachen hierf r sind die zu sp te Entdeckung der Matlab Calibration Toolbox zur Verzeichnungskorrektur und die Transformation der
134. vermaschte Photosynth Punktwolke des Datensatzes HXE_MPA_Matlab zu sehen Im Vergleich zum linken Bild liefert sie durch die geschlossenen Oberfl chen einen besseren r umlichen Eindruck Das in der urspr nglichen Punktwolke vorhandene Rauschen konnte bei der Vermaschung gegl ttet werden Uu A d A GEN BS E Abbildung 36 Punktwolke des HXE Geb udes aus Photosynth erstellt Abbildung 37 vermaschte Punktwolke aus aus Videobefliegung in gelb die Kameraaufnahmepositionen Photosynth Datensatz HXE_MPA_Matlab Fur die Weiterverarbeitung mit Photosynth Toolkit sind nur die Kamerapositionen entscheidend sowie die im Zuge der B ndelblockausgleichung berechneten Kameraparameter f r die Ber cksichtigung der Verzeichnungen 7 2 Photosynth Toolkit Die M glichkeit die rekonstruierten Kamerapositionen eines Photosynths zu erhalten hat Henri Astre einen CV Interessierten dazu veranlasst das Programm Photosynth Toolkit zu programmieren Es handelt sich hierbei um ein Freewareprogramm dass aufbauend auf den bekannten Kamerapositionen und frei zur Verf gung stehender Programmcodes der 1 Download http synthexport codeplex com releases 45675 download 122956 Stand 25 01 2011 1 Download http meshlab sourceforge net Stand 25 01 2011 1 Download http www visual experiments com Stand 25 01 2011 33 7 Bildverarbeitung Photosynth Toolkit Variante Bildverarbeitung wie SIFT und PMVS eine dichte 3D Punktwolke der pho
135. vischer Ansicht ib a2 ER RE AS HERLEEERE 48 Abbildung 56 Verdeutlichung des SIFT Drift Effekts bei einer 3D Rekonstruktion Kien Worring EE 48 Abbildung 57 Vergleich zwischen vermaschter Photosynth Toolkit Wolke grau und original Photosynth Punktwolke E NEE 49 Abbildung 58 Fehlerhafte Geometrie Photosynth Architekten Haeuschen Handaufnahme 50 Abbildung 59 Fehlerhafte Punkte entlang von Schattenkanten Photosynth Copan 50 Abbildung 60 Fehlerhafte Patches bei repetitiven Mustern Photosynth PIXE MPA 316 847 AM Schraep en ee NEE 50 Abbildung 61 Fehlerhafte Punkte in Lage und Farbe an Kanten und d nnen Objekten PHOTOSV ug Ee deele EE 50 Abbildung 62 Schnitte von Photosynthmodellen basierend auf unkorrigierten Originalbildern ert bzw verzeichnungsk rrigierten Blees eege Geesen Seege 51 VII Abbildungsverzeichnis Abbildung 63 Targetdarstellung im Original und in der PUNKtWOIkKE cece ceeeccceeeeceeecseeeeseeeneseeeness 54 Abbildung 64 Vergleich Laserscanmodell zu Photosynth Toolkit Punktwolke Einheit m 56 Abbildung 65 3 Schnitte durch HXE Modelle Basis hochaufgel ste Einzelbilder violett bzw VIGEODETIE Elke ET EE 57 Abbildung 66 HXE Modelle vermascht in Geomagic Basis hochaufgel ste Einzelbilder li bzw Tee Ee EE 58 Abbildung 67 Fehlversuch der Registrierung zweier Punktwolken mit unterschiedlichen Massstaben in Geomag ice
136. weils eine Kalibrierung durchgef hrt wie sie in der Programmbeschreibung ausf hrlich dokumentiert ist Sie wird deshalb hier nur kurz wiedergegeben Die Kalibrierung erfolgt auf Grundlage eines Schachbrettmusters Dieses muss in ca 20 Bildern aus unterschiedlichen Positionen aufgenommen werden Die im A4 Format ausgedruckten Schachbrettmuster sind allesamt zu klein um in der auf unendlich eingestellten Fokussierung ein bildf llendes scharfes Abbild zu erhalten Deshalb wird ein gr sseres Schachbrettmuster das auf einem Flachbildschirm angezeigt wird verwendet Abbildung 13 zeigt den Bildschirm samt Muster F r die Schachbrettmustererstellung ist das Photobearbeitungsprogramm GIMP geeignet Unter der Men abfolge Filter gt Render gt Muster gt Schachbrett kann es schnell erstellt werden Je kleinteiliger das Muster gew hlt wird desto dichter kann die Verzeichnung bestimmt werden Es muss jedoch darauf geachtet werden dass die Fl chen in den Aufnahmen noch deutlich getrennt wahrnehmbar sind Dies ist f r die automatische Eckendetektion wichtig da ansonsten der Detektor bei stark perspektivischen Aufnahmen versagt Das Muster muss auf allen Bildern komplett erfasst sein In der Kalibrierungsauswertung muss in jedem Bild der gleiche Rahmen des Schachbretts manuell erfasst werden Hierf r wurden in jedem Bild die vier inneren Aussenecken gew hlt Mit dieser Vorgabe und der Angabe zur Anzahl der vorhandenen Felder kann die automatische
137. xeln am Bildrand auszumachen bei den Bildern im Videomodus 640 x 480 Pixel betragen die Verschiebungen dementsprechend 1 2 Pixel 25 6 Bildverarbeitung Bundler Variante Bildausschnitt der Originalaufnahme verzeichnungskorrigierter Bildausschnitt Abbildung 27 Pixelverschiebung durch Verzeichnungskorrektur im Aussenbereich eines hochaufgel sten Bildes Die von mir mit Bundler durchgef hrten Bildverarbeitungen ergaben mit den von mir erstellten Datens tzen keine ansehnlichen Ergebnisse Der Grund hierf r liegt in der nicht durchgef hrten Erg nzung der extract_focal pl Datei was zu sp t erkannt wurde Einzig beim dem im Programm enthaltenen Datensatz Kermit der 11 Bilder eines Stofftieres in einer mit viel Textur versehenen Szene zeigt war deshalb eine Rekonstruktion der Kamerapositionen m glich Die selbst aufgenommenen Objekte mittels Befliegungen oder Handaufnahmen wurden wegen der unvollst ndigen Kameradatei nicht in einer zusammenh ngenden Punktwolke rekonstruiert sondern bildeten Cluster In diesen Cluster sind teilweise Szenen aus den Bildern zu erkennen Teilweise bestehen sie aber nur aus wenigen Punkten und lassen keinen Bildausschnitt erkennen Die PLY Dateien mit der niedrigsten Ordnungszahl die immer die Featurepunkte des ersten Bildpaarmatchings enthalten zeigen immer eine ordentliche Punktgeometrie In PLY Dateien sp terer Matchingschritte sind teilweise jedoch die Kamerapositionen an falschen Stellen um die

Bericht - IGP

Contents

Download Pdf Manuals

Related Search

Related Contents