Adaptive multi-image matching for DSM generation from airborne linear array CCD data

Abstract

This thesis investigatesthe topic of automatic image matching with focus on the generation of Digital Surface Models (DSMs) by using imagery acquired from airborne linear array CCD sensors. The research has been motivated by the recent developments in photogrammetric equipment related to sensor technology, which have introduced a new field of research. Airborne digital cameras that employ linear array CCD sensors, exhibit different radiometric and geometric characteristics compared to conventional film based cameras and new methods are required for processing the data from these sensors and generating produets for different applications. In addition, with respect to matching,existing algorithms are geared towards frame imagery, plus the degree of automation is limited. In most cases, current commercial systems show poor success rate and require manual interaction for editing the matching results. This study is embedded in the framework of the AIM project (Adaptive Image Matching), in which data from the airborne digital camera (ADS40) of LGGM (Leica Geosystems GIS & Mapping) are used as input. Existing matching algorithms are analyzed, further modified and new ones are developed aiming at integrating information from the special characteristics of the sensor in the matching philosophy. First, the camera architecture, the radiometric and geometric properties of the sensor, the calibration of the system, the ground processing workflow and the sensor model are investigated. Then, this research is focused on two main issues, namely the evaluation and enhancement of the image quality and the development of the matching strategy. The radiometric analysis and the preprocessing part include methods for noise estimation, noise reduction, contrast and edge enhancement, radiometric balancing, reduction to 8-bit and processing of multispectral channels. This part is important and if ornitted, the matching Performance is infiuenced. The matching strategy consists of different modules that are evaluated individually but also on an integrated basis. In a nutshell, the individual matching aspects that are investigated are: the implementation of geometrical constraints, the derivation of approximate values, the extraction of features, the Integration of different matching methods and the quality control and error detection. Geometrical constraints are used to strengthen matching and are employed by means of quasi-epipolarlines. Due to the complex geometry of the images (positionand attitude information for each line), epipolar lines do not rcally exist and the epipolar trajeetory is modelled over a short length by a secondor first degree polynomial equation. Moreover,hierarchical techniques are utilized to gradually refine the matching results. The investigations are performed with respect to generation of image pyramids, for which different filters are utilized and evaluated, and to the selection of the doublets as an optimal strategy towards better time performance and reduction of propagation of matching errors to lower levels. Apart from the above, in the matching strategy feature- and arca-based methods, plus methods that aim at higher reliability and/or at precision, are combined and different primitives (grid points, edgels and edges) are used. The selection of edges, as matching entities, resulted from the evaluation of different feature extraction algorithms (points and edges), based on a set of criteria. Then, the efforts have been mainly focused on edge matching, in order to improve modelling of discontinuities. Different approaches were investigated that led to significant improvements: the use of height and continuity constraints for contour points and extensions of LSM for edge features. In the LSM for edge features both edgels and long, straight edges are handled. Moreover, the ADS40 with the configuration of the channels on the focal plane and their viewing angles permits the use of more than one template and to facilitate the identification of errors occurring in matching, especially occlusions. The role of the different combinations of channels in matching is discussed and the matching block, based either on a single- or multi-template strategy, is described. Other major aspects of these investigations are the quality control and error detection strategy. Each individual ray is checked based on a set of criteria and pre-defined error types. In the quality control, measures derived from different matching methods (multi-patch matching, LSM, edge matching) are combined, problematicrays are exeluded and each 3D point is computed from the good rays only. The performance of the system has been evaluated over different areas of land cover and for different point classes (breaklines and points, on the ground and on anthropogenic objects). A detailed analysis of the results and the Statistical measures that have been derived from the tests are presented and discussed. The derived accuracy of the automatic measurements is close to the accuracy of the manual measurements, according to the studies, blunders in the results of AIM are significantly less compared to the results of the commercial system Socet Set 4.4.1 (SS). For AIM the matching accuracy on anthropogenic objects was 0.5-0.66 m, whereas for SS it was > 1 m, especially in dense built areas. Cette these etudie le sujet de la mise en correspondance(matching) automatique des images et focalise sur la generation des modeles numeriqucs de surface (DSMs), en employant 1' imagerie acquise par senseurs lineaires CCD aeroportees. La recherche a ete motivee par les developpements recents sur les equipemcnts photogrammetriques lies ä la technologie de senseur, qui ont ouverts un nouveau domaine de recherche. Les cameras numeriques aeroportees qui utilisent les senseurs lineaires CCD, präsent des differentes caracteristiques radiometriques et geometriques, comparees aux cameras conventionnelles ä film. De nouvelles methodes sont necessaires ä traiter les donnees de ces senseurs et generer des produits pour differentes applications. En outre, en ce qui concerne le mis en correspondance, les algorithmes existants sont orientes vers 1' imagerie conventionnelle, de plus le degre d' automation est limite. Dans la plupart des cas, les systemes commerciaux courants montrent un faible taux de succes et exigent une interaction manuelle pour editer les resultats du matching. Cette etude est inclus dans le cadre du projet AIM. (AdaptiveImageMatching), dans lequel les doniues de camera numerique aeroportee (ADS40) de LGGM sont employees comme entne (input). Les algorithmes de matching existants sont analyses, puis modifies et de nouveaux algorithmes sont developpes avec 1' effort d' integrer V information des caracteristiques speciales du senseur dans la philosophie du matching. Premienneiit, 1' architecture de la camera, les proprietes radiometriques et geometriques du senseur, le calibrage de Systeme, le deroulement des Operations de traitement (ground processing) ainsi que le modele de senseur sont etudiös. Ensuite, la recherche est concentree sur deux themes principaux : 1'evaluation et 1' optimisation de la qualite d' image, puis le developpement de la strategie du matching. L'analyse radiometrique et la pretraitement incluent des methodes pour 1' estimation de bruit, la reduction de bruit, 1' optimisation de contraste et des contours, 1' equilibrage radiometrique, la reduction ä 8 bits et le traitement des canaux de couleur. Cette partie est importanteet si omisc, la performance du matching est influeneee. La Strategie du matching se compose de differents modules qui sont evalu^s ä la fois individuellement mais aussi sur une base integree. En un mot, les differents aspects du matching qui sont etudies sont : V implementation de contraintes geometriques, la derivation de valeurs approximatives, 1'extraction de traits, la integration de differentes methodes de matching ainsi que le controle de qualite et la detection d' errcurs grossieres. Les contraintes geometriquessont employeespour renforcer le matching et sont utilisies au moyen de lignes quasi epipolaires. En raison de la göometrie complexe des images (rinformation de position et d'attitude pour chaque ligne), les lignes epipolaires n'existent pas vraimentet la tra jeetoire epipolaire est modeliscc sur une courte longueur par une equation de polynömede deuxieme ou de premiere degre. D' ailleurs, des techniques hierarchiques sont utilisees pour raffiner graduellement les resultatsdu matching. Les investigations sont effectuees en respectant la generation de la pyramide d'image, pour laquelle differents filtres sont utilises et evalues,et le choix d' une strategie optimaleen terme de temps d' execution et de reduction d' erreurs de matching ä des niveaux plus bas. Independemment de ce qui precede, les methodes basees sur les traits et les secteur, plus les methodes qui visent soit la fiabilite et soit 1' exactitude, sont combinees dans le strategie de matching et differents primitifs (grid points, edgels, edges) sont employes. La selection des contours, comme les entites du matching,a results de 1' evaluation de differents algorithmes d'extraction de traits (points et contours), basee sur un ensemble de criteres. Puis, les efforts ont ete principalernent concentres sur le mis en correspondanedes contours, afm d' ameliorer la modelisation des discontinuites. On a recherche differentes approches qui ont mene ä des ameliorations significatives : l'utilisation de contraintes de hauteur et de continuiti, pour les points de contour et les prolongements de LSM pour des traits de contours. D' ailleurs, ADS40 permet avec la configuration des canaux sur le plan focal et leurs angles de vue son employer plus que un template, et facilite 1' identification des erreurs se produisant dans le matching, particulierement les occlusions. Le role des differentes combinaisonsde canaux dans le matching est discute et le bloc de matching, bas6 d'une strategie mono ou multi-template est decrit. Un autre aspect principal de cette recherche est le controle de qualite et la detection des erreurs grossieres. Chaque rayon individucl est verifie sur la base d' un ensemble de criteres et des classes d'erreur predefinies. Dans le controle de qualite les mesures derivees de differentes methodes de matching (multi-patch matching, LSM, edge matching) sont combinees, les rayons problematiques sont exclus et le point 3D est calcule par les bons rayons seulement. La performance du systeme a ete evaluee aux divers secteurs de couverture de terrain et aux differentes classes de point (breaklines et points, sur le sol et sur les objets). Un analyse detaillee des resultats et des mesures statistiques qui ont ete derivees des essais sont presentees et discutees. L' exactitude des mesures automatiques est prochede 1' exactitude des mesures manuelles. Selon 1' analyse, les erreurs grossieres dans les resultatsdu AIM sont significativement moins comparees aux resultats du Systeme Socet Set 4.4.1. Pour AIM 1' exactitude de matching sur les objets etait de 0.5 -0.65 m et pour SS etait > 1 in.