Stereo vision-based road condition monitoring

Download or read book Stereo vision-based road condition monitoring written by Brunken, Hauke and published by Universitätsverlag der TU Berlin. This book was released on 2021-05-12 with total page 188 pages. Available in PDF, EPUB and Kindle. Book excerpt: When planning road construction measures, it is essential to have up-to-date information on road conditions. If this information is not to be obtained manually, it is currently obtained using laser scanners mounted on mobile mapping vehicles, which can measure the 3D road profile. However, a large number of mobile mapping vehicles would be necessary to record an entire road network on a regular basis. Since 2D road damages can be found automatically on monocular camera images, the idea was born to use a stereo camera system to capture the 3D profile of roads. With stereo camera systems, it would be possible to equip a large number of vehicles and regularly collect data from large road networks. In this thesis, the potential applications of a stereo camera system for measuring road profiles, which is mounted behind the windshield of a vehicle, are investigated. Since this requires a calibration of the stereo camera system, but the effort for the user should be kept low, the camera self-calibration for this application is also examined. 3D reconstruction from stereoscopic images is a well-studied topic, but its application on road surfaces with little and repetitive textures requires special algorithms. For this reason, a new stereo method was developed. It is based on the plane-sweep approach in combination with semi-global matching. It was tested with different measures for pixel comparison. Furthermore, the plane-sweep approach was implemented in a neural network that solves the stereo correspondence problem in a single step. It uses the stereoscopic images as input and provides an elevation image as output. A completely new approach was developed for the self-calibration of mono cameras and stereo camera systems. Previous methods search for feature points in several images of the same scene. The points are matched between the images and used for the calibration. In contrast to these methods, the proposed method uses feature maps instead of feature points to compare multiple views of one and the same plane. To estimate the unknown parameters, the backpropagation algorithm is used together with the gradient descent method. The measurements obtained by stereoscopic image processing were compared with those obtained by industrial laser scanners. They show that both measurements are very close to each other and that a stereoscopic camera system is in principle suitable for capturing the surface profile of a road. Experiments show that the proposed self-calibration method is capable of estimating all parameters of a complex camera model, including lens distortion, with high precision. Bei der Planung von Straßenbaumaßnahmen ist es unabdingbar, über aktuelle Informationen über den Straßenzustand zu verfügen. Sollen diese Informationen nicht manuell gewonnen werden, werden derzeit Messfahrzeug mit Laserscannern verwendet, welche das 3D-Straßenprofil vermessen können. Für die regelmäßige Erfassung eines gesamten Straßennetzes wäre jedoch eine große Anzahl von Messfahrzeugen erforderlich. Da 2D-Straßenschäden automatisch auf monokularen Kamerabildern gefunden werden können, entstand die Idee, ein Stereokamerasystem zur Erfassung des 3D-Profils zu verwenden. Eine große Anzahl von Fahrzeugen könnte damit ausgerüstet werden und es könnten regelmäßig Daten von großen Straßennetzen erfasst werden. In dieser Arbeit werden die Einsatzmöglichkeiten eines Stereokamerasystems zur Messung von Straßenprofilen untersucht, dass sich hinter der Windschutzscheibe eines Fahrzeugs befindet. Da hierzu das Stereokamerasystems kalibriert sein muss, der Aufwand für den Anwender aber geringgehalten werden soll, wird außerdem die Selbstkalibrierung für diesen Einsatzzweck untersucht. Die 3D-Rekonstruktion aus stereoskopischen Bildern ist ein viel untersuchtes Thema, aber ihre Anwendung auf Straßenoberflächen mit wenig und sich wiederholenden Texturen erfordert spezielle Algorithmen. Aus diesem Grund wurde ein neues Stereoverfahren entwickelt. Es basiert auf dem Plane-sweep-Ansatz in Kombination mit Semi-global Matching. Es wurde mit verschiedene Maßen für den Vergleich von Pixeln getestet. Darüber hinaus wurde der Plane-sweep-Ansatz in einem neuronalen Netzwerk implementiert, das das Stereo-Korrespondenzproblem in einem einzigen Schritt löst. Es verwendet die stereoskopischen Bilder als Eingabe und liefert als Ausgabe ein Höhenbild. Für die Selbstkalibrierung von Monokameras und Stereokamerasystemen wurde ein völlig neuer Ansatz entwickelt. Bisherige Methoden suchen nach Merkmalspunkten in mehreren Bildern der gleichen Szene. Die Punkte werden zwischen den Bildern zugeordnet und für die Kalibrierung verwendet. Die vorgeschlagene Methode verwendet anstelle von Merkmalspunkten Feature-Maps um mehrere Ansichten derselben Ebene zu vergleichen. Zur Schätzung der unbekannten Parameter wird der Backpropagation-Algorithmus zusammen mit dem Gradientenabstiegsverfahren verwendet. Die durch stereoskopische Bildverarbeitung erhaltenen Messungen wurden mit Messungen von industriellen Laserscannern verglichen. Sie zeigen, dass beide sehr nahe beieinander liegen und dass ein Stereokamerasystem für die Erfassung des Oberflächenprofils einer Straße grundsätzlich geeignet ist. Experimente zeigen, dass die neue Selbstkalibrierungsmethode in der Lage ist, alle Parameter eines komplexen Kameramodells, einschließlich der Linsenverzerrung, mit hoher Präzision abzuschätzen.