مقایسه استخراج نقاط نمای ساختمان‌های شهری از ابر نقاط لیزراسکنر همراه و تصویربرداری پهپاد

حیدری مظفر, مرتضی; حسینی, سیدعادل

doi:10.22061/jrsgr.2024.11266.1084

نوع مقاله : مقاله پژوهشی

نویسندگان

¹ گروه عمران، دانشکده مهندسی، دانشگاه بوعلی سینا، همدان، ایران

² گروه نقشه‌برداری ، دانشکده عمران و حمل و نقل، دانشگاه اصفهان، اصفهان، ایران

https://doi.org/10.22061/jrsgr.2024.11266.1084

چکیده

پیشینه و اهداف: در دهه‌های اخیر، علوم ژئوماتیک پیشرفت چشمگیری کرده و این پیشرفت‌ها ناشی از ابزارهای پیشرفته اندازه‌گیری و تکنولوژی‌های نوآورانه در زمینه اخذ داده‌های هندسی و مکانی است. در این زمینه، لیزراسکنرهای همراه و پهپادها به عنوان ابزاری اساسی و کارآمد معرفی شده‌اند که قابلیت انجام اندازه‌گیری دقیق و سریع اشیاء و محیط‌های مختلف از جمله فضاهای شهری، را دارا هستند. این دستگاه‌ها به شکل خودکار تمامی جزئیات فضای شهری را به شکل‌ ابرنقطه یا تصویر ثبت می‌کنند. برای استخراج اطلاعات هندسی ساختمان‌ها از درون این جزئیات، لازم است از روش‌های بینایی ماشین استفاده شود. در راستای دستیابی به مدل‌های دقیق و قابل اعتماد از ساختمان‌ها، هنگام پردازش داده‌های ابرنقطه، دنباله‌ای از عملیات پس‌پردازش اجرا می‌شود. یکی از مهمترین مراحل این پردازش‌ها، قطعه‌بندی ابرنقاط است. این مراحل انتقال داده‌های ابرنقطه را به اطلاعات مفهومی‌تر و قابل تحلیل‌تر تبدیل می‌کنند. یکی از مسائل مهم در پردازش داده‌های ابرنقطه، توانایی استخراج سطوح مسطح نما‌های ساختمانی (دیوارها) است. این سطوح مسطح به عنوان اجزاء اساسی در مدل‌سازی و تحلیل وضعیت ساختمان‌ها از اهمیت ویژه‌ای برخوردارند. دقت در اطلاعات مرتبط با این سطوح مسطح، امکان تمایز دقیق‌تر و کامل‌تر بین اجزاء مختلف ساختمان‌ها را فراهم می‌کند. این امر در کاربردهای متعددی از جمله برنامه‌ریزی شهری، مدیریت ساخت و ساز، و تجزیه و تحلیل مصرف انرژی ساختمان‌ها اهمیت دارد.
روش‌ها‌: در این مقاله، برای استخراج سطوح مسطح از سه مجموعه داده ابرنقطه ( ابرنقطه اخذ شده از دستگاه‌های لیزراسکنر همراه GeoSLAM ZEB-HORIZON، ابرنقطه بدست آمده از پردازش تصویربرداری پهپاد Phantom 4 Pro و ابرنقطه ترکیبی) از ترکیب دو الگوریتم MSAC و G-DBSCAN استفاده شده است. این دو الگوریتم به صورت متوالی اجرا می‌شوند. محوطه‌ای که برای این منظور انتخاب شده، ساختمان‌های دانشکده مهندسی دانشگاه بوعلی سینا در همدان می‌باشد. زیرا این محیط ویژگی‌هایی از جمله تنوع معماری، وجود نماهای مسطح و حالت‌های مختلف قرارگیری دیوارها نسبت به هم با ابعاد مختلف را داراست.
یافته‌ها: این تحقیق با ارزیابی جامع سه مجموعه داده‌ مجزا، میانگین دقت (Precision) بیش از 97% را نشان می‌دهد که دقت بالا در استخراج داده‌ها را تضمین می‌کند. علاوه بر این، میانگین بازنمایی (Recall) به بیش از 94% رسیده است که اغلب عناصر نما را پوشش می‌دهد. نتیجه این ارزیابی، امتیاز F1 (F1 score) با میانگین 95% است که نشان‌دهنده پیشرفت در زمینه استخراج دقیق داده‌های ساختمانی و مدل‌سازی معماری است. با این حال، الگوریتم در مواجهه با دیوارهایی که عمود بر مسیر حرکت لیزراسکنر قرار دارند، دچار چالش‌هایی شد که موجب کاهش نرخ بازنمایی گردید. همچنین، الگوریتم SfM در تولید نقاط بر روی شیشه‌های پنجره‌ها مشکل دارد، که باعث شده برخی نقاط مربوط به فضای داخل پنجره‌ها به عنوان نقاط دیوار تشخیص داده شوند. این مسئله نشان می‌دهد که الگوریتم‌های تولید ابرنقطه از تصاویر بر نتایج این الگوریتم تأثیرگذار هستند. در مقابل، نتایج داده‌های ترکیبی بسیار امیدوارکننده بوده است، به گونه‌ای که این داده‌ها در مرحله اول الگوریتم با سرعت بیشتری نسبت به دو مجموعه داده دیگر همگرا شدند و عملکرد بالایی در دقت و نرخ بازنمایی داشتند.
نتیجه‌گیری: با این حال، یافته‌ها نشان می‌دهد که الگوریتم به طور کلی عملکرد برجسته‌ای در استخراج اطلاعات نماهای ساختمانی، به‌ویژه با استفاده از داده‌های متنوع و گوناگون، از خود نشان داده است. این پیشرفت‌ها نویدبخش بوده و افق‌های جدیدی را در تحلیل داده‌های مکانی و مدل‌سازی ساختمانی می‌گشاید. این رویکرد نوآورانه می‌تواند در کاربردهای مختلف مورد استفاده قرار گرفته و به توسعه مدل‌های معماری مدرن و داده‌محور کمک کند.

کلیدواژه‌ها

موضوعات

فتوگرامتری

عنوان مقاله [English]

Comparison of extracting façade points of urban buildings from points cloud of mobile laser scanner and UAV imaging

نویسندگان [English]

M. Heidarimozaffar ¹
S. A. Hosseini ²

¹ Department of Civil Engineering, Faculty of Engineering, Bu-Ali Sina University, Hamadan, Iran

² Department of Geomatics Engineering, Faculty of Civil Engineering and Transportation, University of Isfahan, Isfahan, Iran

چکیده [English]

Background and Objectives: In recent decades, geomatics science has made significant progress, and these advances are due to advanced measurement tools and innovative technologies in the field of geometric and spatial data acquisition. In this context, portable laser scanners and UAVs have been introduced as basic and efficient tools that are capable of accurately and quickly measuring various objects and environments, including urban spaces. These devices automatically record all the details of the urban space in the form of point clouds or images. To extract the geometric information of buildings from these details, it is necessary to use machine vision methods. To achieve accurate and reliable models of buildings, a sequence of post-processing operations is implemented when processing point cloud data. One of the most important stages of these processes is the segmentation of the point cloud. These steps transform point cloud data into more conceptual and analyzable information. One of the important issues in processing point cloud data is the ability to extract flat surfaces of building facades (walls). These flat surfaces are of special importance as basic components in modeling and analyzing the condition of buildings. Accuracy in the information related to these flat surfaces allows for a more accurate and complete distinction between different components of buildings. This is important in several applications including urban planning, construction management, and energy consumption analysis of buildings.
Methods: In this article, the combination of MSAC and G-DBSCAN algorithms is used to extract flat surfaces from three-point cloud datasets (point cloud obtained from GeoSLAM ZEB-HORIZON laser scanner devices, point cloud obtained from Phantom 4 Pro drone imaging and hybrid point cloud) has been These two algorithms are executed sequentially. The area chosen for this purpose is the buildings of the Faculty of Engineering of Bu-Ali Sina University in Hamedan. Because this environment has features such as architectural diversity, the existence of flat facades, and different ways of placing walls in relation to each other with different dimensions.
Findings: This research, with a comprehensive evaluation of three separate data sets, shows an average precision of more than 97%, which guarantees high accuracy in data extraction. In addition, the average recall has reached more than 94%, which covers most of the elements of the facade. The result of this evaluation is the F1 score with an average of 95%, which indicates progress in the field of accurate building data extraction and architectural modeling. However, the algorithm encountered challenges when facing the walls that were perpendicular to the laser scanner's movement path, which reduced the representation rate. Also, the SfM algorithm has difficulty in generating points on window panes, which caused some points related to the space inside the windows to be recognized as wall points. This issue shows that point cloud generation algorithms from images affect the results of this algorithm. On the contrary, the results of the combined data have been very promising, in such a way that these data converged faster than the other two data sets in the first step of the algorithm and had high performance in Precision and Recall.
Conclusion: However, the findings show that the algorithm has generally shown an outstanding performance in extracting building facade information, especially with the use of diverse and varied data. These developments are promising and open new horizons in spatial data analysis and building modeling. This innovative approach can be used in various applications and help to develop modern and data-driven architectural models.

کلیدواژه‌ها [English]

UAV photogrammetry
Mobile laser scanner
point cloud segmentation
point cloud clustering
DBSCAN and RANSAC algorithms
Plane extraction

COPYRIGHTS
© 2024 The Author(s). This is an open-access article distributed under the terms and conditions of the Creative Attribution-NonCommercial 4.0 International (CC BY-NC 4.0) (https://creativecommons.org/licenses/by-nc/4.0/)

مراجع

[1] Cornelis N, Leibe B, Cornelis K, Van Gool L. 3d urban scene modeling integrating recognition and reconstruction. International Journal of Computer Vision. 2008 Jul;78:121-41.

https://doi.org/10.1007/s11263-007-0081-9

[2] Becker S. Generation and application of rules for quality dependent façade reconstruction. ISPRS journal of photogrammetry and remote sensing. 2009 Nov 1;64(6):640-53. https://doi.org/10.1016/j.isprsjprs.2009.06.002

[3] Abreu N, Pinto A, Matos A, Pires M. Procedural point cloud modelling in scan-to-BIM and scan-vs-BIM applications: a review. ISPRS International Journal of Geo-Information. 2023 Jun 30;12(7):260. https://doi.org/10.3390/ijgi12070260

[4] La Russa FM, Grilli E, Remondino F, Santagati C, Intelisano M. Advanced 3D Parametric Historic City Block Modeling Combining 3D Surveying, AI and VPL. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2023 Jun 24;48:903-10.

http://dx.doi.org/10.5194/isprs-archives-XLVIII-M-2-2023-903-2023

[5] Su Z, Gao Z, Zhou G, Li S, Song L, Lu X, Kang N. Building plane segmentation based on point clouds. Remote Sensing. 2021 Dec 25;14(1):95. https://doi.org/10.3390/rs14010095

[6] Wagner W, Ullrich A, Ducic V, Melzer T, Studnicka N. Gaussian decomposition and calibration of a novel small-footprint full-waveform digitising airborne laser scanner. ISPRS journal of Photogrammetry and Remote Sensing. 2006 Apr 1;60(2):100-12.

https://doi.org/10.1016/j.isprsjprs.2005.12.001

[7] Vosselman G, Maas HG. Airborne and terrestrial laser scanning. CRC Press (Taylor & Francis); 2010.

[8] Arachchige NH, Maas HG. Automatic Building Facade Detection in Mobile Laser Scanner point Clouds. Publ. Der. Dtsch. Für. Photogramm. Fernerkund. Und. Geoinf. EV. 2012;21:347-54.

[9] Hu D, Gan VJ, Yin C. Robot-assisted mobile scanning for automated 3D reconstruction and point cloud semantic segmentation of building interiors. Automation in Construction. 2023 Aug 1;152:104949.

https://doi.org/10.1016/j.autcon.2023.104949

[10] Arachchige NH, Perera SN, Maas HG. Automatic processing of mobile laser scanner point clouds for building facade detection. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2012 Jul 27;39:187-92.

https://doi.org/10.5194/isprsarchives-XXXIX-B5-187-2012, 2012.

[11] Treccani D, Adami A. Single Building Point Cloud Segmentation: Towards Urban Data Modeling and Management. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2023 May 25;48:511-6.

https://doi.org/10.5194/isprs-archives-XLVIII-1-W1-2023-511-2023

[12] Boulaassal H, Landes T, Grussenmeyer P. Automatic extraction of planar clusters and their contours on building façades recorded by terrestrial laser scanner. International Journal of Architectural Computing. 2009 Jan;7(1):1-20.

https://doi.org/10.1260/147807709788549411

[13] Tarsha-Kurdi F, Landes T, Grussenmeyer P. Hough-transform and extended ransac algorithms for automatic detection of 3d building roof planes from lidar data. InISPRS Workshop on Laser Scanning 2007 and SilviLaser 2007 2007 (Vol. 36, pp. 407-412).

[14] Sampath A, Shan J. Segmentation and reconstruction of polyhedral building roofs from aerial lidar point clouds. IEEE Transactions on geoscience and remote sensing. 2009 Nov 3;48(3):1554-67. https://doi.org/10.1109/TGRS.2009.2030180

[15] Zhou G, Cao S, Zhou J. Planar segmentation using range images from terrestrial laser scanning. IEEE Geoscience and Remote Sensing Letters. 2016 Jan 6;13(2):257-61.

https://doi.org/10.1109/LGRS.2015.2508505

[16] Arnaud A, Gouiffès M, Ammi M. On the fly plane detection and time consistency for indoor building wall recognition using a tablet equipped with a depth sensor. IEEE Access. 2018 Mar 21;6: 17643-52.

https://doi.org/10.1109/ACCESS.2018.2817838

[17] Weinmann M, Jutzi B, Hinz S, Mallet C. Semantic point cloud interpretation based on optimal neighborhoods, relevant features and efficient classifiers. ISPRS Journal of Photogrammetry and Remote Sensing. 2015 Jul 1;105:286-304. https://doi.org/10.1016/j.isprsjprs.2015.01.016

[18] Lerma JL, Biosca JM. Segmentation and filtering of laser scanner data for cultural heritage. InCIPA 2005 XX international symposium 2005 Sep 26 (Vol. 26, p. 6).

[19] Stamos I, Yu G, Wolberg G, Zokai S. 3D modeling using planar segments and mesh elements. InThird International Symposium on 3D Data Processing, Visualization, and Transmission (3DPVT'06) 2006 Jun 14 (pp. 599-606). IEEE.

https://doi.org/10.1109/3DPVT.2006.5

[20] Dold C, Brenner C. Registration of terrestrial laser scanning data using planar patches and image data. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences. 2006 Sep 25;36(5):78-83.

https://doi.org/10.15488/3750

[21] Xiao J, Zhang J, Adler B, Zhang H, Zhang J. Three-dimensional point cloud plane segmentation in both structured and unstructured environments. Robotics and Autonomous Systems. 2013 Dec 1;61(12):1641-52.

https://doi.org/10.1016/j.robot.2013.07.001

[22] Jochem A, Höfle B, Wichmann V, Rutzinger M, Zipf A. Area-wide roof plane segmentation in airborne LiDAR point clouds. Computers, Environment and Urban Systems. 2012 Jan 1;36(1):54-64.

https://doi.org/10.1016/j.compenvurbsys.2011.05.001

[23] Kwak E, Al-Durgham M, Habib A. Automatic 3D building model generation from lidar and image data using sequential minimum bounding rectangle. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2012 Jul 31;39:285-90.

https://doi.org/10.5194/ISPRSARCHIVES-XXXIX-B3-285-2012

[24] Hough PV, inventor. Method and means for recognizing complex patterns. United States patent US 3,069,654. 1962 Dec 18.

[25] Fischler MA, Bolles RC. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM. 1981 Jun 1;24(6):381-95.