پژوهش های سنجش از دور و اطلاعات مکانی

دوفصلنامه علمی

شماره جاری

بر اساس شماره‌های نشریه

بر اساس نویسندگان

بر اساس موضوعات

نمایه نویسندگان

نمایه کلیدواژه ها

درباره نشریه

اهداف و چشم انداز

همکاران دفتر نشریه

اصول اخلاقی انتشار مقاله

پیوندهای مفید

پرسش‌های متداول

فرایند پذیرش مقالات

اطلاعات آماری نشریه

اخبار و اعلانات

آیین نامه ها و مصوبات

ارزیابی دقت توجیه مستقیم تصاویر گوشی‌های هوشمند در روش ویدئوگرامتری ‏

مقالات آماده انتشار

نوع مقاله : مقاله پژوهشی

نویسندگان

گروه مهندسی نقشه‌برداری، دانشکده مهندسی عمران، آب و محیط زیست، دانشگاه شهید بهشتی، تهران، ایران

چکیده

پیشینه و اهداف: ادغام فناوری‌های تصویربرداری با حسگرهای مکان‌نگاری نظیر GPS، شتاب‌سنج، ژیروسکوپ و قطب‌نما، امکان تعیین دقیق وضعیت و موقعیت دوربین در هنگام تصویربرداری را فراهم کرده است. این قابلیت، به‌ویژه در سامانه‌های نقشه‌برداری سیار و کاربردهای برد کوتاه زمینی، نقش کلیدی در ساده‌سازی فرآیند ارجاع جغرافیایی مدل‌های سه‌بعدی ایفا می‌کند. در این میان، تلفن‌های هوشمند به‌عنوان دوربین‌هایی مجهز به این حسگرهای مکان‌نگار، جایگاهی ویژه پیدا کرده‌اند. در این مطالعه، قابلیت ارجاع جغرافیایی مستقیم مدل سه‌بعدی حاصل از روش فتوگرامتری ساختار ناشی از حرکت با استفاده از داده‌های موقعیت و وضعیت دوربین که به‌صورت همزمان توسط حسگرهای موجود در گوشی هوشمند اندازه‌گیری شده‌اند، بررسی شده است.
روش‌ها‌: داده‌های پژوهش شامل نقاط برداشت ‌شده با استفاده از توتال‌استیشن Leica TS09 R1000 در حالت بدون منشور، همراه با داده‌های جمع‌آوری‌ شده به­وسیله تلفن هوشمند iPhone 13 Pro است. در روش پیشنهادی، پارامترهای جهت‌گیری نسبی که در الگوریتم ساختار ناشی از حرکت تخمین زده شده‌اند، با استفاده از پارامترهای جهت‌گیری که مستقیماً از طریق حسگرهای حرکتی تلفن هوشمند اندازه­گیری شده­اند، اصلاح گردید. عکسبرداری در شرایط ایستا انجام شد، بنابراین زوایای تخمینی و اندازه­گیری شده در هر ایستگاه باید دارای مقداری ثابت و در صورت عدم وجود خطاها با هم برابر باشند. برای جهت ‌دهی مدل نهایی، از میانگین زوایای اندازه‌گیری‌ شده در هر ایستگاه استفاده شد. سپس، طول اندازه­گیری شده با متر برای تعیین مقیاس مدل و میانگین مختصات به‌دست ‌آمده در هر ایستگاه جهت انتقال مدل به سیستم مختصات UTM به­کار رفت. همچنین یک مدل با استفاده از موقعیت دقیق ایستگاه‌های عکسبرداری به روش ارجاع جغرافیایی غیرمستقیم تولید و RMSE نقاط چک مبنای ارزیابی دقت روش پیشنهادی قرار گرفت.
یافته‌ها: دپو مورد مطالعه حدود 15۰ متر طول و 25 متر ارتفاع داشت و جهت آن تقریباً جنوب به شمال بود. در این مطالعه پنج مدل سه‌بعدی بر اساس داده‌های جمع‌آوری ‌شده تولید گردید. مدل اول صرفاً با استفاده از تصاویر، داده‌های موقعیتی، و زوایای ثبت ‌شده توسط حسگرهای تلفن هوشمند ساخته شد و در ادامه به­ترتیب 1، 2 و 3 نشانگر کددار به­عنوان نقطه کنترل به معادلات اضافه شد. مدل پنجم بر پایه همان تصاویر اما با مختصات دقیق دوازده ایستگاه عکسبرداری که با توتال­استیشن اندازه‌گیری شده بودند تولید گردید. در مدل اول میزان خطا همچنان در حد دقت تعیین موقعیت تک نقطه­ای سیستم iOS (حدود 2 متر مسطحاتی و 11 متر ارتفاعی) باقی ماند. در مدل با استفاده از یک نقطه کنترل، تطبیق مدل با مختصات کم‌­دقت GPS گوشی هوشمند باعث ایجاد خطا در محاسبه ژیزمان و در نتیجه چرخش مدل گردید. اگرچه انتقال مدل به­درستی انجام شد، اما به­دلیل چرخش ناشی از خطای ژیزمان، مدل نسبت به سیستم مرجع زاویه‌ دار شده و تطابق کامل حاصل نشد و خطای حدود 40/0 متر ایجاد کرد. در ادامه با افزایش تعداد نقاط کنترل به 2 و 3 دقت نیز افزایش و به 004/0 متر و برابر با حالت استفاده از مختصات دقیق مراکز دوربین رسید. همچنین در حالت پنجم یعنی استفاده از مختصات دقیق مراکز ایستگاه­ها دقت 0007/0 متر حاصل شد.
نتیجه‌گیری: همانطور که مشاهده شد، دقت GPS همچنان چالش ‌برانگیزترین بخش این سیستم است. بیشتر تلفن‌های هوشمند، به جای ارائه داده‌های خام یا داده‌های خام با کیفیت GNSS، تنها موقعیت نهایی پردازش‌ شده توسط سیستم ‌عامل را در اختیار کاربر قرار می‌دهند. با توجه به محدودیت­های سخت­افزاری و محیطی مطالعه پیشنهاد می­شود، توسعه یک سیستم نقشه‌برداری متحرک دستی از طریق ادغام GPS نقشه­برداری و دوربین تلفن هوشمند در مطالعات بعدی مورد توجه قرار گیرد همچنین با توجه به اینکه در مطالعه عملیات خاکی عوارض با اشکال منظم وجود ندارد اما هنگام استفاده از این روش در مواجه با عوارض با اشکال هندسی منظم مانند ساختمان­ها پیشنهاد می­شود، اصلاح پارامترهای جهت­گیری خارجی نسبی تصاویر با استفاده از محدودیت‌های ویژگی‌های موجود در صحنه (ویژگی­های عمودی و افقی بارز) و تلفیق آن در باندل­اجستمنت مورد مطالعه قرار گیرد.

کلیدواژه‌ها

موضوعات

عنوان مقاله [English]

Accuracy assessment of direct georeferencing of smartphone’s images in ‎videogerammetry method ‎

نویسندگان [English]

  • M. Shafiei
  • A. Milan
  • A. Vafaeinejad

Department of Surveying Engineering, Faculty of Civil, Water and Environmental Engineering, Shahid Beheshti University, ‎Tehran, Iran

چکیده [English]

Background and Objectives: The integration of imaging technologies with geolocation sensors such as GPS, accelerometers, gyroscopes, and compasses enables precise determination of the camera’s position and orientation during image capture. This capability plays a crucial role in simplifying the georeferencing process of 3D models, particularly in mobile mapping systems and short-range terrestrial applications. In this context, smartphones, equipped with these geolocation sensors, have gained significant prominence as imaging devices. This study examines the feasibility of direct georeferencing of 3D models generated through Structure-from-Motion (SFM) photogrammetry using camera position and orientation data simultaneously recorded by the sensors embedded in a smartphone.
Methods: The research data comprises ground control points collected using a Leica TS09 R1000 total station in reflector less mode, along with data obtained from an iPhone 13 Pro smartphone. In the proposed method, the relative orientation parameters estimated by the Structure-from-Motion algorithm were refined using orientation parameters directly measured by the smartphone’s motion sensors. Image acquisition was conducted under static conditions; therefore, the estimated and measured angles at each station should remain constant and, in the absence of errors, should be identical. The final model was oriented using the average of the measured angles at each station. The measured distance was then used to establish the model scale, and the average coordinates obtained at each station were employed to transform the model into the UTM coordinate system. Additionally, an alternative model was generated using the precise positions of the imaging stations via indirect georeferencing. The RMSE of the check points was used as the accuracy assessment metric for the proposed method.
Findings: The studied stockpile was approximately 150 meters in length and 25 meters in height, oriented roughly from south to north. In this study, five 3D models were generated based on the collected data. The first model was constructed solely using images, positional data, and angles recorded by the smartphone’s sensors. Subsequently, coded targets were incrementally added as control points, with one, two, and three control points being incorporated into the equations. The fifth model was generated using the same images but with the precise coordinates of twelve imaging stations measured by a total station.
In the first model, the positioning error remained at the accuracy level of the iOS single-point positioning system (approximately 2 meters in planimetric accuracy and 11 meters in height). In the model with a single control point, aligning the model with the low-accuracy GPS coordinates from the smartphone resulted in an azimuth calculation error, leading to model rotation. Although the model was correctly transferred, the azimuth error caused a misalignment with the reference system, resulting in an error of approximately 0.40 meters. With the addition of two and three control points, accuracy improved, reaching 0.004 meters, which matched the accuracy achieved using precise camera center coordinates. In the fifth case, where the exact coordinates of the imaging stations were used, an accuracy of 0.0007 meters was obtained.
Conclusion: As observed, GPS accuracy remains the most challenging aspect of this system. Most smartphones do not provide raw GNSS data or high-quality raw positioning data; instead, they only offer the final processed position determined by the operating system. Given the hardware and environmental limitations, the following considerations are recommended for future studies:

a) Development of a handheld mobile mapping system by integrating survey-grade GPS with a smartphone camera.

b) Since the study area consists of earthwork features with irregular shapes, when applying this method to structured objects such as buildings, it is recommended to refine the relative exterior orientation parameters of images using constraints derived from prominent vertical and horizontal features in the scene and incorporating them into the bundle adjustment process.

کلیدواژه‌ها [English]

  • Smart Phone
  • Direct Georeferencing
  • Close Range Photogrammetry
  • Structure From Motion
مراجع
[1] Pavlis T, Mason K. The new world of 3D geologic mapping. GSA Today. 2017;27:4–10. Available from: https://doi.org/10.1130/GSATG313A.1.
[2] Paukkonen N. Ten years of photogrammetry and LiDAR: Digital 3D documentation in Finnish archaeology between 2013–2022. Fennoscandia Archaeologica. 2024; XLI:56–69. Available from: https://doi.org/10.61258/fa.142220.
[3] Konsolaki A, Karantanellis E, Vassilakis E, Kotsi E, Lekkas E. Multitemporal monitoring for cliff failure potential using close-range remote sensing techniques at Navagio Beach, Greece. Remote Sens. 2024;16(23):4610. Available from: https://doi.org/10.3390/rs16234610.
[4] Lowe DG. Distinctive image features from scale-invariant keypoints. Int J Comput Vis. 2004;60:91–110. Available from: https://doi.org/10.1023/B:VISI.0000029664.99615.94.
[5] Lowe DG. Object recognition from local scale invariant features. In: Proceedings of the IEEE International Conference on Computer Vision; 1999; Kerkyra, Greece. p. 1150–1157. Available from: https://doi.org/10.1109/ICCV.1999.790410.
[6] Oniga VE, Breaban AI, Pfeifer N, Chirila C. Determining the suitable number of ground control points for UAS images georeferencing by varying number and spatial distribution. Remote Sens. 2020;12:876. Available from: https://doi.org/10.3390/rs12050876.
[7] Fleming ZD, Pavlis TL. An orientation-based correction method for SfM-MVS point clouds: Implications for field geology. J Struct Geol. 2018;113:76–89. Available from: https://doi.org/10.1016/j.jsg.2018.06.005.
[8] Jaud M, Bertin S, Beauverger M, Augereau E, Delacourt C. RTK GNSS-assisted terrestrial SfM photogrammetry without GCP: Application to coastal morphodynamics monitoring. Remote Sens. 2020;12:1889. Available from: https://doi.org/10.3390/rs12111889.
[9] Tahar KN. An evaluation on different number of ground control points in unmanned aerial vehicle photogrammetric block. Int Arch Photogramm Remote Sens Spat Inf Sci. 2013;40:93–98. Available from: https://doi.org/10.5194/isprsarchives-XL-1-W2-93-2013.
[10] Eltner A, Kaiser A, Castillo C, Rock G, Neugirg F, Abellán A. Image-based surface reconstruction in geomorphometry—Merits, limits and developments. Earth Surf Dyn. 2016;4:359–389. Available from:  https://doi.org/10.5194/esurf-4-359-2016.
[11] Jaud M, Grasso F, Le Dantec N, Verney R, Delacourt C, Ammann J, Deloffre J, Grandjean P. Potential of UAVs for monitoring mudflat morphodynamics (Application to the Seine Estuary, France). ISPRS Int J Geo-Inf. 2016;5:50. Available from: https://doi.org/10.3390/ijgi5030050.
[12] Jaud M, Passot S, Allemand P, Le Dantec N, Grandjean P, Delacourt C. Suggestions to limit geometric distortions in the reconstruction of linear coastal landforms by SfM photogrammetry with PhotoScan® and MicMac® for UAV surveys with restricted GCPs pattern. Drones. 2018;3:2. Available from: https://doi.org/10.3390/drones3010002.
[13] Manfreda S, Dvořák P, Mullerova J, Herban IS, Vuono P, Arranz JJ, Perks M. Assessing the accuracy of digital surface models derived from optical imagery acquired with unmanned aerial systems. Drones. 2019;3:15. Available from: https://doi.org/10.3390/drones3030015.
[14] Chudley TR, Christoffersen P, Doyle SH, Abellan A, Snooke N. High-accuracy UAV photogrammetry of ice sheet dynamics with no ground control. Cryosphere. 2019;13:955–968. Available from: https://doi.org/10.5194/tc-13-955-2019.
[15] Czyża S, Szuniewicz K, Kowalczyk K, Dumalski A, Ogrodniczak M, Zieleniewicz Ł. Assessment of accuracy in unmanned aerial vehicle (UAV) pose estimation with the REAL-time kinematic (RTK) method on the example of DJI Matrice 300 RTK. Sensors. 2023;23(4):2092. Available from: https://doi.org/10.3390/s23042092.
[16] López RS, Murga RET, Silva-López JO, Rojas-Briceño NB, Fernández DG, Oliva-Cruz M, Taddia Y. Accuracy assessment of direct georeferencing for photogrammetric applications based on UAS-GNSS for high Andean urban environments. Drones. 2022;6(12):388. Available from: https://doi.org/10.3390/drones6120388.
[17] Ekaso D, Nex F, Kerle N. Accuracy assessment of real-time kinematics (RTK) measurements on unmanned aerial vehicles (UAV) for direct geo-referencing. Geo-Spatial Inf Sci. 2020;23(2):165–181. Available from: https://doi.org/10.1080/10.2019/10095020.1710437.
[18] Morena S. Application of action camera video for fast and low-cost photogrammetric survey of cultural heritage. ISPRS Arch Photogramm Remote Sens Spatial Inf Sci. 2022;XLVIII-2/W1-2022:177–184. Available from: https://doi.org/10.5194/isprs-archives-XLVIII-2-W1-2022-177-2022.
[19] Arévalo-Verjel AN, Lerma JL, Prieto JF, Carbonell-Rivera JP, Fernández J. Estimation of the block adjustment error in UAV photogrammetric flights in flat areas. Remote Sens. 2022;14(12):2877. Available from: https://doi.org/10.3390/rs14122877.
[20] Liu X, Lian X, Yang W, Wang F, Han Y, Zhang Y. Accuracy assessment of a UAV direct georeferencing method and impact of the configuration of ground control points. Drones. 2022;6(2):30. Available from: https://doi.org/10.3390/drones6020030.
[21] Milan A, Shafiei M. Evaluation of the videogrammetry method for calculating the volume of earthworks in comparison with the conventional methods of land surveying. Journal of Engineering Geology 2023; 17 (2) :204-227 URL: http://jeg.khu.ac.ir/article-1-3079-fa.html.
[22] Milan A, Shafiei M. Evaluation of the Stability of Internal Camera Parameters of Smartphones in Videogrammetry for Earthwork Volume Calculation.
[23] DXO. Smartphones versus cameras: Closing the gap on image quality. 2020. Available from: https://www.dxomark.com/smartphones-vs-cameras-closing-the-gap-on-image-quality/.
[24] Alsubaie NM, Youssef AA, El-Sheimy N. Improving the accuracy of direct geo-referencing of smartphone-based mobile mapping systems using relative orientation and scene geometric constraints. Sensors. 2017;17(10):2237. Available from: https://doi.org/10.3390/s17102237. 
[25] Tavani S, Granado P, Riccardi U, Seers T, Corradetti A. Terrestrial SfM-MVS photogrammetry from smartphone sensors. 2020. https://doi.org/10.1016/j.geomorph.2020.107318
[26] Jaud M, Bertin S, Beauverger M, Augereau E, Delacourt C. RTK GNSS-assisted terrestrial SfM photogrammetry without GCP: Application to coastal morphodynamics monitoring. Remote Sens. 2020;12(11):1889. Available from: https://doi.org/10.3390/rs12111889.
[27] Corradetti A, Billi A, Tavani S. Virtual outcrops in a pocket: Smartphone as a fully equipped photogrammetric data acquisition tool. GSA Today. 2021;31. Available from: https://doi.org/10.1130/GSATG506A.1.
[28] Bessin Z, Jaud M, Letortu P, Vassilakis E, Evelpidou N, Costa S, Delacourt C. Smartphone structure-from-motion photogrammetry from a boat for coastal cliff face monitoring compared with Pléiades tri-stereoscopic imagery and unmanned aerial system imagery. Remote Sens. 2023;15(15):3824. Available from: https://doi.org/10.3390/rs15153824.
[29] Teppati Losè L, Chiabrando F, Maschio P. Direct georeferencing approaches for close-range and UAV photogrammetry in the built heritage domain. ISPRS Arch. 2023;XLVIII-M-2:1557-1564. Available from: https://doi.org/10.5194/isprs-archives-XLVIII-M-2-2023-1557-2023.
[30] Ocalan T, Turk T, Tunalioglu N, Gurturk M. Investigation of accuracy of PPP and PPP-AR methods for direct georeferencing in UAV photogrammetry. Earth Sci Inform. 2022;15:2231-2238. Available from: https://doi.org/10.1007/s12145-022-00868-7.
[31] Halaj M, Kačmářík M. Performance assessment of kinematic GNSS positioning with smartphones based on post-processing of raw observations. GeoScience Eng. 2022;25:1-10. Available from: https://doi.org/10.35180/gse-2022-0080.
[32] Shan J, Li Z, Lercel D, Tissue K, Hupy J, Carpenter J. Democratizing photogrammetry: an accuracy perspective. Geo-spatial Inf Sci. 2023;26(2):175-188. https://doi.org/10.1080/10095020.2023.2178336
[33] Patonis P. A comparative study on the use of smartphone cameras in photogrammetry applications. Sensors. 2024;24:7311. https://doi.org/10.3390/s24227311
[34] Robustelli U, Baiocchi V, Pugliano G. Assessment of dual frequency GNSS observations from a Xiaomi Mi 8 Android smartphone and positioning performance analysis. Electronics. 2019;8(1):91. https://doi.org/3390/10/electronics8010091.
[35] Yun J, Lim C, Park B. Inherent limitations of smartphone GNSS positioning and effective methods to increase the accuracy utilizing dual-frequency measurements. Sensors. 2022;22(24):9879. https://doi.org/3390/10/s22249879.
[36] Netthonglang C, Thongtan T, Satirapod C. GNSS precise positioning determinations using smartphones. In: Proceedings of the 2019 IEEE Asia Pacific Conference on Circuits and Systems (APCCAS): November 11–14, 2019, Bangkok, Thailand. IEEE; 2019. p. 401–4. https://doi.org/10.1109/APCCAS2019/475188953132.
[37] BOCHKATI M, Sharma H, Lichtenberger CA, Pany T. Demonstration of fused RTK (fixed) + inertial positioning using android smartphone sensors only. In: 2020 IEEE/ION Position, Location and Navigation Symposium (PLANS): April 20–23, 2020, Portland, Oregon, USA. IEEE; 2020. p. 1140–1154. Available from: https://doi.org/10.1109/PLANS46316.2020.9109865
[38] Sharma, Himanshu, Bochkati, Mohamed, Lightenberger, Christian, Pany, Thomas, Darugna, Francesco, and Wubbena, Jannes B. “Smartphone-Based GNSS 67 Positioning – Today and Tomorrow.” Inside GNSS - Global Navigation Satellite Systems Engineering, Policy, and Design (blog), September 21, 2021. https://insidegnss.com/smartphone-based-gnss-positioning-today-and tomorrow/.
[39] Chaturvedi, Aditya. “Advantages of Dual-Frequency GNSS in Smartphones.” Geospatial World (blog), November 7, 2019. https://www.geospatialworld.net/blogs/advantages-of-dual-frequencygnss-in-smartphones/.
[40] Merry, Krista, and Pete Bettinger. “Smartphone GPS Accuracy Study in an Urban Environment.” PLOS ONE 14, no. 7 (July 18, 2019): e0219890. https://doi.org/1371/10/journal.pone.0219890.
[41] Nowak, Maciej M., Katarzyna Dziób, Łukasz Ludwisiak, and Julian Chmiel. “Mobile GIS Applications for Environmental Field Surveys: A State of the Art.” Global Ecology and Conservation 23 (September 2020): e01089. https://doi.org/1016/10/j.gecco.2020.e01089.
[42] Groves P. (2011). Shadow Matching: A New GNSS Positioning Technique for Urban Canyons, 417–430. https://doi.org/1017/10/S0373463311000087.
[43] Tomaštík, Julián, Juliána Chudá, Daniel Tunák, František Chudý, and Miroslav Kardoš. “Advances in Smartphone Positioning in Forests: Dual-Frequency Receivers and Raw GNSS Data.” Forestry: An International Journal of Forest Research 94, no. 2 (March 4, 2021): 292–310. https://doi.org/1093/10/forestry/cpaa032.
پژوهش های سنجش از دور و اطلاعات مکانی

مقالات آماده انتشار، پذیرفته شده
انتشار آنلاین از تاریخ 29 مرداد 1404
فایل ها
سابقه مقاله
  • تاریخ دریافت: 25 بهمن 1403
  • تاریخ بازنگری: 12 تیر 1404
  • تاریخ پذیرش: 29 مرداد 1404
هم رسانی
ارجاع به این مقاله
آمار