E-ISSN: 2587-0351 | ISSN: 1300-2694
Pamukkale University Journal of Engineering Sciences Direct pose estimation from RGB images using 3D objects [Pamukkale Univ Muh Bilim Derg]
Pamukkale Univ Muh Bilim Derg. 2022; 28(2): 277-285 | DOI: 10.5505/pajes.2021.08566

Direct pose estimation from RGB images using 3D objects

Muhammet Ali Dede, Yakup Genç
Gebze Technical University, Department of Computer Engineering

We present a real-time monocular camera pose estimation algorithm for augmented reality applications. Proposed model is a small convolutional neural network that is trained to directly estimate 6 Degree of Freedom (6-DOF) camera pose from an RGB image. Our model is designed to run on real-time devices with low memory and computation power. Our model can estimate the camera pose in less than 1ms while keeping accuracy comparable to the state-of-the art. This was made possible by employing geometrically sound loss functions and algebraic constraints. Furthermore, we introduce a new synthetic dataset for demonstrating the proposed methods capabilities.

Keywords: Augmented Reality, Pose Estimation, Deep Learning

3 Boyutlu nesneleri kullanarak imgelerden poz kestirimi

Muhammet Ali Dede, Yakup Genç
Gebze Teknik Üniversitesi, Bilgisayar Mühendisliği Bölümü

Artırılmış gerçeklik uygulamalarında kullanılmak üzere tek bir kameradan bir nesnenin yön ve konum kestirimini yapan bir algoritma sunulmaktadır. Küçük bir konvolüsyon ağından oluşan bu model 6 serbestlik dereceli konum ve yön bilgisini tek bir KYM (kırmızı-mavi-yeşil) imgeden elde etmektedir. Bu ufak model yüksek başarım ve hafıza içermeyen mobil cihazlar için idealdir. Algoritma verilen bir imgeyi 1ms içinde işlemekte ve güncel algoritmaların performansına yakın performans sergilemektedir. Önerilen geometrik kayıp fonksiyonu ve kullanılan cebirsel kısıtlamaları modelin performansını sağlamaktadır. Aynı zamanda sentetik bir veri kümesi de bu tür modellerin performansını ölçmek için önerilmiştir.

Anahtar Kelimeler: Arttırılmış Gerçeklik, Poz kestirimi, Derin Öğrenme

Muhammet Ali Dede, Yakup Genç. Direct pose estimation from RGB images using 3D objects. Pamukkale Univ Muh Bilim Derg. 2022; 28(2): 277-285

Corresponding Author: Muhammet Ali Dede, Türkiye
Manuscript Language: English
LookUs & Online Makale