Evaluation of robotic system integrity: unleashing the potential of mutation-based testing for safety-critical applications
Cem Bağlum1, Ugur Yayan21Eskisehir Osmangazi University, Computer Engineering, Eskişehir2Eskisehir Osmangazi University, Software Engineering, Eskişehir
In today's world, critical sectors like healthcare, industry, and transportation rely heavily on dependable software. Efficient testing is essential for ensuring safety during software development, but there is a lack of knowledge about best practices. This study highlights IM-FIT, a tool that enhances testing methods and demonstrates its potential to improve system resilience with high mutation scores. It sets new benchmarks for safety-critical software testing, contributing to broader safety efforts. Our approach, employing the Tailored Mutation-based Software Fault Injection Tool (IM-FIT), rigorously evaluates and enhances software robustness in critical systems. Unlike existing mutation-testing studies limited to software-only evaluation, this study demonstrates mutation-based fault injection executed on both simulated and physical robotic inspection platforms. The contribution lies not in mutation scores alone, but in validating mutation testing as an operational verification mechanism for safety-critical robotic systems. IM-FIT was applied in 3 test scenarios: 100 Python projects, SRVT, and Mini-ROKOS, achieving mutation scores of 72.75%, 91.9846%, and 92.0468%, respectively. These results emphasize IM-FIT's effectiveness in enhancing critical software systems' safety and reliability.
Keywords: Safety-Critical Systems, Software Testing, Mutation-based Testing, ISO 26262 Standards, Robotic Systems Safety
Robotik sistem bütünlüğünün değerlendirilmesi: güvenlik kritik uygulamalar için mutasyon tabanlı testin potansiyelinin ortaya çıkarılması
Cem Bağlum1, Ugur Yayan21Eskişehir Osmangazi Üniversitesi, Bilgisayar Mühendisliği, Eskişehir2Eskişehir Osmangazi Üniversitesi, Yazılım Mühendisliği, Eskişehir
Günümüz dünyasında, sağlık hizmetleri, endüstri ve ulaşım gibi kritik sektörler, güvenilir yazılımlara büyük ölçüde bağımlıdır. Yazılım geliştirme sürecinde güvenliği sağlamak için etkili testler esastır; ancak, en iyi uygulamalar hakkında bilgi eksikliği vardır. Bu çalışma, test yöntemlerini geliştiren IM-FIT aracını vurgulamakta ve sistem dayanıklılığını yüksek mutasyon skorları ile iyileştirme potansiyelini göstermektedir. Güvenlik kritik yazılım testinde yeni standartlar belirleyerek, geniş çaplı güvenlik çabalarına katkıda bulunmaktadır. Mevcut mutasyon test çalışmalarının büyük ölçüde yalnızca yazılım seviyesinde değerlendirmelerle sınırlı olmasının aksine, bu çalışma mutasyon tabanlı hata enjeksiyonunun hem simüle edilmiş hem de fiziksel robotik denetim platformları üzerinde yürütüldüğünü göstermektedir. Çalışmanın temel katkısı, mutasyon skorlarının ötesinde, mutasyon testinin güvenlik-kritik robotik sistemler için operasyonel bir doğrulama mekanizması olarak geçerliliğinin ortaya konulmasıdır. Özelleştirilmiş Mutasyon Tabanlı Yazılım Hata Enjeksiyon Aracı (IM-FIT) kullanarak yaklaşımımız, kritik sistemlerde yazılım sağlamlığını titizlikle değerlendirir. IM-FIT, 100 Python projesi, SRVT ve Mini-ROKOS olmak üzere 3 test senaryosunda uygulanmış ve sırasıyla %72.75, %91.9846 ve %92.0468 mutasyon skorları elde etmiştir. Bu sonuçlar, IM-FIT'in kritik yazılım sistemlerinin güvenliğini ve güvenilirliğini artırmadaki etkinliğini vurgulamaktadır.
Anahtar Kelimeler: Güvenlik Kritik Sistemler, Yazılım Testi, Mutasyon Tabanlı Test, ISO 26262 Standartları, Robotik Sistemlerin Güvenliği
Manuscript Language: English