Pamukkale Univ Muh Bilim Derg. Ahead of Print: PAJES-33969 | DOI: 10.5505/pajes.2024.33969

Determining maintenance policies for partially observable multi-component systems with deep reinforcement learning

Oktay Karabag
Ýzmir University Of Economics

In this study, maintenance decisions for partially observable multi-component systems are investigated. Such systems typically operate under conditions where the service provider is remote, and the wear levels of system components cannot be fully monitored with sensors’ assistance. Wind turbines provide a good example of these systems. For such systems, besides deciding when the service provider will perform a maintenance intervention, it is also necessary to determine which parts will be taken along to the maintenance point and which components will be replaced after the inspection at the maintenance point. In our study, this complex decision problem is modeled as a partially observable Markov decision process, and related numerical solutions are obtained employing the actor-critic reinforcement learning method. Our numerical studies demonstrate that the policies obtained with the reinforcement learning algorithm outperform several heuristic maintenance policies that are frequently used in practice and well-known in the relevant literature. In some cases, compared to heuristic policies, these solutions have provided a cost reduction in the range of 10-15% on average. Additionally, it has been observed that the solution obtained with the reinforcement learning algorithm provides more advantages compared to heuristic policies, as the corrective maintenance cost, emergency order cost, and returning cost of excess spare parts increase.

Keywords: Partially observable multi-component systems, Partially observable Markov decision processes, Reinforcement learning methods, Con-dition-based maintenance problems.

---

Kýsmi gözlemlenebilir çok bileþenli sistemler için bakým politikalarýnýn pekiþtirmeli derin öðrenme yöntemleri ile belirlenmesi

Oktay Karabag
Ýzmir Ekonomi Üniversitesi

Bu çalýþmada, kýsmi gözlemlenebilir çok bileþenli sistemler için bakým/onarým kararlarý incelenmiþtir. Bu tip sistemler genellikle servis saðlayýcýnýn uzakta olduðu koþullarda iþletilmekte ve bileþenlerin aþýnma seviyeleri genellikle sensörler yardýmý ile tam olarak izlenememektedir. Rüzgâr türbinleri, bu tarz sistemlere birebir uyan bir örnek oluþturmaktadýr. Ýlgili sistemlerde, servis saðlayýcý ne zaman bakým/onarým yapacaðýna, bakým kararý ile birlikte hangi parçalarý bakým noktasýna sevk edeceðine ve bakým noktasýndaki incelemesinin ardýndan hangi sistem bileþenlerinin deðiþtirilmesi gerektiðine karar vermektedir. Çalýþmamýzda, bahsi geçen bu komplike karar problemi kýsmi gözlemlenebilir Markov karar süreci olarak modellenmiþ ve ilgili nümerik çözümler aktör kritik pekiþtirmeli öðrenme yöntemi kullanýlarak elde edilmiþtir. Yaptýðýmýz nümerik çalýþmalar, pekiþtirmeli öðrenme algoritmasý ile elde edilen çözümlerin pratikte ve literatürde yaygýn olarak kullanýlan sezgisel bakým/onarým politikalarýna kýyasla daha iyi sonuçlar verdiðini göstermiþtir. Bazý durumlarda, bu çözümlerin ortalamada %10-%15 düzeyinde bir iyileþtirme saðladýðý gözlemlenmiþtir. Ayrýca, düzeltici bakým maliyeti, acil sipariþ maliyeti ve fazla yedek parçayý geri döndürme maliyeti arttýkça, pekiþtirmeli öðrenme algoritmasý ile elde edilen çözümlerin diðer sezgisel politikalara kýyasla daha fazla avantaj saðladýðý da belirlenmiþtir.

Anahtar Kelimeler: Kýsmi gözlemlenebilir çok bileþenli sistemler, kýsmi gözlemlenebilir Markov karar süreçleri, Pekiþtirmeli öðrenme metotlarý, Koþula baðlý bakým problemleri.

---