Determining maintenance policies for partially observable multi-component systems with deep reinforcement learning
Oktay Karabagİzmir University Of EconomicsIn this study, maintenance decisions for partially observable multi-component systems are investigated. Such systems typically operate under conditions where the service provider is remote, and the wear levels of system components cannot be fully monitored with sensors’ assistance. Wind turbines provide a good example of these systems. For such systems, besides deciding when the service provider will perform a maintenance intervention, it is also necessary to determine which parts will be taken along to the maintenance point and which components will be replaced after the inspection at the maintenance point. In our study, this complex decision problem is modeled as a partially observable Markov decision process, and related numerical solutions are obtained employing the actor-critic reinforcement learning method. Our numerical studies demonstrate that the policies obtained with the reinforcement learning algorithm outperform several heuristic maintenance policies that are frequently used in practice and well-known in the relevant literature. In some cases, compared to heuristic policies, these solutions have provided a cost reduction in the range of 10-15% on average. Additionally, it has been observed that the solution obtained with the reinforcement learning algorithm provides more advantages compared to heuristic policies, as the corrective maintenance cost, emergency order cost, and returning cost of excess spare parts increase.
Keywords: Partially observable multi-component systems, Partially observable Markov decision processes, Reinforcement learning methods, Con-dition-based maintenance problems.Kısmi gözlemlenebilir çok bileşenli sistemler için bakım politikalarının pekiştirmeli derin öğrenme yöntemleri ile belirlenmesi
Oktay Karabagİzmir Ekonomi ÜniversitesiBu çalışmada, kısmi gözlemlenebilir çok bileşenli sistemler için bakım/onarım kararları incelenmiştir. Bu tip sistemler genellikle servis sağlayıcının uzakta olduğu koşullarda işletilmekte ve bileşenlerin aşınma seviyeleri genellikle sensörler yardımı ile tam olarak izlenememektedir. Rüzgâr türbinleri, bu tarz sistemlere birebir uyan bir örnek oluşturmaktadır. İlgili sistemlerde, servis sağlayıcı ne zaman bakım/onarım yapacağına, bakım kararı ile birlikte hangi parçaları bakım noktasına sevk edeceğine ve bakım noktasındaki incelemesinin ardından hangi sistem bileşenlerinin değiştirilmesi gerektiğine karar vermektedir. Çalışmamızda, bahsi geçen bu komplike karar problemi kısmi gözlemlenebilir Markov karar süreci olarak modellenmiş ve ilgili nümerik çözümler aktör kritik pekiştirmeli öğrenme yöntemi kullanılarak elde edilmiştir. Yaptığımız nümerik çalışmalar, pekiştirmeli öğrenme algoritması ile elde edilen çözümlerin pratikte ve literatürde yaygın olarak kullanılan sezgisel bakım/onarım politikalarına kıyasla daha iyi sonuçlar verdiğini göstermiştir. Bazı durumlarda, bu çözümlerin ortalamada %10-%15 düzeyinde bir iyileştirme sağladığı gözlemlenmiştir. Ayrıca, düzeltici bakım maliyeti, acil sipariş maliyeti ve fazla yedek parçayı geri döndürme maliyeti arttıkça, pekiştirmeli öğrenme algoritması ile elde edilen çözümlerin diğer sezgisel politikalara kıyasla daha fazla avantaj sağladığı da belirlenmiştir.
Anahtar Kelimeler: Kısmi gözlemlenebilir çok bileşenli sistemler, kısmi gözlemlenebilir Markov karar süreçleri, Pekiştirmeli öğrenme metotları, Koşula bağlı bakım problemleri.Manuscript Language: Turkish