An effective method to use centralized Q-learning in multi-robot task allocation

The use of Q-learning methods in multi-robot systems is a challenging area. Multi-robot systems have dynamic and partially observable nature because of robot’s independent decision-making and acting mechanisms. Whereas, Q-learning is defined on Markovian environments theoretically. One way to apply Q-learning in multi robot systems is centralized learning. It learns optimal Q-values for state space of overall system and joint action spaces of all agents. In this case, the system can be considered as stationary and optimal solutions can be converged. But, centralized learning requires full knowledge of the environment, perfect inter-robot communication and good computational power. Especially for large systems, the computational cost becomes huge because of exponentially growing learning space size with the number of robots. The proposed approach in this study, subG-CQL, divides the overall system into small-sized sub-groups without adversely affecting the system's task performing abilities. Each sub-group consists of less number of robots performing less tasks and learns in centralized manner for its own team. So, the learning space dimension is reduced to a reasonable level and required communication remains limited to the robots in the same the sub-group. Due the centralized learning is used, it is expected that the successful results are achieved. Experimental studies show that the proposed algorithm provides increase in the task assignment performance of the system and efficient use of system resources.

Çok robotlu görev atama probleminde merkezi Q-öðrenme kullanmak için etkili bir yöntem

Çok robotlu sistemlerde Q-öðrenme yönteminin kullanýmý oldukça problemlidir. Çok robotlu sistemlerde, robotun baðýmsýz karar verme ve hareket etme mekanizmalarý nedeniyle dinamik ve kýsmen gözlemlenebilir yapýya sahiptir. Oysa, Q-öðrenme yöntemi teorik olarak Markovian olarak nitelendirilebilecek ortamlar üzerinde tanýmlanmýþtýr. Çok robotlu sistemlerde Q-öðrenmeyi uygulamanýn bir yolu, merkezi öðrenmedir. Merkezi öðrenme, tüm sistemin durum uzayý ve tüm robotlarýn tümleþik hareket uzaylarý için optimal Q-deðerlerini öðrenir. Bu durumda, sistem statik olarak deðerlendirilmekte ve optimal çözüm yakýnsama mümkün olmaktadýr. Ancak, merkezi öðrenme, çevre hakkýnda tam bilgi edinmeyi, robotlar arasý iyi bir haberleþme saðlanmasýný ve iyi hesaplama gücü gerektirir. Özellikle büyük sistemler için, robot sayýsýndaki artýþla birlikte üstel büyüyen öðrenme uzayý boyutu nedeniyle hesaplama maliyeti çok yüksek olmaktadýr. Bu çalýþmada önerilen yaklaþým olan subG-CQL, sistemin görev yapma yeteneklerini olumsuz yönde etkilemeden genel sistemi küçük boyutlu alt gruplara ayýrýr. Her bir alt grup daha az sayýda robottan oluþur, daha az görev yapar ve kendi ekibi için merkezi bir þekilde öðrenir. Böylece öðrenme alaný boyutu makul bir düzeye indirilir ve gerekli iletiþim ayný alt gruptaki robotlarla sýnýrlý kalýr. Merkezi öðrenmenin kullanýlmasý nedeniyle baþarýlý sonuçlara ulaþýlmasý beklenmektedir. Deneysel çalýþmalar, önerilen algoritmanýn sistemin görev atama performansýnda artýþ ve sistem kaynaklarýnýn verimli kullanýmýný saðladýðýný göstermektedir.