Pekiştirmeli öğrenme yöntemi ile optimal dc motor hız kontrolcüsünün tasarlanması = Optimal DC motor speed controller design with reinforcement learning algorithm

Abstract

Çalışmamızda, pekiştirmeli öğrenme tabanlı adaptif PID kontrolör tasarlanmıştır. Literatürde pekiştirmeli öğrenme yöntemi kullanan kontrolcüler tasarlanmıştır ve başarılı sonuçlar verdiği görülmüştür. Çalışmamızda en yaygın kullanılan kontrolcü yapısı olan PID kontrolörün tasarımında pekiştirmeli öğrenme yöntemlerinden birisi olan Q-Öğrenme algoritması kullanılmıştır. Q-Öğrenme algoritması çalışmamızda üç farklı yolla uygulanmıştır. Birinci yöntemde bir ajan oluşturulmuş ve tüm PID katsayılarını arttırıp, azaltabilmektedir. İkinci yöntemde her PID katsayısı için bir ajan atanmış ve her ajan ilgili PID katsayısını arttırıp azaltabilmektedir. Üçüncü yöntemde ise derin öğrenme tabanlı Q-Öğrenme algoritması kullanan bir ajan oluşturulmuş ve tüm PID katsayılarını ayarlayabilmektedir. Q-Öğrenme yöntemi ile tasarlanan kontrolcüler, model tabanlı tasarlanan PID katsayıları kadar başarılı sonuçlar vermiştir. Her yapının avantajları ve dezavantajları değerlendirilmiştir.

In this study, a reinforcement learning based adaptive PID contoller is designed. The reinforcement learning based controllers are designed in the literature and it has been seen that they give successful results. In our study, the Q-Learning algorithm, which is one of the reinforcement learning methods, was used in the design of the PID controller, which is the most widely used controller structure. Q-Learning algorithm was applied in three different methods in our study. In the first method, an agent is created and agent can increase or decrease all of the PID parameters. In the second method, an agent is assigned for each PID parameter and each agent can increase or decrease the revelant PID parameter. In the third method, an agent using deep learning-based Q-Learning algorithm is created and can adjust each PID parameter. Controllers designed with the Q-Learning method gave as successful results as model-based PID controllers. The advantages and disadvantages of each method are examined.