| 1. Identity statement | ||||
| Reference Type | Thesis or Dissertation (Thesis) | |||
| Site | mtc-m21d.sid.inpe.br (namespace prefix: upn:44QHRCS) | |||
| Holder Code | isadg {BR SPINPE} ibi 8JMKD3MGPCW/3DT298S | |||
| Identifier | 8JMKD3MGP3W34T/45U9NCS | |||
| Repository | sid.inpe.br/mtc-m21d/2021/12.09.23.37 | |||
| Last Update | 2022:04.19.18.27.33 (UTC) administrator | |||
| Metadata Repository | sid.inpe.br/mtc-m21d/2021/12.09.23.37.30 | |||
| Metadata Last Update | 2024:12.26.14.49.50 (UTC) administrator | |||
| Secondary Key | INPE-18533-TDI/3178 | |||
| Citation Key | Marques:2022:InAtCo | |||
| Title | Intelligent attitude control of satellites via deep reinforcement learning  | |||
| Alternate Title | Controle de atitude inteligente de satélites via aprendizagem por reforço profundo | |||
| Course | CMC-ETES-DIPGR-INPE-MCTI-GOV-BR | |||
| Year | 2022 | |||
| Date | 2021-12-14 | |||
| Access Date | 2025, Dec. 08 | |||
| Thesis Type | Dissertação (Mestrado em Mecânica Espacial e Controle) | |||
| Secondary Type | TDI | |||
| Number of Pages | 124 | |||
| Number of Files | 1 | |||
| Size | 4271 KiB | |||
| 2. Context | ||||
| Author | Marques, Wilson José de Sá | |||
| ORCID | 0000-0002-3294-4108 | |||
| Group | CMC-ETES-DIPGR-INPE-MCTI-GOV-BR | |||
| Affiliation | Instituto Nacional de Pesquisas Espaciais (INPE) | |||
| Committee | Rocco, Evandro Marconi (presidente) Chagas, Ronan Arraes Jardim (orientador) Maximo, Marcos Ricardo Omena de Albuquerque | |||
| e-Mail Address | wilson.marques@inpe.br, wilsonssmarques@gmail.com | |||
| University | Instituto Nacional de Pesquisas Espaciais (INPE) | |||
| City | São José dos Campos | |||
| Host Collection | urlib.net/www/2021/06.04.03.40 upn:44QHRCS | |||
| History (UTC) | 2021-12-09 23:39:45 :: wilson.marques@inpe.br -> pubtc@inpe.br :: 2021 2021-12-10 13:00:17 :: pubtc@inpe.br -> wilson.marques@inpe.br :: 2021 2022-02-09 16:36:49 :: wilson.marques@inpe.br -> pubtc@inpe.br :: 2021 2022-02-09 18:19:26 :: pubtc@inpe.br -> wilson.marques@inpe.br :: 2021 2022-02-11 11:21:09 :: wilson.marques@inpe.br -> pubtc@inpe.br :: 2021 2022-02-14 11:35:21 :: pubtc@inpe.br -> wilson.marques@inpe.br :: 2021 2022-03-09 19:51:40 :: wilson.marques@inpe.br -> administrator :: 2021 2022-04-19 17:52:05 :: administrator -> pubtc@inpe.br :: 2021 2022-04-19 19:23:44 :: pubtc@inpe.br -> simone :: 2021 2022-04-19 19:28:10 :: simone :: 2021 -> 2022 2022-04-19 19:28:11 :: simone -> administrator :: 2022 2024-12-26 14:49:50 :: administrator -> :: 2022 | |||
| 3. Content and structure | ||||
| Is the master or a copy? | is the master | |||
| Content Stage | completed | |||
| Transferable | 1 | |||
| Content Type | External Contribution | |||
| Keywords | attitude control satellite artificial intelligence deep reinforcement learning optimal control controle de atitude satélite inteligência artificial aprendizagem por reforço profundo controle ótimo | |||
| Abstract | This work proposes the application of machine learning techniques to the attitude control of satellites. More specifically, Deep Reinforcement Learning (DRL) is used to generate an optimal control policy. The policy is parameterized as a neural network, which allows for its application in higher dimension state spaces. Since the torque command used to modify the attitude of the satellite is a continuous signal, it is necessary to use algorithms suited for continuous action spaces. Accordingly, three DRL algorithms were evaluated, namely the Deep Deterministic Policy Gradient (DDPG), the Twin Delayed DDPG (TD3), and the Soft Actor-Critic (SAC). For this method to work in the attitude control setting, it was necessary to modify the default neural network model used within the referred algorithms. Particularly, the bias units of the neural networks representing the control policies have been removed. In regards to the training procedure, the three algorithms were successful in finding the parameters of Neural Networks (NN) capable of solving the attitude control problem. However, there were differences in performance. For instance, the SAC converged considerably faster than the other two, and its learning curve showed more consistent learning. Furthermore, the final average reward value was equivalent for SAC and TD3. DDPG, on the other hand, showed a more oscillatory behavior during training, with the acquired reward varying considerably across the training episodes. While comparing the actual performance of the NN trained with each algorithm in an attitude control task, the neural network trained with the TD3 algorithm presented the best response, which closely matched that of a Proportional-Derivative controller in a nominal scenario. Thereafter, a more critical scenario involving actuator failure was also evaluated, where we compared the performance of the intelligent controller trained with the TD3 algorithm with that of a baseline PD controller. Overall, in three out of four failure scenarios, the intelligent controller was able to respond better than the baseline PD in this challenging scenario. RESUMO: Este trabalho propõe a aplicação de técnicas de aprendizagem de máquina para o controle de atitude de satélites. Mais precisamente, aprendizagem por reforço profundo é utilizada para a obtenção de uma política ótima de controle. A política de controle é parametrizada por uma rede neural, o que possibilita a sua aplicação em espaços de estados de ordem elevada. Uma vez que o torque de controle é um sinal contínuo, se faz necessário o uso de algoritmos apropriados para espaços de ação contínuos. Dessa forma, três algoritmos são avaliados, sendo eles Deep Deterministic Policy Gradient (DDPG), Twin Delayed DDPG (TD3) e Soft Actor-Critic (SAC). Para que esse método funcione em problemas de controle de atitude, é necessário modificar o modelo da rede neural padrão usado nesses algoritmos. Particularmente, as unidades de viés das redes neurais utilizadas para representar políticas de controle foram removidas. Em relação ao procedimento de treinamento, o algoritmo SAC convergiu consideravelmente mais rápido do que os outros dois, e a sua curva de aprendizagem teve um comportamento mais estável. Além disso, o valor final da recompensa acumulada foi equivalente para os algoritmos SAC e TD3. O algoritmo DDPG, em contrapartida, apresentou um comportamento instável durante o treinamento. Quando comparamos o desempenho da rede neural treinada com cada algoritmo em uma tarefa de controle de atitude, a rede neural treinada pelo algoritmo TD3 apresentou a melhor resposta, a qual se aproximou da resposta do controlador PD de referência em um cenário nominal. Em seguida, um cenário mais crítico envolvendo falha em atuador foi avaliado, onde comparamos o desempenho do controlador inteligente treinado com o algoritmo TD3 com o desempenho de um controlador PD de referência. De forma geral, em três dos quatro cenários de falha analisados, o controlador inteligente respondeu melhor do que o PD de referência. | |||
| Area | ETES | |||
| Arrangement 1 | urlib.net > BDMCI > Fonds > Teses e Dissertações... > Intelligent attitude control... | |||
| Arrangement 2 | urlib.net > BDMCI > Fonds > Produção pgr ATUAIS > CMC > Teses e Dissertações... > Intelligent attitude control... | |||
| Arrangement 3 | urlib.net > BDMCI > Fonds > Produção a partir de 2021 > CGCE > Teses e Dissertações... > Intelligent attitude control... | |||
| Arrangement 4 | urlib.net > BDMCI > Fonds > Produção pgr ATUAIS > CMC > Intelligent attitude control... | |||
| Arrangement 5 | urlib.net > Fonds > Produção a partir de 2021 > CGCE > Intelligent attitude control... | |||
| doc Directory Content | access | |||
| source Directory Content | access | |||
| agreement Directory Content |
| |||
| 4. Conditions of access and use | ||||
| data URI | upn:44QHRCS:8JMKD3MGP3W34T/45U9NCS | |||
| data URL | http://urlib.net/ibi/8JMKD3MGP3W34T/45U9NCS | |||
| zipped data URL | http://urlib.net/zip/8JMKD3MGP3W34T/45U9NCS | |||
| Language | en | |||
| Target File | publicacao.pdf | |||
| User Group | pubtc@inpe.br simone wilson.marques@inpe.br | |||
| Visibility | shown | |||
| Copyright License | urlib.net/www/2012/11.12.15.10 | |||
| Read Permission | allow from all | |||
| Update Permission | not transferred | |||
| 5. Allied materials | ||||
| Mirror Repository | urlib.net/www/2021/06.04.03.40.25 | |||
| Next Higher Units | 8JMKD2USNNW34T/4CL6N3H 8JMKD3MGPCW/3F2UALS 8JMKD3MGPCW/46KTFK8 | |||
| Citing Item List | sid.inpe.br/mtc-m21d/2024/12.26.14.49 - 93 sid.inpe.br/bibdigital/2013/10.14.00.13 - 28 sid.inpe.br/bibdigital/2022/04.03.17.52 - 25 | |||
| 6. Notes | ||||
| Empty Fields | academicdepartment archivingpolicy archivist callnumber copyholder creatorhistory descriptionlevel dissemination doi electronicmailaddress format isbn issn label lineage mark nextedition notes number parameterlist parentrepositories previousedition previouslowerunit progress readergroup resumeid rightsholder schedulinginformation secondarydate secondarymark session shorttitle sponsor subject tertiarymark tertiarytype url versiontype | |||