CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Animation of humanoid characters using reinforcement learning
KTH, School of Electrical Engineering and Computer Science (EECS).
2019 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

Procedural animations are still in its infancy, and one of the techniques to create such is using Reinforcement Learning. In this project, swimming animations are created using UnityML version 0.6 with their Reinforcement Learning training agents, using the policy PPO, created by OpenAI. A humanoid character is placed in a simulated water environment and propels itself forward by rotating its joints. The force created depends on the joints mass and the scale of the rotation. The animation is then compared to a swimming animation created using movement capture data. It is concluded that the movement capture data animation is significantly more realistic than the one created in this project. The procedurally created animations displays many of the typical issues with reinforcement learning such as jittering and non-smooth motions. While the model is relatively simple, it is not possible to avoid these issues completely with more computational power in the form of a more complex model with more Degrees of Freedom. It is however possible to finetune the animations with the improvements listed at the end of the discussion.

Abstract [sv]

Procedurellt skapade animationer är ett relativt nytt område som ständigt utvecklas och en av teknikerna för att skapa dessa är genom att använda sig av Reinforcement Learning. I detta projekt är animationer av simningsbeteenden skapade med hjälp av Unity’s plugin UnityML version 0.6, med hjälp av deras Reinforment Learning agenter och policyn PPO, skapad av OpenAI. En mänsklig karaktär är instantierad i en simulerad vattenmiljö och får sin rörelseförmåga genom att rotera sina lemmar, så som armar och ben, ihopkopplade med Unity’s jointkomponenter. Kraften skapad är baserad på lemmens massa och storleken av rotationen från en observation till den nästa. Större massa och rotation ger en större kraft. Ett animationsbeteende skapas av ett stort antal observationer och utförda krafter. Animationen jämförs sedan med en simningsanimation skapad med hjälp av referensdata från en människa. Den procedurellt skapade animationen visar sig vara betydligt mindre realistic än den skapad med hjälp av referensdata. Projektets skapade animation visar flera av de vanliga svagheterna hos animationer skapade med Reinforcement Learning så som överdrivna och hastiga rörelser. Även om modellen är relativt simpel skulle inte kvalitén på animationen förbättras betydelsefullt med en mer komplex modell med en högre Degree of Freedom. Det är däremot möjligt att förbättra animationen och eliminera många av felen i efterhand, något som beskrivs i diskussionen.

Place, publisher, year, edition, pages
2019. , p. 12
Series
TRITA-EECS-EX ; 2019:447
Keywords [en]
Reinforcement Learning; Animation; Procedural Animation; Simulated Swimming
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-260338OAI: oai:DiVA.org:kth-260338DiVA, id: diva2:1355317
Supervisors
Examiners
Available from: 2019-10-08 Created: 2019-09-27 Last updated: 2019-10-08Bibliographically approved

Open Access in DiVA

fulltext(650 kB)3 downloads
File information
File name FULLTEXT01.pdfFile size 650 kBChecksum SHA-512
9e54597ebe027c5b539998321f7b4972d1925c7f5f4785520cffc7a29dc26dd4b3e2d29d9ba59710a1f80bfb994f218f5691f403006fa7c09e602c456a192a5d
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 3 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 21 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf