Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Visual Recognition of Isolated Swedish Sign Language Signs.
KTH, School of Computer Science and Communication (CSC).
2012 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

Visual Recognition of Isolated Swedish Sign Language Signs

Saad Ullah Akram saadua@kth.se

Abstract:

Deaf people face serious challenges when communicating with people who have hearing capability, vast majority of whom do not have any sign language skills. Deaf people in these situations have to rely on written language which is usually not their primary language. Most of the deaf children are born to hearing parents who usually have very rudimentary sign language skills, these children do not get enough opportunity to practice and improve their signing skills outside the school environment. This puts these children at a disadvantage as they take more time to be able to communicate complex ideas with others.

This project proposes a method for recognition of Isolated Swedish Sign Language signs in a natural environment using Kinect sensor with only one important restriction that signer must wear a full-sleeved non-skin colored clothing. An adaptive histogram based skin color model and motion information are used to segment hands. 3D position of the hands relative to the torso are used as a cue together with the hand shape, and HMMs (Hidden Markov Models) trained with this input are used for classification. This project also presents a method which is able to solve one (hand over face) of the two common (other being hand over hand) occlusions encountered in sign language.

The results obtained show that Sign Language Recognition problem for very challenging medium sized (94 signs) vocabulary can be solved with very good performance (92% recognition accuracy) in signer dependent case and with reasonable performance (42% recognition accuracy) in signer independent case.

Abstract [sv]

Igenkänning av Svenskt Teckenspråk

Saad Ullah Akram saadua@kth.se

Sammanfattning:

Döva personer står inför stora utmaningar när de kommunicerar med hörande, eftersom de allra flesta hörande personer inte några teckenspråkkunskaper. Döva måste i dessa situationer förlita sig på skrivet språk, vilket vanligtvis inte är deras primära språk eftersom skrivet språk bygger på talat språk; något en person som är döv från födseln inte lärt sig. De flesta av de döva barnen har hörande föräldrar som vanligtvis från början har mycket rudimentära kunskaper i teckenspråk. Dessa barn har inte tillräckliga möjligheter att öva och förbättra sina kunskaper utanför skolmiljön. Detta ger dessa barn en nackdel eftersom det tar mer tid att kunna kommunicera komplexa ideer.

I detta projekt föreslås en metod för igenkänning av svenskt teckenspråk i en naturlig miljö med hjälp av en Kinect-sensor. Den enda begränsningen är att tecknaren måste bära icke-hudfärgade kläder. Segmenteringen bygger på hudfärgsdetektion och djup, och kan hantera situationer då händer täcker varandra och/eller ansiktet, vilket är vanligt i teckenspråk. De erhållna resultaten (nästan 92% noggrannhet för 94 tecken) visar att det är möjligt att automatiskt känna igen isolerade tecken för ett medelstort vokabulär.

Place, publisher, year, edition, pages
2012.
Series
Trita-CSC-E, ISSN 1653-5715 ; 2012:085
National Category
Computer Science
Identifiers
URN: urn:nbn:se:kth:diva-130910OAI: oai:DiVA.org:kth-130910DiVA: diva2:654356
Educational program
Master of Science - Systems, Control and Robotics
Uppsok
Technology
Supervisors
Examiners
Available from: 2013-10-07 Created: 2013-10-07

Open Access in DiVA

No full text

Other links

http://www.nada.kth.se/utbildning/grukth/exjobb/rapportlistor/2012/rapporter12/akram_saad_ullah_12085.pdf
By organisation
School of Computer Science and Communication (CSC)
Computer Science

Search outside of DiVA

GoogleGoogle Scholar

urn-nbn

Altmetric score

urn-nbn
Total: 597 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf