kth.sePublikationer KTH
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Adopting Graph Neural Networks to Analyze Human–Object Interactions for Inferring Activities of Daily Living
KTH, Skolan för industriell teknik och management (ITM), Maskinkonstruktion, Mekatronik och inbyggda styrsystem.ORCID-id: 0000-0002-8028-3607
KTH, Skolan för industriell teknik och management (ITM), Maskinkonstruktion, Mekatronik och inbyggda styrsystem.ORCID-id: 0000-0001-7048-0108
2024 (Engelska)Ingår i: Sensors, E-ISSN 1424-8220, Vol. 24, nr 8, artikel-id 2567Artikel i tidskrift (Refereegranskat) Published
Abstract [en]

Human Activity Recognition (HAR) refers to a field that aims to identify human activitiesby adopting multiple techniques. In this field, different applications, such as smart homes andassistive robots, are introduced to support individuals in their Activities of Daily Living (ADL)by analyzing data collected from various sensors. Apart from wearable sensors, the adoption ofcamera frames to analyze and classify ADL has emerged as a promising trend for achieving theidentification and classification of ADL. To accomplish this, the existing approaches typically rely onobject classification with pose estimation using the image frames collected from cameras. Given theexistence of inherent correlations between human–object interactions and ADL, further efforts areoften needed to leverage these correlations for more effective and well justified decisions. To this end,this work proposes a framework where Graph Neural Networks (GNN) are adopted to explicitlyanalyze human–object interactions for more effectively recognizing daily activities. By automaticallyencoding the correlations among various interactions detected through some collected relational data,the framework infers the existence of different activities alongside their corresponding environmentalobjects. As a case study, we use the Toyota Smart Home dataset to evaluate the proposed framework.Compared with conventional feed-forward neural networks, the results demonstrate significantlysuperior performance in identifying ADL, allowing for the classification of different daily activitieswith an accuracy of 0.88. Furthermore, the incorporation of encoded information from relational dataenhances object-inference performance compared to the GNN without joint prediction, increasingaccuracy from 0.71 to 0.77. 

Ort, förlag, år, upplaga, sidor
MDPI AG , 2024. Vol. 24, nr 8, artikel-id 2567
Nationell ämneskategori
Datorteknik
Identifikatorer
URN: urn:nbn:se:kth:diva-345773DOI: 10.3390/s24082567ISI: 001220542200001PubMedID: 38676184Scopus ID: 2-s2.0-85191368334OAI: oai:DiVA.org:kth-345773DiVA, id: diva2:1852596
Anmärkning

QC 20240527

Tillgänglig från: 2024-04-18 Skapad: 2024-04-18 Senast uppdaterad: 2025-03-20Bibliografiskt granskad
Ingår i avhandling
1. Supporting Self-Management in Cyber-Physical Systems by Combining Data-driven and Knowledge-enabled Methods
Öppna denna publikation i ny flik eller fönster >>Supporting Self-Management in Cyber-Physical Systems by Combining Data-driven and Knowledge-enabled Methods
2025 (Engelska)Doktorsavhandling, sammanläggning (Övrigt vetenskapligt)
Abstract [en]

Cyber-Physical Systems (CPS) refer to intelligent systems that combine computational and physical capabilities to enable advanced functionalities, such as autonomous behaviors, human-machine interaction, and machine collaboration in complex environments. Addressing these functionalities often necessitates the adoption of Artificial Intelligence (AI) techniques which are extensively utilized for operational perception and decision-making. However, due to the inherently data-intensive and opaque nature of most AI-enabled components, combined with unforeseen environments, the integration of AI-enabled techniques into CPS presents significant engineering challenges in quality management. Self-management, as an embedded system feature, extends conventional CPS with capabilities for operation monitoring, planning and adaptation. It is often considered as a necessary mechanism for ensuring the quality and trustworthiness of AI-enabled components. However, implementing self-management in AI-enabled CPS presents several challenges: The concept of self-management varies depending on the audience and application, making its definition and implementation more complex. Additionally, the data-intensive nature of AI-enabled components requires extra effort to ensure consistent performance across operational domains, especially under unforeseen conditions. To cope with these challenges, this thesis proposes to integrate data-driven and knowledge-enabled methods for self-management through the following efforts: 1) Proposing conceptual frameworks that define the necessary and sufficient functionalities for self-management, with the support for situation awareness regarding the internal and environmental conditions; 2) Developing condition monitoring modules within the proposed conceptual frameworks for the situation-awareness to analyze system status; 3) Creating human-explainable data-driven methods for understanding operational conditions; 4) Designinglearning-based agents to dynamically and effectively address vulnerabilities inAI-enabled systems that could lead to system failures or compromise the operational safety. This thesis consolidates key concepts and introduces novel features for self-management in CPS by synthesizing insights from existing research and addressing their limitations. It provides a framework for designing learning based agents that leverage data synthesis to achieve self-management. Additionally, the thesis develops data-driven methods integrated with knowledge enabled models to enhance situation awareness and trustworthiness, effectively addressing the complexity and opacity of AI-enabled computing processes.

Abstract [sv]

Cyberfysiska system (CPS) är intelligenta system som kombinerar beräknings-mässiga och fysiska förmågor för att möjliggöra avancerade funktioner, som autonoma beteenden, interaktion mellan människa och maskin och maskinsamarbete i komplexa miljöer. För att hantera dessa funktionaliteter används ofta artificiell intelligens (AI), särskilt inom operativ perception och beslutsfattande. Men på grund av att de flesta AI-komponenter är dataintensiva och svårgenomtränglig, i kombination medoförut-sedda miljöer, innebär integrationen av AI-komponenter i CPS betydande tekniska utmaningar när det gäller kvalitetshantering.

Självförvaltning, som en inbyggd systemfunktion, utökar konventionella CPS med funktionaliteter för driftsövervakning, planering och anpassning. Den anses ofta vara en nödvändig mekanism för att säkerställa kvaliteten och pålitligheten hos AI-komponenter.

Att implementera självförvalt-ning i AI-aktiverade CPS innebär dock flera utmaningar: Begreppet tolkas olika beroende på målgrupp och tillämpning, vilket gör definitionen och implementeringen mer komplex. Dessutom kräver AI-komponenter ofta extra ansträngningar för att säkerställa konsekvent prestanda över olika operativa domäner, särskilt under oförutsedda förhållanden.

 

För att adressera dessa utmaningar föreslår denna avhandling en integrering av datadrivna och kunskapsbaserade metoder för självförvaltning genom följande insatser: 1) Utveckling av konceptuella ramverk som definierar de nödvändiga och tillräckliga funktionerna för autonom hantering, med stöd för situationsmedvetenhet om både interna och externa förhållandena; 2) Implementering av tillståndsövervakningsmoduler inom de föreslagna konceptuella ramverken för att analysera systemstatus och förbättra situationsmedvetenheten; 3) Skapande av förklarbara datadrivna metoder som möjliggör en bättre förståelse av operativa förhållanden; 4) Design av inlärningsbaserade agenter för att dynamiskt och effektivt hantera sårbarheter i AI-baserade system, förebygga systemfel och säkerställa driftsäkerhet.

Denna avhandling samlar nyckelbegrepp och introducerar nya funktioner för autonom hantering i cyberfysiska system genom att sammanställa insikter från befintliga studier och adressera deras begränsningar. Den presenterar ett ramverk för att utforma inlärningsbaserade agenter som utnyttjar datasyntes för att uppnå autonom hantering. Vidare utvecklas datadrivna metoder som kombineras med kunskapsbaserade modeller för att förbättra situationsmedvetenhet och pålitlighet, samtidigt som de komplexa och svårgenomträngliga databehandlingsprocesserna i AI-drivna komponenter hanteras.

Ort, förlag, år, upplaga, sidor
Stockholm: KTH Royal Institute of Technology, 2025. s. 83
Serie
TRITA-ITM-AVL ; 2025:9
Nyckelord
Cyber-Physical Systems, Artificial Intelligence, Deep Learning
Nationell ämneskategori
Teknik
Forskningsämne
Maskinkonstruktion
Identifikatorer
urn:nbn:se:kth:diva-361423 (URN)978-91-8106-234-2 (ISBN)
Disputation
2025-04-10, M1 / https://kth-se.zoom.us/j/62678100345, Brinellvägen 64 A, Stockholm, 09:00 (Engelska)
Opponent
Handledare
Tillgänglig från: 2025-03-20 Skapad: 2025-03-19 Senast uppdaterad: 2025-04-08Bibliografiskt granskad

Open Access i DiVA

fulltext(62032 kB)749 nedladdningar
Filinformation
Filnamn FULLTEXT01.pdfFilstorlek 62032 kBChecksumma SHA-512
1ddb62ed0ef8f32d3b6ecf041ecad5a4843ad16dce0d7f394bdaf6e89654bbc94e3407d734cfe77c90afe20cab3f6deabd85350ec9f33dc2a400656f0658d736
Typ fulltextMimetyp application/pdf

Övriga länkar

Förlagets fulltextPubMedScopus

Person

Su, PengChen, DeJiu

Sök vidare i DiVA

Av författaren/redaktören
Su, PengChen, DeJiu
Av organisationen
Mekatronik och inbyggda styrsystem
I samma tidskrift
Sensors
Datorteknik

Sök vidare utanför DiVA

GoogleGoogle Scholar
Totalt: 749 nedladdningar
Antalet nedladdningar är summan av nedladdningar för alla fulltexter. Det kan inkludera t.ex tidigare versioner som nu inte längre är tillgängliga.

doi
pubmed
urn-nbn

Altmetricpoäng

doi
pubmed
urn-nbn
Totalt: 628 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf