Enhancing Nanopore Sensor Performance Through Modern Neural Network Architectures: An Evaluation of Classification Performance
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Förbättring av prestanda hos nanoporsensorer genom moderna neurala nätverksarkitekturer : En utvärdering av klassificeringsprestanda (Swedish)
Abstract [en]
Nanopore-based sensors have revolutionized DNA-sequencing and are showing great potential in related fields. However, the sensors' high sensitivity often results in noisy readings, making signal processing challenging and leading to traditional methods falling short in handling the complexity and variability of the signals when performing classification. To address this, scientists are increasingly turning towards data-driven approaches, yet a knowledge gap remains regarding which approches to apply and how modern methods can provide deeper insights. A previous study attempted to bridge this gap by training a Convolutional Neural Network (CNN) by the name of QuipuNet, acheiving significant performance gains over traditional methods. Through the use of the publicly available dataset from said study, this thesis aims to enhance the performance of nanopore-based sensors further by testing modern neural network architectures. The project introduces and tests four promising architectures: Fully Convolutional Networks (FCN), Residual Networks (ResNet), Long Short-Term Memory FCN (LSTM-FCN), and Transformers. These models were optimized through random search and Bayesian optimization, with rigorous evaluation through cross-validation. The models were then assessed for Accuracy, Precision, Recall, and F1-score, as well as their efficiency in terms of compute time and memory utilization. Additionally, the inherent advantages of the models' architectures were discussed to provide a holistic comparison. The results showed that while QuipuNet still slightly outperforms the others in classification, ResNet and Transformer architectures offer significant versatility, handling variable input lengths and providing valuable interpretability through class activation and attention mapping. ResNet achieved an F1-score of 0.929, closely rivaling QuipuNet's 0.935, while the Transformer showed promising potential with an F1-score of 0.910. However, no statistically significant difference could be ascertained between those three models. Only the FCN and LSTM-FCN showed statistically significant lower classification performance compared to QuipuNet. The FCN and LSTM-FCN models, though showing lower classification performance, excelled in inference and training speed and memory efficiency. The study concludes that newer neural network architectures, particularly ResNet and Transformers, offer competitive performance and enhanced versatility for nanopore signal classification. These findings pave the way for future research to further optimize these models and explore their application in a wider range of nanopore-related tasks.
Abstract [sv]
Nanopor-baserade sensorer har revolutionerat DNA-sekvensering och visar stor potential inom relaterade områden. Men sensorernas höga känslighet resulterar ofta i brusiga signaler, vilket gör signalbearbetning utmanande, och leder till att traditionella metoder inte räcker till för att hantera komplexiteten och variationen i signalerna. För att åtgärda detta vänder sig forskare i allt högre grad mot data-drivna metoder, men en kunskapslucka kvarstår kring vilka metoder som ska tillämpas och hurvida de kan ge djupare insikter. En tidigare studie försökte täcka denna lucka genom att träna ett Convolutional Neural Network (CNN) vid namn QuipuNet, vilket uppnådde betydande prestandaförbättringar jämfört med traditionella metoder. Genom att använda den offentligt tillgängliga datasetet från den studien syftar denna avhandling till att ytterligare förbättra nanopore-baserade sensors prestanda genom att testa moderna neurala nätverksarkitekturer. Projektet introducerar och testar fyra lovande arkitekturer: Fully Convolutional Networks (FCN), Residual Networks (ResNet), Long Short-Term Memory FCN (LSTM-FCN) och Transformers. Dessa modeller optimerades genom random search och Bayesian optimization, med rigorös utvärdering genom korsvalidering. Modellerna utvärderades sedan för Accuracy, Precision, Recall och F1-score, samt deras effektivitet i termer av beräkningstid och minnesanvändning. Dessutom diskuterades fördelar med modellernas arkitekturer för att ge en holistisk jämförelse. Resultaten visade att medan QuipuNet fortfarande överträffar de andra något i klassificering, erbjuder ResNet- och Transformer-arkitekturer betydande mångsidighet, hanterar variabla indatalängder och ger värdefull tolkbarhet genom class activation och attention maps. ResNet uppnådde en F1-score på 0.929, vilket nästan motsvarar QuipuNets 0.935, medan Transformer visade lovande potential med en F1-score på 0.910. Däremot kunde det inte säkerställas någon statistiskt signifikant skillnad mellan dem tre modellerna. Endast FCN- och LSTM-FCN modellerna visade statistiskt signifikant lägre klassificeringsprestanda än QuipuNet. FCN- och LSTM-FCN-modellerna, även om de visade lägre klassificeringsprestanda, utmärkte sig i inferens- och träningshastighet samt minneseffektivitet. Studien drar slutsatsen att nyare neurala nätverksarkitekturer, särskilt ResNet och Transformers, erbjuder konkurrenskraftig prestanda och ökad mångsidighet för klassificering av nanoporesignaler. Dessa resultat banar väg för framtida forskning att ytterligare optimera dessa modeller och utforska deras tillämpning inom ett bredare spektrum av nanopore-relaterade uppgifter.
Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology , 2024. , p. 47
Series
TRITA–EECS-EX ; 2024:438
Keywords [en]
Nanopore sensors, Machine learning, Hyper-parameter optimization
Keywords [sv]
Nanoporsensorer, Maskininlärning, Hyper-parameter-optimering
National Category
Computer Sciences Computer Engineering
Identifiers
URN: urn:nbn:se:kth:diva-351286OAI: oai:DiVA.org:kth-351286DiVA, id: diva2:1886985
Subject / course
Information and Communication Technology
Supervisors
Examiners
2024-09-192024-08-052024-09-19Bibliographically approved