Object detection (OD) is a computer vision problem that involves the identification and localization of objects within an image or video stream. 5G and edge computing technologies have enabled distributed OD systems to operate more efficiently. This thesis addresses the challenge of improving an existing edge-assisted OD pipeline, developed at the Sensing and Perception team, Ericsson Research. 

The existing pipeline uses support vector machines (SVM)-based classifier in order to identify images where lightweight OD has failed, and calculates an introspective score based on the classifier. It combines two failure scores, i.e., the introspective score with comparison based score so-called, a golden score. Combining is done by taking the weighted average between the scores that results in detection failure metric, (DFM), which is then used to offload OD from a resource-constraint device to a more powerful device (edge). There is room for improvement, mainly in two areas. Firstly, SVM is a simple classifier and requires features from OD to infer OD failures. Secondly, the pipeline does not consider end-to-end latency, therefore it worsens significantly in degraded network conditions. Due to its significance and degree of difficulty, this problem is important to tackle and appropriate topic for a Master's thesis.

To solve the first problem, this thesis proposes a deep learning-based detection failure classifier that replaces the previous SVM-based classifier in order to identify images where lightweight OD has failed. For the second problem, several approaches to make offloading decision are proposed in order to consider end-to-end latency as well as network conditions by combining two failure scores with a new latency score. The effectiveness of the proposed methods is then tested against the ImageNet Large Scale Visual Recognition Challenge 2017 (ILSVRC2017) VID dataset using several accuracy metrics and end-to-end latency.

Experimental evaluation shows that the final proposed method significantly enhances the edge-assisted OD pipeline compared to SVM-based implementation and fixed weight scheduler, and increases overall pipeline performance. As a result, this work could help enhance accuracy and efficiency for edge-assisted OD pipelines in various applications, including surveillance systems, virtual reality environments and autonomous vehicles. 

Objektdetektion (OD) involverar identifiering och lokalisering av objekt i en bild eller video. 5G och edge computing-teknologier har gjort det möjligt för distribuerade OD-system att fungera mer effektivt. Det här examensarbetet tar upp utmaningen att förbättra en befintlig edge-assisterad OD-processflöde, utvecklad av Sensing and Perception-teamet, Ericsson Research.

Det befintliga processflödet använder SVM-baserad klassificerare för att identifiera bilder där en enkel OD har misslyckats, och beräknar introspektiv poäng baserat på klassificeraren. Den kombinerar två poäng, det vill säga den introspektiva poängen med jämförelsebaserad poäng så kallad en gyllene poäng. Kombination görs genom att ta det viktade genomsnittet mellan poängen som resulterar i detektionsfelmått, (DFM), som sedan används för att avlasta OD från en resursbegränsad enhet till en mer kraftfull enhet (edge). Det finns fortfarande utrymme för förbättring, främst i två områden. För det första är SVM en enkel klassificerare och kräver kännetecken från OD för att avgöra när OD misslyckas. För det andra tar processflödet inte hänsyn till fördröjning, därför förvärras det avsevärt under försämrade nätverksförhållanden. På grund av dess betydelse och svårighetsgrad är detta problem viktigt att lösa och lämpligt ämne för ett examensarbete.

För att lösa det första problemet, föreslår detta examensarbete en djupinlärningsbaserad detekteringsfelklassificerare som ersätter den tidigare SVM-baserade klassificeraren för att identifiera bilder där enkel OD har misslyckats. För det andra problemet föreslås flera tillvägagångssätt för att fatta avlastningsbeslut för att ta hänsyn till fördröjningar såväl som nätverksförhållanden genom att kombinera två felpoäng med en ny fördröjningspoäng. Effektiviteten hos föreslagna metoder testas sedan mot ImageNet Large Scale Visual Recognition Challenge 2017 (ILSVRC2017) VID-data med flera noggrannhetsmått och fördröjning.

Experimentell utvärdering visar att den slutgiltiga föreslagna metoden förbättrar den edge-assisterad OD-processflödet jämfört med SVM-baserad implementering och fast viktschemaläggare, och ökar den totala processflödeprestandan. Det medför att detta arbete bidra till att förbättra noggrannheten och effektiviteten för edge-assisterad OD-processflöden i olika applikationer, inklusive övervakningssystem, VR och autonoma fordon.