This thesis investigates image recognition of semiconductor devices, merging classical image processing with deep learning to enhance accuracy and efficiency. The semiconductor devices are designed for the Horizon Europe project PHORMIC. The devices are photonic MEMS (Micro-Electro- Mechanical Systems) with extremely high reliability requirements. By comparing two traditional preprocessing methods (ORB alignment and Template Matching), in combination with a deep learning approach (ResNet), we arrive at a model achieving 94% accuracy and a 0.07 loss. Its resilience to varying backgrounds and lighting and faster processing render Template Matching ideal for real-time use. Experiments utilized images from a microscope, with a custom Java application streamlining annotation and an OpenCV tool for ROI extraction. The high-resolution images are shot by an automatic program on a Nikon Microscope. The annotated dataset is fed to a ResNet model, by comparing different preprocessing techniques, the significance of choosing preprocessing method is reinforced. The typical defects we detect include the out-of-plane bending or collapse of suspended structures, which can be devastating to the device’s performance. This research not only fortifies semiconductor defect detection capabilities but also furnishes a framework adaptable to other sectors grappling with similar imaging complexities.

Denna avhandling undersöker bildigenkänning av halvledarkomponenter genom att kombinera klassisk bildbehandling och djupinlärning för att förbättra noggrannheten och effektiviteten. Halvledarkomponenterna är designade för Horizon Europe projektet PHORMIC. Komponenterna är fotoniska MEMS (Mikro-Elektro-Mekaniska System), som har extremt höga tillförlitlighetskrav. Genom att jämföra två traditionella bildbehandlingsmetoder (ORB Alignment och Template Matching) i kombination med djupinlärning (ResNet) kommer vi fram till en method som uppnår en noggrannhet på 94% och en förlust på 0,07. Tack vare dess motståndskraft mot förändringar av belysning och bakgrund, i kombination med snabbare bearbetning, är Template Mathcing idealisk för realtidsanvändning. Experimenten använde bilder från ett mikroskop med en anpassad Java-applikation som effektiviserar annotering och ett OpenCV-verktyg för ROI-extraktion. De högupplösta bilderna är tagna med ett automatiserat program med ett Nikon mikroskop. Det annoterade datasetet matas till en ResNet-modell, vilket förstärker betydelsen av förbehandling för att förbättra igenkänningen. Den huvudsakliga defekten som vi detekterar är kollapsade eller relativt ytan böjda frihängade delar, vilket kan orsaka betydande negativa effekter på komponentens kvalitet. Denna forskning stärker inte bara möjligheterna till detektering av defekter hos halvledarkomponenter utan tillhandahåller även ett ramverk som kan anpassas till andra sektorer som kräver bildigenkänning.