This project explores the theoretical foundations and practical implementation of feedforward neural networks. A simple network was implemented and trained on the MNIST data set using stochastic gradient descent combined with backpropagation. Training performance was analyzed using two different cost functions, cross-entropy and quadratic, as well as L2 regularization and limited tuning of hyperparameters. As expected, carefully selecting the learning rate significantly improved convergence. Furthermore, L2 regularization proved to be an effective method for reducing overfitting and improving validation accuracy, leading to a final classification accuracy of 96.4% when using the cross-entropy cost function. The results of the implementations also highlight the fact that theoretical expectations might require adjustments in practice.

Detta projekt utforskar de teoretiska grunderna och den praktiska implementeringen av framåtriktade neurala nätverk. Ett enkelt nätverk implementerades och tränades på MNIST-datasettet med hjälp av stokastisk gradientnedstigning kombinerat med bakåtpropagering. Träningsprestandan analyserades med två olika kostnadsfunktioner, cross-entropy och kvadratisk, samt med L2-regularisering och begränsad justering av hyperparametrar. Som förväntat förbättrades konvergensen avsevärt genom ett noggrant val av inlärningshastighet. L2-regularisering visade sig dessutom vara en effektiv metod för att minska överanpassning och förbättra valideringsnoggrannheten, vilket resulterade i en högsta klassificeringsnoggrannhet på 96.4%. Resultaten från implementeringarna påvisar också att teoretiska förväntningar ofta kräver justeringar i praktiken.