Increasing explainability of neural network based retail credit risk models
2023 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesis
Abstract [en]
Due to their ’black box’ nature, Artificial Neural Networks (ANN) are not permitted for use in various applications. One such application is mortgage credit risk modeling. Recently, the European Banking Authority stated that one of the main reasons why ANN based models are not adopted in this field is because they do not meet the strict requirements for transparency and ability of performing root cause analysis set forth by legislators and other stakeholders. In this thesis, an ANN model is trained on a mortgage dataset to predict default of customers. To aid in understanding the predictions of the network, two explainability methodologies are adapted to the model; SHapley Additive exPlanations (SHAP) and Local Interpretable Model-Agnostic Explanations (LIME). To test how well these methods aided understanding, a group of experts in the field comprised of employees of a prominent financial institution’s mortgage credit risk model stress testing team were shown the output graphs and asked to make inferences on the relationship between the inputs and outputs. The results indicate that the two investigated explainability methodologies show potential in assisting experts in the field identify, understand, and explain the relationship between the input and output variables. This work, and the continuation of it, has the potential of leading to ANN based models breaking into new business areas and use-cases.
Abstract [sv]
På grund av att Artificiella Neurala Nätverk (ANN) anses vara ’svarta lådor’ är de inte applicerbara i vissa sammanhang. Exempelvis vid modellering av hypotekskreditrisk. Nyligen uppgav Europeiska bankmyndigheten EBA att en av de huvudsakliga anledningarna till att ANN-baserade modeller inte används inom detta område är att de inte uppfyller de krav för transparens och förmåga att utföra grundorsaksanalys som framställts av lagstiftare och andra intressenter. I den här avhandlingen tränas en ANN-modell på ett bolåndataset för att försöka förutsäga kunders oförmåga att återbetala lånet. För att underlätta förståelsen av nätverkets förutsägelser, har två förklaringsmetoder anpassats till modellen; SHapley Additive ExPlanations (SHAP) och Local Interpretable Model-Agnostic Explanations (LIME). För att testa hur väl dessa metoder bidrog till bättre förståelse visades en grupp experter inom området utdatagrafer och ombads sedan att dra slutsatser mellan förhållandet mellan indatan och utdatan. Expertpanelen bestod av anställda i ett stresstestteam för hypotekskreditriskmodeller inom ett stort finansinstituts. Resultaten indikerar att de två undersökta förklaringsmetoderna har möjligheten att hjälpa experter inom området att identifiera, förstå, och förklara sambandet mellan in- och utdata. Detta arbete, samt eventuellt forsättningsarbete, har potential att leda till att ANN-baserade modeller börjar att användas i nya affärs- samt användningsområden.
Place, publisher, year, edition, pages
2023. , p. 47
Series
TRITA-EECS-EX ; 2023:34
Keywords [en]
Explainability, Artificial Neural Network, Mortgage Credit Risk Modeling
Keywords [sv]
Förklarbarhet, Artificiella Neurala Nätverk, Modellering av Hypotekskreditrisk
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-324207OAI: oai:DiVA.org:kth-324207DiVA, id: diva2:1738771
Supervisors
Examiners
2023-02-252023-02-222023-02-25Bibliographically approved