Artificial intelligence (AI) is poised to revolutionize healthcare by reducing errors and improving care quality. Large Multimodal Models (LMMs) represent a significant AI advancement, integrating visual and textual data for tasks like image captioning and complex visual reasoning. AI also holds promise in managing diet-related diseases such as Type 1 Diabetes (T1D), where precise insulin dosing and monitoring Carbohydrate (CHO) intake are crucial to prevent severe health complications like Hypoglycemia, Diabetic Ketoacidosis (DKA), and others.

This thesis introduces an innovative approach using the LMM, gpt-4-turbo, to estimate CHO content from diverse food images for insulin prediction. Unlike previous studies that broadly analyzed macronutrients or employed different AI approaches, this research specifically focuses on estimating carbohydrates (CHO) from individual food images. It leverages advancements in LMM technology to enhance glycemic control and mitigate medical risks associated with T1D.

Methodologically, the thesis employs a quantitative research approach, evaluating gpt-4-turbo's performance through techniques such as Bland-Altman plots, Mean Square Error (MSE), and Mean Absolute Error (MAE). The ’models accuracy improved through fine-tuning LMM, with MAE decreasing from 12.50 grams to 9.35 grams and MSE from 370.40 to 191.87, making the GPT-4 Turbo competitive with baselines and professional assessments. Bland-Altman analysis revealed a slight overestimation bias of 0.81 grams on average. Ideally, metrics should aim for a maximum MAE of 10 grams and MSE of 100, with no average over- or underestimations.

While competitive, the model's performance highlights ongoing technical and regulatory challenges in medical applications. Issues like LMM hallucination affect outcome accuracy, emphasizing the need for clear legal guidelines for safe deployment of AI systems in healthcare. Future research should focus on handling outliers such as chicken, fish, eggs, and meat to further improve insulin dosing accuracy and enhance personalized healthcare for individuals with T1D.

Artificiell intelligens (AI) är på väg att revolutionera sjukvården genom att minska fel och förbättra vårdkvaliteten. Large Multimodal Models (LMMs) medför en betydande AI-utveckling genom att integrera visuell och textuell data för uppgifter som bildtextning och komplex visuell resonering. AI visar också potential i hanteringen av kostrelaterade sjukdomar som Typ 1-diabetes (T1D), där exakt insulin dosering och övervakning av kolhydratintag (CHO) är avgörande för att förhindra allvarliga hälsokomplikationer som hypoglykemi, diabetisk ketoacidos (DKA) och andra.

Denna avhandling introducerar ett innovativt tillvägagångssätt med hjälp av LMM, gpt-4-turbo, för att estimera CHO-innehåll från olika matbilder för insulinprediktion. Till skillnad från tidigare studier som bredare analyserat makronutrienter eller använt andra AI-metoder, fokuserar denna forskning specifikt på att estimera kolhydrater från enskilda matbilder. Den utnyttjar framsteg inom LMM-teknologi för att förbättra glykemisk kontroll och minska medicinska risker förknippade med T1D.

Metodologiskt använder avhandlingen en kvantitativ forskningsansats och utvärderar gpt-4-turbos prestanda genom tekniker som Bland-Altman-plottar, medelkvadratfel (MSE) och medelabsolutfel (MAE). Inledande resultat visade utmaningar med noggrannheten, med ett inledande MAE på 12,50 gram och MSE på 370,40, som förbättrades genom finjustering till ett MAE på 9,35 gram och MSE på 191,87. Bland-Altman-analys avslöjade en lätt överestimeringsbias på 0,81 gram i genomsnitt. Idealt sett bör mätvärden sträva efter en maximal MAE på 10 gram, MSE på 100, utan genomsnittliga över- eller underestimeringar.

Även om modellen är konkurrenskraftig belyser dess prestanda pågående tekniska och regleringsmässiga utmaningar inom medicinsk tillämpning. Problem som LMM-hallucination påverkar resultatens noggrannhet och understryker behovet av tydliga rättsliga riktlinjer för säker implementering av AI-system inom sjukvården. Framtida forskning bör fokusera på att hantera avvikare som kyckling, fisk, ägg och kött för att ytterligare förbättra noggrannheten vid insulin dosering och stärka den personanpassade vården för personer med T1D.