Utfordringen
Et longitudinelt forskningsdatasett for Alzheimers sykdom inneholder hundrevis av variabler per besøk. Oppgaven var å bygge en klassifikator for tre diagnosegrupper ved første besøk og forstå hvilke variabler som faktisk driver resultatet.
Løsningen
Et utvalg klinisk motiverte variabler ved baseline: demografi, genetisk risiko (APOE4), kognitive testskårer og MRI-avledede volummål normalisert mot intrakranielt volum. Random Forest og SVM ble sammenlignet i en pipeline med imputering av manglende verdier, og permutasjonsviktighet viste hvilke variabler modellen brukte.
Hvordan det ble bygget
Prosjektet ble gjennomført i en gruppe; jeg bidro på tvers av databehandling, modellering og evaluering. Datagrunnlaget var 1 658 deltakere ved første besøk (508 kognitivt friske, 836 med mild kognitiv svikt og 314 med Alzheimers), der overgangsdiagnoser ble utelatt. Dataene ble delt stratifisert i trening, validering og test (60/20/20); hyperparametere ble valgt med kryssvalidering på treningsdata, og testsettet ble brukt én gang til slutt. En ablasjon sammenlignet modeller med og uten kognitive testskårer, og et tilleggseksperiment forsøkte å predikere overgang fra mild kognitiv svikt til Alzheimers.
Resultat
Den endelige Random Forest-modellen oppnådde macro-F1 på 0,93 på testsettet (332 deltakere). Ablasjonen viste imidlertid at resultatet nesten helt drives av de kognitive testskårene: uten dem falt treffsikkerheten på valideringssettet til omtrent 0,53, mens MRI-volummålene tilførte lite. Å predikere fremtidig overgang fra mild kognitiv svikt til Alzheimers var langt vanskeligere, med balansert treffsikkerhet på omtrent 0,58.
Kontekst
Kognitive testskårer inngår i grunnlaget for selve diagnosen, så den høye treffsikkerheten er delvis sirkulær og sier lite om evnen til tidlig oppdagelse. Dette er et klassifiseringseksperiment på et retrospektivt forskningsdatasett, ikke et klinisk verktøy.