Faran med data mining

Bloggrannen professor Olle Häggström slår sönder i nyheterna uppmärksammade forskningsrön om att farmödrars svältsituation i unga år påverkar kvinnliga barnbarns dödlighet i hjärt- och kärlsjukdomar. Låter det orimligt, så är det för att det handlar om datafiske eller data mining.

Förenklat kan man säga att data mining är ett populariserat ovetenskapligt begrepp där man tar stora mängder data och ser vad som verkar visa upp samband. Inom investeringar, börs och finans är ett klassiskt exempel att smörpriset i Bangladesh förutsåg New York-börsernas utveckling i en stor körning som IBM gjorde 1987. Vilket förstås är rent struntprat. 

Istället handlar det om att när man testar stora mängder data mot varandra så kommer av ren slump en del data verka visa upp samband.

Professor Häggström skriver:

“Signifikanstestet ifråga är inte det enda Bygren et al gjort, utan endast ett av 24 olika test som de redovisar, svarandes mot fyra olika val av far- eller morförälder (mormor, morfar, farmor, farfar), två olika val av kön på barnbarnet, och tre olika val av mattillgångsmönster under far- eller morförälderns förpubertet (24=4∗2∗3). Om man gör tillräckligt många olika test så blir till slut sannolikheten att få statistisk signifikans i minst ett av testen stor – även om [det inte finns något samband].”

Man fann alltså bara ett enda samband av 24 olika samband (test) som man gjorde. Eftersom p-värdet för vetenskaplig signifikans är 0.05 (eller 5% om man så vill), så bör man (ofta) i 24 test lyckas hitta ett samband tack vare ren slump.

Vetenskapen och studien av miljöärftliga faktorer kallas epigenetik, men det finns åtminstone i detta knappast några starka bevis för att det föreligger något epigentiskt arv här.

Det finns lärdomar att dra här kring börsen, teknisk analys och investeringar. Nämligen att det alltid går att hitta någon samstämmande indikator, av ren slump. Istället måste man titta på kausalitet istället för korrelation. Ett exempel där man kan misstänka kausalitet är t ex konjunkturbarometern och börsen, som jag skrev om i förra inlägget. Det ter sig rimligt att börsen stiger när konjunkturen förbättras, och faller när konjunkturen försämras. Kausalitet kan rimligtvis existera.

Hur farmödrars matvanor före puberteten påverkar specifikt kvinnliga barnbarns benägenhet till hjärt- och kärlsjukdomar låter jag vara osagt. Om du är kvinna så får du oftare hjärt- och kärlsjukdomar om din pappas mamma fick dåligt med mat som barn. Enda sambandet jag kan tänka mig är att farmor övergöder sina kvinnliga barnbarn så de ska se runda och pena ut. Men tydligen skiter i alla andra barnbarn, t ex dotterdöttrar eller manliga barnbarn. Det är bara sina söners döttrar de övergöder med extra hjärt- och kärlskadlig kost. Epigeniskt menar man istället att det ärvs via påverkan på könsceller innan befruktning och inte ens är en social miljöpåverkan. Jag har inte själv läst studien, men har man bara använt stickprov där sondöttrarna aldrig träffat sin farmor, och inte kan påverkats över matbordet? För att verkligen påvisa epigenetiska samband bör samtliga inblandade generationer vara bortadopterade, för att eliminera sociala miljöfaktorer som överkompenserande matvanor på grund av farmors minnen från svält i unga år.

Men den enklaste förklaringen är professor Häggströms, dvs slumpen och sök och du skola finna!