Udfordringerne i effektmålinger og effektevaluering

Endnu et indlæg der er spundet over effektmålings temaet.

Udover de praktiske udfordringer i effektmålinger som kan være store nok, mener jeg også at der implicit ligger nogle antagelser som vi ikke ved hvorvidt de holder stik.
På mange måder er den evalueringstankegang, der ligger i målingerne fornuftig – vi har investeret nogle penge, og vil gerne vide hvad har vi fået ud af det. Eller måske rettere: vi vil gerne investere nogle penge for at opnå det og det – er det lykkedes?

Hvis vi tager det sidste først. Man opstiller en række effekter man gerne vil opnå og går målrettet efter det og måler på om det lykkedes. Det virker relativt ligetil. Den lugter tilmed lidt at projektledelse, kan det måles kan det styres. Men hvad med alt det man ikke måler på? Hvad med de negative konsekvenser, som man måske ikke fanger fordi man er så fokuseret på de effekter man har defineret. Eller hvad med de nye potentielle muligheder man overså fordi man fokuserede for meget på de planlagte effekter.

I forhold til den efterfølgende evaluering – kan man måle outcommet af fx et IT projekt? Hvis man spørger en økonom så ja, man sammenligner bare bundlinien før og nu. Men er det alt der kan måles eller gøres målbart? Og kan det gøres på en måde så det kan gøres indenfor rammerne af en evaluering?

Noget af det implicitte jeg mener at kunne spore bag ideen om fx effektevaluering er at man måler effekter af noget fx en teknologi eller en metode, der i sig selv besidder effekten. En næste kausal sammenhæng mellem fx en ny teknologi og så et outcome. Men jeg vil mene at en teknologi eller metode ikke i sig selv besidder nogle effekter, men det er den kontekst hvori og måden hvorpå teknologien bringes i anvendelse der kan skabe effekter. Herved bliver det ikke metoden eller teknologen i sig selv man evaluerer, men implementeringen og anvendelsen(og hermed en forklaring af titlen på denne blog) af metoden eller teknologien man evaluerer. I sundhedssektoren vil man derfor meget ofte skulle evaluere nogle meget kompliceret samspil mellem teknologi, organisation, mennesker, arbejdsopgaver med mere, og det kan være meget svært at opstille effektmål, der indfanger det samspil og som gør at man får målt på noget af det man rent faktisk gerne vil måle/evaluere på. Effektevaluering bliver ofte en reduktion af kompleksiteten. Dette kan nok ikke undgås men man må være sig bevidst om de ting man ikke får målt og evalueret.

SundhedsIT går fri af IT factory skandale

Tak til Hans Nielsen for tippet . På DagensMedicin kan man læse at IntraMed menes at gå fri af IT factory skandalen. Stein Bagger var kun midertidig direktør engagn i 2005 indtil man fandt den helt rigtige. Desuden vil Intramed finde sig en ny revisor i stedet for Erik Dybdahl fra KPMG... Som Direktøren HAsse Eriksen udtaler: »Vi får en ny revisor. Vi har styr på regnskaberne, så selvom alle bestyrelser vil se en ekstra gang på virksomhederne ovenpå sådan en historie, så er jeg ikke bekymret,« siger han.

Branding af EPJ eller OBE

Når jeg til selskaber og familiemiddage får det klassiske spørgsmål: nå, hvad laver du så? (Her er det altid underforstået hvad man arbejder med) Så svarer jeg først den korte udgave at: ”jeg arbejder som PhD hvor jeg forsker i indførelsen af elektronisk patientjournal” og nogle gange tilføjer jeg et kækt ”…eller mangel på samme”. Så måske er jeg selv ude om det når folk så spørger indtil hvorfor der ikke er nogen elektronisk patientjournal. Men de gange hvor jeg udelader den lille kække tilføjelse spørger folk alligevel til, hvor længe der går før den elektroniske patient journal kommer.

Der er også nogle enkelte, der tager det som en selvfølge at de kun har én elektronisk journal som både hospitalet, deres praktiserende læge og fx lægevagten har adgang til. Alt andet er da håbløst – men de bliver slemt skuffede.

Det har fået mig til at tænke lidt over hvad folk egentlig forstår ved ’elektronisk patient journal’. Og tænker folk over at de har flere forskellige epj’er? Både hos den praktiserende læge, på hospitalet, speciallægen og måske endda hos tandlægen. For speciallægerne og praksislægerne er der i vid udstrækning tale om en hel EPJ, men for sygehusene er det et fortolkningsspørgsmål hvorvidt der er tale om en elektronisk patient journal. Personligt vil jeg mene at man er i gang med indførelsen af den elektroniske patientjournal, de fleste regioner har både Patient administrativsystem, PAS, Røgten system, Laboratoriesystem, medicin modul, nogle har notat modul og så videre. Alle systemer som kan siges at være elementer i den elektroniske patientjournal, eller i hvert fald element af digitaliseringen af sygehusene. Men en egentlig hel og fuld elektronisk patient journal er der vel ikke tale om. Det kan nogle gange godt blive lidt kompliceret at forklare mellem forretten og hovedretten.

Det har fået mig til at tænke på at man godt kunne gøre mere ud af at forklare befolkningen EPJ (både sygehus-epj og praktiserende læge-epj) indebærer, hvem har adgang til hvilke informationer. Hertil kunne man tilføje information om hvor langt man er med udviklingen af EPJ og hvad de forskellige forskningsprojekter er udmøntet i – derved ser man også hvad pengene er blevet til. En slags OBE – oplysning til borgerne om EPJ. Man gør meget ud af at borgerne skal kende deres rettigheder i forhold til frit sygehusvalg, venteliste garantier mv. så kunne de vel også godt blive beriget med lidt indsigt i deres egne sundhedsoplysninger.

IT factory skandalen er også relateret til sundhedsIT

Ikke at denne blog skal gøre sig i sladder, skandaler eller dybdeborende journalistik, og så alligevel. Jeg kunne ikke lade være med at bemærke en relation mellem It Factory skandalen og et udbredt stykke software på de danske hospitaler.

Som så mange andre nok har gjort de sidste par dage, var jeg lige forbi Dorte Tofts blog for at få hendes version af historien. Her faldt jeg over en af kommentarerne, der listede en række af de selskaber som Stein Bagger ejer. Her optråde firmaet IntraMed A/S, som i øvrigt deler adresse med Asger Jensby JMI invest ifølge CVR.dk. IntraMed A/S er det firma der har købt diabetesRASK af Rehfeld Partners. Jeg har fulgt lidt med i DiabetesRASK, da jeg har skrevet speciale om systemer til understøttelse af shared care herunder diabetes, og diabetesRASK var på det tidspunkt ved at forsøge sig med en praksis udgave der skulle sikre samarbejde mellem sygehuse og praktiserende læger. diabetesRASK er i brug i Regions Sjælland og i Hovedstadsregionen - jeg ved ikke om det er i brug andre steder.

Typer og niveauer af effekter

Under det føromtalte effektmålingsseminar foreslog Lars Hagerup fra Logica en opdeling af effekter i hhv. business effekter (dem der typisk optræder i business casen – gerne i form af besparelser i kroner og øre), kliniske effekter (hvilke effekter der relaterer sig til kerneområdet – den kliniske behandling - i form af kliniske kvalitetseffekter) og strategiske effekter (det kan godt være der ikke her og nu er mulighed for økonomiske eller kvalitetsmæssige effekter, men der er tale om en strategisk effekt som, forhåbentligt, viser sig senere)

Jeg har selv arbejdet med en matrix (det glider altid lidt lettere ned hvis det kan opstille i en matrix) med forskellige typer eaf ffekter og niveauer hvorpå  effekter kan specificeres. Oprindeligt var der tale om en 2x2 matrix, men efter inspiration fra Lars er den nu udvidet til 3x4 - antallet af niveauer afhænger af den ønskede specificeringsgrad, fx kunne patienter og pårørende være hver sin kategori. Jeg har medtaget de niveauer hvor jeg umiddelbart fornemmer der vil være en væsentlig forskel.