Endnu et indlæg der er spundet over effektmålings temaet.
Udover de praktiske udfordringer i effektmålinger som kan være store nok, mener jeg også at der implicit ligger nogle antagelser som vi ikke ved hvorvidt de holder stik.
På mange måder er den evalueringstankegang, der ligger i målingerne fornuftig vi har investeret nogle penge, og vil gerne vide hvad har vi fået ud af det. Eller måske rettere: vi vil gerne investere nogle penge for at opnå det og det er det lykkedes?
Hvis vi tager det sidste først. Man opstiller en række effekter man gerne vil opnå og går målrettet efter det og måler på om det lykkedes. Det virker relativt ligetil. Den lugter tilmed lidt at projektledelse, kan det måles kan det styres. Men hvad med alt det man ikke måler på? Hvad med de negative konsekvenser, som man måske ikke fanger fordi man er så fokuseret på de effekter man har defineret. Eller hvad med de nye potentielle muligheder man overså fordi man fokuserede for meget på de planlagte effekter.
I forhold til den efterfølgende evaluering kan man måle outcommet af fx et IT projekt? Hvis man spørger en økonom så ja, man sammenligner bare bundlinien før og nu. Men er det alt der kan måles eller gøres målbart? Og kan det gøres på en måde så det kan gøres indenfor rammerne af en evaluering?
Noget af det implicitte jeg mener at kunne spore bag ideen om fx effektevaluering er at man måler effekter af noget fx en teknologi eller en metode, der i sig selv besidder effekten. En næste kausal sammenhæng mellem fx en ny teknologi og så et outcome. Men jeg vil mene at en teknologi eller metode ikke i sig selv besidder nogle effekter, men det er den kontekst hvori og måden hvorpå teknologien bringes i anvendelse der kan skabe effekter. Herved bliver det ikke metoden eller teknologen i sig selv man evaluerer, men implementeringen og anvendelsen(og hermed en forklaring af titlen på denne blog) af metoden eller teknologien man evaluerer. I sundhedssektoren vil man derfor meget ofte skulle evaluere nogle meget kompliceret samspil mellem teknologi, organisation, mennesker, arbejdsopgaver med mere, og det kan være meget svært at opstille effektmål, der indfanger det samspil og som gør at man får målt på noget af det man rent faktisk gerne vil måle/evaluere på. Effektevaluering bliver ofte en reduktion af kompleksiteten. Dette kan nok ikke undgås men man må være sig bevidst om de ting man ikke får målt og evalueret.
En gruppe fra University of Arizona har undersøgt forekomsten af bakterier på keyboards og sammenlignet med bakterier på toiletbrættet. Undersøgelsen har nogle foruroligende resultater, der viser at i mange tilfælde var keyboardet mere beskidt (højere antal af bakterier) end toiletbrættet. Undersøgelsen er foretaget i traditionelle kontoromgivelser og ikke i hospitals miljøer. Kunne forestille mig at det var lidt mere rent på en kontor på hospitalet, da sundhedsfagligt personale oftere vasker hænder, men det kunne da være værd at undersøge.