Formulere indikatorer

Når vi har et omforent bilde av sammenhengen mellom tiltakene vi setter i gang, og de målene vi ønsker å oppnå, kan vi gå i gang med å beskrive hva som skal måles – altså formulere indikatorer.

Formulering av indikatorer handler om å avgjøre to ting:

1. Hva ønsker vi å si noe om?
2. Hva kan vi måle som gir oss en indikasjon på det vi ønsker å si noe om?

Første steg handler om å forstå hva vi ønsker å si noe om. Eksempelvis bør vi skille mellom indikatorer knyttet til visjoner, hovedmål og delmål. Noen indikatorer måler det som er nærmest i tid, andre det som er lengst fram: Vi skiller mellom resultatindikatorer, virkningsindikatorer og effekter.

Resultater har gjerne en direkte sammenheng med aktivitetene i tiltaket, og er dermed nærmest i tid. Effektene kommer gjerne på lengre sikt, og er i større grad avhengig av flere forhold for å inntreffe. Effekter er utfordrende å måle direkte, fordi de som regel blir påvirket av flere forhold. Det betyr ikke at vi ikke kan følge med på utviklingen i statistikk eller kjennetegn på målgruppene vi retter tiltak mot. Endringer i disse vil gi indikasjoner på om tiltaket er med på å føre til det som skal oppnås. Som vi skal komme tilbake til, anbefaler vi å kombinere ulike indikatorer for å gjøre en helhetsvurdering av tiltaket som vurderes.

Andre steg handler om å operasjonalisere indikatorer. Det vil si at vi spesifiserer hva vi skal måle og vurdere for å få en indikasjon på at resultatet, virkningen eller effektene inntreffer. For å gjøre det må vi definere en datakilde, undersøke tilgjengeligheten på data, og vurdere om den er enkel å måle. Her bør vi velge ut noen få indikatorer som er mulige å følge opp, og ikke velge for mange eller for komplekse indikatorer. Når vi har gjort de to første stegene, kan vi gå i gang med måling og evaluering av tiltaket.

Ulike typer indikatorer

Når vi skal formulere indikatorer kan det være lurt å skille mellom ulike indikatortyper, for å sortere mellom det vi kan forvente at endres på kort sikt, og hva som endres på lengre sikt. Videre bør vi skille mellom indikatorer som måler tiltaket i seg selv, og indikatorer som måler endringer hos målgruppene for tiltakene.

Resultatindikatorer måler det som enkelt lar seg telle, og som sier noe om omfanget av tiltaket. Dette er indikatorer som måler resultatet av aktiviteten i tiltaket, for eksempel hvor mange deltakere vi har hatt på en aktivitet.

Virkningsindikatorer sier noe mer om konsekvensene av tiltaket. Hvis resultatindikatoren måler antall personer som har deltatt på en aktivitet, kan virkningsindikatoren for eksempel måle om deltakeren har tilegnet seg kompetanse/erfaring som er nødvendig for å komme i betalt arbeid. Her ser vi at virkningsindikatoren ikke henger like direkte sammen med aktiviteten som resultatindikatoren over. Vi kan anta at noen har tilegnet seg kompetansen som er nødvendig for å få jobb på grunn av aktiviteten de deltok på, men det kan samtidig også være en rekke andre urelaterte årsaker.

Effektindikatorer er relatert til de overordnede samfunnsmålene for tiltaket, og er gjerne tett knyttet til utfordringsbildet vi ønsker å endre på. Det kan være mer utfordrende å måle fordi det ofte er flere forhold som påvirker det vi ønsker å oppnå. Det kan være vanskelig å skille tiltakets bidrag til de endringene vi ser. Hvis vi følger eksemplet for virkningsindikatoren, vil vi her eksempelvis være opptatt av å måle om de som har deltatt i den aktuelle aktiviteten har kommet i jobb, og fått økt livskvalitet.

En måte å se disse indikatorene på er å koble dem til

1. Det konkrete tiltaket.
2. Målgruppen som mottar eller tar i bruk tiltaket.
3. Samfunnet som helhet.

De ulike indikatorene kan sorteres i henhold til den logiske kjeden, som illustrert i målemodellen under.

Når vi skal velge indikatorer bør de være tett knyttet opp til målbare mål vi har formulert i den logiske kjeden, og ikke direkte til visjonene for kommunen. Det er bra å være ambisiøs, men ikke når vi velger indikator. Valg av indikatorer bør stemme med det vi kan vise at tiltaket påvirker direkte, og elementer vi har skrevet opp i den logiske kjeden.

Kombinering av ulike datakilder

Det finnes en rekke datakilder og typer indikatorer som man kan følge med på. Hvordan man setter sammen et sett med indikatorer er avgjørende for å svare på det man ønsker å vite. Som vi har sett tidligere, er det sentralt å identifisere, og følge med på hvilke utfordringer det er i kommunen. Enten for å forstå hva som er kommunens spesifikke utfordring, eller følge med på utviklingen over tid. Ved å følge med på kjennetegn ved utfordringsbildet, kan en få en viss indikasjon på om kommunen lykkes i sitt arbeid.

Neste steg er å følge med på konkrete mål eller delmål knyttet til utfordringene. Vi kan sortere dem i to hoveddeler: Utfordringer hos barn og unge, og utfordringer ved kommunenes tjenester rettet mot barn og unge.

Eksempler på dette kan være
a) mål knyttet til hva barn og unge får igjen av tiltaket, og
b) mål om bedre samhandling for å gi et bedre tilbud.
I det første tilfellet følger vi med på om tiltaket fører til en endring for barn, unge og deres familier. Dette for å finne ut om vi «oppnår det vi vil med tiltaket?».

I det andre tilfellet er vi interessert i å måle endringer i samhandlingen, altså innad i enheten eller på tvers av enheter, for å finne ut om vi «gjør det vi skal».

Vi anbefaler å kombinere etablerte datakilder og statistikk, med (ny) innsikt fra barn og unge, og deres familier, og innsikt fra den kommunale tjenesten. Vi anbefaler også å bruke logiske kjeder som presentert her som utgangspunkt for å identifisere sentrale og aktuelle indikatorer for vurderingen av tiltaket.

En kombinasjon av de ulike innsiktene kan avdekke svakheter og styrker hver for seg. Dersom de ulike innsiktene peker i forskjellig retning så bør varsellampene slås på. Dersom innsiktene peker i samme retning kan det indikere at resultatene har høy validitet, eller sagt på en annen måte, vi blir sikrere på at tiltaket virker.

For å tydeliggjøre hvordan man kan kombinere ulike datakilder kan vi se på et forenklet eksempel om frafall i skolen. Dette eksempelet følger en hypotetisk logisk kjede, men det kan også brukes for flere kjeder, og på ulike nivå. Se gjerne på eksemplene her.

Over ble det vist forslag til indikatorer for hvert ledd i den logiske kjeden, samt eksempler på kombinasjoner av etablerte datakilder, innsikt fra barn og unge, og innsikt fra tjenesten. De øverste boksene illustrerer det vi har tegnet opp i den logiske kjeden, og boksene under viser indikatorer som kan måle de ulike stegene i kjeden. Den blå boksen representerer hovedutfordringen vi ønsker å endre, og som vi vil følge med på.

Når vi ønsker å følge med på utfordringsbildet eller målet om redusert frafall, kan vi velge indikatorer som sier noe om antallet som gjennomfører videregående opplæring, eksempelvis tall fra SSB.

Når vi skal følge med på om tiltak vi har satt i gang virker, må indikatorer langs hele den identifiserte logiske kjeden følges. Vi kan følge med på etablerte datakilder som registerdata eller årlige spørreundersøkelser, i dette tilfelle ungdata-undersøkelsen, elevundersøkelsen eller tall fra fagsystemer. Ser vi positive endringer i hvert ledd i kjeden kan vi være noe tryggere på at tiltaket bidrar til å nå målet vi har satt oss. Men det er fremdeles usikkerhet knyttet til tiltakets bidrag til endringene vi ser.

Kvalitativ data fra barn og unge selv, og de ansatte, gir et betydelig bedre vurderingsgrunnlag. Brukermedvirkning og samhandling er essensielle faktorer som styrker effekten av tiltakene. I tillegg gir dette informasjon som kan bidra til å forbedre tiltakene, eller til og med identifisere hvorfor vi ikke ser den effekten av tiltakene vi ønsker.

For å gjøre en total vurdering av om tiltaket virker, anbefaler vi å kombinere de ulike kildene og indikatorene, og se disse i sammenheng. Dette gjelder eksempelvis indikatorer som beskriver aktiviteter og resultater knyttet til tiltaket, og videre indikatorer som beskriver kjennetegn og endringer hos målgruppene (virkninger og effekter).

På denne måten kombinerer vi resultater og virkninger opp mot de overordnede effektene vi ønsker å nå, og som vi følger med på. Siden vi har en logisk kjede til grunn, har vi også et grunnlag for å vurdere om de endringene vi ser i utfordringsbildet er relatert til tiltaket vi har satt i gang. Ser vi positive endringer i hvert ledd i kjeden kan vi være tryggere på at tiltaket bidrar til å at målet oppnås.

Hvordan tolke og bruke resultatene?

Ser vi positive tendenser i statistikkene, i indikatorene som måler utfordringsbildene og effektene, og samtidig positive tendenser i indikatorene tidligere i den logiske kjeden (resultater og virkninger), har vi grunnlag for å si at tiltaket virker.

Eksempelvis, hvis:

1. Vi ser positiv endring i overordnet statistikk som beskriver utfordringsbildet.
2. Målgruppen opplever at de har utbytte av hjelpen de får.
3. Målgruppen opplever at de får riktig hjelp til riktig tidspunkt.
4. Ansatte i tjenestene opplever at de jobber bedre, og har gitt riktig og bedre hjelp til målgruppen.

Da peker alle data i retning i at tiltaket virker etter intensjonene, og vi må anta at tiltaket bidrar til ønsket måloppnåelse.

Eksempler på relevante kilder

Det finnes tilgjengelig en rekke statistikker og kilder som er aktuelle å ta i bruk for både å utforske, definere og følge med på utfordringsbildene i kommunen. Nedenfor er noen sentrale kilder som er aktuelle både i denne sammenheng, men også som utgangspunkt for å måle om tiltakene virker.

Kildene kan danne utgangspunkt for hvilke indikatorer vi ønsker å følge med på før, under og etter tiltaket vi setter i gang.

Under følger eksempler på to type ressurser: Indikatorsamlinger og statistikkbanker. Første del av tabellen viser indikatorsamlinger innenfor et temaområde. Eksemplene er Folkehelseinstituttets Folkehelseprofiler og Oppvekstprofiler. Profilene samler datakilder fra ulike offentlige registre basert på kunnskap om kjennetegn ved utfordringsbilder innen helse og oppvekst. Profilene gir dermed både innsikt i gode etablerte indikatorer, og de tilgjengeliggjør statistikkuthenting. Statistikkbankene inneholder statistikk, men gir ikke ferdige forslag til hvilke datakilder som utgjør gode indikatorer.

Ulike typer data til indikatorkonstruksjon

Offisiell statistikk/registerdata

Registerdata er data som er hentet ut av et register, som for eksempel tall fra SSB, og ikke data du produserer selv. Data fra ulike registre kan koples med hverandre for å finne svar på nye spørsmål. Registerdata samles inn regelmessig slik at man får gode tidsserier. Slike data egner seg spesielt godt til å måle effekt og virkningsindikatorer, når vi har mulighet til å identifisere målgruppen i tiltaket.

Rapportering/styringstall

Dette er data som sier noe om hvordan en virksomhet har løst oppgavene eller tjenestene sine, eksempelvis knyttet til en strategi eller årsrapport, eller annen fast rapportering. Dette egner seg særlig til å måle resultatindikatorer, det vil si om vi gjør det vi skal, men ikke utelukkende.

Brukerundersøkelser

Dette er undersøkelser rettet mot målgruppen for tiltaket. Det er spesielt nyttig fordi man samler inn data basert på egenutviklede spørsmål som fanger opp data som ikke er tilgjengelig andre steder. Brukerundersøkelser egner seg derfor særlig til å måle mer nærliggende resultater og virkninger for målgruppen, men det kan også måle langsiktige effekter dersom undersøkelsen gjennomføres i god tid etter tiltaket. Brukerundersøkelser kan for eksempel gjennomføres ved bruk av spørreskjema eller strukturerte intervju.

Tilbakemelding/feedback

Tilbakemelding er ikke en statistisk spørreundersøkelse, men kan måle mange av de samme tingene som en brukerundersøkelse. Tilbakemeldinger kan gjøres direkte i tjenesten, eksempelvis ved å spørre målgruppen om hvordan tiltaket oppleves.

Økonomiske data

Økonomiske data kan være nyttig av flere grunner. Dersom målene er knyttet til finansielle gevinster må man følge endring i økonomiske data. Økonomiske data kan også knyttes til mål som går på om vi gjør det vi skal. Dersom kommunens tiltak innebærer en økt satsing eller endring av finansiering kan det være nyttig å følge med på økonomiske data.