Tok i bruk maskinlæring for å digitalisere arkivet

Allerede i dag har det digitaliserte arkivet gjort jobben lettere for kommunens saksbehandlere, som tidligere måtte lete opp dokumenter blant de 450 hyllemeterne som eiendomsarkivet utgjorde. Gjennom den nettbaserte løsningen braArkiv kan alle dokumenter gjenfinnes i digitalisert format, noe som blant annet har gjort det mulig å automatisere prosessen med å skaffe eiendomsmeglere relevante dokumenter for alle eiendommer i kommunen.

- Meglere henter ut informasjon via tjenester for levering av eiendomsinformasjon, som igjen henter informasjon fra blant andre braArkiv. Saksbehandlernes oppgave nå er å kontrollere leveransen, rette feil og mangler fra tidligere arkivering og komplettere med dokumenter, før de godkjenner leveransen i braArkiv, forteller Bakke-Ludviksen. Vi er avhengig av en slik kontroll frem til vi er sikre på at arkivmaterialet er knyttet mot korrekt eiendom, at utgåtte dokumenter er merket og personopplysninger er skjermet for uautorisert innsyn.

Sikkerhet og personvern

Publikumstilgang blir fortsatt vurdert, men det ligger ifølge Larvik kommune litt inn i fremtiden. 

- Det er mange ting som må være på plass, og sikkerhetsaspektet for personopplysninger er blant de tingene vi vurderer nøye. Vi vil nødig risikere at sensitive opplysninger havner på avveie. Uansett er det helt klart at det digitaliseringsarbeidet vi har gjennomført er en nødvendig forutsetning for å kunne tilby publikum tilgang til eiendomsdata og eventuelt støtte levering av arkivinformasjon til helautomatiserte byggesøknadsløsninger, sier virksomhetsleder for geodata i Larvik kommune,  Kolbjørn Hem.

Det er Geomatikk IKT AS i Trondheim som har hatt jobben med å digitalisere arkivene. Beslutningen om å digitalisere eiendomsarkivet, fordelt på byggesak, delesaker, tilsyn og sanitærmeldinger startet i 2013, og per i dag er hele eiendomsarkivet frem til 2007 digitalisert og tilgjengelig for kommunens saksbehandlere gjennom braArkiv.

- Papirarkiver er i utgangspunktet tungvint, og bedre blir det ikke av at det ofte kreves mye kunnskap for å finne frem i dem. Opp gjennom årene har det utviklet seg forskjellige måter å arkivere på, og vi så behovet for å bygge opp et system som sikrer helhetlig informasjon om et gitt objekt – og i Larvik er det ca. 52 000 eiendommer. Det var oppdraget, sier Bakke-Ludviksen. 

Gode forberedelser

- Vi brukte til sammen halvannet år på å skaffe oss oversikt og bestillerkompetanse. Tiden ble brukt til å kartlegge hva som lå i arkivet, hva som skulle skannes, og hva som eventuelt ikke skulle med – og vi orienterte oss også i markedet og identifiserte tilbydere av det produktet vi var ute etter, sier Ludviksen. Etter en anbudsrunde falt valget på Geomatikk IKT AS i Trondheim, som ved siden av blant andre Documaster tilbyr disse tjenestene i det norske markedet.

- Vi har hele tiden hatt som overordnet mål at det skal være mulig å benytte arkivet med minimalt med domenekunnskap, det vil si kunnskap om de forskjellige arkivene og hva man finner der. Målet var en «one stop shop» der man kunne søke på tvers av sakstyper og arkiver – for samtlige gårds- og bruksnummer i kommunen.

- Vårt arbeid er å skape en verdiøkning ved å strukturere arkivene og gjøre dem lett tilgjengelige og søkbare, sier administrerende direktør Per Øyvind Markussen i Geomatikk IKT AS. – Når det gjelder papirarkiver er det også en viktig del av jobben å klargjøre materialet for arkivdepot. Det innebærer blant annet å fjerne alt av metall, som binders og stifter, og alt lim som ikke er syrenøytralt ­– for eksempel Post-It-lapper. Dessuten fjerner vi ikke arkivverdig materiale. Våre fagfolk er arkivkyndige, og vi har inngående kjennskap til lovverk og forskrifter, sier han.
– Det digitaliserte arkivet kan ikke erstatte selve det historiske arkivet, men er en arbeidskopi som forenkler gjenfinning og ajourhold av historisk arkivmateriale, understreker han.

Taklet eldre digitale dokumenter med maskinlæring

Fra 2007 foregikk byggesaksbehandlingen i en slags hybrid mellom digital saksbehandling og papirbaserte dokumenter.

- Det skapte en uoversiktlig situasjon, og vi bestemte oss for å prioritere de historiske arkivene frem til og med 2007 i første omgang, sier Bakke-Ludviksen. - Dette er en prosess som Geomatikk IKT og andre leverandører har lang erfaring med, og i Trondheim ble papirarkivet ryddet, skannet og tillagt søkbare metadata som sakstype, gårds- og bruksnummer, saksdato og dokumentkategori, forteller han.

Men struktureringen av de digitale dokumentene som ble opprettet i perioden 2007–2017, gjensto. I et pilotprosjekt i regi av GeoLett-prosjektet etablert av Direktoratet for byggkvalitet (DiBK) ble det gjort forsøk på å benytte maskinlæring til behandling av de digitale dokumentene.

- GeoLett er et prosjekt som er etablert for å understøtte automatisering av byggesaksprosessen, forteller fagdirektør digitalisering Kari Befring Bjørnstad i DiBK. – Det består av en rekke piloter og underprosjekter, og i regi av dette prosjektet har vi støttet Geomatikk IKTs arbeid med maskinlæring og automatisering av rydding i de digitale dokumentene, sier hun. Geomatikk og Documaster er begge deltakere i prosjektet.

Tenk helhetlig og langsiktig og bruk tid på en plan for hvordan data skal behandles og hvilke systemer dataene skal håndteres i. Per Øyvind Markussen, Geomatikk IKT AS

Markussen bekrefter at overgangen til digitale arkivsystemer på 1990-tallet og senere har skapt en uoversiktlig situasjon i mange kommuner. De nye systemene ble tatt i bruk uten at det ble tatt høyde for struktur og gjenfinning. Resultatet er at digitale arkiver ofte er i større uorden enn de gamle papirbaserte arkivene. Det var også tilfelle i Larvik i perioden med digital hybrid mellom 2007 og 2017. Det er på dette materialet her maskinlæring kom inn i bildet, forteller Markussen.

- Gjennom mange år har vi ryddet og sortert tusenvis av hyllemeter med arkivmateriale fra nesten alle norske kommuner, noe som danner et enormt datagrunnlag som kan brukes til å lære opp maskinlæringssystemene, forteller han. I dette pilotprosjektet ble de digitale arkivene fra perioden 2007 og 2017 behandlet maskinelt og utstyrt med de samme metadataene som papirarkivene. Igjen var målet å normalisere dataene, slik at de kunne gjenfinnes og vises på lik linje med de skannede dokumentene. 

- Våre servere brukte tre–fire dager på å kverne gjennom materialet, og resultatet har vist seg å være vellykket, sier Markussen. - Vi har vært i stand til å kartlegge hva slags digitale dokumenter som er lagret, og tilført metadata som gjør materialet søkbart på lik linje med det digitaliserte papirarkivet. Nå benytter vi også maskinlæring som en del av prosessen ved innskanning av papirdokumenter, forteller han. – Erfaringene med maskinlæring er gode, og vi benytter nå denne teknologien også i våre ordinære innskanningsprosesser, sier Markussen.

Sorterer ut sensitive data

Maskinlæring kan også benyttes til å identifisere dokumenter som inneholder informasjon som bør unntas offentlighet, som blant annet helseopplysninger og lignende – og dermed også dekke krav til sikkerhet for personopplysninger. I en fremtid der eiendomsarkivene i økende grad vil bli gjort tilgjengelig for publikum, er dette helt avgjørende.

- Data fra eiendomsarkivet blir i mange tilfeller gjort tilgjengelig for aktører utenfor kommunene, som for eksempel eiendomsmeglere. Litt avhengig av hva slags tilgangskontroll kommunen legger opp til, er identifisering av personvernsensitive data et viktig aspekt ved den maskinelle prosessen, sier Markussen. I tillegg må vi også tenke på at ikke alt av eksisterende informasjon nødvendigvis skal være tilgjengelig for eventuelt nye eiere av en eiendom, skyter Kolbørn Hem inn.

Målet til DiBK er at både private og profesjonelle byggesøkere skal ha tilgang til det sammen eiendomsarkivet når de benytter en av de nye byggesøknadsløsningene. Allerede i dag er det fem tilbydere av søknadsløsninger, inkludert automatisert nabovarsling via Altinn. Det brukes store ressurser på byggesøknader hvert år, sier Nesheim. – Her er det store effektiviseringsgevinster å hente – både fordi prosessen blir enklere, men også fordi byggesøknadssystemene vil sikre vesentlig mindre feil i søknadene. Det vil komme både søkere, det offentlige og hele samfunnet til gode.

KS med veileder – ArkivLett

Sammen med en rekke kommuner og leverandører innenfor sak/arkiv og skanning har KS utviklet en nasjonal veileder for merking av byggesaksdokumenter, sier prosjektleder for ArkivLett, Michael Pande-Rolfsen i KS. I samarbeid med Kartverket vil KS tilby standardiserte grensesnitt (api) og nye tjenester i «Min side» på FIKS-plattformen. Dette innebærer at enkeltpersoner, meglerløsninger og byggesøknadsløsninger kan få tilgang til byggesaksarkivene i kommunene på en standardisert måte, uavhengig av hvilken kommune de søker i.

Nasjonal veileder for merking av dokumenter

- Målet er også at kommunene selv kan administrere denne type integrasjoner mellom kommunale arkiv og byggesøknadsløsninger. KS har innledet en dialog med Larvik kommune om de mulighetene som ligger i FIKS-plattformen når dette sees i sammenheng med bruk av kunstig intelligens og merking av byggesaksdokumentene i tråd med den nye nasjonale veilederen, sier Pande-Rolfsen.

Gode råd

Hvilke råd vil Larvik kommune gi til andre kommuner som snuser på digitalisering av arkivene?

- Forberedelser er viktig. Dessuten er min erfaring at man ikke må gape over for mye og tro at man kan løse alt selv. Gjennomgangen og kvalitetskontroll av papirarkiver er arbeidskrevende og tar tid, det er det ingen vei utenom. Gode konsulenter har kunnskap og erfaring som er nyttig i denne prosessen. Vi kunne nok gjort jobben selv, men den ville tatt mye, mye lenger tid, sier Kolbjørn Hem.

- Tenk helhetlig og langsiktig, sier Per Øyvind Markussen. I en kommune er det så mange systemer, og flere om man er i en kommunesammenslåingsprosess. Ta tiden til å legge en helhetlig og langsiktig plan for hvordan data skal behandles og hvilke systemer dataene skal håndteres i. Selv leverer vi arkivanalyser som en inngang til denne typen prosesser, og gir råd om hvordan de skal håndteres. Det kan være en god start.

Prosjektleder Odd Arne Bakke-Ludviksen er fornøyd så langt. Digitaliseringsprosessen har gitt saksbehandlerne en enklere hverdag, men fortsatt gjenstår noen punkter på planen.

- Neste skritt nå er å se på de muligheten som ligger i KS’ nye FIKS-plattform og se nærmere på ArkivLett-standarden for strukturering av materialet. Standardisering av informasjon i byggesaksarkiv og de mulighetene det gir for å utvikle systemer for automatisk byggesøknad, er spennende perspektiver som vil frigi kapasitet til saksbehandling og kvalitetsheving av register og arkiv der det er nødvendig, sier Bakke-Ludviksen.