Webbarkivering

Att bevara webbplatser

Sydarkivera samlar årligen in samtliga kommunmedlemmars externa webbplatser för arkivering. Med insamling menas i det här fallet att med hjälp av crawlingteknik skapa kopior av webbplatser i syfte att bevara dem. Processen sköts av Sydarkivera i dialog med förbundsmedlemmarna. Insamling av webbsidor för bevarande sker dels eftersom webbsidor är allmän handling och dels för att visa hur kommunikation sett ut mellan kommun och invånare. Även för att allmänhet och forskare kan ha intresse av att se hur kommunernas webbsidor sett ut under olika tidsperioder.

I första hand bevaras kommunwebbplatser, men även andra webbsidor som har bevarandevärde. I de fall det finns övriga sidor som kommunerna önskar bevara gör Sydarkivera i dialog med aktuell kommun en bedömning om bevarandevärde finns. Om så är fallet samlas även sådana webbsidor in.

Under 2018 har en inventering genomförts för att ta reda på vilka webbplatser, förutom kommunernas externa webbplatser, som finns hos förbundsmedlemmarna.

Förbundsmedlemmarna använder olika sociala media som Facebook, Youtube och Twitter. En utredning har påbörjats.

Översiktlig tidplan

  • Testinsamling 2016 – 2017
  • Inriktningsbeslut 2017
  • Leveransutredning publicerad publicerad 2017
  • Första skarpa insamlingen 2018
  • Inventering av övriga webbplatser 2018
  • Testinsamling av inrapporterade webbplatser 2019
  • Förbättra rutiner och analysera insamlad webb samt ny insamlingsrunda för kommunwebbplatserna under 2019
  • Utredning av olika sociala medier pågår

Rutiner för insamling och kontroll

Sydarkivera samlar in samtliga förbundsmedlemmars externa webbsidor en gång per år. Sydarkivera genomför insamlingen och varje förbundsmedlem har utsett en kommunikatör som kontaktperson för webbarkivering.

  1. Inför insamling meddelar Sydarkivera att arbetet är på väg att påbörjas samt hur insamlingen kommer gå till.
  2. Efter insamlingen kontrolleras och analyseras materialet för att säkerställa att resultatet är så komplett som möjligt.
  3. Möte bokas med varje förbundsmedlem som får möjlighet att titta på resultatet och godkänna insamlingen.
  4. En leveransöverenskommelse om webbarkivering skickas ut till respektive kommun.
  5. Förbundsmedlem signerar leveransöverenskommelsen och godkänner därigenom insamlingen.

Det insamlade materialet kommer att tillgängliggöras via kommunarkiven i respektive kommun.

Om tekniken

Insamling av webbplatser görs med hjälp av crawlingteknik. Sydarkivera använder väl beprövade verktyg för detta ändamål, bland andra Heritrix som är framtaget av Internet Archive. Crawlingverktyg samlar in webbplatser genom att följa länkstrukturen på ett sätt som liknar en mänsklig användares sätt att klicka sig runt på en webbplats. I loggar kan webbcrawlern synas som en ”flitig” användare som besökt samtliga sidor på en specifik webbplats. Insamlingen går oftast klar på ett par timmar eller ett dygn. Resultatet blir en klickbar kopia av hur en viss webbplats såg ut vid tidpunkten för insamlingen. Det insamlade materialet packas i formatet WARC (internationell standard ISO 28500:2009, standarden ersätts av ISO 28500:2017) tillsammans med förklarande information (metadata). För att kunna titta på innehållet används verktyget Open Wayback som Internet Archive också står bakom. Via Wayback Machine är det möjligt att söka fram insamlade sidor, se datum för insamlingar och klicka runt bland det insamlade materialet.

Oftast blir resultatet av insamlingarna tillfredsställande men om något går fel kan Sydarkivera behöva göra om insamlingar igen, efter att inställningarna i verktygen har konfigurerats. Vi tillämpar dubbel bevarandestrategi genom att använda ytterligare ett verktyg för insamlingar som kallas HTTrack. Det är också ett crawlingverktyg som fungerar på ett liknande sätt som Heritrix men det insamlade materialet läggs istället lokalt i mappar som ett litet bibliotek med den insamlade webbplatsens innehåll. HTTrack skapar också en index-fil som gör det möjligt att surfa på de webbsidor som samlats in.

I det stora hela påverkas inte användarstatistiken nämnvärt när insamlingar görs. Det är möjligen om statistik för just den aktuella insamlingsdagen tas fram. Sydarkivera meddelar respektive kommun innan insamling påbörjas.

Dokument

Om tjänsten

Ansvarig för tjänsten: Annie Olandersson Stille
Typ av tjänst: Bastjänst (ingår i medlemsavgiften)