Kvalitet och
Valideringstjänster
Kvalitet på geodata och tjänster kommer att vara väldigt viktiga frågor både ur
dataleverantörs- och datakonsumentsynpunkt. Det kommer också att vara
viktigt att ha bra rutiner för dataförsörjning till olika typer av tjänster.
Presentationen belyser viktiga problemställningar och beskriver hur man med
stöd från ISO-standarderna för produktspecifikationer, kvalitet och metadata
kan skapa rutiner för datahantering som säkerställer kvalitet för geodata.
Presentation
Ser ut som om
någon gäspade i
bakre ledet …
Hur säljer
man in det
här ...
De verkar
redan tycka
det är
tråkigt …
Jag behöver en
fotomodell …
Tankar
Vad ska hon ha på
sig??? … rymddräkt,
kanske inte … såg att
det var många
”skogskunder” anmälda
Vänta nu …
allt kan
säljas med
reklam!!!
Jag ringer
Sandra
Undrar om vi har
någon policy för
att använda
fotomodeller???
Det här upplägget
kommer att kräva en
alert publik – undrar
hur mycket alkohol de
drack igår?
Disposition
•
•
•
•
•
•
Inledning
Standarder
Specifikation
Kvalitet
Problemställning
Inblick i Metrias
datahantering
• Sammanfattning
• Slutsatser
Inledning
Vem är jag?
• Johan Esko
•
•
•
•
GIS Sedan 1992
Samhällsbyggare
Metrias Geodatalagret 2.0
höstas
Internationell Projektledare för
”ISO 19157 Data quality”
• Hobbies
• Design, mönsterkonstruktion, sy
• Klassisk musik - fagottist
• Natur, åka skidor
Standarder inom
Datahantering
Viktiga standarder
• Produktspecifikation - ISO 19131
• Sätter grunden och definierar kraven
för data produkten
• Kvalitet - ISO 19113/19114/19138
(19157)
• Uppfylls de krav som definierats
• Metadata – ISO 19115/19119/19139
•
• Beskriver den faktiska produkten,
redovisar kvalitén
ISO/DTS 19158 Geographic information –
Quality assurance of data supply
•
”Kvalitetssäkring i samband med
dataförsörjning”
Specifikation
Definition - specifikation
•
En Teknisk specifikation, i dagligt tal "spec", är ett dokument som
beskriver en produkt, en komponent eller ett systems tekniska egenskaper.
En tekniskt specifikation kan också användas som ett dokument som
beskriver vilka tekniska krav som ställs på en viss produkt och kallas då för
"kravspecifikation”
Produkspecifikation
En produktspecifikation kan skapas och
användas vid olika tillfällen, av olika
parter och för olika skäl
• Den kan till exempel användas för det
ursprungliga processen att samla in
uppgifter
• För produkter som härrör från redan
befintliga data.
• De kan vara skapade av producenter för
att ange sin produkt
• Genom användare för att ange sina
krav.
• …
Skillnad mot metadata
• Receptet = Produktspecifikationen
• Ta två ägg
• Metadata = Innehållsdeklaration
ISO 19131 Data product
specification
ISO 19115 Metadata
Examples:
Examples:
Abstract:
A specification of the national
database for sand, gravel and hard
rock aggregates …..
Abstract:
A description of the national database
for sand, gravel and hard rock
aggregates …..
Purpose:
.. to give an overview of the countries
sand, gravel and hard rock deposits…
Purpose:
.. to give an overview of the countries
sand, gravel and hard rock deposits…
Data Quality:
Require more detailed specification
of feature/attribute quality
(DQ_Quality)
Data Quality:
Quality overview statements (usage,
lineage and purpose) and DQ_Quality
information
Kvalitet
Kvalitet
Ordet kvalitet kommer från
latinets "qualitas", som betyder
"beskaffenhet”.
Definition
ISO 9000:2000
Den grad till vilken inneboende
egenskaper uppfyller krav, dvs
behov eller förväntning som är
angiven, i allmänhet
underförstådd eller obligatorisk
Kvalitet Innebär att krav måste ha
definierats och att man kontrollerat att kraven
uppfylls
Varför testar man?
• Specifikationsuppfyllelse
Jämförelsen mellan
specifikationen och den
faktiska datamängden
• Användartillfredsställelse
Jämförelsen mellan användares
krav och datamängdens
faktiska utseende
Vad testar man?
Kvalitetsparametrar (ISO ISO 19113, 19114,
19138)
• Fullständighet
•
•
Logisk konsistens
•
•
absolut eller extern, relativ eller intern,
…
Noggrannhet hos tidsangivelse
•
•
domän, format, topologisk, konceptuell
Lägesnoggrannhet
•
•
övertalighet, brist
temporal noggrannhet, …
Tematisk noggrannhet
•
klassificering, kvalitativa attribut, …
Kvalitetsmärkning
Vilka krav ställer användaren?
Ingen värdering i
kvalitetsmärkning!!
Test 1 – vilket data har bäst kvalitet
Problemställningar
Geodata idag
• Allt fler datamängder hanteras
• Samma data lagras i flera olika
miljöer
• Användning ökar
• Heterogen användning av data
• Otydligt vad som gäller för olika
datamängder
• Kraven på data ökar (inte bara titta
på data)
• INSPIRE, Nationella Geodatastrategin,
etc
Problemställningar Metria
• Enorma mängder data
•
Geodatalagret
•
•
Oracle Spatial/PostGIS/Postgre SQL/SDE (Oracle, SQL Server)
>100 schema, ca 30 instanser, >15 servrar
• Behov av att hålla koll till 100%
•
En mängd krav på data (kunders, våra, INSPIRE, etc)
•
•
•
Var finns data
Datahanteringsjobb
•
•
Vilka använder vad
Skript
•
•
Rapportera, hantera fel
Vilka data används av “förädlade produkter”, system, tjänster
•
•
vem/när/hur
Kommunicera med kunder, leverantörer
•
•
Många gånger är kraven ej “nedskrivna”
etc
Underhåll
Mål
• Fullständig kontroll kring allt
som rör datahantering
• Geodataprodukter skall
beskrivas
• Alla geodata med definierade
krav skall kvalitetsmärkas
• Geodataprocesser skall
kvalitetssäkras
Inblick i Metrias
Datahantering
Team – Geodatalagret
Teknisk förvaltning
•
•
Teamet - viktigt
Motivation och engagemang
•
•
Arbetssätt
•
•
•
•
”Projektledning” enligt Kanban
Avstämningar ofta
”Självstyrande enhet”
Vilka vi är:
•
•
Arbetstider – kontorstid, kvällar, nätter,
helger
Irina Zjeludkova, Tomas Sunden,
Åke Karlsson, Olle Furberg, Anders
Jakobsson, Johan Esko, Carina Keinström
[email protected]
Vi håller koll på …
•
•
•
•
•
•
•
•
När kommer leveranser av data
Definiera vilka krav som ska gälla för varje
datamängd
Gör kvalitetskontroller för data med
definierade krav
Uppdatera metadata i samband med att
jobb utförts
Ha skriftlig beskrivning på varje jobb
Ha kontroll på om data används
Gör ständigt översyn av skript etc
Felanmälningar, rapportera till leverantör
Datahanteringsprocess
• Inläsning
•
•
•
•
Ta emot leverans
Spara i basdatalager
Kontrollera data
Skapa metadata
• Tillgängliggöra
• Läs basdata
• Bearbeta, överför till produktlager
• Uppdatera metadata för
”produktdata”
• Tillhandahållande av produkt
• Paketera, leverera.
Inläsning
•
•
•
Ta emot leverans
Spara i basdatalager (datahanterarnas databas)
Kontrollera data
•
•
Schemakontroll - FME, databas skript
Övriga kontroller (beroende på krav) – FME
•
•
•
Visuella kontroller
Valideringstjänster
•
•
Interna och på sikt externa
Skapa metadata
•
Det mesta metadata skapas maskinellt – FME
•
•
•
Kvalitetsresultat skapas (ISO 19113, ISO 19114, ISO 19138)
Datahanterare kan ange kommentarer, laddningstillfälle etc skapas
Om kvalitetskontroll gjorts – kvalitetsresultat ”klipps in”
Uppdatera metadataportal (FME)
Sammanfattning
Geodatalagret 2.0 –
Produktspecifikation
Produktspecifikationer, två
användningsområden
1. Krav som används vid
inläsningsprocesserna
2. Specifikation för att
beskriva Metrias
produkter i produktlagret
Geodatalagret 2.0 –
Kvalitet
Kvalitet kontrolleras
1. I samband med
inläsningsprocesser
2. I samband med
förädlingsprocesser
Geodatalagret 2.0 –
Metadata
´Metadata skapas på två
nivåer med följande syfte:
1. För att hålla reda på vad
som finns i basdatalagret
(interna användare)
2. För att hålla reda på vad
som finns i produktlagret
(externa användare)
Geodatalagret 2.0 –
Kvalitetssäkring av ”hela
datahanteringsprocessen” (ISO 1958)
Kvalitetssäkring i samband
med dataförsörjning
1. Kontroll och ”dialog” kring
fel till leverantör
2. Rapportering av fel till
Metria
It is a framework that enables a
customer to satisfy itself that its
suppliers, both internal and external,
are capable of delivering geographic
information to the required quality.
Frågor?
Johan Esko
[email protected]
070-6111862
