Projekt oprydning
- Regionerne (Unlicensed)
Introduktion
På GeoGIS2020 projekter hvor der findes data i forvejen (eksempelvis videregående undersøgelser, monitering, afværge) vil der ofte være brug for at rydde op på projektet, inden der læses nye data ind. Denne vejledning kommer med anbefalinger til, hvad der bør ryddes op, samt metoder til, hvordan dette gøres nemmest.
Indholdsfortegnelse
Introduktion
Der kan være mange typer fejl og mangler på et projekt med eksisterende data. Nogle fejl er kritiske mens andre er af mindre betydning. I denne vejledning beskrives en del af disse fejl typer, samt hvordan de kan spottes og efterfølgende rydde op i disse. Oprydningen kan foretages på mange forskellige detaljerings niveauer. Det bør aftales mellem regionen og rådgiver hvilke konkrete fejltyper der skal ryddes op i. Dog anbefales det som minimum, at der er styr på punktnavne i de eksisterende data i forhold til nye data, der skal læses ind i databasen, samt at koordinaterpå punkter er valide.
Fremgangsmåde
Der er 5 overordnede måder at finde fejl og mangler.
- Kontrol rapport genereret i GeoGIS2020
- Kort genereret i GeoGIS2020
- Geologisk tværsnit genereret i GeoGIS2020
- Visuelt i GeoGIS2020 brugerfladen eller i GIS
- Ved brug af SQL i en GeoGIS2020 database
Idet der kan være meget stor forskel i både graden og typerne af fejl på et projekt, kan der anlægges en forskellig strategi afhængig af det konkrete projekt.
Fejlretning - Metode
Mindre simple fejl
Såfremt der er tale om mindre og mere simple fejltyper såsom manglende udfyldninger, forkerte koordinater, forkerte koder etc. kan det betale sig, at lave rettelserne direkte i regionens produktion. Funktionaliteten "Udfyld" i højreklik menuen evt. sammen med et filter på feltet, kan med fordel anvendes til at sætte / overskrive mange værdier med den samme værdi i en handling. Det kunne f.eks. være, hvis mange indlysende poreluftpunkter (som har navnet P1 etc.) ved en fejl har fået punkt typen Boring.
Større komplekse fejl
Såfremt der på et projekt er et større antal mere eller mindre komplekse fejl såsom, at data er dublerede, data er placeret på forkerte punkter etc. kan det være hensigtsmæssigt, at lave rettelserne i en lokal projektdatabase kopi. Når fejlene er rettet op kan projektet i produktionen slettes og data fra kopien overføres til produktionen ved synkronisering. Dette skal foregå i tæt samarbejde med regionens GeoGIS ansvarlige. Denne metode giver en sikkerhed for en nem tilbagerulning, hvis projektoprydningen går i uorden. En anden fordel ved at arbejde i en kopi er, at der kan laves masse oprydning via opdaterings forespørgsler. Et eksempel kunne være at opdatere koordinater på DGU nummererede boringer fra en Jupiter database, overføre punkt nummer til synonym feltet, og bruge Access funktioner til at ændre punktnumre systematisk etc.
Kontrol rapport
Kontrol rapporten er et redskab for rådgiver til at kontrollere en del af de oftest forekommende fejl, mangler eller mistænkelige data, se hvordan kontrol rapport genereres her.
Koder
Anvendelse af korrekte koder er især vigtigt i forhold til den videre indberetning af data til den nationale boringsdatabase Jupiter via GeoGIS2020 brugerfladen. Koder der ikke er gyldige i Jupiter bliver afvist i Jupiter ved indlæsning eller hvis der er constraints (bindlinger) på feltet (tvungen udfyldelse) vil hele posten ikke blive overført, hvis indholdet i feltet ikke er korrekt / ikke udfyldt. Det er således uhensigtsmæssigt at anvende lokale koder.
På Danmarks Miljøportals hjemmeside findes informationer om hvilke kodelister, der ligger bag de forskellige felter og hvilke felter, der skal udfyldes. Det er desværre er på en relativ utilgængelig form, beregnet på udviklere, der skal lave integration op i mod b-borings web services. Det anbefales at bruge GeoGIS2020 til at finde de rigtige koder. Information på DMP hjemmesiden kan dog findes her: http://www.miljoeportal.dk/myndighed/grundvand/Sider/default.aspx. Der henvises især til b-borings mapnings dokumentet (http://www.miljoeportal.dk/Dokumenter%20alle/B-boringmapning.xlsx).
| Id | Fejltype / observations punkt | Løsning |
|---|---|---|
| 1 | Kontrol rapporten kontrollerer for ikke gyldige koder på 35 forskellige felter i følgende tabeller: Punkt, indtag, pejling, jord-prøver, strata, analyseprøver og analyseværdier | Ret ikke gyldige koder. Gyldige koder kan slås op under noden "Forskelligt" i GeoGIS2020 træstrukturen til venstre i brugerfladen, se eksempler i screen dumps. Ved manglende koder: Hvis der mangler koder tages kontakt til DMP følgegruppe for Grundvand (evt. ved kontakt til Joachim Mahrt) eller der ansøges om oprettelse af ny kode i den relevante kodeliste direkte hos Standat sekretariatet ved DCE (http://dce.au.dk/overvaagning/standat/). Når der er oprettet en ny kode tages kontakt til Brian Sørensen, Rambøll, for at sikre at koden oprettes i regionernes GeoGIS2020 produktioner samt i seed databasen, der følger med nye GeoGIS2020 installationer (så der er adgang til koden når der indtastes i lokale GeoGIS2020 projektkopier). Nye Standat og Stancode koder opdateres automatisk hos GEUS med jævne mellemrum. Kræver at der i Stancode er mappet til den tilsvarende Standat kode |
Håndtering af koder hos GEUS, i GeoGIS2020 og laboratorier
Håndtering af koder i Jupiter er meget speget. Der opereres med 3 sæt koder. Stancode, Standat og GEUS egne kodelister (f.eks. lithologi - ds, ml etc.). Sidstnævnte findes der ikke en tilsvarende kodeliste for i Standat eller Stancode. For alle andre koder end GEUS egne koder, modtages kun Stancodes med B-borings webservices (GeoGIS2020 synkronisering). Men disse koder bliver ikke desto mindre lagret i Jupiter som Standat koder. Det foregår ved en kode konvertering via en mapningsliste mellem Standat og Stancode. Mapningslisterne kan ses på DCE's hjemmeside her: http://dce.au.dk/overvaagning/stancode/stancodelister/. Hvor der i GeoGIS2020 anvendes Standat koder, sker der således en konvertering til Stancode via mapningslister i GeoGIS2020 ved en synkronisering med Jupiter, se eksempel i nedenstående screen dump for analyseomfang. Dvs. når data sendes til GEUS via B-borings webservices, sker en konvertering tilbage til Standat via mapningslisterne hos GEUS. Frem og tilbage, kaffe og kage. Hvis der mangler en mapning, kan data ikke overføres til Jupiter, fordi der ikke vil være en Standat kode at sætte ind.
Manglende indtastning
Regionerne stiller en række krav til hvilke felter der skal være udfyldt i GeoGIS2020. Disse krav er defineret her: Geogis 2020 tabeller - krav til udfyldelse. En stor del af disse felter er listet i oversigter pr. tabel i kontrolrapporten (dog ikke alle). Hvis et felt skal være udfyldt men ikke er det, bliver der skrevet "missing" i feltet.
| id | Fejltype / observations punkt | Løsning |
|---|---|---|
| 1a | Manglende udfyldning 1. | Benyt filterfunktionalitet i GeoGIS2020 brugerfladen til at afgrænse poster med den samme fejl. Anvend "Udfyld" funktionalitet til at indsætte den samme værdi. |
| 1b | Manglende udfyldning 2 - Der foreligger digitale lister med de rigtige data og der i listen findes en nøgle der går igen i GeoGIS2020 data. |
|
Punkter
Dublet punkter
Dublerede punkter er et fundamentalt problem fordi data kan ligge spredt på flere af de dublerede punkter. F.eks. kan nogle analyseprøver ligge på et punkt mens andre ligger på det dublerede punkt (eller på mange punkter). Dette er især problematisk fordi indlæsningen af nye data skal håndholdes for at data havner på de rigtige punkter så man f.eks. ikke får brudte tidsserier.
Kontrol rapporten lister følgende dublet typer.
| id | Fejltype / observations punkt | Løsning |
|---|---|---|
| 2a | Punkt har samme punkt navn eller synonym som et andet punkt på projektet. Dette gælder IKKE på tværs af de to felter. Dvs. hvis et punkt hedder B1 i punkt nummer feltet og et andet punkt hedder B1 i synonym feltet. Dette er en relativ ofte forekommende fejl, som skal spottes manuelt eller evt. med SQL i projektkopien. | Undersøg om der reelt er tale om det samme punkt. Såfremt dette er tilfældet skal data på de to punkter merges ved at flytte data fra det ene punkt over på det andet, se Fusionér (samle) punkter. Det tilbageværende tomme punkt skal slettes. NB! Vær opmærksom på ikke at generere utilsigtede dublerede data i de underliggende tabeller, hvis f.eks. der fandtes de samme jordprøver på begge punkter. |
| 2b | Hvis flere punkter optræder med samme DGU nr. i DGU nr. feltet i hele database. dvs. ikke kun på projektet. | Kontakt regionens sagsbehandler for, at afgøre om data på et af punkterne skal flyttes og efterfølgende slettes. |
| 2c | Flere punkter ligger indenfor en afstand af mindre end 1 meter fra hinanden. | Indtast de rigtige koordinater hvis det er en fejl. Ofte vil der være tale om poreluft punkter der ligger tæt på boringer. |
Punktnumre / typer
Punkttypen anvendes flere steder i GeoGIS2020 til at bestemme, hvordan punktets data bruges / optegnes i tegninger, snit, rapporter og GIS. Ydermere bestemmer punkttypen om punktet bliver oprettet som en boring, prøvested eller anlæg, når data synkroniseres over i Jupiter. Det er således vigtigt, at punkttypen er korrekt. Et automatisk tjek af dette sker ved, at sammenligne punktnavn og punkttype.
| Id | Fejltype / observations punkt | Løsning |
|---|---|---|
| 3a | Prøvepunktets navngivning skal overholde en bestemt nomenklatur i forhold til den punkttype, der er angivet for punktet, se Prøvebetegnelser. Kontrol rapporten finder alle de punkter der ikke overholder dette. | Anvend de korrekte punktnavne i henhold til listen Prøvebetegnelser. |
| 3b | På projekter hvor der findes gamle data, vil punktnavne klassisk ikke overholde de regler, der er lavet for punkt navngivning. Derfor vil mange punkter optræde i kontrol rapportens liste med fejl i navngivning / punkttype. Der vil typisk være et ønske om ikke at lave om på navngivningen, fordi disse er anvendt i rapporter. Dette betyder dog ikke at koden for punkt typen ikke skal ændres, så den svarer til det punktet reelt er. | Bestem den korrekte punkttype og opdater dette. Hvis der er tvivl om hvilken type punkt der er tale om, kan dette normalt bestemmes ved at kigge på hvilke type data der findes på punktet. Hvis der f.eks. er poreluft prøver på punktet vil det formentlig være et poreluft punkt etc. |
Koordinater
Korrekt placering af punkter er afgørende for en korrekt tolkning af punktets data ind i konteksten af andre punkters data.
| Id | Fejltype / observations punkt | Løsning |
|---|---|---|
| 4a | Punkt koordinater ligger mere end 500 meter fra projektets centrum koordinater. | Undersøg om det er korrekt at punktet ligger mere end 500 meter fra projekt centrum. Ret hvis der er fejl i koordinaterne. |
| 4b | Identiske koordinater (svarer til id 2c). Ved indhentning af ældre data fra laboratorie, er der ikke koordinater på data, hvis data stammer fra Standat filer. Regionerne kan have tildelt centerkoordinater for kortlægningsfladen til punkterne for, at data alligevel kan vises omtrentligt i GIS. | Såfremt koordinater findes i gammelt rapport materiale kan disse indtastes i GeoGIS2020. Hvis oplysninger om punkternes placering kun findes på kort bilag, er der lavet en vejledning i hvordan koordinater skabes i MapInfo og læses ind i en GeoGIS2020 database her: https://miljoe.atlassian.net/wiki/x/CgCiBQ. |
| 4c | Tomme koordinater (Null) eller koordinater med værdien 0. | Som ovennævnte. |
Indtag
Referencekoten på indtaget anvendes som udgangspunkt til at beregne pejlekoten, når en pejling oprettes i databasen. Det er derfor vigtigt at indtagets referencekote er korrekt.
| Id | Fejltype / observations punkt | Løsning |
|---|---|---|
| 5a | Referencekote på indtag svarer ikke til punkt eller top af rør. Det er mistænkeligt hvis boringens referencekote + indtag top ikke svarer til indtagets reference kote. | Kontroller om referencekoten på indtaget er valid. |
| 5b | Referencekote og/eller Top mangler på indtag. | Fremskaf referencekoten og indtast denne. |
Pejlinger
De fleste forurenede lokaliteter er relativt små og der er derfor ret små variationer i grundvandsstanden i samme magasin. Det er derfor vigtigt at pejlekoter er meget nøjagtige for, at undgå fejltolkninger af retning af hydraulisk gradient og dermed retning af en forureningsfane.
| Id | Fejltype / observations punkt | Løsning |
|---|---|---|
| 6a | Referencekote på indtag og pejling er forskellige. Normalt vil der være pejlet i forhold til top af pejlerør. Det er derfor mistænkeligt, hvis der ikke er overensstemmelse med dette. | Undersøg om referencekoten bør være den samme som på indtaget og opdater, hvis det er tilfældet. |
| 6b | Pejling mangler angivelse af pejleekstrem, dybde og/eller referencekote. | Hvis pejledybde mangler på pejling indtastes denne. Hvis referencekote mangler kan denne hentes fra indtaget med en opdaterings forespørgsel i en Access projektkopi. |
Analyseprøver
Der kan forekommer dublerede analyseprøver på et punkt. Dette er nok primært et forstyrrende element i data, men er også problematisk i forhold til statistiske beregninger.
| Id | Fejltype / observations punkt | Løsning |
|---|---|---|
| 7a | Analyseprøve er dubleret. Prøver med samme rapport nummer på samme punkt id. Vær opmærksom på, at prøver også kan være dublerede på tværs af punkter, især hvis selve punktet er dubleret. | Undersøg om det reelt set er dublerede prøver, ved at sammenligne analysedata på prøverne. Slet den ene prøve. |
Kort genereret i GeoGIS2020
Der kan genereres et kort automatisk i GeoGIS2020, se hvordan her.
Kortet kan primært anvendes til at se om punkter er forkert placeret. Især hvis projektlederen, der har været med til feltundersøgelserne, bruger sit lokalkendskab til at kvalitetssikre punkters placering.
Geologisk tværsnit
Ved at optegne et geologisk tværsnit for boringerne på projektet, er det ofte muligt visuelt at se om pejlinger / referencekote er forkerte, indtag er placeret forkert etc.
| Id | Fejltype / observations punkt | Løsning |
|---|---|---|
| 8a | Pejling ligger under bund af filter. Dette er fysisk umuligt. Typisk vil fejlen opstå, som følge af fejl i pejlingens referencekote. | Find den rigtige værdi og indtast. |
| 8b | Indtag findes under bund af boring. Dette er fysisk umuligt. | Find den rigtige bund af boring eller bund af indtag og indtast. |
| 8c | Generelt er det muligt rent visuelt, at konstatere om nogle data stikker ud. Hvis f.eks. en boring står meget højere i terrænet end de øvrige, eller en pejling er markant anderledes end de øvrige etc. |
Visuelt i GeoGIS2020 brugerfladen eller GIS
Der kan laves et hav af forskellige GIS temaer der på den ene eller anden måde visualisere mistænkelige data. Det kunne være temaer der spotter:
- Indtag der er byttet rundt
- Boringer der er byttet rundt
- Outliers i analyseværdier som følge af f.eks. enheds fejl eller fejlindtastninger. Dvs. værdier der springer markant uden synlig grund.
- Forkert terræn, indtag og pejle kote
- ....
SQL
Det er muligt selv at lave SQL i en Access database med projektdata for at lokalisere eventuelle fejl.
| Id | Fejltype / observations punkt | Løsning | Mål |
|---|---|---|---|
| 9a | Ofte har der ikke været stor fokus på at vedligeholde indtags oplysninger. Men hvis grundvandsprøver og pejledata skal kunne indplaceres i 3 dimensioner i f.eks. en grundvands / stoftransportmodel eller i profilsnit i GeoScene3D / RockWorks, er det nødvendigt, at indtag eksisterer i databasen med de rigtige koteoplysninger, samt at data der er hængt op på indtag, har denne oplysning stemplet på sig. | Lav et select der udvælger alle grundvandsprøver uden indtag på prøven og / eller der har et indtag der ikke findes i indtags tabellen. Tildel alle disse prøver indtagsoplysninger. Hvis indtaget mangler i indtagstabellen eller oplysninger om indtaget er mangelfulde, opdateres disse fra tilgængelige kilder. Bemærk at grundvandsprøver ofte har oplysninger om dybde, som kan anvendes til at afgøre, hvilket indtag prøven stammer fra. | Alle grundvands prøver kan indplaceres utvetydigt i det 3-dimensionelle rum. |
| 9b | Jordprøver er ikke tolket til DGU symbol og / eller der er ikke tolket strata (lag). Gør det svært at visualisere boring i geologiske modeller, profil snit mv. | Kør GeoGIS2020 funktionaliteten "Formater Geologi" og "Dan Strata" på punktet under menuen "Værktøjer" til højre i brugerfladen. Værktøjet kan køres for et helt projekt af gangen. NB! Vær opmærksom på, ikke at overskrive eventuelle manuelle tolkninger af jordprøver og strata til DGU symboler. | Alle punkter med jordprøver er geologisk tolket til DGU symboler. |
Visuelt
En del fejl kan ikke konstateres automatisk. Det kunne f.eks. være punker der ligger geografisk forkert, fejl i analyseværdier, analyseprøver der ligger på forkert indtag, indtag der er placeret forkert vertikalt, punkter der hedder noget forkert i forhold til det navn der bruges i den eksisterende undersøgelse etc. Disse fejl skal typisk konstateres rent visuelt ved at tegne punkter op i et kort, tegne tidsserier op, tegne geologiske tværsnit op mv.
Se også