Hur publicerar jag badvattentemperaturer med IoT i realtid som API-datatjänst och historisk data som datamängd?

Hej! I den här tråden tänkte jag lyfta frågan om att publicera badvattentemperaturer i realtid efter ett bra möte med @TomasMaxe och @HansG i Eskilstuna kommun.

Eskilstuna vill publicera en datamängden badvattentemperaturer från IoT-sensorer. Det här är väldigt bra för lokalbefolkningen och lokalturism. Kommunen har sensorer vid 10 stycken badplatser. De vill publicera badvattentemperaturer från sensorer som ska uppdatera data var 4:e timma. Varje månad skulle de vilja automatisera en månadsrapportfil som exporterar alla data med badplats, datum, tid, temperatur vid upptagning.

Tekniskt har Eskilstuna har i dagsläget ThingsBoard Open Source IoT Platform(!) och NetMore för LoRaWAN-nätverk. De ska nu kika på någon form av API Manager / API Gateway där jag kan tipsa om tråden Vad kan jag använda för API gateways, API managers och API middleware kopplat till EntryScape API? med många tips som är öppen källkod, däribland WSO2 som flera myndigheter använder.

Hur publicerar andra idag? Här är några exempel som kan hjälpa till i ens process för att publicera:

Uppsala

  • Kontakt: @rojda
  • har publicerat en CSV med historisk data för år 2020 så här långt. Det här lämpar sig att göra antingen månadsvis, om det är många rader med data och hög upplösning, eller annars månadsvis med en CSV-fil per månad i en distribution.
  • Länk: Sveriges dataportal

Linköping

Södertälje

Det finns tyvärr ingen specifikation för denna datamängd som någon följer men det finns en relaterad specifikation på dataportal.se. Hur den kommer förvaltas och uppdateras är dock oklart men vi kan se om kontakten på RISE kanske kan komma in och hjälpa till med ett svar här på forumtråden.

Den här datamängden lämpas att kopplas ihop med en datamängd för Badplatser med specifikation. Den specifikationen bör för övrigt uppgraderas för att fungera väl med EUs Eionet Bathing Water Identifiers.

Tips och rekommendationer

Min rekommendation är att om möjligt göra följande:

  • Publicera en historisk datamängd per år med månadsexport i CSV-distribution med en fil per månad
  • Publicera en Datatjänst som levererar data i realtid försörjer datamängder.
  • Publicera förklarande tillhörande dokumentation som Södertälje.
  • Publicera API-dokumentation enligt Swagger.
  • Använd en och samma specifikation om det finns. Om det inte finns och ni är intresserade av standardisering (det gillar datakonsumenter) - var med och visa intresse för en dataspecifikation.

Hur kan vi hjälpa nya publicister kring Badvattentemperaturer?

Har ni @Rojda @UlrikaS och @AndreasSundberg något mer att dela med er av om hur ni gick tillväga kring att publicera badvattentemperaturer som öppna data?

1 Like

Hej!

Södertälje kommun här.

Vi har haft vattentemperatur publicerat i ett par år. Fram tills nu har vi haft uppdatering varje timme men tänker ändra detta till var fjärde timme istället såsom Eskilstuna. Både för batteritidens skull men främst för att få lite mindre volymer av data att hantera.

Vi har ju ett öppet API som syns i länken som Mattias lade upp ovan men jag tänker att det vore bra om det gick att lösa en CSV-export från vårt API automatiskt till Entryscape på något sätt. Kanske inte nödvändigtvis en distribution per månad tänker jag utan kanske räcker med en per år istället eller?
Får inte bli för många distributioner och för mycket administration tänker jag.

Jag (Andreas) har länge tänkt att kika på en specifikation för badvattentemperatur som gärna ska relatera till badplatser. Någon som vill hjälpa till?

Med vänlig hälsning,

Andreas Sundberg och Ulrika Sten
Södertälje kommun

1 Like

Intressant att höra! På sommaren kanske det är intressant med timvis uppdatering men andra tider på året mindre intressant med så frekvent uppdatering?

Det borde gå att lösa! Håller med och tycker det är helt rätt att inte skapa byråkrati kring det hela.

Kul att höra det! Är sugen höra på vad @TomasMaxe tycker om det. Har du kikat på dessa? Det borde gå att putsa till och uppdatera dem: Search specifications - Sveriges dataportal

Jag tror inte att varje timme på sommaren heller är så givande egentligen. Blir så mycket brus tänker jag i grafer osv. Allt såklart beroende på målgrupp och syfte men jag tänker att om det är för att veta hur varmt det är i vattnet så ger nog var fjärde timme mer än tillräcklig frekvens.

Kul om det går att lösa en automatisk export. Är det något ni kan sätta upp hos er utifrån våra APIer eller?

1 Like

Hej! Jag är gärna med på det! Känner oxå att det skulle vara superbra ju fler som gör lika. Detta är ju ett ganska simpelt case med data som skall presenteras, men det är ändå bra om vi kunde få till en variant som är enkel att applicera och att användarna då känner igen sig i det data som vi publicerar.

1 Like

Hej! I Lomma har vi badvattentemperatur sensorer men i dagsläge har inte data leverantören möjlighet att släppa api:et som öppna data. Som en början tänkte jag att att hämta värden och publicera som en csv med hjälp av FME.

Jag funderar på vilken tidsintervall är intressant för användaren, är syftet att informationen ska användas för någon som vill bada eller för någon som vill titta på variationer under säsongen? Har man nytta av varje fjärde timme jämfört med till exempel två gånger om dagen? Hämtar man värden två gånger om dagen, vilken klockslag ska man ta? Morgon och kväll? Middag och midnatt?

Om jag inte har fel så skördar Dataportlen från Entryscape en gång om dagen, ska man uppdatera distributionen direkt vid hämtning av temperaturen eller publicera en färdig csv i slutet av månaden?

Många frågor/funderingar!

1 Like

@AndreasSundberg Ursäkta långsamt svar här, missade sätta påminnelse om att svara dig! :frowning:

Okej, det är sant, det är bättre att sätta det i relation till hur snabbt eller långsamt vattentemperaturen faktiskt förändras. Var fjärde timma är nog rimligt.

Jag tror det kan gå att lösa beroende på setup. Ska kolla vad några av utvecklarna tror. Kanske det även är något kanske även @tommy.kohn skulle vara intresserade av? Skulle ju potentiellt sett kunna funka för fler sensorer än badvattentemperaturer.

Går det det att beskriva och publicera API som Datatjänst med vissa villkor, t.ex. att ni beskriver att det kräver registrering för tillgång via API-nycklar?

Tror det är viktigt att försöka möta båda behoven för den som vill bada (realtidsuppdatering från API datatjänst) och den som vill forska historiskt (datadump i CSV). @jenny.klang Har ni någon person på Badplatser och badvatten - Havs- och vattenmyndigheten som kan hoppa in här och berätta om någon standard för att mäta temperaturer?

Hej @mattias
Inte någon som jag kan se har inloggning hit till forumet. Men kontakta gärna badvatten@havochvatten.se så svarar en kunnig handläggare där.
/Jenny

1 Like

Hej @jenny.klang! OK, du fick mejl igår. Tar med @AndreasSundberg @williamw @TomasMaxe i tråden vid behov eller om de hoppar in och svarar här. :slight_smile:

Hej @mattias! Jag såg det. Hoppas ni får ett fullödigt svar. :slight_smile:

1 Like

@TomasMaxe @AndreasSundberg @williamw @alex Information med svar från HaV. Tror det kan hjälpa vid framtagande av specifikation för badvattentemperaturer och att göra det kompatibelt med detta:

Havs- och vattenmyndigheten inte har någon vägledning när det gäller utformning av temperaturmätningar med sensorer vid badvatten eftersom vi inte arbetar med sådana datamängder. Jag beskriver nedan lite mer om de två informationsmängder vi arbetar med när det gäller temperatur vid badplatser, det kanske kan vara till någon hjälp även för den som arbetar med sensordata.

När det gäller de manuella temperaturmätningar som görs vid EU-bad så är de kopplade till bakterieprovtagningen. Bakterieprovtagning utförs minst 3-4 gånger per badsäsong vid EU-bad så det handlar om ett fåtal mätningar per år. För EU-baden gäller följande vägledning: Kontrollpunkten, det vill säga platsen för provtagning, ska vara den plats i badvattnet där flest personer förväntas bada eller där den största risken för föroreningar förväntas finnas enligt badvattenprofilen. Vattendjupet vid kontrollpunkten ska om möjligt vara minst en meter och provet ska tas på 30 centimeters djup.

Aktörer som sätter ut temperatursensorer och förvaltar dessa data har förmodligen andra syften med mätningarna än kopplingen till bakterieprovtagning som kravställs via badvattenförordningen, så de behöver göra en egen bedömning.

På webbplatsen Badplatsen visas också en prognos för vattentemperatur för havsbad som en service mot allmänheten. Den är baserad på senaste dagars temperatur och datamodeller/beräkningar från det europeiska rymdprogrammet Copernicus. Vattentemperatur-prognosen uppdateras en gång per dygn (omkring midnatt). Det finns en prognos för var tredje timme. Den användarfeedback vi fått om prognosen – som ur användarsynpunkt kanske är det datasetet som liknar sensordata mest – är att den det är en uppskattad variabel av vinterbadare.

Vad tycker ni? :slight_smile:

Hej jag väcker upp en gammal tråd.
MTG, Mariestad, Töreboda, Gullspång, kommer att börja mäta vattentemperaturer i lite större omfattning än tidigare (tidigare på en plats i en av kommunerna, kommande iaf 5st platser den här säsongen).

Ska vi försöka enas om en gemensam specifikation för hur detta data ska delas? Vi kommer att erbjuda realtidsvisning på webbplats och möjlighet att ladda ner CSV månatligen eller något åt det hållet - vore väl trevligt om vi kunde dela denna data i samma format med samma attribut och datatyper?

Jag kan tänka mig att skapa en sådan specifikation med input från er andra.

2 Likes

Hej, hur går det, har ni kommit fram till någon gemensam tanke?

Jag är intresserad av att hjälpa till. Vi har idag i MTG 1 givare men kommer nästa år sätta ut 6-8 ytterligare. Jag ser det som självklart att man ska kunna länka allmän information om en badplats till föränderliga värden kopplat till platsen enkelt, som väder, vattentemperatur, vattenkvalitet osv. Jag behöver hjälp hur och har tid (även om det blir privat sådan) att lägga på detta. :slight_smile:

Jag är intresserad eftersom det framkommit en del kritik och behov av uppdatering av den specifikation av badplatser som jag/vi tagit fram. I den specifikationen finns ju fält för att fritt använda för att länka till temperatur - men vi kunde ju uppdatera specifikationen så att den dels innehåller det som @mattias säger - koppling till/formad att stödja EUs system för badvattenidentifierare, samt skapa möjlighet att enkelt/klokt kunna länka samman detta med en specifikation för temperatur, kanske genom den gemensamma Eionet Bathing Water Identifiers -nyckeln eller nån sorts RDF-konstruktion eller annat länkningssätt?

I det arbetet ska jag försöka samla upp övrig kritik mot specifikationen så att den tar några kliv framåt och inte bara tar höjd för detta.

1 Like

Jag är gärna med och bollar. Kan inte du kalla till ett första möte så styr vi upp ett utkast på specifikation?

1 Like