Hur kan vi integrera våra system för metadata och öppna data?

Finns det någon lista med leverantörer som integrerar mot system för metadata och öppna data idag? VI undrar hur vi lättast ska kunna få våra verksamheter att publicera själva och vi tänker att en systemintegration hade varit det absolut lättaste i många fall. Ni kanske vet direkt vilka systemintegratörer som integrerar mot system för metadata och öppna data?

Det allra enklaste lösningen är att andra system redan har färdiga API:er / exporter som man kan peka på. D.v.s. man letar reda på adressen till API:et / exporten och lägger in den i metadatan för den aktuella datamängden - klart!

Om du vill ha djupare integrationer så blir det mer komplext. Tyvärr är det enkla svaret då att det inte finns någon sådan lista då möjliga integrationer är inte klara “out of the box”. I mer detalj kan integration här betyda två saker:

  1. Integration med andra datakataloger om metadata

Om man har ett system som förvaltar många datamängder, t.ex. ett statistikdatabaser eller GIS-system så finns det ofta sätt att få ut en lista med datamängderna maskinellt. Det vi plockar ut då är metadata om datamängderna, inte själva data. Sådana integrationer har det gjorts ett antal av, men även om det finns mer eller mindre färdiga integrationer behövs det nästan alltid anpassas när det sätts upp.

  1. Export / import av data från andra system

Om system X inte har ett synligt API / färdig export redan som man kan peka så finns ett antal alternativ:

  1. System X behöver bara konfigureras om så att API / export blir tillgänglig
  2. Delar av datat i system X speglas i en ny installation som görs publikt tillgängligt
  3. Nattligen kopiera över ej synliga exporter till en extern filarea
  4. Nattligen flytta över ej synliga exporter in i EntryScape
  5. Nattligen köra ett extraktionsjobb via ett verktyg som t.ex. FME till en extern filarea
  6. Nattligen körs ett extraktionsjobb via ett verktyg som t.ex. FME som flyttar in datat i EntryScape

När man flyttar över data till en extern filarea (punkt 3 och 5 ovan) nattligen så ser man till att det finns en stabil adress till den senaste filen. På så sätt behövs ingen ändring alls i EntryScape, man har då nämligen lagt in en länk till filen i metadatan via dess stabila adress. Att istället flytta över data in i EntryScape (punkt 4 och 6 ovan) kräver inget manuellt ingrepp, överflytten av exporterna sätter man upp så ett anrop sker till EntryScapes API.

Guide baserat på användarfråga: “Vi skulle vilja uppdatera våra data i EntryScape via ett FME-skript, exempelvis varje natt. Har ni en beskrivning hur man laddar upp och uppdaterar data i EntryScape via FME?”

  • Här finns ett exempelförråd för hur man pratar med EntryScape API: https://bitbucket.org/metasolutions/entrystore-examples/src/master/
  • Exempel 6 “Create an entry with a file (information resource)” är den som är närmast.
  • Organisationen bör skapa distributionen först via gränssnittet och ladda upp en fil.
  • Sen titta i developer mode, så ser ni vilken URI den entryn har som man vill uppdatera filen för.

Det finns idag några organisationer (kommuner) som gör automatisk inläsning på detta sätt. Vi kan hjälpa er komma i kontakt med andra och föreslår att kommunikationen kring detta sker öppet här på forumet för att hjälpa fler kommuner.

Hej @felipeverdu här har jag lagt till instruktioner och svar på ett tidigare användningsfall från annan kommun. :slight_smile: Ska testa kolla igen om andra kommun-användare av FME kan tänka sig bistå med sina erfarenheter här i tråden för er och framtida användare från kommuner. Ping @AndreParviainen

1 Like

@AndreParviainen @felipeverdu Här är utökad förklaring av @matthias kopplat till frågan av @AndreParviainen om API-tillgång.

Informationen ligger i EntryStore, det är vår backend. Däri finns metadata om datamängder, varje datamängd har en URI, t.ex. https://catalog.boras.se/store/1/metadata/17.

Sen har vi EntryScape som är ett gränssitt, där finns en adress för att visa upp samma datamängd. Men pathen ser då lite annorlunda ut.

På Borås webb finns kanske en inbäddning för att visa upp samma datamängd, där finns då en annan adress för den datamängden.

dataportal.se finns ytterligare en webbsida som visar upp samma datamängd och slutligen på europeandataportal.eu finns också en.

Alla dessa sidor är visningssidor som presenterar information om en datamängd.

Om man går till datamängdens egen adress finns dock ingen snygg presentation i dagsläget. Dvs. det finns ingen webbsida där, man kan ladda ner metadatat om datamängden dock.

Om ni tycker den är bra så gilla gärna så kompletterar jag mitt tidigare svar ovan. :slight_smile:

2 inlägg delades upp till ett nytt ämne: Arbete med FME-skript mot EntryScape API