Archivio

Posts Tagged ‘Mapnik’

GeoWave “estende spazialmente” i “big data”?


Sembra che si inizi a pensare di utilizzare sul serio la componente spaziale dell’informazione anche nel mondo dei “big data”: un articolo interessante riporta i piani di un progetto ambiziono di GeoWave.

I pezzi salienti  dell’articolo sono i seguenti:

  • Geowave intends to do for “big data” databases (initially Apache Accumulo) what PostGIS does for SQL databases (PostgreSQL). GeoWave is open source software (licensed under Apache 2.0) that adds support for geographic objects, multi-dimensional indexing and geospatial operators to Apache Accumulo.
  • Apache Accumulo is a distributed database that is based on Google’s BigTable design and is built on top of Apache Hadoop and other Apache projects.
  • GeoWave includes a GeoServer plugin to enable geospatial data in Accumulo to be shared and visualized via GeoServer OGC standard web services. It provides plugins to connect the popular geospatial toolset GeoTools and the point cloud library PDAL to an Accumulo based data store. The PDAL plugin makes it possible to interact with point cloud data in Accumulo through the PDAL library.
  • The GeoWave project Work plans to extend the same geospatial capabilities to other distributed key-value stores in addtition to Accumulo. The next data store will be HBase. It also will support other geospatial frameworks in addition to GeoTools/GeoServer. Mapnik is the next geospatial framework targeted for GeoWave support. GeoWave says it is very interested in GeoGig and support for this geospatial data versioning library is currently on their backlog. GeoGig takes the concepts used in distributed version control such as Git and applies them to versioned spatial data.

Sicuramente un progetto da tenere in osservazione …..

Annunci

GIS in the Cloud: MapBox

27 agosto 2013 2 commenti

Sono oramai diverse, e con diversi livelli di maturità, le soluzioni GIS che si possono fruire in rete in modalità cloud based: possiamo citare, partendo da GeoCommons (poi GeoIQ), che forse è stata la prima degna di nota, ArcGIS Online, Mapbox, GISCloud, CartoDB, ecc ….

Si tratta di soluzioni di tipo SaaS o PaaS, a seconda se mettano a disposizione o meno il codice sorgente che ne permetta il riutilizzo e magari l’integrazione con altre soluzioni.

Le finalità e le funzionalità offerte sono ovviamente ampiamente sovrapposte ma ognuna si caratterizza per alcune peculiarità che le contraddistingue.

Volevo da tempo saperne qualcosa in più e approfondire un poco la conoscenza di questi strumenti che a volte, in particolare per esigenze entry level, possono anche rivelarsi utili per piccole soluzioni di web mapping (ma non solo …), senza necessità di ricorrrere a codice di personalizzazione.

Ovviamente nessuna pretesa di fare recensioni complete (se ne possono trovare di più autorevoli in rete ….), semmai una raccolta di appunti e considerazioni personali.

Il primo strumento a cui ho dato un’occhiata è MapBox. 

Ripredendo quanto riportato sul suo sito si tratta di “ … a platform for creating custom maps that fit your style, enhance user experiences, and visualize your data …. “: il suo core business è quindi quello di permettere di realizzare facilmente la pubblicazione dei propri dati georiferiti in mappe su sfondi predefiniti e personalizzabili.

Per poter usare il servizio è necessario creasi un proprio login dotato di username e password: il servizio free è limitato a 50 Mbyte come mappe o storage di dati (i dati come spiegato più avanti sono in realtà dei cataloghi di immagini georiferite in formato MBTiles), e 3 Map View da intendere come raccolta di map tiles.

Per esigenze superiori il servizio è a pagamento con dei piani predefiniti o personalizzabili.

MapBox mette a disposizione tre tipologie di sfondo cartografico su cui appoggiare i propri dati e precisamente:

  • MapBox Streets: una mappa mondiale realizzata sulla base die dati di OpenStreetMap e continuamente aggiornata (si parla di aggiornamenti ogni 5 minuti …..). La mappa è personalizzabile cambiando colore, mostrando o nascondendo dei livelli e anche configurando le etichette a seconda della lingua desiderata (supportati Inglese, Spagnolo e Francese, ma nulla vieta di estendere e personalizzare per la lingua scelta).

  • MapBox Terrain: una mappa mondiale che visualizza la conformità del terreno e l’uso del suolo. Sono visualizzate colline, curve di livello ed altri elementi morfologici. La mappa è personalizzabile cambiando colore, mostrando o nascondendo dei livelli

  • MapBox Satellite: una mappa mondiale di immagini ad alto dettaglio, frutto di un’elaborazione di diverse immagini sorgenti. La mappa è personalizzabile.

È comunque possibile aggiungere dei propri dati: in questo caso occorre considerare che in MapBox i dati devono essere presenti come cataloghi di tiles (MBTiles) e quindi, se si è in possesso di dati in formato diversi, questi prima devono essere trasformati utilizzando TileMill, installabile su Mac, Ubuntu e Windows.

I formati dati che TileMill supporta sono i seguenti:

  • CSV
  • ESRI shapefile
  • GeoJSON KML
  • GeoTIFF
  • SQLite
  • POSTGIS

 TileMill è basato su Mapnik, tool open source ampiamente utilizzato, ed utilizza per definire gli stili CartoCSS. E’ inoltre possibile utilizzare Maki, libreria open source di simboli.

Ecco una mappa di prova che ho realizzato

TerremotiMapBox

Una volta che è stata realizzata una mappa questa può essere pubblicata e condivisa in modalità diverse:

  • come immagine statica

  • in modalità embedded in una pagina HTML

  • in un iframe in una pagina HTML, sfruttando MapBox Javascript API

  • in un’app mobile IOS

  • integrata in strumenti social quali Facebook e Twitter

MapBoxPublish

L’utilizzo entry level dello strumento è quindi quello di tool di pubblicazione di informazioni georiferite in semplici mappe che a loro volta possono essere tuttavia essere integrate e riferite all’interno di soluzioni e contesti applicativi diversi usando soluzioni che MapBox mette a disposizione die propri utenti quali:

  • MapBox.js: un’API Javascript per permettere un web mapping che utilizzi mappe MapBox più facile e veloce. MapBox.js è un plugin di Leaflet e quindi in questo modo amplia le sue possibilità di utilizzo

  • iOS SDK: MapBox Mobile SDK è un toolkit open source completo per applicazioni dimapping iOS native

  • API Rest: per non essere egati a specifiche API client i srevizi MapBox sono accessibili attraverso semplici interfacce REST e con formati aperti quali JSON. Queste interfacce permettono un geocoding / reverse geocoding, l’aggiunta di marker sulla mappa e l’accesso diretto ai tiles delle mappe.

A livello di architettura della soluzione questa si basa su un’architettura scalabile e ridondata geograficamente ospitata su Amazon web services.

Da un punto di vista software e di standard è basato su Node.js e si basa su specifiche open a partire dalle specifiche per l’organizzazione dei tiles delle mappe (MBTiles), TileJSON, un formato standard per descrivere i vari aspetti di una mappa e realizzare un facile punto di accesso per le mappe stesse, SQLite, come database per mantenere le informazioni degli MBTiles e UTFGrid, un formato per dati interattivi che usano JSON. Per i dettagli http://www.mapbox.com/developers/guide/.

A livello generale per MapBox si può ancora dire che:

  • MapBox ha investito su OpenStreetMap tanto da sfruttare i dati della comunità open source per basare il suo livello streets di default. La sua presenza nella comunità si è ampliata nel tempo ed è diventata sempre più significativa sino ad arrivare alla realizzazione di un nuovo editor web per la comunità denominato ID Editor che proprio di recente, è diventato l’editor web di default per OSM in sostituzione di Potlach

  • è già stato annunciato un po di tempo fa MapBox Satellite Live, iniziativa per rendere disponibili agli utenti le immagini satellitari Landsat fornite da DigitalGlobe in tempi decisamente riidotti tanto da poter parlare di “near real time”. La notizia è di sicuro interesse ed impatto e l’annuncio dovrebbe essere imminente

In conclusione questa soluzione sembra essere di interesse per esigenze di pubbicazioni di dati georiferiti e quindi per soluzioni di web mapping.

Il suo supporto del formato MBTiles da un lato garantisce prestazioni e portabilità (la scelta di usare TileMill e quindi Mapnik e CartoCSS è ottima in tal senso), ma al tempo stesso non permette di rendere disponibili funzionalità più evolute (presenti in altre soluzioni analoghe …), quali funzionionalità di analisi spaziali che necessitano di pote trattare con dati tipicamente vettoriali.

Altro limite attuale è legato al fatto che per il mondo mobile viene offerto supporto solo per il mondo iOS mentre è escluso il mondo Android.

Ovviamente poi non si tratta di una soluzione open source per cui il codice sorgente non è reso disponibile in download o a contribuzione di una comunità, e anche qui soluzioni analoghe hanno preferito altre strade.

OpenStreetMap in 3D (WebGL)


Interessante progetto basato su OpenStreetMap, Tilemill, Mapnik e World Weather Online che permette di visualizzare i dati di OSM in 2D …..

OMS-2D

ma anche in 3D (…. in un browser che supporti WebGL)

OSM-3D

E’ impressionante vedere, all’attivazione del 3D, l’estrusione degli edifici (anche se credo che le altezze non siano quelle reali, ma a livello di potenzialità questo non cambia l’interesse del prodotto).

Per la localizzazione sul territorio utilizza Nominatim.

Non è chiaro quali siano le tecnologie utilizzate …. indagherò …

Fonte: GFOSS.it

GFOSS 2012 e OSMit 2012: un breve resoconto

18 novembre 2012 2 commenti

Ecco un breve resoconto della tre giorni torinese di GFOSS 2012 e OSMit 2012 a cui ho avuto modo di partecipare.

Molti partecipanti (oltre 170 iscritti ….), interventi interessanti, un buon “fervore” sulle tecnologie GIS open source.

Nel mondo del GIS desktop direi che praticamente tutte le presentazioni hanno fatto riferimento a QGIS con la quasi totale assenza di altri attori (ricordo forse una presentazione che citava gvSIG, nessuna menzione di soluzioni alternative quali Udig o altri ancora. Anche l’utilizzo di GRASS, pur presente in diverse presentazioni, avviene spesso mediato da QGIS): viene quindi confermata la tendenza che vede QGIS una sorta di must de facto in questo campo.

Per il tier rappresentato dal livello data base questo è ampiamente coperto da POSTGIS. Rientra logicamente in questa categoria SQLite anche se gioca un ruolo leggermente diverso e per il quale di prefigura un possibile nuovo utilizzo.

A livello di soluzioni server enterprise la presenza più significativa è invece stata quella di GeoServer, anche se in una presentazione è stato citato QGIS Server come soluzione adottata.

Sul fronte mobile mi sarei aspettato una maggior numero di interventi di natura tecnica (soluzioni, framework , ecc … ), mentre ricordo solo un paio di interventi, uno di Alessandro Furieri, di inquadramento generale e più orientato agli standard OGC da usare su soluzioni mobile, e uno di Andrea Antonello (molto interessante), sull’evoluzione del mobile negli anni e della piattaforma mobile con accenno a GeoPaparazzi. Lo stesso QGIS per Android è stato dichiarato segnare un po’ il passo.

Completamente assenti invece presentazioni o accenni alle soluzioni cloud che invece si stanno affacciando anche sul mondo GIS: non le usa ancora nessuno in Italia? Possibile?

Anche se non sono riuscito a seguire tutte le presentazioni provo a riassumere e riportare alcune delle cose più interessanti, ovviamente a mio personale giudizio.

Uno dei primi interventi è stato quello relativo a QGIS di Paolo Cavallini che ha illustrato oltre alle caratteristiche già note del prodotto, quelle che saranno le prossime news e anche delle anticipazioni su caratteristiche funzionali future. A livello di news abbiamo:

  • possibilità di usare scale di colore sia per dati vettoriali sia per dati raster
  • una ristrutturazione della modalità di trattare i dati raster
  • ricampionamento dei raster
  • potenziamento della console Python
  • integrazione di Atlas per fare serie di mappa
  • miglioramento del  supporto standard OGC

Per il futuro invece:

  • ristrutturazione simbologie
  • completamento etichette
  • ristrutturazione sito e documentazione
  • miglioramento integrazione SEXTANTE
  • 3D Globe
  • accesso ad ORACLE nativo
  • WFST per QGIS Server
  • supporto multithread

E’ confermato un rallentamento sulla parte QGIS per Android.

Anche la presentazione di Andrea Aime su GeoServer ha illustrato quelle che saranno le future evoluzioni del prodotto e precisamente:

  • introduzione di linguaggi di scripting quali Python, Ruby, ecc .. per il  WPS
  • la possibilità di usare un solo geoserver per servizi diverse organizzazioni, enti, divisioni aziendali
  • supporto png 8 con canale alpha: immagini più piccole ma di qualità, come con il formato png24
  • supporto time ed elevation
  • rendering transformation: calcolo isolinee o heat maps fatte al volo durante il rendering
  • miglioramenti integrazione con GeoWebCache
  • supporto del WFS 2.0 (standard INSPIRE)  e supporto paginazione
  • supporto XSLT
  • chiamate asincrone su WPS

Si sta già lavorando sulla release 2.2.3 in cui si avranno:

  • Aggancio per autenticazione: LDAP o base dati e supporto diversi sistemi di autenticazione (CAS)
  • Configurazione di GeoServer  su database
  • GoeWebCache: possibilità di clustering
  • Catalogue server in geoserver

Nel futuro ci sono ipotesi di:

  • Supporto WCS 2.0
  • Supporto NoSQL DB

A livello di presentazioni di natura tecnologica interessante quella di Francesco Izzi del CNR su GeoPlatform, progetto nato nel 2010 e disponibile su github costituito da un client basato su GWT e uno strato di servizi Java. Al momento è alla versione 1.5.

Alessandro Furieri nel corso della sua presentazione ha annunciato che per l’implementazione del nuovo standard OGC GeoPackage (GPKG) la scelta è caduta su SpatiaLite e questa è sicuramente la notizia tecnologia di maggior interesse in prospettiva (il nuovo standard dovrebbe uscire nella sua versione definitiva a fine 2012 / inizio 2013)

A livello di presentazioni relativi a progetti sicuramente da citare è stato l’intervento di ISTAT a cura di Francesco Di Pede dal titolo “Censimento 2011: dal dato areale al dato puntuale. Numeri civici, edifici e popolazionein cui è stata messa enfasi sull’Anagrafe Nazionale delle Strade e Numeri Civici di sui tanto si sta parlando sul web in questo periodo. Sono stati presentati interessanti esempi di casi d’uso reali di questi  e altri dati georiferiti in possesso dell’ISTAT (vie, edifici, civici, ecc …). Purtroppo continua a  non essere chiarissimo quali, quanti e in quale modalità i dataset saranno resi disponibili, quindi se open data o meno.

Altra presentazione di progetto interessante è stata quella di Corrado D’Alessandro dal titolo Settimo Torinese con l’open source ottimizza la conoscenza del territorio. Il progetto è stato realizzato completamente con tecnologie open source e precisamente:

  • Postgis 2.0
  • QGIS Server 1.8
  • OpenLayers in QGIS client
  • GeoExt 3
  • PHP

La palma del miglior progetto presentato però mi sentirei di darla a quella de “Il portale delle reti tecnologiche di Regione Lombardia: un esempio di tecnologia aperta per la condivisione di informazioni e dati sulle reti tecnologiche” (rif. http://www.ors.regione.lombardia.it/cm/home.html  e http://195.254.250.104/gisclient/intro.php?topic=generic ), non tanto per la parte tecnologica, quanto per la completezza delle informazioni che sono rese disponibili dal progetto e consiglio chi interessato di provare a dargli un’occhiata.

Molto interessante anche il lavoro di ARPA Piemonte su “Acquisizione di misure nivologiche manuali georiferite tramite social media”, con un interessante utilizzo di Ushahidi, replicabile anche in altri contesti.

Nella giornata dedicata ad OSMIt le presentazioni più interessanti sono state quelle relative a:

  • Geographike che utilizza OSM per fare business con una replica della base dati di OSM per l’Italia aggiornata giornalmente (modalità documentata sul wiki di OSM). Le tecnologie usate sono POSTGIS come data base, Mapnik integrato con MapProxy per la distribuzione delle tiles: la documentazione tecnica è stato dichiarato che sarà resa pubblica.
  • Controllo dell’ortografia dei nomi delle strade realizzato da Daniele Forsi e disponibile via web www.forsi.it/osm/