Archive

Posts Tagged ‘CartoDB’

GIS in the Cloud: CartoDB


Tempo fa ho pubblicato un post di approfondimento su MapBox  come prima soluzione di GIS in the cloud analizzata.

Eccomi ora alla seconda puntata che è imperniata su CartoDB.

Riprendendo quanto riportato sul sito “ … CartoDB is a geospatial database on the cloud that allows for the storage and visualization of data on the web …. “: analogamente a MapBox quindi il suo core business è quindi quello di permettere di realizzare facilmente la pubblicazione dei propri dati georiferiti in mappe su sfondi predefiniti e personalizzabili, anche se, come potremo vedere, si differenzia da MapBox stesso in alcuni aspetti.

Per utilizzare l’interfaccia grafica di pubblicazione dei dati è necessario registrarsi sul sito. Effettuato il login l’utente ha a disposizione, nella versione free of charge, lo spazio virtuale per creare / effettuare l’upload sino a 5 tabelle, per un massimo di 5 Mbytes: le tabelle, che rappresentano i layers, possono poi essere visualizzate composte in “visualizzazioni” che sono quindi mappe tematiche sovrapposte ad uno sfondo cartografico di riferimento.

Per esigenze superiori sono offerte diverse modalità di sottoscrizione del servizio a pagamento.

E’ possibile creare tabelle da zero o effettuare l’upload di dati già in possesso secondo diverse modalità:

  • usando dati disponibili localmente o fornendo la URL di accesso
  • usando dati caricati su Google Drive
  • usando dati caricati su Dropbox

CartoDB per i propri tutorial mette a disposizione una serie di dati campione.

I formati supportati sono i seguenti:

  • .CSV .TAB *    Comma-separated values and Tab delimited file
  • .SHP **    ESRI shapefiles
  • .KML, .KMZ    Google Earth format
  • .XLS, .XLSX ***    Excel Spreadsheet
  • .GEOJSON    GeoJSON
  • .GPX    GPS eXchange Format
  • .OSM, .BZ2    Open Street Map dump
  • .ODS    OpenDocument Spreadsheet
  • .SQL    Experimental SQL format dumped from CartoDB

CartoDB suggerisce di fare l’upload dei dati sempre in modalità compressa (zipfiles).

cartodb_tables

Per ogni tabella l’utente ha a disposizione due modalità di visualizzazione, quella tipica di un foglio elettronico e quella su mappa: ogni modalità di visualizzazione mette a disposizione dell’utente una toolbar (alla destra della tabella / mappa), con alcune funzionalità.

cartodb_view_table

cartodb_view_map
La visualizzazione a foglio elettronico permette di:

  • impostare query sql
  • impostare filtri
  • fare merge di tabelle
  • aggiungere colonne
  • aggiungere righe

La visualizzazione a mappa permette di:

  • impostare query sql
  • impostare filtri
  • impostare la modalità di tematizzazione
  • definire lo stile di rappresentazione (CartoCSS)
  • definire quali attributi visualizzare in seguito all’azione di identify sulle features
  • definire la legenda
  • aggiungere features
  • impostare la mappa di sfondo

A livello di rappresentazione su mappa lo strumento offre delle modalità di default ma l’utente può utilizzare, per rappresentazioni più complesse e complete, un linguaggio CSS-like denominato CartoCSS che permette un maggiore dinamismo come ad esempio usare parametri condizionali che combinati con il potere degli statements SQL permettono visualizzazioni molto avanzate

Altra funzionalità molto potente è quella che permette di fare merge di tabelle (Regular join), tra loro sulla base di un campo comune. Sono previste, al momento non ancora disponibili, anche funzionalità di merge spaziale (Spatial merge), ad esempio point in polygon in cui sarà poi possibile associare criteri quali SUM, COUNT, AVERAGE, ecc …

Come detto in precedenza per pubblicare più layers occorre creare una visualizzazione.

cartodb_visualization

Questa può poi essere personalizzata, pubblicata, condivisa o acceduta via API.

Entrando un po’ più nel dettaglio i punti di forza di CartoDB sono i seguenti:

Analisi dei dati
Per mantenere i dati che gli utenti caricano sul cloud CartoDB si basa su POSTGRESQL e POSTGIS (a cui si rimanda per i dettagli tecnici) come data base. Per quello che riguarda la componente spaziale il data base non solo offre il completo controllo dei dati (insert, update e delete), ma mette anche a disposizione una suite di funzionalità e tools molto potenti per analizzare i dati stessi.

Sviluppo di applicazioni
CartoDB non mette a disposizione dell’utente finale un’interfaccia grafica di pubblicazione dei dati attraverso una mappa come visto in precedenza, ma offre anche:

  • un potente backend per il data management e l’analisi geospaziale, offrendo agli sviluppatori un’API di programmazione javascript per la realizzazione di mappe interattive da integrare all’interno di soluzioni web realizzate con linguaggi di programmazione diversi
  • una SQL API che permette di interrogare i dati ma anche, attraverso connessioni sicure (API keys o autenticazioni Oauth), di compiere operazioni di scrittura su dati stessi

Sicurezza sui dati
CartoDB offre, qualunque sia la sottoscrizione del tipo di livello di hosting della piattaforma, un elevato livello di sicurezza sui dati, permettendo di ospitare tabelle private a cui è possibile accedere con meccanismi di sicurezza

Scalabilità della soluzione
Le mappe create con CartoDB sono distribuite su una rete mondiale attraverso tecnologia CDN. Questo assicura la massima affidabilità e velocità quando si debbano trattare grandi quantità di richieste. La scalabilità viene anche offerta a livello di data storage permettendo di effettuare upgrade del proprio account in qualunque momento.

Open Source
CartoDB è stato costruito su uno stack di diverse tecnologie open source che includono POSTGRESQL, POSTGIS, Mapnik e WindShaft.
Tutto in codice di CartoDB è disponibile su GitHub: questo permette potenzialmente a chiunque di potersi replicare il locale la soluzione nella sua interezza.

Di particolare interesse in questa soluzione sono i tutorials e i video messi a disposizione seguendo i quali è possibile, in modalità molto semplice, produrre mappe evolute sia in termini di rappresentazione sia in termini di funzionalità utente.

Ecco i riferimenti:

Ed ecco alcuni di quelli che ho trovato più interessanti:

Come aggiungere la mappa di OSM come sfondo

[vimeo http://vimeo.com/79772252 w=500&h=281]

Non è così immediato o facilmente documentato, ma è spiegato chiaramente in questo video

Mappare dati excel

[vimeo http://vimeo.com/77289264 w=500&h=281]

Utilizzo Torque

[vimeo http://vimeo.com/79115503 w=500&h=281]

Illustra come sia immediato visualizzare come una grandezza spaziale cambia nel tempo.

Come visualizzare l’editing nel tempo dei contributi OSM nelle Filippine

[vimeo http://vimeo.com/79199985 w=500&h=281]

Interessante come sincronizzare lo shapefile messo a disposizione in rete su GeoFabrick.

Creare una tabella sincronizzata.

[vimeo http://vimeo.com/78298157 w=500&h=281]

Interessante per realizzare una mappa del meteo in tempo “quasi reale” magari sfruttando dai open disponibili. Funzionalità a pagamento dal piano di sottoscrizione da 49$/mese

Visualizzazione sincronizzata di tabella da Dropbox. Funzionalità a pagamento dal piano da 49$/mese

[vimeo http://vimeo.com/78297755 w=500&h=281]

Funzionalità a pagamento dal piano da 49$/mese

CartoDB vs Google Fusion Tables


Oggi sul blog di CartoDB è apparso un interessante (anche se ovviamente di parte ….), post che fa un confronto tra CartoDB e Google Fusion Tables.

L’articolo è comunque interessante e riporta, partendo dalle finalità comuni (permettere agli utenti di fare upload di dati spaziali e poi usare questi dati per creare visualizzazioni su mappe), le principali differenze tra i due prodotti a partire dalle licenze, i limiti sulla quantità di dati e quelli della map customization.

FusionCartoDB

Fonte: CartoDB Blog

Mapping mobile interactivity: Nutiteq + CartoDB for Android


Intressante post che illustra passo passo come realizzare un’app nativa per Android usando Nutiteq e CartoDB

cartodb_nutiteq

Fonte: CartoDB Blog

 

Categorie:Mobile, Open Source Tag:,

Where Camp EU 2013: alcune note

20 gennaio 2013 1 commento

Dal 18 al 19 Gennaio 2013 si è tenuto a Roma Where Camp 2013 presso Porta Futuro: riporto alune note della mia partecipazione che non saranno esaustive di tutti gli interventi ciò dovuto al fatto che il mio inglese è … diciamo …. un po “fuori allenamento”.

I partecipanti non erano moltissimi, orientivamemte tra i 30 e i 40: diciamo che Gennaio forse non è il periodo migliore per questi incontri e comunque la crisi si fa un po sentire per tutti. Ovviamente più nutrita la pattuglia italiana ma comunque discreta anche la presenza straniera

L’evento si è aperto con una presentazione di di Mark Killiffe sull’utilizzo di OSM in ambito umanitario in Africa, per mappare in zone degradate la presenza ad esempio di toilette: può sembrare a prima vista una cosa banale ed inutile ma occorre considerare che 3.41 milioni di persone all’anno muoiono per scarsa igiene dell’acqua. Non basta tuttavia mappare i punti ma occorre coinvolgere la popolazione per mantenere “vivo” il dato (situazioni di degrado e contaminazione, nuove toilette legate all’aumento delle popolazione, ecc ….).

Il dato deve essere pubblico e open e da qui l’uso di OSM: è stata realizzata una piattaforma open source denominata Taarifa

Altra presentazione è stata su CartoDB (Sandro Santilli). E’ stato fatto un esempio di utilizzo usando query spaziali su POSTGIS (una delle caratteristiche principali del prodotto), dopo aver caricato su POSTGIS i dati open data degli hotspots wi-fi: ad esempio i punti che ricadono nei dintorni di Porta Futuro, o quelli che ricadono dentro le aree verdi, ecc .. ), con anche tematizzazioni sui risultati ottenuti, esmepio tematizzare diversamemnte gli hotspots trovati sulla base della loro tipologie o le aree verdi sulla base del numero di hotspots che vi ricadono dentro.

Tutto quanto è stato fatto facendo dei filtri spaziali sul layer POSTGIS: molto potente da questo punto di vista anche se serve comunque una buona dose di conoscenza tecnica (le query spaziali non sono proprio alla portata di un utente entry-level ….) da parte di chi usa il back end.

Altra cosa interessante è che è open source (licenza BSD), e quindi ognuno se lo può installare sui propri server.

Francesco Stompanato ha presentato una soluzione mobile per raccolta dati in ambito World Food Programme (WFP): dopo alcuni approfondimenti la scelta è caduta su Open Data Kit.

E’ stata poi la volta di Paolo Corti fare una presentazione di GeoNode. Il prodotto di basa su Django, GeoServer e POSTGIS come tecnologie di base. Ad oggi permette di fare upload di shapefile (occorre caricare i singoli file, altre soluzioni “concorrenti” permettono di caricare lo zip dello shapefile che forse è più comodo ….), e GeoTiff in futuro sono previsti altri formati. L’upload dello shapefile crea un layer POSTGIS e successivamente si possono caricare i metadati (ad oggi mi sembra di aver capito che si basa su GeoNetwork ma forse è in corso un’attività per usare pyCSW ….).

Il backoffice per fare authoring della mappa si basa su GeoExplorer di OpenGeo: è possibile fare anche editing dei dati via web.

E’ previsto il supporto di WMS esterni.

Il prodotto è open source e si può quindi scaricare da GitHub.: tra qualche mese dovrebbe essere rilasciata una nuova versione

E’ stata poi la volta di Michael Gould dell’ESRI Educational Community (da qualche anno in ESRI ma con un passato nel mondo GIS Open ….), che ha parlato a braccio di ciò che è ESRI, coma lavora, come si relaziona con il mondo Open Source ecc … Molte delle cose riportate erano notizie che chi segue un po’ i vari post sulle rete forse conosceva già (GeoPortal come prodotto open source, le estensioni di ArcGIS Dekstop per fare editing su OSM, ArcGIS Desktop Home Edition a soli 100 $ annnui, le recenti acquisizioni di GeoIQ e di Geoloqui, ecc … ), ma sentirli riassunti dalla viva voce di un autorevole esponente ESRI è stato comunque interessante. La notizia più “curiosa” è stata quella che ESRI paga i propri dipendenti su base oraria “anche quando sono fuori ufficio” (sostanzialmente si fidano della professionalità dei dipendenti ….): un modo un po inusuale di lavorare anche se immagino comunque per obiettivi.

Bert Spaan di Waag Society ha tenuto invece un intervemto su CitySDK Mobility, un progetto che ha visto coinvolti diversi partners europei (Amsterdam, Roma, Helsinky, Lamia, Lisbona, Istanbul, Manchester e Barcellona), in un contesto di smart city per la partecipazione e la mobilità.

L’obiettivo è quello di pubblicare dati per la mobilità come open data e fornire delle API specifiche per il loro utilizzo (trasporto e traffico).  Tutti i dati possiedono una proprietà (location), e sono strutturati ed esposti in modo multiplo (excel, csv, shapefile, drf, ecc …). La localizzazione è si importante ma è un attributo (comune), a tutti gli “oggetti” e il progetto mette enfasi sugli oggetti, ognuno dei quali ovviamente avrà attributi descrittivi diversi

Il concetto di “mobilità” è, nel contesto del progetto, parecchio allargato perchè tratta le informazioni sui mezzi pubblici, le mappe, gli orari. il meteo, le informazioni in tempo reale sul traffico, sino ad arriavre ad includere le informazioni crowdsourced.

Il progetto utilizza OSM sfruttando i livelli informativi di interesse: strade, ferrovie, fermate autobus, metro, ecc ..  e supporta standard quali GTFS.

Altre presentazioni:

  • Topologia in PostGIS 2.0 (Sandro Santilli): introduzione alla topologia in POSTGIS 2.0 con un po di storia, cos’è la topologia, il modello concettuale
  • R: software per statistica molto potente e con una integrazione anche con le parti spaziali e di mappa
  • OSGeo Live (Luca Delucchi)

La prima giornata si è poi chiusa con un ampio dibattito a ruota libera su OSM e il suo futuro: qualità del dato, rinnovamento e differenziazione del sito (utente finale, mappatori, sviluppatori, ecc .. hanno esigenze diverse e ad oggi c’è un solo sitoe tutti si atterra lì), modelli di business (fare o meno una sorta di OMS Premium con dati di maggiore qualità/ certificazione? Chi lo fa?), ecc …

Il secondo giorno (con un po di defezioni ….) si è aperto con GeoAvalanche (Francesco Bartoli), una soluzione open source (GNU GPL v3), per raccogliere informazioni georiferite sulle valanghe. La soluzione è basata su una personalizzazione di Ushahidi e ha una componente server basata su GeoServer.

Si è proseguito con una anticipazione di quello che sarà GRASS 7 (Luca Delucchi). Lo sviluppo è iniziato nel 2008 con un gruppo di core developeers di 7-8 persone.

Dovrebbe essere rilasciato nel 2013 anche se non esiste ancora una data e una schedulazione, e comunque scaricabile e disponibile per test su Linux, Windows e MacOS

Drasticamente restrutturato: eliminato codice non utilizzato, miglioramenti e bug fixing, new features. Ecco un breve elenco di alcune caratteristiche:

  • eliminato Tcl/Tk GUI e sostituito ocn wxPython GUI
  • migliorata la parte sui dati vettoriali
  • migliorata la parte di scripting Python
  • librerie 3D raster
  • SQLite è il sistema di default come libreria db (no supporto parti spaziali per ora solo alfanumerici)
  • POSTGIS connection diretta per editing
  • supporto temporal GIS
  • supporto WPS: è possibile esporre processi in GRASS  così che questi possano essere agganciati da motori WPS (es, PyWPS)
  • GUI; map swipe
  • GUI: animation
  • Python: semplifica la programmazione e l’uso dei comandi
  • GUI: semplifica la user experience e l’uso dello strumento

L’ultimo intervento a cui ho assistito prima di lasciare il camp è stato quello di Laurence Penny che ha illustrato l’evoluzione delle mappe stradali / turistiche sin dai primordi passando per gli antichi romani, il medioevo, e pian piano sino ai giorni nostri. E’ stato possibile vedere anche alcuni esempi reali con guide turistiche di fine ‘700  o ‘800 scoprendo così che cose che ad oggi affascinano quali Street View o i navigatori per auto in realtà erano concetti e “implementazioni” già fatte più di 100 anni fa ovviamente su scala ridotta e con “tecnologie” completamente diverse.

Ecco un po di foto dell’evento: primo giorno e secondo giorno.

Aggiornamento (21/01/2013): corretti alcuni riferimenti ai nomi dei relatori su segnazione di Paolo Corti (grazie!) del quale vi segnalo anche il commento al post per ulteriori dettagli su GeoNode

Wired propone la mappa delle scuole a rischio sismico

17 settembre 2012 1 commento

E’ apparso oggi su Wired un articolo molto interessante sullo stato del rischio sismico delle scuole in Italia.

Al netto del contenuto dell’articolo, che suggerisco in ogni caso di leggere per avere un quadro, con tanto di numeri, di quella che è la situazione reale dello stato di sicurezza delle scuole, cito questa esperienza in qunato viene anche proposto come obiettivo quello di andare a realizzare la mappa delle scuole a rischio sismico con il libero contributo di tutti.

Una nuovo esempio di  crowdmapping “dal basso”  che cerca di sopperire alla mancanza di dati e informazioni liberamente disponbili.

Dalla lettura dell’articolo infatti emerge come questi dati non siano disponibili o, qualora lo siano, vengano forniti con reticenza e con modalità e formati che di certo non ne facilitano il loro utilizzo (si vedano le difficoltà che hanno avuto gli autori per arrivare ad un dato omogeneo e mappabile !!! ).

Viene ancora una volta evidenziata l’importanza di avere dati e informazioni in modalità open data.

Per i dettagli sulla mappa. per quello che ne ho potuto cogliere è stato utilizzato CartoDB.

Fonte: Wired