Home > Open Data > GIS & Big Data: elaborare dati di OpenStreetMap con Hadoop su Amazon EC2

GIS & Big Data: elaborare dati di OpenStreetMap con Hadoop su Amazon EC2


Nel 63-esimo weekly summer di OpenStreetMap è apparsa una notizia, che da un punto di vista tecnico, mi ha particolarmente interessato; una descrizione di come processare TUTTI i dati di OSM con Hadoop su Amazon EC2. Un bell’esempio di applicazione delle possibilità offerte dal mondo cloud per trattare dei big data geografici reali.

Il post descrive piuttosto in dettaglio la procedura utilizzata e sono anche riportati i dettagli su tempi de costi dell’operazione che riporto integralmente “……. I ran the same job twice with a different number of machines each time, and saw a cost of $4.90 for five instances over 17 hours vs. $9.40 for twenty instances over 7 hours. If you don’t need the results fast, save the five bucks and let it run overnight. If you don’t use spot pricing, this same job would have cost $40 slow or $78 fast.” Senza dubbio interessante visto che si tratta di un’operazione “one-shot” che richiederebbe comunque una grande potenza computazionale.

Sono anche disponibili i GeoJSON globali per i livelli routes e streets per poter replicare il processo da parte di chi fosse interessato.

Fonte: OpenGeodata.org

  1. Non c'è ancora nessun commento.
  1. No trackbacks yet.

Lascia un commento

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...

%d blogger cliccano Mi Piace per questo: