Chi crea le mappe, e come?

Creare una cartografia stradale GPS è un compito assai lungo e difficile, per questo, storicamente, ogni casa che produce software di navigazione GPS si affidava a dei fornitori di cartografie, che si occupavano di creare le cartografie digitali da concedere puoi in licenza per l’uso con i software GPS, per i siti di mappe on-line, per usi aziendali eccetera.
Questo scenario, però, è cambiato negli ultimi anni, man mano che la cartografia digitale acquistava importanza presso la clientela (anche aziendale) e assumeva un ruolo non più marginale anche nei dispositivi mobili di ultima generazione come smartphone e tablet.
I due grossi provider di mappe mondiali, sono stati acquisiti da grossi nomi del mercato GPS o di elettronica mobile.
Tomtom ha acquisito Teleatlas.
Navteq è stata acquisita da Nokia.

Tomtom ha ereditato metodologie e conoscenze sulla realizzazione delle mappe da Teleatlas, e naturalmente le ha ulteriormente sviluppate aggiungendo la propria esperienza nel settore della navigazione GPS.
E’ stato possibile venire a conoscenza di queste metodologie grazie a un evento organizzato da Tomtom stessa a Milano, il 23 Novembre 2012.
E’ stata fatta una dimostrazione per una ristretta cerchia di giornalisti delle principali testate nazionali.
Per fortuna, è stato invitato anche Poigps.com, che ho avuto l’onore di rappresentare nell’ occasione (o meglio, ho rappresentato tutti voi), circondato da 7-8 giornalisti professionisti delle maggiori testate nazionali.
Quello che segue è il mio resoconto della giornata (by Zzed):
Dopo una gentile e accorta accoglienza, dove era anche possibile provare con mano una rappresentanza di prodotti e il sito Tomtom Live Traffic, si è passati alla presentazione, aperta dal Vice Presidente Tomtom per Italia e Balcani in persona: Luca Tammaccaro. Oltre a lui erano presenti figure importanti dell’ azienda e alcuni tecnici per illustrarci anche i lati più pratici del map-maker e disponibili a soddisfare ogni nostra curiosità.

Presentare Tomtom è quasi superfluo per i lettori di questo sito: Leader del mercato, ha una quota del 45% in Europa e del 62 % in Italia.
La svolta degli ultimi anni è stata l’acquisizione di Teleatlas e del suo patrimonio di mappe digitali, oltre che il suo know-how e l’esperienza in quel difficilissimo settore che è la creazione di mappe digitali georeferenziate.
Fino a qualche anno fa, infatti, i principali provider di mappe digitali erano 2: Teleatlas e Navteq. Al di là di piccole realtà “locali” alternative in zone poco sviluppate (a livello stradale), il mondo GPS si divideva tra questi 2 grandi fornitori, a cui ogni produttore attingeva per i dati cartografici, troppo complicati da produrre in autonomia.
Tomtom ha acquisito Teleatlas e si trasforma quindi in un fornitore di dati, oltre che a un produtore di navigatori.
Le loro mappe sono fonte di dati cartografici per moltissimi sistemi, navigatori GPS di varie marche, sistemi aziendali, da Google Maps a Mappe di Apple, passando per IGo e Microsoft, i marchi forniti sono veramente tanti.
Tomtom quindi ora vanta mappe con copertura di 112 paesi, 35 milioni di strade, che interessano una popolazione di 3,4 miliardi di persone.
65 Milioni di navigatori venduti
2,5 milioni di navigatori integrati nei cruscotti delle auto
1,4 milioni di app

Tomtom definisce le sue mappe le “migliori del mondo”
Questo perchè può contare su 4 livelli “logici” che altri non hanno.

Ma cosa sono?
Immaginiamo la cartografia sul nostro dispositivo come 4 livelli logici sovrapposti:
Mappa base
IQ routes
Mapshare
HD traffic

Nel forum di Poigps.com ognuno di questi aspetti ha una discussione dedicata, ma riassumiamole brevemente, includendo anche le nobvità introdotte dalle versioni più attuali di queste tecnologie:

E’ la mappa vera e propria, l’insieme di dati che creano le strade con tutti i loro attributi: direzione, limiti di velocità, nomi, punti di interesse e moltissimi altri aspetti come tipo, condizioni della strada (sterrata? pessime condizioni?), accesso ristretto (solo residenti?) ma anche indicazioni utili al calcolo del routing e alla corretta visualizzazione su mappa.
Viene aggiornata solitamente ogni 3 mesi (è stato calcolato che, ogni anno, il 15% delle strade subisce delle variazioni su campo)

E’ il database dello storico dei tempi di percorrenza degli utilizzatori di Tomtom (il 90% dell’ utenza ha dato il consenso a raccogliere anonimamente tali dati). Questa immensa mole di informazioni fa sì che nel calcolo del percorso e dei tempi di percorrenza rientrino i fattori reali (traffico abitudinario, strada con molti semafori con tempi lunghi, mercati rionali, possono far differire di molto i tempi rispetto a quelli teorici calcolati in base alla sola tipologia di strada). Stiamo parlando di qualcosa come 5 trilioni di valori di velocità raccolti, uno ogni 5 minuti, per ogni giorno della settimana, una statistica basata quindi su una base dati enorme, che tiene conto delle percorrenze abitudinarie e storiche del luogo, così come farebbe un abitante locale. Ha il limite intrinseco di non poter tenere conto di fatti eccezionali o sporadici (ad esempio un incidente che provoca un ingorgo) e anche quello di fare la distinzione solo per giorno settimanale (il Lunedì, in orario di uscita da scuola, segnalerà velocità scarse sulla strada che transita davanti la scuola, ma farà altrettanto un Lunedì di Ferragosto, quando quella strada sarà pressoché deserta).

Oramai lo conosciamo: Tomtom chiede alla community di suoi clienti di rendersi attivi nel segnalare imprecisioni della mappa rispetto alla realtà rilevata sul campo. Con un parco di navigatori circolanti di 65 milioni, a livello mondiale vengono inviate circa 250.000 segnalazioni di modifiche.
Ma c’è un altro Map Share, quello meno evidente, quello passivo, che spesso non viene considerato, ma che è il vero punto forte di questo sistema: vengono condivise anche le tracce GPS, preziosissime per rilevare nuove strade o nuove variazioni (se nei pressi di un incrocio tutte le tracce GPS compiono un cerchio, è logico pensare che l’incrocio non è più presente ed è stato sostituito da una rotonda).

fa parte dei servizi Live oramai presenti da qualche tempo sui modelli più nobili del marchio, è il servizio del traffico di Tomtom, condiviso con uno standard creato ad hoc dalla casa (OpenLR) che integra le informazioni dei dispositivi Tomtom connessi (navigatori “Live” e smartphone) con altre informazioni da fonti esterne come le SIM Vodafone, e le informazioni di enti quali Autostrade, Infoblu ecc.
Le informazioni vengono ricevute dai dispositivi connessi ogni 2 minuti, per seguire le evoluzioni del traffico.

il calcolo del percorso viene effettuato seguendo questi quattro livelli in sequenza, se presenti. Facciamo un esempio pratico:
Per andare da A a B l’algoritmo di routing mi calcola un percorso di 30 minuti. E’ più o meno lo stesso procedimento che otterrei con qualsiasi altro sistema di navigazione. E’ il primo livello, che si appoggia ai soli dati cartografici. La percorrenza teorica di 30 minuti, potrebbe diventare 45, o anche 50 minuti reali se lungo il tragitto trovo qualcosa che nella mappa base non è catalogato: traffico, incidente, smottammento, ma anche solo il mercato rionale, o l’uscita dal lavoro di una grossa fabbrica, che crea congestione su un tratto del percorso calcolato.
Viene poi introdotto il secondo livello: IQ Routes. Questo giorno settimanale, a quest’ ora, il sistema ha come statistica una velocità di percorrenza bassissima per le strade comprese nel percorso calcolato, il che potrebbe far aumentare il tempo previsto di percorrenza. Introducendo quindi questo nuovo dato, il calcolo del percorso sarà diverso, più vantaggioso in termini di tempo totale.
Terzo livello: MapShare. Qualche altro utente ha segnalato una strada chiusa sul percorso più vantaggioso, magari per lavori in corso e, introducendo questo dato, il navigatore può scegliere ancora un’ altra alternativa.
Quarto livello: HD Traffic: c’è stato un incidente 10 minuti fa qualche chilometro più avanti di dove ci troviamo. Con questo dato, il navigatore calcolerà l’ennesima alternativa che ci consente non solo di evitare le strade statisticamente poco veloci e quelle segnalate con problemi, ma anche quelle che presentano congestioni in quel momento (dati scaricati al massimo 2 minuti prima).
Tutto questo permetterebbe di evitare problemi non previsti dal semplice calcolo basato solo sulla mappa (primo livello) ed è stato calcolato che permette risparmi di tempo significativi che possono anche arrivare a al 30% del tempo totale.

Questa premessa era doverosa per comprendere come sono strutturate le mappe Tomtom, ma l’incontro era principlamente imperniato sulla realizzazione della mappa base: il primo e più importante livello, la cartografia con i dati topografici e geografici e stradali. ci hanno mostrato come vengono rilevati i dati sul campo dagli operatori e tramite il MoMa (Mobile Mapping, cioè i mezzi attrezzati con telecamere, giroscopi, scanner 3D in pieno stile Google Streetmap) e l’uso di Cartopia, la piattaforma interna a Tomtom utilizzata per far collimare i dati di tutte le segnalazioni e fonti (interne ed esterne) e andare ad operare direttamente sul “master database” delle mappe del maggior fornitore al mondo di mappe per la navigazione.

In Tomtom, a livello mondiale, ci sono 1200 persone, sparse in 48 sedi diverse, che lavorano nel settore della realizzazione, collaudo, aggiornamento e rilascio della cartografia.
Non so voi, ma io ho sempre visto la professione del cartografo come avvolta da un’ aura di mistero, uno studioso mezzo scriba e mezzo scienziato pazzo, forse distaccato un po’ dal mondo reale. A dire il vero mi viene sempre in mente Wally di Monkey Island, la meravigliosa serie di avventure grafiche della LucasFilm.
Niente di tutto questo, si tratta di belle ragazze e signori dai toni pacati e gentili, tutti molto preparati e con una gran passione per il loro lavoro e per il territorio.
La maggior parte dei possessori di navigatori satellitari, lo accende, imposta un indirizzo e parte, come se stesse utilizzando qualsiasi altro programma, chessò.. un player musicale, dando la sua funzione per scontata, ignorando la complessissima infrastruttura che permette a tutto questo di essere possibile e di non farci mai sentire persi.
Perché il tutto funzioni, occorre invece una intera costellazione di satelliti in orbita intorno al pianeta, un ricevitore dei segnali satellitari, una unità in grado di elaborarli e metterli in correlazione con una cartografia digitale per consentirci di andare dove desideriamo.
Realizzare una cartografia del genere richiede una mole di lavoro inimmaginabile. Forse solo i gestori di PDI di www.poigps.com hanno una vaga idea della mole di dati necessaria per realizzare una cartografia digitale e dell’ innumerevole quantità di verifiche e sistemazioni necessarie per mantenerla aggiornata e di qualità. Ne hanno una idea perché fanno lo stesso con qualche centinaio o migliaio di punti della propria categoria.
Le strade, la viabilità, l’urbanistica, infatti, cambiano ogni giorno. Inserire una nuova strada nella cartografia non si limita al tracciamento di una nuova linea: occorre disegnarne si la geometria, ma anche geolocalizzarla, dargli un nome, definirne alcune caratteristiche come l’importanza, la condizione del manto stradale, i limiti di velocità, il senso di percorrenza, se è percorribile da tutti i veicoli oppure una parte oppure nessuno (solo residenti, viali ciclo-pedonali), numeri civici, ecc ecc.
Di particolare importanza per la funzionalità in navigazione sono le “manovre”. Sono informazioni particolari che vengono tracciate da chi revisiona la mappa e di cui noi non ci accorgiamo, ma che sono indispensabili per ottenere il meglio dal proprio navigatore. Sono le manovre che istruiscono l’algoritmo di calcolo sulla presenza di spartitraffico, linee continue o regole di “buon senso” (che un algoritmo tende a non avere) che permettono al navigatore di suggerirci percorsi logici che diamo per scontati, ma che per un calcolatore scontati non sono.
Se c’è uno spartitraffico, uscendo da una strada laterale, ci verrà indicato di girare a destra, oppure non ci verranno proposte inversioni che tagliano 2 corsie vicino a un incrocio, ma ci verrà proposto il giro dell’ isolato, quando i due sensi di marcia di una strada si aseparano per approcciarsi a una rotonda, non verranno contati tutti i bracci, ma solo quelli in uscita, così che la classica indicazione “Alla rotonda, prendi la terza uscita” non ci faccia confondere. Tutte queste operazioni sono possibili per quei metadati inseriti nelle mappe che vengono chiamati “manovre”.
Le fonti dei dati sono quindi moltissime: dagli enti come Regione, Provincia Comuni a foto aeree a quelli forniti (in modo attivo e passivo) dai clienti, come tracce GPS, segnalazioni, tracce GSM, storici di percorrenza, dati incidenti e così via.
I dipendenti Tomtom hanno anche app per smartphone per segnalare tramite foto geolocalizzate le diverse anomalie o variazioni in cui si dovessero imbattere.
Altra importante fonte sono i veicoli attrezzati con cui vengono fatti rilievi sul posto.

Le modifiche alla mappa sono una procedura delicatissima e la loro implementazione è quindi molto attenta: Vi è una verifica automatica seguita da una verifica “umana”. Le variazioni sono affidate a migliaia di regole automatiche che controllano la congruenza e validità dei dati (ad esempio, non è possibile avere una piazza con 4 punti di accesso in cui tutti sono sensi unici entranti). passati tutti i test delle regole, si passa al controllo umano.
Ci è stata quindi data la possibilità di carpire questi “segreti”, simulando l’acquisizione di dati sul campo e la loro implementazione e di visionare come questi dati vengono sovrapposti e confrontati per una loro attenta valutazione.
Quando, nonostante la mole impressionante di dati e di fonti a cui attingere, vi fosse un dubbio o un’ area richiedesse particolare attenzione, sono possibili visite sul posto, per la mappatura “umana” oppure automatizzata tramite Moma.

Un addetto alle mappe Tomtom, un laptop, una internet-key. Tutto qui. Niente di fantascientifico quindi, ma è così che vengono rilevate sul posto le variazioni che altrimenti non si potrebbero inserire perchè necessitano di una convalida. L’addetto può procedere in auto o a piedi, sul laptop ha la cartografia e sovrapposta a essa può apportare le modifiche, disegnando in colori diversi la geometria, piuttosto che il senso di marcia ecc. Ogni colore ha un preciso significato, per il software che poi lo interpreterà. Non manca certo di rilevare tutti i dati aggiuntivi utili, come limite di velocità in quel tratto, numero di carreggiate, nome della via (che curiosamente può essere differente per i due lati della strada, si pensi ad esempio a un largo che si apre a lato di una via urbana) e altro.
Vengono rilevati dati che a volte diamo anche per scontati, come ad esempio il senso di rotazione di una rotatoria. E’ scontato qui, ma non si dimentichi che non in tutto il mondo si tiene la destra..
Per la maggior parte di uscite mirate questo metodo è validissimo, l’unico difetto è la scarsa velocità di acquisizione dei dati sul campo: l’operatore deve spostarsi e utilizzare il computer, circa 3km/h se a piedi.

Forse qualcuno ricorderà i vecchi camper bianco-arancio di Teleatlas. Ora sono stati sostituiti da Van un po’ più piccoli per meglio destreggiarsi anche nelle strade meno ampie e sono equipaggiati con nuove e più moderne apparecchiature.
Troviamo a bordo: telecamera a 360°, laser scanner 3D, giroscopio, e diavolerie varie informatiche atte a conservare e memorizzare i dati raccolti. Si parla di qualcosa come circa 35Gb di dati/ora, mica bruscolini!

Chi dice che somiglia alla Google Car di StreetView?
Si, somiglia molto, e somiglia anche il prodotto che si ottiene con questo “giocattolino”: una serie di foto a 360°, geolocalizzate, che permettono di avere una visione della strada percorsa. Vengono catturate ogni 8m circa in centro abitato (il furgone può acquisire immagini fino a 110km/h, in autostrada).
Se non ho capito male il software riconosce automaticamente alcune cosette stile OCR, come i segnali dei limiti di velocità.
Ma quando la copertura GPS manca, come ad esempio sottopassi, ponti, urban canioning? Naturalmente il mezzo, oltre a un preciso localizzatore GPS differenziale, è dotato anche di giroscopio, bussola elettronica, odometro collegato alle ruote, per avere la precisione della posizione anche in caso di brevi mancanza di copertura GPS.
Monta anche uno scanner laser 3D che è in grado, oltre a fare misurazioni, di riprodurre in tre dimensioni la strada, dato non ancora utilizzato direttamente, ma che potrebbe tornare utile per prodotti futuri.
La flotta Tomtom conta di decine di mezzi, che vengono inviati di stato in stato a seconda delle esigenze.
Dalle foto su avrete capito che non sono un gran fotografo, avevo fatto anche un video per mostrarvi le apparecchiature interne al veicolo, ma preferisco allegare questo, preso dalla rete (tantopiù che anche quello fatto da me era in inglese in quanto l’autista era straniero).
Ancora un paio di fotografie a risoluzione più alta:
Moma1 e Moma2

Eccoci all’ aspetto più “segreto”, al modo per mettere mano al “master database” della cartografia Tomtom: Cartopia.
Quello che più interessa noi appassionati di GPS e geolocalizzazione, forse.
E’ una piattaforma web-based, utilizzata internamente a Tomtom per inserire le modifiche e gli aggiornamenti della cartografia digitale. Questo software è il vero cuore pulsante del lavoro di mappatura, dove è possibile visualizzare tutti i vari strati provenienti da tutte le fonti: le tracce, le segnalazioni degli utenti, le foto aeree (di Bing), le foto geolocalizzate dai MoMa o dagli smartphone, un pò sulla falsariga di Google Maps con Streetview e Panoramio, tanto per capirci.
Il paragone magari non piacerà ai dipendenti Tomtom, ma mi è utile per spiegarvi come opera almeno una parte del software.
Ma cominciamo dal principio: immaginatevi di avere la piantina della mappa su un tavolo, e di poterci sovrapporre dei lucidi su cui sono indicati vari dati: di qualsiasi tipo e provenienza: foto aeree e satellitari, flussi di traffico (la tracce GPS, come fossero scie di luce o tracce di calore, di colore più intenso ove si sovrappongono e più evanescenti ove si diradano), direzione del traffico, dati dai rilevamenti, dati con foto panoramiche dal MoMa (che crea una specie di Streetview interno, che Tomtom ha deciso di non redistribuire come prodotto a sè, probabilmente per non dover gestire le problematiche di privacy ecc), foto georeferenziate (anche qui, immaginatelo come un Panoramio interno).
Tutti questi ludici sono disponibili all’ operatore di Cartopia che può decidere quanti strati sovrapporre o consultare per le proprie analisi.

In questa (sempre pessima) foto, ad esempio, sono visualizzati i dati di flusso dei veicoli evidenziati per direzione.
In rosso quelli da desta a sinistra, in verde quelli da sinistra a destra.
E’ un semplice bivio, ma per la cartografia è la conferma che vi è un tratto a senso unico verso destra e un tratto a senso unico verso sinistra (i due bracci del bivio) e un tratto a doppio senso di circolazione (la parte di strada più a destra del bivio).
Come potete notare questi livelli sono composti da innumerevoli “scie” luminose che consistono nei tracciati GPS, nel tragitto compiuto dalla vostra auto con a bordo Tomtom, e da altre centinaia come la vostra.
Altre volte è possibile visualizzare le scie evidenziando la velocità dei veicoli, invece della direzione:

ed è utile per scoprire varianti su svincoli o, come nel caso della foto, nuove rotatorie.
E’ quindi uno strumento molto potente, che raccoglie una grande quantità di informazioni, che chi lavora alla mappa in varie parti del mondo traduce in modifiche alla stessa.
Naturalmente ogni modifica apportata è strettamente regolamentata e codificata, nonché monitorata, questo per evitare il rischio di scadere in qualità. Ci è stato mostrato un “manualetto” delle convenzioni da rispettare per le modifiche da inserire in Cartopia, che risaliva a qualche anno fa (ancora col logo Teleatlas) e erano solo 2500 paginette.. Ora non viene nemmeno più stampato, ma esiste solo in formato elettronico, visto che la mole di pagine è aumentata.
Non è sempre stato così, con questi mezzi a disposizione, e gli inizi sono stati quasi “pionieristici” con i dati forniti dalle amministrazioni comunali che si riducevano in qualche schizzo a penna su dei fogli di carta. ci sono voluti anni per arrivare a una copertura pressoché totale delle strade nazionali.

E’ stata una giornata molto interessante in cui ho potuto “toccare con mano” come viene realizzata una cartografia digitale.
Mentre sistemi come la rilevazione “umana” possono in fondo essere alla portata di tutti, altri come veicoli specificatamente attrezzati e una struttura in grado di raccogliere tutti i dati di tutte le fonti e presentarle in forma grafica richiedono un investimento non comune.
E sopratutto una organizzazione di tutte le componenti quasi maniacale.
Tomtom ha fatto molta strada, incorporando le conoscenze di Teleatlas e mutando sempre più da semplice produttore di software e prodotti per la navigazione a fornitore integrato di contenuti e soluzioni per la navigazione e la cartografia. Ma di strada ce né ancora molta da fare (non potrebbe essere altrimenti per un navigatore, dopotutto!
La viabilità è in continua evoluzione e il lavoro per i revisori di mappe pare infinito, come una lunga corsa che non vede mai il traguardo. E è un lavoro che richiede grossi investimenti, in un mercato che è in forte contrazione e che certo non ha soldi da investire. Sembra davvero una sfida infinita, che richiede senza dubbio un grosso lavoro, che spesso è ignorato dal cliente finale.
Per domande di approfondimento o dubbi su questa giornata, posso provare a rispondere alle vostre domande nella discussione dedicata sul forum.
Zzed

Al momento non si hanno informazioni recenti e di prima mano sulla metodologia di creazione delle mappe da parte di Nokia/Navteq.
Qui un video da Youtube che ne illustra la modalità.