FR| EN

• ABOUT US
  • Business Cluster
  • Vision & Mission
  • Industry Domains

• STRUCTURE
  • Governing Structure
  • Membership Structure
  • Cluster Sponsors

• PROJECTS
  • Cluster Accreditation
  • Accreditation Process
  • Accredited Projects

• PARTNERSHIP
  • Public Funding Sources

• INTERNATIONAL
  • International Network
    • Europe
    • USA

• NEWS
  • News
  • Events
  • Press Room

• Projets cap
  • Nos 100 projets
  • Process et label cap digital
  • Confidentialité
• AAP
  • AAP Nationaux
  • AAP Européens
  • AAP cap digital
• Financements
  • Subventions / Avances
  • Exonérations fiscales
  • Partenaires financiers
• Propriété Intellectuelle & Accords de consortium

 

iTOWNS

Mettre au point une nouvelle génération d’outils multimédia sur le web qui mélange un navigateur 3D géographique (comme le Geoportail, Google Earth, Microsoft live Earth) avec un moteur de recherche basé sur une indexation des données images/visuelles par le contenu. Ce projet gère des données images panoramiques très haute résolution acquises avec une très grande densité spatiale au niveau de la rue par un véhicule instrumentalisé.

Le premier objectif est de naviguer de manière fluide, libre et immersive, dans un flux d’images panoramiques (sans modèles 3D) dans de très grandes collections de données de manière à voir et visiter la ville comme si nous y étions. Le deuxième objectif est de construire à partir des images un système d’information basé sur le contenu image de manière à proposer au sein même du navigateur des services simples ou complexe basés sur des requêtes (aller à une adresse donnée, générer une carte de navigation enrichie avec de l’image, trouver la localisation d’une image apportée par l’utilisateur, sélectionner les images avec tel objet, etc.).

Porteur

IGN
Nicolas Paparoditis - Mail : nicolas.paparoditis@ign.fr -Tel. : 01 43 98 83 92

Partenaires

Établissements publics :

• Institut Géographique National, Saint Mandé
• Lab. LIP6, Univ Marie Curie PARIS VI
• Equipe ETIS – ENSEA & Univ. Cergy Pontoise
• Laboratoire Central des Ponts et Chaussées, Paris
• Centre de Morphologie Mathématique de l’Ecole des Mines de Paris
• Laboratoire Régional des Pont et Chaussées, Strasbourg

Domaine

Patrimoine numérique

AAP

ANR

Objectif Général

Développer des outils multimédia à travers le web pour d’une part la navigation 3D dans des séquences d’images panoramiques acquises au niveau de la rue et pour d’autre part le développement de services dits de recherche intelligente utilisant ces images.

Objectif Sectoriel

• Géomatique – Collecte de données 3D – SIG 3D
• Moteurs de recherche
• Grand Public – Services localisés intelligents (Location-based services)
• Aménagement et Urbanisme
• Prospective immobilière

Contenus Technologiques

• Navigation vidéo 3D dans des BD d’images panoramiques
• Rendu basé-image
• Extraction multi-objets et dans les images (voitures, piétons, arbres, textes, étages, fenêtres)
• Indexation et Recherche par le contenu
• Moteurs de recherche
• SIG 3D

Pour atteindre ces objectifs, nous devons relever trois défis. Le premier est de visualiser et de naviguer à travers le web à l’intérieur de très grands volumes d’images panoramiques géoréférencées de ville acquises par un système de cartographie mobile. Dans le cadre de ce projet, un terra octet de données acquises sur la ville de Paris sera acquise et exploitée. Cela correspond à 25000 vues panoramiques (composées de dix images HD chacune) le long d’une centaine de kilomètres linéaires de rues. Le deuxième défi consiste à extraire des images de manière complètement automatique et en un temps raisonnable autant de primitives, objets simples et complexes, et de relations géométriques et topologiques entre objets que possible pour une indexation par le contenu. Le troisième défi consiste à exploiter et combiner les différents objets, primitives et autres signes précédemment extraits afin de construire des systèmes d’apprentissage efficaces sur ces données permettant des comparaisons et des classifications à un haut niveau sémantique. Des stratégies de recherche par le contenu permettront alors de fournir des services de fouille de données intelligents avec différents niveaux de complexité. Ce projet quoique ambitieux dans ces enjeux scientifiques sera également guidé par les applications, puisque nous proposerons l’implémentation d’applications simples et plus complexes utilisant les signes extraits et les moteurs de recherche développés. La grande complémentarité des compétences techniques et scientifiques et expériences des différents laboratoires présents dans ce projet (MATIS, LIP6, ETIS, LCPC, CMM) dans la collecte de données photogrammétriques, l’extraction d‘objets et la reconnaissance de forme, les techniques d’apprentissage automatique et l’indexation par le contenu, sont une clef du succès de ce projet.

Philosophie / Démarche

Ce projet est constitué de 3 modules:

• 1 - Navigation 3D et intégration logicielle ;
  
• 2 - Extraction d’information multi-objets ;
  
• 3 - Indexation et recherche par le contenu ;
  

qui se dérouleront en parallèle. L’ensemble de ces modules nécessitent la mise disposition de do,nnées qui seront acquises au tout début du projet et mises à disposition des partenaires à t0+2. L’ensemble des travaux seront régulièrement intégrés dans une même plateforme qui servira de démonstrateur pour le projet

Enjeux

• Gestion de très grands volumes de données pour : la navigation 3D, l’extraction d’informations, l’indexation et la recherche par le contenu
• Introduction de la 3D et des relations spatiales entre les objets dans le processus d’indexation

Nouveaux Produits/Services à Court/Moyen Terme

• Balade virtuelle au niveau de la rue
• Génération d’itinéraires hybrides texte/image
• Visualisation vidéo de parcours
• Recherche par l’image au njiveau de la rue (commerces, etc.)
• Recherche par le contenu attributaire extrait à partir des images

Description / Étapes

WP (Work Packages)

WP A : Acquisition de données et Navigation 3D A.1 Acquisition de données avec le système STEREOPOLIS de l’IGN A.2 Définition des interfaces, architectures et process A.3 Développement du browser 3D image à travers le web A.4 Intégration du moteur de recherche et démonstrateur

WP B : Extraction d’objets multiples à partir d’images B.1 Extraction de primitives 2D-3D B.2 Extraction de textes B.3 Extraction de piétons B.4 Extraction de signes routiers B.5 Extraction d’objets simples

WP C : Indexation et recherché par le contenu C.1 Apprentissage sur des données multi-signes C.2 Moteur de recherche par le contenu