FR| EN

• ABOUT US
  • Business Cluster
  • Vision & Mission
  • Industry Domains

• STRUCTURE
  • Governing Structure
  • Membership Structure
  • Cluster Sponsors

• PROJECTS
  • Cluster Accreditation
  • Accreditation Process
  • Accredited Projects

• PARTNERSHIP
  • Public Funding Sources

• INTERNATIONAL
  • International Network
    • Europe
    • USA

• NEWS
  • News
  • Events
  • Press Room

• Projets cap
  • Nos 100 projets
  • Process et label cap digital
  • Confidentialité
• AAP
  • AAP Nationaux
  • AAP Européens
  • AAP cap digital
• Financements
  • Subventions / Avances
  • Exonérations fiscales
  • Partenaires financiers
• Propriété Intellectuelle & Accords de consortium

 

GYROVIZ

Domaine

Image, Son, Interactivité

Partenaires

Grandes Entreprises : CEA (91)
PME : IXSEA (78), SOFRESUD (83)
Établissements publics : INRIA (06), SUPMECA (93/83)

Durée du Projet :

36 mois

Démarrage

Décembre 2007

Effort R&D:

221 hommes mois

Coût

1,710 M€

Appel d’offre auquel a été présenté le projet

Appel à projets ANR – AUDIOVISUEL & MULTIMEDIA 2007

Porteur

SOFRESUD Contact : contact@sofresud.com - Tél. : 04.94.11.57.00

Résumé

Le challenge visé par le projet GYROVIZ est la modélisation 3D automatique et robuste de scènes réelles à partir de séquences d’images localisées. L’idée directrice du projet provient de la constatation des limitations intrinsèques aux systèmes de reconstitution 3D actuels, qui sont uniquement basés sur les techniques de traitement d’images et qui de ce fait nécessitent de fréquentes interventions des opérateurs pour appairer les pixels des images. Quoique de grands efforts aient été faits pour résoudre ces problèmes d’appariement de pixels de manière purement logicielle par des algorithmes de traitement d’images extrêmement évolués, le projet GYROVIZ constate que ce problème doit être résolu au niveau technologique. Le concept GYROVIZ, breveté au niveau international, repose sur le développement d’un module de localisation spécifique intégrant des capteurs inertiels et les algorithmes de localisation associés. Ce module est couplé au dispositif d’acquisition d’images, ce qui permet d’obtenir sa position et son attitude en temps réel avec une très grande précision. La robustesse, l’efficacité et la rapidité du processus d’appariement d’images sont enfin accessibles puisque d’une part, l’espace de recherche des solutions du problème d’appariement est réduit de plusieurs ordres de grandeur et d’autre part, l’appariement repose toujours sur de bonnes hypothèses initiales. L’aspect algorithmique du projet utilise les toutes dernières recherches en vision par ordinateur et programmation géométrique pour extraire et apparier les points et « features » caractéristiques des images. Les objets 3D sont reconstruits avec leur colorimétrie. Les thèmes de la modélisation 3D éparse en temps réel ainsi que de la détection et la préservation des « features » par reconstruction en temps différé sont retenus comme sujets de 2 thèses de doctorat. Le système complet sera totalement mobile et portable, sans mires coopérantes, utilisable tant en intérieur qu’à l’extérieur et ouvrira de nombreuses perspectives en modélisation de scènes complexes pour des applications post-production, multimédia ou d’ingénierie. Ainsi, dans le cadre du projet, deux maquettes de laboratoire seront développées:

• Maquette de tracking 3D en temps réel de camera HD pour les applications de studio virtuel et de postproduction
• Maquette de modélisation 3D destinée aux applications multimédia et industrielles

Objectif Général

Permettre des modélisations rapides, automatiques et robustes à partir d’images numériques en « sortant l’homme de la boucle ».

Objectif Sectoriel

Les applications de la technologie développée au travers du projet ont un impact potentiel extrêmement large. Il a été identifié des besoins à couvrir sur les secteurs d’activité suivants :

• MultiMedia, Post production, Effets spéciaux
• Tourisme virtuel, Architecture
• Commerce électronique
• Retro Engineering, Maintenance à distance
• Criminologie, assurances
• Etc.

Contenus Technologiques

GYROVIZ fait appel à diverses technologies :

• Acquisition de vidéos et d’images
• Localisation inertielle
• Renseignement de méta data
• Algorithmes de construction géométrique
• Informatique temps réel
• Informatique Multimédia

Philosophie / Démarche

Toute la chaîne de traitement est prise en compte, depuis le développement de capteurs inertiels spécifiques de haute précision à l’intégration dans les suites logicielles actuelles. Les outils logiciels de RealViz seront utilisés pour obtenir les modèles et générer les fichiers compatibles avec les standards. Les aspects de recherche avancée sont couverts par 2 thèses (CEA/LIST et INRIA) Les algorithmes seront évalués au moyen de nombreux jeux d’essais dont l’acquisition aura été faite selon des scénarios contrastés. Les attentes de l’utilisateur final seront recueillies tout au long du projet.

Enjeux

Il s’agit d’offrir à terme des systèmes d’acquisition de vidéos et images localisées totalement compatibles avec les matériels et logiciels actuels.

Nouveaux Produits/Services à Court/Moyen Terme

Les systèmes GYROVIZ ainsi développés seront au début réservés aux milieux professionnels à haute valeur ajoutée. Leur mise en œuvre sera avantageusement confiée à des spécialistes qui offriront donc des prestations de réalisation.

Principes Structurants

Les systèmes GYROVIZ sont destinés à s’intégrer aux environnements existants en permettant des gains de productivité, de qualité et de disponibilité. De plus, certaines fonctionnalités seront totalement nouvelles telles la localisation temps réel d’une camera vidéo par système mobile et portable, ou encore la reconstruction automatique en entités géométriques à partir de séquences d’images sans intervention manuelle. Les systèmes GYROVIZ seront largement indépendants des caractéristiques propres des différents systèmes d’acquisition d’images et de vidéos avec lesquels ils seront utilisés.

Description / Étapes

Le projet GYROVIZ couvre toute la chaine de traitement, du développement des capteurs à la réalisation d’applicatifs en passant par la réalisation d’ensembles hardware d’acquisition de vidéos et d’images localisés. Il se déroule suivant 4 phases :

Phase 1 : Spécification de besoin et conception globale Cette première phase consiste à comprendre et analyser les besoins des utilisateurs et les contraintes du système afin de définir les services essentiels qui sont attendus et déterminer les caractéristiques principales qui permettront la conception et le développement de GYROVIZ.

Phase 2 : Développement des sous-systèmes Cette phase regroupe les principales activités de recherche et développement qui sont menées dans le projet GYROVIZ. En particulier, les différents travaux concernent :

• L’étude et le développement de nouveaux capteurs inertiels spécifiques et des algorithmes de localisation associés.
• L’étude et le développement d’un module de localisation autonome apte être couplé à un dispositif d’acquisition d’image et fournir pour chaque image les 6 informations de localisation (x, y, z, lacet, roulis, tangage) précisant le positionnement lors de la prise de vue.
• L’étude et le développement d’algorithmes d’extraction et de mise en correspondance de points entre images exploitant les métadonnées de localisation.
• L’étude et le développement d’un module de reconstruction 3D éparse temps réel permettant de reconstruire un nuage de points 3D à partir d’images vidéos localisées.
• L’étude et le développement de modules algorithmiques d’extraction des « features » (arêtes, coins, frontières) caractéristiques de la scène traitée.
• L’étude et le développement de modules algorithmiques de reconstruction d’entités géométriques à partir des nuages de points en préservant les attributs du nuage et des métadonnées le long de la chaîne de traitement.
• L’étude et le développement d’algorithmes de recalage dynamique des images.

Phase 3 : Implémentation de la plateforme d’expérimentation Cette phase vise à implémenter les différents modules développés séparément dans une plateforme d’expérimentation comprenant 2 maquettes de laboratoire :

• La première maquette « Tracking vidéo temps réel » permet l’acquisition de vidéos HD ou chacune des trames/images est localisée en 6 degrés de liberté.
• La seconde maquette « modélisation 3D » implémente toute la chaîne de traitement et permet la modélisation automatique 3D robuste et temps réel d’objets ou scènes statiques sans nécessiter l’intervention d’un opérateur à partir de l’acquisition d’images localisées (6 DOF).

Phase 4 : Evaluation et validation Cette phase vise à évaluer les résultats obtenus par le projet. Cette évaluation repose sur des jeux de données expérimentales acquis à l’aide des maquettes de laboratoire lors de campagnes de mesures et qui seront intégrés dans les suites logicielles actuelles (Adobe, Autodesk, DS)

Résultats / Livrables

Le projet GYROVIZ permettra d’obtenir des vidéos localisées en temps réel ainsi que des modélisations 3D de scènes et d’objets.

Ces données et modèles seront intégrables dans les systèmes logiciels actuels soit :

• Au niveau Architecture/Industrie : systèmes de type AUTOCAD, CATIA, SOLIDWORKS
• Au niveau multimédia, post-traitement : systèmes de type 3DSmax, Maya, Motion Builder

Impact et Retombées

• Emplois R&D directs : 10 (chercheurs et environnement
• Emplois R&D et technologiques indirects : quelques dizaines
• Emploi sectoriel : quelques dizaines
• Activité sectorielle : CA d’une dizaine de M€ à moyen terme