• Objectif du tutoriel

La réalité augmentée (RA) est un concept relativement récent dont l'objectif est d'augmenter la perception visuelle par des éléments virtuels ajoutés de manière réaliste au monde réel. Cette discipline a peuà peu émergé au sein de domaines réservés jusque-là à la {\em réalité virtuelle}. A la différence de la réalité virtuelle qui immerge l'utilisateur dans un monde complètement virtuel, la réalité augmentée viseà laisser l'utilisateur en prise avec le monde réel en y ajoutant des éléments virtuels nécessaires. Les concepts de réalité virtuelle et de réalité augmentée sont donc deux extrêmes d'un continuum visantà créer des mondes virtuels très réalistes.

Les applications du concept de réalité augmentée sont nombreuses et visentà donnerà l'utilisateur une meilleure compréhension de son environnement. Parmi les applications potentielles les plus courantes, on peut citer la conception de systèmes d'aideà la maintenance, de systèmes d'assistance au geste médical, les applications de type héritage culturel, le commerce électronique ou l'utilisateur pourra, par exemple, visualiser ses achats dans sa propre maison...

Construire un système de réalité augmentée nécessite de résoudre plusieurs problèmes fondamentaux:

• le problème du recalage: les objets virtuels doivent être insérés avec le point de vue adopté par la camera réelle ou l'utilisateur. Il est donc primordial de pouvoir calculerà chaque instant les paramètres de la caméra (paramètres intrinsèques et position de la caméra)
• les interactions lumineuses entre objets virtuels et la scène réelle: il est nécessaire d'avoir un rendu très réaliste de la scène observée pour que l'utilisateur se sente réellement immergé dans cet environnement.

Ce tutoriel a pour objectif de montrer l'état actuel des recherches en réalité augmentée. Trois interventions sont proposées. L'exposé du Professeur Nassir Navab (Technische Universitaet Muenchen) montrera les demandes industrielles dans le domaine et les prototypes actuellement disponibles. L'exposé de Vincent Lepetit (EPFL) montrera les techniques de pointes actuelles qui visentà résoudre les problèmes de recalage. Enfin, l' exposé de Simon Gibson (Université de Manchester) s'intéressera à la manière de produire des images augmentées très réalistes en y intégrant les interactions lumineuses entre objet réel et virtuel.

• Programme

Professeur Simon GIBSON, University of Manchester
Illumination capture and rendering for Augmented Reality
Abstract: Augmenting real-world images with synthetic objects is becoming of increasing importance in both research and commercial applications, and encompasses aspects of fields such as mobile camera and display technology, computer graphics, image processing, computer vision and human perception. This tutorial will provide an overview of techniques that are capable of producing visually realistic augmented images at interactive rates, using commonly available digital cameras and computer graphics hardware. Specific topics covered will include geometric and radiometric camera calibration, image-based reconstruction of scene geometry and illumination, hardware accelerated rendering of synthetic objects and shadows, and image compositing.

Vincent Lepetit, EPFL, Lausanne
Suivi de caméra stable et automatique à partir d'informations acquises en ligne et de connaissances a priori
abstract: Je présenterai un système entièrement automatique de suivi de caméra pour la Réalité Augmentée. Ce système utilise un modèle 3D partiel de la scène, et permet un suivi temps-réel, initialisé automatiquement, de la caméra. Il peut prendre en compte des modèles de scène complexes, et autorise des déplacements de caméra importants, des changements d'aspect et des occultations partielles du modèle. Il utilise des techniques de vision purement passives, et ne nécessite pas de contrôle de l'environnement, comme l'ajoût de marqueurs.
Ce système est rendu possible grâce à deux contributions. Notre première contribution est une méthode de reconnaissance rapide d'objets qui détecte la partie connue de la scène pour retrouver la position de la caméra, ce qui permet d'initialiser l'algorithme de suivi, notre seconde contribution. Le suivi est considéré comme un problème d'ajustement de faisceaux basé modèle, ce qui permet d'éviter les problèmes classiques tels que le glissement (drift) ou le tremblement (jitter) des objets virtuels. Quand le suivi échoue, par exemple en cas d'occultation trop importante, la procédure d'initialisation est invoquée à nouveau. Ce système fonctionne sur une large classe d'objets: des résultats sur des objets rigides, des scènes d'intérieur et également des visages seront présentés.
Je présenterai également une approche similaire appliquée à un modèle articulé, permettant le suivi de corps humains et l'insertion des objets virtuels sur le corps suivi.

Professor Nassir Navab, Technische Universitaet Muenchen
Industrial Augmented Reality: State of Art & Remaining Challenges
Abstract: : First applications of industrial Augmented Reality (AR) were proposed, designed and developed in the early nineties. As the high expectations for rapid progress and easy adoption of virtual reality (VR) solutions within industrial environment began to fade, AR could be seen as a possible remedy. Advances in wireless communication, global positioning, ubiquitous and wearable computing, as well as optical and video see-through display technologies, supported the idea of augmenting the industrial users rather than forcing them to immerse into an unfamiliar virtual environment. The main hope was to reduce the costs for (a) building comprehensive virtual models of the world, (b) developing new user interaction paradigms, and (c) training the industrial users to work in a totally new environment. At the turn of the new millennium, the German funded ARVIKA project gave a considerable boost to Industrial AR by gathering major industrial partners and creating multi-disciplinary working groups. Progresses have been made during the last decade and many industrial augmented reality demonstration systems have been built. In this talk, we first update the attendees with the state of art in industrial augmented reality. We will then discuss the challenges that need to be faced in order for Augmented Reality to provide appropriate solutions, which will be accepted and adopted within industrial environment. The talk will go into details of a few major applications developed during the last five years, and uses them in order to define the issues and propose alternative solutions.

• Ontologies, enjeux et principes de constitution

La notion d’ontologie est devenue un élément clé dans toute une gamme d’applications faisant appel à des connaissances. Une ontologie est définie comme la conceptualisation des objets reconnus comme existant dans un domaine, de leurs propriétés et des relations les reliant. Leur structure permet de représenter les connaissances d’un domaine sous un format informatique en vue de les rendre utilisables pour différentes applications. Cette réutilisation, en pratique difficile, est limitée mais possible à condition que les principes de constitution de l’ontologie soient fondés et parfaitement clairs. Des exemples seront proposés, entre autres, dans le domaine médical, en particulier en relation avec les thésaurus médicaux.

• Constitution d’ontologies à partir de textes

La constitution d’ontologies à partir de corpus textuels présente de réels intérêts, surtout lorsque ces ontologies sont utilisées au sein d’applications de gestion documentaire ou de recherche d’information :

• rendre compte au plus juste de la connaissance telle qu’elle est explicitée dans des documents consensuels et partagés,
• utiliser des termes réellement utilisés  par une communauté d’utilisateurs dans un domaine d’activité,
• maintenir le lien entre l’ontologie et les éléments textuels qui justifient la modélisation choisie.

Cette partie du cours comportera un volet linguistique et traitement automatique des langues (comment repérer la connaissance dans les corpus) et un volet méthodologique (comment modéliser et formaliser cette connaissance, avec quels outils travailler), en prenant appui sur plusieurs expériences de constitution d’ontologies. Une réflexion soulignera en quoi ce type d’approche renouvelle le regard de l’IA sur la modélisation et la formalisation.

• Méta-données, Ontologies et Web sémantique

Sous l’expression Web sémantique, se regroupe un ensemble de programmes de recherche et de travaux très diversifiés. Leur objectif commun est de permettre aux machines de mieux exploiter automatiquement les contenus des ressources Web afin de décharger leurs utilisateurs d’une partie de leurs tâches et de leur proposer une aide afin d’atteindre un niveau de services qualitativement nouveau. Ces ressources vont être ainsi munies de descriptions sémantiques, simples méta-données documentaires, schémas d’annotations plus riches jusqu’à des cartes complexes. Dans ce contexte du Web sémantique, les ontologies doivent trouver une place centrale puisqu’elles vont fournir le vocabulaire et les structures sémantiques, formelles ou non. Dans cette dernière partie du tutoriel, nous montrerons différents rôles que les ontologies et les méta-données / annotations peuvent prendre en les illustrant par des exemples. Nous situerons aussi les différents langages utilisables : langages de représentation comme RDF et les différents niveaux d’OWL, mécanismes inférentiels, langages de requêtes et différents outils associés. Nous soulignerons ainsi les opportunités, pour l’IA, offertes par le développement du Web sémantique.