Les capteurs intégrés dans les tablettes graphiques et les smartphones fournissent des données qui modifient les pratiques graphiques et renouvellent leur usages. Retour sur une série d’expériences réalisées en Novembre et Décembre 2012 par les étudiants du Master Création et Management Multimédia de l’université Rennes 2.
Contexte
Les nouveaux usages et les fonctionnalités offerts par la démocratisation en masse des tablettes et des smartphones interrogent l’imaginaire du design et du graphisme. Une nouvelle génération de capteurs (accéléromètre, inclinomètre, gyroscope…) font l’objet d’expérimentations sensorielles et ludiques qui reconfigurent les applications graphiques et le traitement des données.
Bertrand Duplat (Créateur des éditions Volumiques avec Étienne Mineur), et Dominique Cunin (artiste et doctorant, sous la direction de Jean Louis Boissier, responsable du programme Mobilizing à l’ENSAD, enseignant à l’école d’art de Valence), avec l’assistance d’Arthur Vimond (ancien étudiant de l’ESRA de Rennes) ont encadré successivement les étudiants du master « Création et management multimédia » de l’université Rennes 2. Ces dispositifs de formation se sont articulés au programme de recherche Esthétique des données (dir. Nicolas Thély, Rennes 2) et ont permis de préparer l’organisation d’un troisième workshop associé à un projet d’exposition (dir. Marion Hohlfeldt, Rennes 2) visant une hypothèse de restitution numérique d’un labyrinthe artistique, une œuvre des années 60 réalisée collectivement par des artistes du Groupe de Recherche en Arts visuels (GRAV) et dont une reconstitution est présentée au Musée de Cholet (voir video sur YouTube).
Hypothèse
À l’aide d’une double initiation et d’un encadrement pédagogique des étudiants en arts ont imaginé comment s’approprier ces nouveaux outils de captation de données pour concevoir de nouveaux usages créatifs. Des prototypes et des maquettes logicielles opèrent et expérimentent de nouvelles conditions techniques du traitement, de la modélisation et de la visualisation de données.
Workshop avec Bertrand Duplat
Le premier cadre méthodologique est celui de l’initiation à la programmation dans l’espace du game design interactif temps réel. Encadrés par Bertrand Duplat, les étudiants se sont familiarisés avec le logiciel (très) propriétaire Coco2D d’Apple. Il s’agit d’apprendre à communiquer avec les capteurs spécifiques intégrés à la tablette tactile (Gyroscope, inclinomètre, accéleromètre) pour en visualiser et traiter les données.
Ces données qui offrent de nouvelles échelles de perceptions (proprioceptives) permettent d’imaginer de nouveaux dispositifs sensoriels graphiques qui se trouvent associés à des calculs d’animations 2D. Selon la nature des propositions de création, les étudiants prennent leur distance vis-à-vis des thématiques du Game design dont ils élargissent les règles du jeu en interrogeant les limites imaginaires de l’interface, du design, du graphisme, des scénarios interactifs…
Les applications sont liées à de nouvelles zones de sensibilité. À l’aide du savoir faire de Bertrand Duplat dans les domaines de l’édition en réalité augmentée, les étudiants expérimentent de nouvelles relations entre les modes de captation et les données qui peuvent en être extraites. Les écrans tactiles et d’autres éléments matériels extérieurs : papier, livres, cartes, objets ou accessoires spécifiques… associés aux capteurs internes des tablettes, viennent compléter l’interaction des données tout en redéfinissant les interfaces et les enjeux de perception.
Parmi les travaux réalisés, on peut citer ce groupe d’étudiants (Simon Chauvel, Terry Vaslon, Mathieu Minier, Sime Gruznov) qui réalise un dispositif ludique et assure avec ce projet selon Bertrand Duplat, une incursion réussie dans les domaines du jeu de réflexion et de stratégie :
– Mirror/Rorrim définit en incluant un certain nombre d’obstacles de terrain et de trous, les contraintes comportementales de 2 joueurs en les fondant sur des jeux de symétries spéculaires à l’intérieur d’un labyrinthe. Avancer une pièce signifie bouger celle de son adversaire de manière inverse, l’objectif étant de parvenir sur la zone adverse en déjouant les différents obstacles.
– Mains baladeuses est un projet aux objectifs différents (Alice Rouat, Adrien Le Menthéour, Antoine Denis) une tentative visant à épuiser le sens du jeu vidéo. Le scénario est parfaitement cocasse : dans un parc, un individu se réveille sur un banc après une soirée arrosée… Il a une minute pour retrouver les chaussures qu’il a soi-disant perdu la veille alors qu’il était parfaitement imbibé…le but du joueur sera d’enfiler rapidement deux vraies chaussettes ajustées pour son index et son majeur, afin d’arpenter au plus vite ce terrain très spécial…Dans nos baskets c’est sûr qu’après, ça ira mieux !
– Citons également le projet Poids-plume qui renvoie à la question de la pesée du kilo de plume et du kilo de plomb revisitée par l’inclinomètre de la tablette (Andréa Moreau, Julie-Charlotte Cann, Sharon Eastwood, Inès Lumeau). Il s’agit d’un jeu faisant également appel aux réflexes du joueur pour maintenir une planche en équilibre. Lorsqu’il y a trop d’objets d’un côté, le panier se renverse et le joueur perd une plume…mais comme il a plusieurs vies…
Workshop avec Dominique Cunin
Le deuxième workshop mené sous la direction de Dominique Cunin complète l’initiation des étudiants et élargit les échelles de captation et de visualisation de données à l’espace tridimensionnel en y associant à nouveau les capteurs des tablettes.
Dominique Cunin a développé Mobilizing, un langage de programmation qui simplifie l’écriture de scripts permettant la manipulation des données des capteurs.
« Mobilizing est un langage de programmation dont l’ambition est de permettre à des auteurs non spécialistes du développement informatique de réaliser eux-mêmes des applications sur écrans mobiles. Ainsi, Mobilizing permet de programmer des applications interactives mettant en œuvre images, formes géométriques, textes, sons, séquences d’images animées et vidéos à l’aide d’un langage simple et intuitif. L’ensemble des capteurs disponibles dans les appareils mobiles sont accessibles : accéléromètres, boussole numérique, capteur de proximité, écran tactile, récepteur GPS, etc. La plateforme actuellement supportée est l’iPhone OS. Les applications créées à l’aide de Mobilizing peuvent donc être exécutées sur iPod Touch, iPhone et iPad. »
Extrait de http://dominiquecunin.acronie.org/mobilizing/, consulté le 12 février 2013.
Au-delà de la simple manipulation de logiciels 3D, le workshop encadré par Dominique Cunin permet aux étudiants de distinguer et d’envisager l’expérimentation à partir des capteurs d’une gamme variée de perceptions assistées, incluant des systèmes de représentation 3D pratiqués à différentes échelles et en temps réel par un utilisateur Lambda. Ces expériences visent à déconstruire la notion de réalité « augmentée » en vogue actuellement.
Imaginaires sensoriels et digitaux
En effet, la partie applicative du workshop a consisté à expérimenter puis prototyper une série de créations destinées à répondre au projet de restitution à la galerie Art et Essai de l’université Rennes 2, du premier labyrinthe du GRAV, conservé au Musée de Cholet. C’est la perspective de cette échéance qui a finalement orienté les travaux applicatifs des étudiants. Car si l’idée d’une reconstitution en représentation 3D avec les technologies numériques temps réel semblait l’emporter au départ, quelques échanges décisifs entre les acteurs du projet et les membres de l’équipe Arts:Pratiques et Poétiques ont permis d’imaginer un programme de développement différent.
La restitution intégrale en réalité augmentée a été abandonnée au profit du principe d’une série de recréations qui sont autant de petits manifestes créatifs, des suppléments technologiques de réalités qui visent des expériences de perceptions variées et susceptibles de préserver l’esprit des dispositifs ludiques et interactifs imaginés dès les années 60 par les artistes du GRAV.
Ce dispositif du Labyrinthe, créé en 1963 permet d’expérimenter entre autres cette œuvre de François Morellet : « Répartition aléatoire de 40000 carrés, 50% rouge, 50% bleu, suivant les chiffres pairs et impairs de l’annuaire téléphonique du Maine-et-Loire »
Lors de leur visite au Musée de Cholet, cette pièce a bien été perçue par les étudiants (ajoutons que c’est une forme de perception qui échappe souvent à la prise de vue photographique, ce qui rend d’autant plus indispensable l’expérience in situ…) comme ce qui pouvait offrir au visiteur une expérience ludique et interactive à la fois kinésthésique et synesthésique à l’instar de ces notes d’observations essentielles qu’a pu relever le groupe d’étudiant (Sharon Eastwood, Julie-Charlotte Cann, Inès Lumeau, Andrea Moreau, Marinne Lemonnier) ayant choisi de restituer l’esprit de cette œuvre : « Lorsque le visiteur pénètre dans la pièce, il est immédiatement submergé par cet environnement optique très fort et perd rapidement toute notion de repères. Cette expérience immersive se traduit notamment par une sensation d’étourdissement, d’oppression ou encore d’éblouissement (…) Le visiteur est comme hypnotisé par ce contraste chromatique »
Sans chercher à restituer l’installation elle-même, les étudiants ont imaginé un dispositif logiciel capable de traiter les données graphiques afin de recréer ces conjonctions de sensations, de confusions et de troubles proprioceptifs.
Avec l’aide de Dominique Cunin, les étudiants ont prévu que le spectateur puisse expérimenter deux réalisations qui captent et traitent des données selon deux directions complémentaires :
– Pixel au cube est une projection 3D d’un cube recouvert d’une trame bicolore semblable à celle de François Morellet, présentée également sur un fond identique sensé représenter les murs de la pièce. Le gyroscope intégré de la tablette permet à l’expérimentateur de se surprendre lui-même à exécuter des chorégraphies improbables en cherchant à faire tourner le cube en fonction des mouvements de son propre corps et de ses mains saisissant la tablette. Les interactions projectives animées en temps réel permettent également de zoomer sur ce cube et de pénétrer virtuellement dans son espace projectif. La perspective continue entre ces deux espaces ne manque pas de troubler nos repères psychophysiologiques, d’autant que l’antagonisme des couleurs génère des effets de contrastes consécutifs qui ajoutent à cette forme de confusion optique et sensorielle.
– la deuxième réalisation, le Cuboscope est une version qui écarte les effets optiques associés au gyroscope au profit de données supplémentaires de perception telles qu’on les rencontrent actuellement en muséographie. À la manière des cartels intégrant des codes Q.R. (Quick Response), chacun cherche avec une véhémence teintée de curiosité à pointer avec le capteur caméra de la tablette un objet spécifique, une sorte de Graal cubique bien matériel et dont les facettes comportent des images de marqueurs graphiques qui déclenchent des animations spécifiques précalculées.
D’autres œuvres historiques intégrées dans le labyrinthe ont fait l’objet de recréations logicielles ludiques et interactives : Elles permettent d’observer comment avec l’intégration de ces capteurs, la technologie augmente et accompagne les possibilités de traitements sensoriels des données et rend possible également le développement d’un nouvel imaginaire.
À cet égard on remarquera cette proposition supplémentaire d’Adrien Le Menthéour très attractive pour une recréation inspirée de la pièce du labyrinthe où l’on peut observer et expérimenter les « 4 néons programmés, (1963) » de François Morellet. La réalité augmentée s’obtient par une gymnastique soutenue des bras qui permettent aux flashs de lumière d’advenir avec des crashs sonores très suggestifs qui anticipent un hypothétique lâcher de tablette qu’on imagine bien involontaire…
D’autres projets :
–Disques à manipuler (1963) de Joël Stein a fait l’objet d’une recréation graphique à partir des jeux de transparences, de rotation et de la fonction multitouches qui permet à l’utilisateur de sélectionner et de faire tourner ludiquement avec plusieurs doigts à la fois les disques reproduits graphiquement (Constance Legeay, Azur Lucas, Florie Aubert, Xia Yuanfen).
– les Éléments modulaires à manipuler , 1963 de Francisco Sobrino qui deviennent des êtres graphiques autonomes que l’on peut faire jouer en fonction de l’inclinomètre (Romain Gilet, Nathanne Le Corre, Alice Rouat, Chloé Vernier),
– les trièdres à miroir de Joël Stein, sont une autre recréation spectaculaire (AnneLaure Artaud, Adrien Le Menthéour, Antoine Denis), qui fragmentent en temps réel le reflet de l’environnement dans lequel fait également irruption notre visage à l’aide de la captation caméra et reporte à l’identique l’image spéculaire sur chacune des facettes des trièdres.
Une autre version propose de visualiser une joyeuse et piquante déformation du visage de l’utilisateur au travers des trièdres qui font office de miroirs déformants. Il s’agit en fait de réaliser par calcul le mapping intégral de l’image caméra en dépliant l’objet 3D sur une carte 2D. Au final, le report de l’image s’effectue bien sur chacune des facettes des trièdres, mais provoque la distorsion optique de l’image spéculaire aux limites géométriques de tous les facettes des trièdres qui reconstituent le portrait déformé.
Ces créations incluant l’espace sonore proposent des espaces potentiels ludiques et interactifs qui nuancent cette définition sans doute réductrice de la réalité augmentée dont les applications logicielles très ciblées proposent de superposer les regards en ajoutant de la virtualité à la réalité.
Si le « redoublement géométrique » en calquant la réalité permet d’y substituer ou d’y ajouter du graphisme et des projections, ces applications très spectaculaires et fascinantes nous font souvent oublier que la réalité ne se résume pas à l’image dans le miroir mais aux qualités spécifiques et renouvelées du traitement sensoriel de l’information (ces expériences échappent souvent à la réalité photographique !). Ce sont les spécificités de ces traitements des données qui permettent in fine d’élargir considérablement nos conceptions du réel. En reprenant le caractère manifestement ludique et interactif des formes expérimentales de la perception des artistes du GRAV, nos étudiants créatifs ont suivi une voie déjà ancienne mais qui permet encore d’envisager un nouveau champ d’exploration sensoriel.
Etudiants Master 2 Pro :
Sharon Eastwood, Julie Charlotte Cann, Inès Lumeau, Andrea Moreau, Marinne Lemonnier, Simon Chauvel, Sime Gruznov, Adeline Maillet, Mathieu Minier, Terry Vaslon, Romain Gilet, Nathanne Le Corre, Alice Rouat, Chloé Vernier, Constance Legeay, Azur Lucas, Florie Aubert, Xia Yuanfen, Adrien Le Menthéour, Antoine Denis, AnneLaure Artaud,
Assistant de Dominique Cunin : Arthur Vimond
Assistants photographes : Sandra & Matis
