Rendu r\'ealiste en temps r\'eel pour un simulateur m\'edical

                       Fabrice Neyret
                  Marie-Paule Cani-Gascuel


Le stage propos\'e entre dans le cadre de la r\'ealisation d'un
simulateur d'op\'erations chirurgicales par laparoscopie 
(chirurgie non-invasive du foie, pour lequelle deux instruments
ainsi qu'une fibre optique portant une micro-cam\'era sont introduits 
par de petits orifices pratiqu\'es dans le ventre du patient).
Le simulateur en r\'ealit\'e virtuelle a pour but de permettre aux 
chirurgiens de s'entrainer \`a la technique laparoscopique en g\'en\'eral,
ou de pr\'eparer une op\'eration en particulier.

Une plateforme de simulation assurant l'interface graphique et la 
gestion des manettes \`a retour d'efforts existe d\'ej\`a.
Nous disposons d'un maillage du foie, et travaillons actuellement 
\`a l'am\'elioration de la simulation des d\'eformations de l'organe 
sous l'action des instruments.

L'objectif du stage est de traiter les aspects rendu r\'ealiste du 
simulateur\,:

en effet, le simulateur actuel n'affiche que des objets anim\'es `nus',
alors que les aspects de surface sont essentiels non seulement pour 
la qualit\'e `immersive' de la r\'ealit\'e virtuelle, mais aussi pour 
faciliter la perception du relief (notamment par les textures et les 
reflets), et visualiser la r\'eaction des organes aux actions du chirurgien
(br\^ulure, contusion, pression).

Le stage comporte des aspects de d\'eveloppement (lesquels font 
n\'eanmoins appel \`a un minimum de cr\'eativit\'e), et des aspects 
de recherche\,:

 - la simulation de l'aspect visuel de la surface du foie
   passe par la manipulation de textures \'evolutives\,:
    - le foie a tout d'abord une texture r\'eguli\`ere \`a sa surface,
      laquelle peut se repr\'esenter par un motif r\'ep\'etitif
      de petite taille et de bonne r\'esolution\,;
    - les \'evolutions de l'aspect de surface (br\^ulure, contusion ou
      p\^aliement) reviennent \`a dessiner interactivement dans une 
      texture transparente superpos\'ee, de faible r\'esolution mais 
      dont le motif couvre toute la surface.
      Il faut alors \^etre capable de\,:
       - mettre en place un tel syst\`eme de stockage, affichage et
         tra\c{c}age interactif de texture (sachant qu'une plateforme 
         interactive 3D existe d\'ej\`a)\,;
       - traiter l'aspect \'evolutif de la surface (diffusion d'une
         tache rouge issue d'une contusion et mod\'elisant le
         saignement, propagation d'une zone comprim\'ee qui p\^alit 
         ou bleuit, jaunissement puis noircissement de la zone br\^ul\'ee 
         par le bistouri \'electrique) au moyen de mod\`eles simples 
         mais visuellement satisfaisants\,;

 -  les \'el\'ements enrichissant l'image en `indices perceptifs de relief'
    sont essentiellement les textures, d\'ej\`a cit\'ees, et les reflets 
    sp\'eculaires (taches blanches correspondant aux reflets de la source 
    de lumi\`ere sur les organes, lisses et humides dans cette r\'egion).
    Les mod\`eles employ\'es en synth\`ese d'image pour les effets
    sp\'eciaux utilisent une fonction de r\'eflectance (formule de Phong)
    qu'il faut \'evaluer en tout point de l'image, ce qui est
    trop lent dans un contexte de r\'ealit\'e virtuelle o\`u l'on
    doit calculer une image en moins d'un vingti\`eme de seconde
    (avec l'aide du hardware graphique sp\'ecialis\'e, heureusement).
    Par contre, une \'etude m\^eme superficielle du `ph\'enom\`ene'
    des reflets nous montre que l'on peut avoir une bonne 
    connaissance a~priori du r\'esultat visuel, que l'on peut exploiter
    pour tracer directement les reflets l\`a o\`u il y en a\,:
     - les reflets se concentrent aux endroits de l'image o\`u la normale 
       \`a la surface est la bissectrice entre la direction de la cam\'era 
       et la direction de la lumi\`ere, c'est \`a dire que la tr\`es 
       grande majorit\'e des pixels de l'\'ecran ne contiennent pas de
       reflet (calculer en chaque pixel une formule lourde est donc un
       gaspillage certain)\,;
     - dans le cas particulier de la laparoscopie, la fibre optique
       contient \`a la fois la cam\'era et la source lumineuse que l'on
       peut donc consid\'erer comme confondus.
       Le probl\`eme revient donc \`a d\'etecter les lieux o\`u la normale
       va vers la cam\'era\,;
     - la taille et les proportions de la tache sp\'eculaire 
       d\'ependent entre autres de la courbure locale de la surface\,:
       sur une sph\`ere, c'est une ellipse, mais cela devient plus
       compliqu\'e pour des surfaces comprenant des parties concaves.


La programmation effective se fera en C++ et OpenGL sur station 
Silicon Graphics\,; notre \'equipe dispose notamment d'une Onyx avec 
carte graphique Reality Engine.
A noter que l'une des approches possibles consiste \`a tirer partie
des fonctionnalit\'es avanc\'ees de cette machine (textures 3D et 4D, 
rendu multi-passe, etc).