OFFICE KIRKPATRICK SA
Contents
1. OFFICE KIRKPATRICK Avenue Wolfers 32 B 1310 LA HULPE BRUSSELS BELGIUM S 32 2 652 16 00 amp 32 2 652 19 00 PECIAL POWER OF ATTORNE The undersigned SRI International 333 Ravenswood Avenue Menlo Park Californ a 94025 3493 US hereby constitute s and appoints s Messrs FRENNET Professional representatives in accordance with Section 60 of the Belgian Patent Law all having their professional address at Guy PLUCKER and Pierre Paul OFFICE KIRKPATRICK S A Avenue Wolfers 32 B 1310 La Hulpe Brussels to represent me us in all proceedings relating to the validation in Belgium of EP 0758469 In execution of this Power the said representatives are hereby authorised to sign and file all documents to pay and withdraw alf taxes including the maintenance taxes and do generally all that may be necessary or useful to complete the proceedings referred to above Signed at ON C POUVOIR SPECIA La soussign e const tue nt pour mandataires Guy PLUCKER et Pierre Paul FRENNET mandataires agr s conform ment l article 60 de la loi belge sur les brevets et ayant tous leur adresse professionnelle OFFICE KIRKPATRICK S A Avenue Wolfers 32 d l effet de nous repr senter dans toutes proc dures relatives bervet belge issu du brevet europ en 0758469 accord le 27 juin 2007 n cons quence lesdits mandataires sont autoris s s gner et d poser toutes p2. ces verser et retirer toutes taxes y compris les taxes de maintien en vigueur et faire en g n ral tout ce qui sera n cessaire et utile la bonne ex cution des proc dures pr cit es 11 Num ro de publication europ en 0758469 12 TRADUCTION DU BREVET EUROPEEN B1 21 Num ro de d p t de la demande de brevet europ en 95919030 7 22 Date de d p t de la demande de brevet europ en 03 mai 1995 45 Num ro et date du Bulletin Europ en o la mention de la d livrance a t publi e 07 26 du 27 juin 2007 73 Titulaire du brevet SRI International 51 Int CI GO6T1 00 74 Mandataire OFFICE KIRKPATRICK Avenue Woifers 32 B 1310 LA HULPE 10 15 20 ARRIERE PLAN DE L INVENTION La presente invention concerne la t l manipulation par t l pr sence et plus particuli rement des applications de t l manipulation de chirurgie laparoscopique Un syst me de t l manipulation permet un op rateur de manipuler des objets plac s dans un espace de travail partir d un poste d op rateur de commande distant Par exemple dans une proc dure de chirurgie abdominale laparoscopique on insuffle du gaz dans l abdomen du patient et on passe des canules par de petites incisions pour fournir des orifices d entr e pour des instruments chirurgicaux laparoscopiques Des instruments chirurgicaux laparoscopiques comprennent un moyen de capture d image pour visualiser le champ chirurgical et
3. OFFICE KIRKPATRICK sa PATENT amp TRADEMARK ATTORNEYS Avenue Wolfers 32 BE 1310 La Hulpe Brussels BELGIUM TEL 32 2 652 16 00 FAX 32 2 652 19 00 iP kirkpatrick eu www kirkpatrick eu ry 69576 426 603 921 RPM Nivelles 0426 603 921 Bank details ING Bank Account n 310 0115119 66 IBAN 07 3100 1151 1966 SWIFT BIC BBRUBEBB100 FORTIS Bank Account n 210 0717846 01 IBAN BE43 2100 7178 4601 SWIFT BIC GEBABEBB ISO 9001 General terms see reverse lt gt KIRKPATRICK INTELLECTUAL PROPERTY 4534U63 T SERVICE PUBLIC FEDERAL ECONOMIE PME CLASSES MOYENNES ET ENERGIE OFFICE DE LA PROPRIETE INTELLECTUELLE BOULEVARD ROI ALBERT Il 16 1000 BRUXELLES YOUR REF OUR REF DATE PATS 2005BEEP 06 septembre 2007 Messieurs Re Brevet europ en no 0758469 95919030 7 Au nom de SRI International Date de d p t de la demande 03 mai 1995 La mention de la d livrance de ce brevet europ en a t publi e au Bulletin Europ en des Brevets du 27 juin 2007 Afin d assurer la protection en Belgique et conform ment l article 65 de la Convention de Munich je vous remets une traduction du fascicule du brevet europ en Type de pouvoir Pouvoir Sp cial Je vous remercie de bien vouloir me confirmer la publication de cette traduction et vous prie d agr er Messieurs l expression de mes sentiments distingu s OFFICE KIRKPATRICK
4. central 50 Pour r orienter l image affich e par rotation des moyens de capture d image l axe central 57 est inclin par rapport un plan de r f rence 59 passant par le point central 50 lequel plan comprend un axe de r f rence 59 comme repr sent sur la figure 5B existe une limitation quant la quantit de rotation visuellement acceptable du moyen st r oscopique de capture d image 19 35 et l l vation des moyens de 10 15 20 25 30 12 capture d image 19 35 par rapport au plan des manipulateurs 32 34 L l vation ne peut pas tre grande au point de rendre impossible la modification de l angle de vue relatif de chacun des deux manipulateurs l un par rapport l autre Evidemment si l angle est gal une l vation de 90 l axe d observation 54 se trouvant dans le plan de r f rence form par les lignes 52 et 53 aucune modification utile de l angle de vue relatif ne sera r alis e en faisant tourner l image A d autres angles d l vation la limitation d pend de l angle de s paration des manipulateurs 32 34 et secondairement de la s paration des objectifs st r oscopiques 28 36 En plus d effectuer une r orientation statique des positions des manipulateurs par rotation de l objectif de cam ra 28 le syst me peut effectuer un r alignement dynamique en ex cutant une transformation de coordonn es gr ce au moyen de translation 25 La position r elle des pointes des manipulateurs da
5. et des moyens sont fournis pour transformer l image en temps r el visualisable en une image en perspective avec manipulation corr l e de l organe effecteur par les moyens de commande manuelle de sorte que l op rateur puisse manipuler l organe effecteur et le manipulateur comme s il visualisait l espace de travail sensiblement en vraie pr sence Vraie pr sence signifie que la pr sentation d une image est une vraie image en perspective simulant le point de visualisation d un op rateur La transformation d image selon l invention comprend la rotation la translation et la correction de perspective Les modes de r alisation pr f r s de l invention seront mieux compris en r f rence la description d taill e suivante en connexion avec les dessins d accompagnement BREVE DESCRIPTION DES DESSINS La figure 1A est une vue de c t d un poste d op rateur distant et d un poste de site de travail dans un syst me de t l manipulation selon la pr sente invention La figure 1B est une vue en perspective d un poste d op rateur distant et d un poste de site de travail adapt l observation st r oscopique dans un syst me de t l manipulation selon la pr sente invention La figure 2 est une vue en perspective sch matique d un mode de r alisation sp cifique de l invention dans lequel le moyen de capture d image est centr et perpendiculaire par rapport au point de visualisation d un op rateur utilisant les manipulateurs L
6. sent l op rateur de commande 14 o les commandes manuelles 24 26 sont au dessus d un point de visualisation de l op rateur de commande 6 Syst me selon la revendication 4 dans lequel le dispositif de capture d image 19 comprend une cam ra monoscopique 19 dans lequel la rotation du moyen de capture d image se fait autour d un axe visuel de ladite cam ra monoscopique travers le centre d un objectif 28 de ladite cam ra monoscopique 7 Syst me selon la revendication 4 dans lequel le dispositif de capture d image 19 comprend une cam ra st r oscopique double ouverture avec un axe perpendiculaire partageant en deux une ligne entre chaque ouverture de ladite cam ra st r oscopique dans lequel la rotation du dispositif de capture d image se fait autour d un axe visuel de ladite cam ra st r oscopique travers le centre dudit axe normal 8 Syst me selon la revendication 4 dans lequel ledit moyen de traitement d image 23 comprend en outre un moyen pour convertir une position r elle de l organe effecteur terminal dans la zone de travail en une position per ue de l organe terminal de pr hension dans l image trait e de sorte que le mouvement de l organe effecteur terminal 39 41 semble connect de mani re rigide la commande manuelle 24 26 9 Systeme selon la revendication 8 dans lequel la conversion de ladite position r elle la ladite position percue se fait selon le rappo
7. chacun des manipulateurs et des 10 15 20 25 30 8 contr leurs manuels La corr lation entre les moyens de commande manuelle 24 26 et les manipulateurs 32 34 combin e avec l image captur e par l objectif de cam ra 28 fournit un feedback suffisant pour donner l impression l op rateur de commande d une commande en temps r el de l objet dans l espace de travail une am lioration suppl mentaire est possible avec un feedback tactile Le manipulateur gauche 32 et le manipulateur droit 34 dans cet exemple sont tous deux lev s 30 par rapport un plan d orientation arbitraire comprenant un axe de ligne m diane 52 de l espace de travail 30 pour simuler un positionnement typique d un objet dans l espace de travail local r el 30 En fonctionnement l objectif de cam ra 28 est la position lat rale de 0 par rapport l axe de ligne m diane 52 de sorte que l objectif de cam ra 28 est entre le manipulateur gauche 32 et le manipulateur droit 34 La face de l objectif de cam ra 28 est lev e par exemple un angle de 45 par rapport au plan contenant l axe de ligne m diane 52 et la ligne de base 53 Cette position et cette orientation de cam ra sont une approximation proche de la position r elle de l il par rapport aux manipulateurs 32 et 34 et repr sentent une position de r f rence ou de base L image captur e par l objectif de cam ra 28 se pr sente comme si l op rateur regardait le point central 50
8. en se tenant debout au dessus des manipulateurs 32 et 34 avec une vue angulaire de 45 dans l espace de travail Le manipulateur gauche 32 et le manipulateur droit 34 apparaissent tous deux en bas de l image affich e c t proximal par rapport aux commandes manuelles de l op rateur donnant une forte impression de t l pr sence ce qui signifie que l op rateur l impression d une commande directe des manipulateurs 32 et 34 permettant une commande avec dext rit et rapidit notamment quand il existe un feedback tactile des manipulateurs 32 34 aux moyens de commande manuelle 24 26 Dans une application de t l manipulation dans laquelle le positionnement d l ments est difficile en raison d obstructions il est souvent n cessaire de d placer l objectif de cam ra 28 diff rentes positions pour obtenir une vue diff rente de l objet au point central 50 R f rant la figure 3 celle ci repr sente une vue en perspective sch matique des l ments dans l espace de travail 30 du poste de site de travail 16 d un syst me de t l manipulation monoscopique dans lequel la position de l objectif de cam ra 28 est tourn e d un angle 0 58 lat ralement dans le plan horizontal par rapport l axe de ligne m diane 52 Apr s rotation de l objectif de 10 15 20 25 30 9 cam ra 28 le manipulateur gauche 32 et le manipulateur droit 34 sont encore inclin s vers le bas un angle de 30 par rapport au plan contenant l
9. ex cuter des transformations selon les rapports suivants a arctan x m y n L x m2 y n 2 x M x Ax y M y Ay L sina m y L cosa 10 15 20 25 30 o les coordonn es m n d crivent une position d un point pivot du manipulateur avant que ledit d calage lat ral et ledit changement d chelle ne se produisent les coordonn es d crivent une position dudit point pivot apr s que ledit d calage lat ral et ledit changement d chelle se sont produits les coordonn es x y d crivent une position de l organe effecteur terminal avant que ledit d calage lat ral et ledit changement d chelle ne se produisent les coordonn es x d crivent une position de l organe effecteur terminal apr s que ledit d calage lat ral et ledit changement d chelle se sont produits les coordonn es Ax Ay d crivent le changement de position de l organe effecteur terminal provoqu par ledit d calage lat ral le facteur M d crit le facteur d agrandissement dudit changement l angle a est la rotation du manipulateur autour d un axe vertical avant que ledit d calage lat ral et ledit changement d chelle ne se produisent l angle est la rotation du manipulateur autour d un axe vertical apr s que ledit d calage lat ral et ledit changement d chelle se produisent la longueur L est une distance entre ledit point pivot et l organe effecteur termina
10. exemple un polariseur commutation lectronique 37 sur l cran et vue par des objectifs st r oscopiques polarisation crois e 40 offrant ainsi une image naturelle l op rateur distant 14 de sorte que l op rateur recoit un feedback visuel correct quand il atteint et regarde directement l espace de travail r el 30 et manipule directement l objet qui s y trouve Les d tails du syst me sont expliqu s ci apr s La figure 2 est une vue en perspective sch matique des l ments du poste de site de travail 16 dans l espace de travail 30 du syst me de t l manipulation repr sentant les fonctions de la figure 1 qui sont dans une boucle de commande L op rateur syst me est un poste distant pour manipuler des objets plac s un point central 50 dans l espace de travail 30 Dans le Syst me monoscopique le moyen de d tection 21 avec objectif de cam ra 28 et moyen de capture d image 19 capture une image en temps r el de l objet L op rateur 14 utilise des moyens de double commande manuelle 24 26 pour commander le manipulateur gauche 32 et le manipulateur droit 34 respectivement qui permettent la manipulation distance de l objet dans l espace de travail 30 Pour les moyens de commande manuelle 24 26 et les manipulateurs 32 34 il existe dans cet exemple un point pivot fixe autour duquel un mouvement angulaire bidirectionnel peut tre effectu conjointement avec une Capacit d extension de type t lescopique pour
11. triques bien connus entre les vecteurs et leurs buts finaux Ainsi P sine 0 59 0 5109 cose sine 0 q sine cose 0 0 1 0 sin cose 0 ib r 0 0 1 sin9 0 cos 0 0 11 jc Equation 1 En connexion avec la transformation associ e l quation ci dessus l image est tourn e d un angle 0 choisi par l op rateur pour amener la position virtuelle des manipulateurs en concordance substantielle avec les commandes manuelles On constate que l angle 8 Cette transformation d crit le rapport entre la position du point repr sent par le moyen d organe effecteur a b c pour n importe quel 10 15 20 25 30 11 moyen d organe effecteur et le point p q r de la pointe correspondante du manipulateur dans l espace de travail virtuel sur l image affich e sur l cran vid o 20 Un autre proc d pour r aliser une r orientation statique de positions de manipulateur consiste faire tourner le moyen de capture d image autour de son axe visuel R f rant de nouveau au syst me monoscopique repr sent sur la figure 1A et la figure 3 on fait tourner l objectif de cam ra 28 autour de son axe visuel propre 54 un axe normal au plan de l objectif de cam ra 28 au point le manipulateur gauche 32 et le manipulateur droit 34 apparaissent en bas de l image affich e moiti inf rieure de l cran projet Notez encore une fois que si des moyens de commande man
12. 02 INLIFIASH 33 16 11 1995 33 EP95919030 7 PCTUS 95 056 PAMPHLET vv Vr gt gt 4 2 2 Pri ted 24 08 2001 gl Id 505532002 JIMI YOLVYEITVI 11 7 i 1 YISVWI NOUV2OHNOV 01934409 3112325438 62 52 YINYOSSN VEL 319 08002 01495 INIMOTTOS 7 0 4 804 SO 6b 5 c b 24 35 042524 AMP pe Printed 24 08 2001 4 37 WO 95 30964 PAMPHLET EP95919030 7 PCTUS 95 056 1595 05669 16 11 1900 Printed 24 08 2001 mJ 39 T we yarsuy64 PAMPHLET 4 7 EP95919030 7 PCTUS 95 05 FUA1 UD573 U200 42 44 d AAP Printed 24 08 2001 PAMPHLET EP95919030 7 PCTUS 95 056 TV 74H SU amp WBF VDS of VOIS 4 5 7 62 20 FIG 6A 41 16 11 1995 24 08 2001 gie y3 2u 64 PAMPHLET 95919030 7 PCTUS 95 56 FV b n FIG 7B Print d 24 08 2001 PAMPHLET EP95919030 7 PCTUS 95 056 we yoassuyvo4d A NOME ease Gus 6 5 2 16 11 1005
13. 1 dans la zone de travail en une position per ue de l organe effecteur terminal dans l image trait e l image trait e tant prise partir d une position un angle 0 sur un plan de r f rence et plac e au dessus du plan de r f rence dans un espace de r f rence et dans lequel les yeux de l op rateur de commande 14 sont plac s un angle de 0 par rapport une ligne de base sur le plan de r f rence les yeux tant au dessus du plan de r f rence dans l espace de r f rence l image trait e tant tourn e pixel par pixel d un angle 0 qui est approximativement gal 0 23 Proc d selon la revendication 22 dans lequel les coordonn es de ladite position per ue de l organe effecteur terminal 39 41 sont dynamiquement associ es des coordonn es de ladite position r elle de l organe terminal de pr hension par le rapport suivant cos0 sin6 0 cos 0 491 cosO sin 0 0 0 0 1 0 20 cos 0 1 sinb 0 cos dans lequel sont les coordonn es de ladite position percue a b c sont les coordonn es de ladite position r elle l angle 0 est la rotation du moyen de capture d image dans un plan horizontal autour d un axe vertical l angle 0 tant sensiblement gal 0 et 15 20 25 9 l angle est l angle d inclinaison en dessous dudit axe vertical autour d un axe normal une surface du moyen de capture d image 24 Proc d selon l une quelc
14. 16 par un op rateur de commande 14 partir d un poste de commande 12 le proc d comprenant l utilisation d une commande manuelle 24 26 au poste d op rateur de commande 12 pour contr ler distance un manipulateur 32 34 avec un organe effecteur terminal 39 41 au site de travail la prise d une image en temps r el de la zone de travail r elle 30 en utilisant un dispositif de capture d image 19 une position relative par rapport l organe effecteur terminal 38 41 qui soit diff rente d une position relative des yeux de l op rateur de commande 14 et de la commande manuelle 24 26 le traitement de l image en temps r el pour la convertir en une image trait e pour affichage l op rateur de commande 14 l image trait e est sensiblement la m me qu une image prise par un dispositif de capture d image plac un angle et 10 20 25 30 8 une position par rapport l organe effecteur terminal 39 41 qui soient sensiblement quivalents un angle et une position relatifs des yeux de l op rateur de commande 14 et du pupitre et l affichage de l image trait e l op rateur de commande 14 une position plac e sensiblement une position laquelle l op rateur verrait la commande manuelle cr ant ainsi une zone de travail virtuelle 22 22 Proc d selon la revendication 21 comprenant la conversion d une position r elle de l organe effecteur terminal 39 4
15. 3 via le chemin 157 Le processeur d image 23 comprend un moyen de rotation et de translation 25 un moyen de correction de perspective 29 et un moyen de calibrage 27 Le rotateur sert tourner l image et le translateur sert d caler l image tourn e Le correcteur de perspective 29 sert principalement agrandir l image et peut comprendre une correction de l inclinaison Le calibreur 27 peut avoir diverses fonctions selon le type d image entr e Il est utilis notamment pour calibrer l image selon un syst me 10 15 20 25 30 6 de coordonn es de r f rence connu pour permettre un op rateur de coordonner les mouvements des commandes manuelles et des manipulateurs Apr s que l image a subi une transformation par un ou plusieurs de ces blocs de fonction les donn es de pixel sont transmises sur le chemin 15 un dispositif de formation d image 31 qui commande un cran vid o 20 qui dans ce mode de r alisation est un dispositif monoscopique et les donn es sur limage sont transmises au transformateur de coordonn es 43 de mani re que n importe quelles donn es d image trait es affectant potentiellement la commande des manipulateurs agrandissement rotation translation par exemple soient rendues disponibles pour la commande des manipulateurs Les d tails des processus qui peuvent tre affect s sont donn s ci dessous notamment en ce qui concerne le calibrage Le transformateur de coordonn es 43 est le pro
16. a figure 3 est une vue en perspective sch matique d un mode de r alisation sp cifique de l invention dans lequel le moyen de capture d image est d plac 10 15 20 25 30 4 lat ralement par rapport au point de visualisation d un op rateur utilisant les manipulateurs La figure 4 est une vue en perspective sch matique d un mode de r alisation sp cifique de l invention dans lequel le moyen de capture d image est une position inf rieure par rapport au point de visualisation d un op rateur utilisant les manipulateurs La figure 5A est une vue frontale en l vation des objectifs d un moyen de capture d image st r oscopique dans lequel les objectifs sont dans une position perpendiculaire par rapport au point de visualisation d un op rateur utilisant les manipulateurs La figure 5B est une vue frontale en l vation des objectifs d un moyen de capture d image st r oscopique dans lequel les objectifs sont tourn s par rapport au point de visualisation d un op rateur utilisant les manipulateurs La figure 6A est une vue en projection horizontale sup rieure d une image d un manipulateur distant dans un syst me de t l manipulation qui repr sente un l ment quatre points de coordonn es st r ographiques superpos s avant calibrage La figure 6B est une vue en projection horizontale sup rieure d une image d un manipulateur distant dans un syst me de t l manipulation qui repr sente un l ment qua
17. ace pour man uvrer De ce fait on peut consid rer les mouvements automatiques du manipulateur m me petits moins souhaitables que des mouvements contr l s d op rateur Un autre proc d pour donner une impression de t l pr sence dans un syst me de t l manipulation implique l utilisation d une transformation de coordonn es sp cifique pour compenser d autres changements dans l image affich e comme un d calage lat ral ou un changement d chelle La cam ra peut subir un d placement lat ral ou angulaire qui modifie l image affich e De plus la cam ra peut agrandir l objet dans l espace de travail ce qui provoque un changement d chelle et un d placement du point pivot apparent du manipulateur Les figures 7A et 7B montrent l effet combin d un d calage lat ral de l image et dun changement d chelle provoqu par l agrandissement de l image La figure 7A repr sente une partie de l image affich e comprenant un manipulateur 32 dans un champ bidimensionnel Le centre de l image est aux coordonn es 0 0 L op rateur a la meilleure impression possible de t l pr sence si la pointe du manipulateur 72 aux coordonn es u v dans le champ d image semble se d placer comme s il tait fix de 10 15 20 25 30 17 mani re rigide au dispositif de commande dans la main de l op rateur On fait pivoter le dispositif de commande au point m n sur la figure Le manipulateur se trouve un angle 74 par ra
18. axe de ligne m diane 52 et la ligne de base 53 et l objectif de cam ra 28 est encore plac un angle au dessus du plan form par l axe de ligne m diane 52 et la ligne de base 53 Pour donner une impression de t l pr sence au niveau de l op rateur similaire au cas dans lequel l objectif de cam ra 28 est plac directement sur des manipulateurs 32 et 34 comme sur la figure 2 selon l invention l image captur e projet e par l objectif de cam ra 28 est tourn e autour de l axe visuel 54 travers le centre de l objectif de cam ra 28 Cela compense la rotation de l axe vertical U pour effectuer une r orientation statique des positions virtuelles des manipulateurs Il devrait tre compris que l objectif de cam ra 28 et le moyen de capture d image 19 jouissent d une plage compl te de rotation de l axe vertical U et que les angles par rapport aux plans de r f rence et similaires des manipulateurs et de la cam ra sont dict s par les contraintes de l environnement d exploitation De plus l objectif de cam ra 28 peut tre plac des angles diff rents par rapport au plan form par l axe de ligne m diane 52 et la ligne de base 53 Par exemple la figure 4 repr sente l objectif de cam ra 28 plac une l vation de 15 au dessus du plan de r f rence arbitraire form par l axe de ligne m diane 52 et la ligne de base 53 Dans cet alignement l objectif de cam ra 28 est en dessous des manipulateurs 32 34 51 l ima
19. cesseur principal d informations de position Des informations de position de cam ra des informations de position de manipulateur et des informations de position des commandes manuelles y sont recues et trait es En particulier les positions des commandes manuelles 24 26 sont d tect es par des d tecteurs de position 51 51 et transmises via le chemin 47 au transformateur de coordonn es 43 Apr s transformation et traitement dans le transformateur de coordonn es 43 les informations de commande sont appliqu es la servocommande de suivi de position 45 qui pilote et contr le les manipulateurs 32 34 avec des organes effecteurs 39 41 Le fonctionnement de chacun de ces blocs sera d crit plus en d tail En fonctionnement l objectif de cam ra 28 capture l image de l objet dans l espace de travail r el 30 dans une orientation sp cifique sur le moyen de capture d image 19 L cran vid o 20 affiche cette image de sorte que l op rateur 14 puisse visualiser l objet tandis qu il est manipul L op rateur 14 peut alors saisir les moyens de commande manuelle 24 26 plac s dans l espace de travail virtuel 22 pour effectuer les manipulations d sir es Les moyens de commande manuelle 24 26 au poste distant 12 sous l instruction de la servocommande de suivi de position 45 commandent les manipulateurs 32 34 au poste de site de travail 16 qui manipulent r ellement l objet dans l espace de travail 30 L espace de travail r el 30 est ainsi e
20. comprenant un manipulateur 32 34 au site de travail avec un organe effecteur terminal 39 41 pour la manipulation d un objet dans la zone de travail r elle un pupitre comprenant une commande manuelle 24 26 au poste d op rateur de commande 12 pour la t l commande par l op rateur de commande 14 du manipulateur un dispositif de capture d image 19 pour prendre une image en temps r el de la zone de travail r elle 30 et un g n rateur d image 31 pour produire un affichage sur un moniteur pour les yeux de l op rateur de commande ledit pupitre comprenant en outre un moyen 23 coupl audit dispositif de capture d image 19 pour traiter l image en temps r el en une image trait e pour affichage l op rateur de commande dans lequel ledit dispositif de capture d image est un angle et une position par rapport l organe effecteur terminal 39 41 qui diff rent d une position relative des yeux de l op rateur de commande 14 et de la commande manuelle 24 26 ledit moyen de traitement d image 23 et ledit g n rateur d image coop rant pour produire l image trait e dudit organe effecteur terminal caract ris en ce que l affichage est plac de sorte que l image trait e est plac e sensiblement une position laquelle l op rateur verrait la commande manuelle cr ant ainsi une zone de travail virtuelle 22 et en ce que l image trait e est sensiblement la m me qu une image prise par un dispositif de captu
21. culer la transformation de coordonn es appropri e pour l observation st r oscopique Pour assurer que les mouvements des manipulateurs 32 24 dans l espace de travail 30 suivent correctement les mouvements des commandes manuelles 24 26 dans l espace de travail virtuel de l op rateur 22 m me sans une connaissance exhaustive de tous les angles et positions l op rateur peut tablir une r f rence de calibrage pour les manipulateurs 32 34 comme ils sont vus sur l image affich e sur l cran vid o 20 en connexion avec la servocommande de suivi de position R f rant la figure 6A qui repr sente l image affich e sur l cran vid o 20 un l ment graphique quatre points de coordonn es 62 par exemple sous la forme d une structure en t tra dre ou en cube en vue tridimensionnelle peut tre superpos dans l espace tridimensionnel sur l cran d image st r o fournissant une r f rence de coordonn es dans l espace d image tridimensionnel Pour calibrer la position d un seul manipulateur par rapport sa commande manuelle correspondante le syst me ouvre la boucle de commande et l op rateur 14 d place la commande manuelle 24 par exemple tout en observant le mouvement de la pointe de manipulateur 32 guidant la pointe jusqu ce qu elle semble toucher un premier point de r f rence 64 de l l ment graphique superpos 62 comme indiqu sur la figure 6B Puisque le mouvement de la commande manuelle et celui de la po
22. des mains les manipulateurs sembleront tre plac s loin des commandes manuelles de l op rateur Cela am nera les manipulateurs se d placer d une mani re maladroite par rapport la position d observation rendant l op rateur incapable de les commander avec dext rit et rapidit Cependant il est souvent in vitable dans des applications comme la chirurgie laparoscopique de d placer le laparoscope pour obtenir la meilleure image possible de la cavit abdominale Le brevet US num ro 5 182 641 d crit un syst me pour l affichage d image vid o en temps r el pour t l guidage de robots ou de v hicule distant Le syst me a au moins un moniteur de t l vision pour l affichage d une image de t l vision partir d une cam ra s lectionn e et la capacit de choisir une cam ra pour l affichage d image La de brevet international WO 93 05479 d crit un proc d et un dispositif pour calibrer une trame de commande d outil d un robot par rapport une trame de r f rence de calibrage connue attach e une liaison de robot Ainsi une technique est n cessaire pour fournir l op rateur l impression d une commande manuelle directe du manipulateur distant m me en pr sence d un dispositif de formation d image sensiblement d plac afin que l op rateur ait l impression de voir l espace de travail en vraie pr sence RESUME DE L INVENTION Selon un aspect de l invention un syst me de t l manipulation est propos selon
23. e 0 0 1 0 sin8 cos8 0 b zb 0 0 1 0 cose 0 0 1 5 ou f r sont les coordonn es de ladite position per ue a b c sont les coordonn es de ladite position r elle l angle 0 est la rotation du moyen de capture d image dans un plan horizontal autour d un axe vertical l angle 0 tant sensiblement gal 4 0 et l angle est l angle d inclinaison en dessous dudit axe vertical autour d un axe normal une surface du moyen de capture d image 4 Syst me selon la revendication 1 dans lequel ledit moyen de traitement d image 23 comprend en outre un moyen de r alignement statique du manipulateur 32 34 effectu en faisant tourner le dispositif de capture d image 19 autour d un axe normal une surface du dispositif de capture d image une position le manipulateur apparait dans l image trait e comme pr sent l op rateur de commande 14 ou les commandes manuelles 24 26 sont en dessous d un point de visualisation de l op rateur de commande 14 10 15 20 25 30 3 5 Systeme selon la revendication 1 dans lequel ledit moyen de traitement d image 23 comprend en outre un moyen pour le r alignement statique du manipulateur effectu en faisant tourner le dispositif de capture d image 19 autour d un axe normal une surface du dispositif de capture d image une position le manipulateur 32 34 apparait dans l image trait e tel qu il est pr
24. e l extr mit tendue de la commande manuelle 24 Il peut tre pr f rable d exprimer les commandes de servocommande concernant la commande manuelle et le manipulateur correspondant dans leurs syst mes de coordonn es polaires Q L et Q 1 Ces 10 15 20 25 30 13 coordonn es polaires et leurs points respectifs en syst mes de coordonn es cart siens sont associ s par transformations bien connues de polaires en cart siens R f rant de nouveau la figure 3 les angles sp cifiques de rotation utilis s pour calculer la transformation de coordonn es sont repr sent s L angle 56 d signe l angle de d viation de l axe visuel 54 de l objectif de cam ra 28 en dessous de l axe vertical U L angle 0 58 d signe la rotation de l objectif de cam ra 28 dans le plan horizontal distant de l axe de ligne m diane 52 par rapport au point central 50 dans l espace de travail 30 L angle 60 d signe la rotation de l objectif de cam ra 28 autour de son axe visuel 54 Dans l utilisation d un syst me de t l manipulation monoscopique l objectif de cam ra 28 et le moyen de capture d image 19 sont tourn s autour de l axe visuel 54 comme d crit ci dessus Les coordonn es a b c dans un syst me de coordonn es cart sien orthogonal de r f rence de l espace de travail tridimensionnel 30 d finissent la position r elle de la pointe d un manipulateur comme le manipulateur gauche 32 L quation matriciell
25. e d placer travers une s quence pr s lectionn e de points de r f rence distribu s dans l espace tridimensionnel sur l image trait e afficher un point graphique superpos sur l affichage de l organe effecteur terminal de sorte que la position du point soit contr l e par la position du moyen de commande manuelle 24 26 consigner manuellement l instant ot le point est en surimpression sur l organe effecteur terminal chaque point de r f rence et tablir une relation de suivi entre la commande manuelle et l organe effecteur terminal pour ainsi tablir un calibrage 30 Proc d selon l une quelconque des revendications 21 28 comprenant un calibrage dynamique consistant 11 afficher la repr sentation d un l ment graphique quatre points de coordonn es dans un espace tridimensionnel sur l image trait e de l organe effecteur terminal 39 41 consigner manuellement l instant o l organe effecteur terminal mobile sous le contr le de la commande manuelle 24 26 est plac pour sembler toucher chaque point de r f rence de l l ment graphique et tablir une relation de suivi entre la commande manuelle et l organe effecteur terminal PAMPHLET EP95919030 7 PCTUS 95 054 WU 9535 30964 Printed 24 08 2001 6 2 7 OWS YINYOSSN vey 1 ILVNMIGHOOD 77 7 205532049 J9vVW SAY TAIAO 4 01758 792 470123
26. e r alisation d crit en r f rence la figure 3 Dans tous les cas le but recherch de maintenir le plan contenant les deux manipulateurs coincidant avec le plan des deux commandes manuelles est r alis L invention a maintenant t expliqu e en r f rence des modes de r alisation sp cifiques D autres modes de r alisation seront vidents l homme du 18 m tier se r f rant la pr sente description Par exemple l invention peut tre tendue aux manipulateurs articul s avec de multiples points de rotation et de translation ou avec des points de pivot des emplacements physiquement non rattach s aux manipulateurs L intention n est donc pas que la pr sente invention soit limit e sauf comme indiqu selon les revendications annex es 19 LEGENDES DES FIGURES FIG 1A et 1B MOYENS DE DETECTION 45 SERVOCOMMANDE DE SUIVI DE 25 ROTATEUR CORRECTEUR DE PERSPECTIVE AGRANDISSEMENT 27 CALIBRATEUR CALQUES 43 PROCESSEUR D IMAGES TRANSFORMATEUR DE COORDONNEES ECRAN VIDEO FIG 2 MOYENS DE DETECTION IMAGEUR 10 20 25 30 REVENDICATIONS 1 Syst me de t l manipulation 10 pour manipuler des objets plac s dans une zone de travail r elle 30 un site de travail distant 16 par un op rateur de commande 14 partir d un poste d op rateur de commande 12 ledit syst me de t l manipulation 10
27. e suivante concerne la position virtuelle d sir e p q r en espace cart sien orthogonal de la pointe de manipulateur sur l image affich e sur l cran vid o 20 la position r elle a b c de la pointe de manipulateur dans l espace de travail 30 sinr 0 0 sin cose Sine 0 a q 0 0 1 0 sine cose 0 b r 0 0 51 0 cose 0 fe Equation 2 Quand la pointe de manipulateur est affich e une position p q r sur l image affich e sur l cran vid o 20 le manipulateur apparait l op rateur comme s il tait r ellement l extr mit du dispositif de commande manuel rigide de l op rateur La transformation de coordonn es am liore la facilit avec laquelle l op rateur peut manipuler des objets dans l espace de travail en utilisant un syst me de t l manipulation En cas de formation d image st r oscopique le moyen st r oscopique de capture d image 19 35 est tourn par rapport un axe de r f rence 59 parall le un axe dans le plan form par des manipulateurs 32 34 se croisant au point central 50 ou l axe est normal une ligne partageant en deux les manipulateurs et passant par le 10 15 20 25 30 14 point central 50 comme indiqu sur la figure 5B L angle 60 mesure la quantit de rotation des objectifs st r oscopiques 28 36 et sa valeur peuvent tre utilis e dans l quation 2 pour cal
28. ferm e 10 15 20 25 30 16 Dans un autre mode de r alisation le calibrage des manipulateurs est r alis par d placement virtuel a l aide du syst me R f rant la figure 6B c est le syst me qui d place la pointe du manipulateur 32 et non l op rateur qui guide la pointe du manipulateur 32 l un des quatre points d finis dans l espace de travail tridimensionnel 30 comme le point de r f rence 64 vu par l op rateur En utilisant la commande manuelle 24 l op rateur 14 calibre alors de mani re dynamique la position du manipulateur 32 en pilotant un point graphique superpos jusqu ce que celui ci apparaisse superpos sur la pointe du manipulateur 32 L op rateur 14 indique alors au syst me que la superposition de la pointe du manipulateur 32 et du point de r f rence 64 a t r alis e et les coordonn es du manipulateur 32 et de la commande manuelle 24 sont enregistr es Le processus est r p t pour les points de r f rence restants apr s que le syst me calcule et installe une formule de transformation de coordonn es dans le transformateur de coordonn es 43 comme d crit dans le mode de r alisation ci dessus Dans la pratique r elle il est pr f rable que le chirurgien plut t que le syst me lance le processus de calibrage si l invention est utilis e en chirurgie laparoscopique Pendant la chirurgie le processus de calibrage est effectu dans l abdomen d un patient o il y a peu de pl
29. fficacement r tro projet vers l op rateur distant 14 pour cr er l illusion qu il l atteint et le regarde directement et contr le l objet plac dans l espace de travail 30 Projet correctement cela se traduit par des mouvements de commande naturels et spontan s 10 15 20 25 30 7 par l op rateur 14 m me si celui ci se trouve dans une autre pi ce ou un autre endroit extr mement loign Les probl mes trait s par la pr sente invention r sultent de la situation dans laquelle l objectif de cam ra 28 n est pas plac la m amp me position dans l espace de travail r el 30 par rapport aux manipulateurs 32 34 tandis que les yeux de l op rateur de commande visualisent l image projet e dans l espace de travail virtuel 22 par rapport aux moyens de commande manuelle 24 26 Une solution est propos e par la pr sente invention Le syst me de t l manipulation selon la pr sente invention peut aussi tre adapt pour permettre une observation st r oscopique La figure 1B repr sente tous les l ments de la figure 1A avec l apout d un deuxi me objectif de cam ra 36 et d un moyen de capture d image 35 Les deux objectifs de cam ra 28 et 36 peuvent tre s par s de 10 ce qui correspond la m me disparit d observation interoculaire que l on connait quand on observe un champ visuel 40 cm de distance L image st r o est affich e sur un moniteur d affichage vid o st r o 38 en utilisant par
30. ge est purement monoscopique comme repr sent e sur la figure 1A le syst me peut effectuer une r orientation statique des manipulateurs 32 et 34 autour d un axe 54 travers un point sp cifiquement le point central 50 en tournant l image num rique par le biais du moyen de rotation 25 La figure 3 repr sente les angles appropri s de rotation L angle 56 d signe l angle de d viation de l axe visuel 54 de l objectif de cam ra 28 en dessous de l axe vertical U L angle 8 58 d signe la rotation de la position de l objectif de cam ra 28 dans le plan horizontal form par les lignes 32 53 distant de l axe de ligne m diane 52 par rapport au point central 50 Le moyen de rotation 25 effectue le r alignement statique des manipulateurs en faisant tourner l image en temps r el pixel par pixel d un angle gal approximativement 0 selon des proc d s connus Une fois que cette op ration est termin e le manipulateur gauche 32 et le manipulateur droit 34 apparaissent en bas de l image affich e moiti inf rieure de l cran projet L objectif de cam ra 28 reste stationnaire et l image affich e est tourn e par manipulation d image Notez que 10 15 20 25 30 10 si des moyens de commande manuelle 24 26 au poste de l op rateur sont plac s au dessus du point de visualisation de l op rateur de commande la rotation de l image affich e corrigera l image affich e au point ou les manipulateurs apparaissent au som
31. inte de manipulateur n ont pas encore t coordonn s l alignement de la pointe sur le premier point de r f rence peut n cessiter un effort tr s d lib r L op rateur 14 indique alors au syst me que la superposition du manipulateur et du point de r f rence a t r alis e par exemple un signal d fini est envoy au syst me Le syst me bloque alors le manipulateur 32 en place ouvre la boucle de commande en la d couplant de la commande manuelle 24 et donne l op rateur 14 l instruction de lib rer la commande manuelle 24 Le syst me ajuste l extension L figures 8 et 9 de la commande manuelle pour qu elle corresponde celle du manipulateur L en ins rant le d calage 03 L L de sorte que lorsque la boucle de commande est ferm e il n y ait aucun mouvement r actif de l un ou l autre dispositif Autrement dit les positions d extension virtuelles de la commande manuelle 24 et du manipulateur 32 doivent tre identiques en comparaison dans la boucle de commande 10 15 20 25 15 Le syst me ferme alors la boucle de commande et d verrouille le manipulateur 32 rendant la commande l op rateur 14 L op rateur d place alors la commande manuelle autour de son point pivot une orientation angulaire y Q laquelle l op rateur a l impression que l image du manipulateur semble d passer de la commande manuelle de l op rateur De fa on similaire au processus d crit ci dessus le syst me ca
32. ivi entre la commande manuelle et l organe effecteur terminal pour ainsi tablir un calibrage 17 Syst me selon l une quelconque des revendications 1 15 comprenant un moyen de calibrage dynamique 27 comprenant 10 15 20 29 30 7 un moyen pour afficher une repr sentation d un l ment graphique quatre points de coordonn es dans l espace tridimensionnel sur l image en temps r el de l organe effecteur terminal 39 41 un moyen d entr e manuelle pour consigner l instant o l organe effecteur terminal mobile dans le contr le de la commande manuelle 24 26 est positionn pour sembler toucher chaque point de r f rence de l l ment graphique et un moyen pour tablir une relation de suivi entre la commande manuelle et l organe effecteur terminal 18 Syst me selon l une quelconque des revendications pr c dentes dans lequel le dispositif de capture d image comprend un endoscope 19 Syst me selon l une quelconque des revendications pr c dentes dans lequel l organe effecteur terminal comprend un instrument chirurgical 20 Syst me selon l une quelconque des revendications pr c dentes comprenant un moyen de r alignement dynamique pour r aligner dynamiquement les manipulateurs en ex cutant une transformation de coordonn es par le biais d un moyen de transformation 21 Proc d pour manipuler des objets situ s dans une zone de travail r elle 30 un site de travail distant
33. l avant que ledit d calage lat ral et ledit changement d chelle ne se produisent et la longueur L est une distance entre ledit point pivot et l organe effecteur terminal apr s que ledit d calage lat ral et ledit changement d chelle se produisent 12 Syst me selon l une quelconque des revendications pr c dentes dans lequel le moyen de traitement d image 23 comprend un dispositif de traitement d image 23 coupl au g n rateur d image 31 le dispositif de traitement d image traitant l image en temps r el en l image trait e 13 Syst me selon la revendication 12 dans lequel le dispositif de traitement d image 23 comprend en outre un moyen pour transformer les coordonn es du dispositif de capture d image en coordonn es pr s des organes effecteurs terminaux de sorte que l image trait e donne l op rateur l impression que le pupitre est pratiquement int gr avec les organes effecteurs terminaux 14 Syst me selon la revendication 12 comprenant en outre 10 15 20 25 30 6 une servocommande pour contr ler la position dudit manipulateur un premier d tecteur de position 59 61 dispos pour d tecter une position de ladite manipulation 32 34 dans ladite zone de travail un deuxi me d tecteur de position 51 55 dispos pour d tecter une position de ladite commande manuelle 24 26 au poste d op rateur et un dispositif de transformation de coordonn es coupl audit moyen de
34. la revendication 1 Les fonctions pr f r es du syst me sont d finies dans les revendications d pendant de la revendication 1 Selon un autre aspect de l invention un proc d est propos pour manipuler des objets selon la revendication 21 Les fonctions pr f r es du proc d sont d finies dans les revendications d pendant de la revendication 21 Selon un autre mode de r alisation de l invention un syst me de t l manipulation est propos pour manipuler des objets plac s dans un espace de travail un site de travail distant par un op rateur un poste d op rateur comme dans un syst me chirurgical distant le site de travail distant ayant un manipulateur ou une paire de manipulateurs dot s chacun d un organe effecteur pour manipuler un 10 15 20 25 30 3 objet dans l espace de travail comme une cavit anatomique un contr leur comprenant une commande manuelle au poste de l op rateur de commande pour la commande distance des manipulateurs un moyen de capture d image comme une cam ra pour capturer en temps r el une image de l espace de travail et un moyen de production d image pour reproduire une image visualisable avec un feedback suffisant pour donner l op rateur de commande l impression d une commande en temps r el sur l objet dans l espace de travail l am lioration dans laquelle des moyens sont fournis pour d tecter la position du moyen de capture d image par rapport l organe effecteur
35. lcule les transformations qui assurent qu il n y aura aucun mouvement r actif par le maitre ou par l esclave quand la boucle de commande est ferm e Le syst me calcule des d calages angulaires ol y y eto2 transformant la position virtuelle du maitre ou de l esclave avant de refermer la boucle de commande Le syst me enregistre maintenant les positions dans l espace tridimensionnel du maitre de commande manuel yi Qi Li et de l esclave manipulateur y i Y L i L op rateur r p te les l ments de ce processus avec les points de r f rence restants de l l ment graphique en surimpression 62 Le syst me peut alors calculer et installer l quation lin aris e suivante concernant des changements progressifs dans la position des commandes manuelles maitres 24 26 aux changements incr mentiels de la position des manipulateurs esclaves 32 34 utilisant les donn es d finies pour d terminer les coefficients des quations relatifs aux positions La solution de l quation lin aris e ci dessus est la suivante 1 Kia An s An 4 40 An AN Koy X52 K 3 AY AY K31 2 X33 AL AL AL AL AL Equation 3 Le syst me installe ces valeurs de coefficient dans le transformateur de coordonn es 43 qui contr le la servocommande 45 avec des d calages appropri s G2 et de sorte qu il n y ait aucun mouvement r actif quand la boucle est
36. les outils de travail comme des forceps ou des ciseaux Les outils de travail sont similaires ceux utilis s en chirurgie ouverte sauf que l extr mit op ratoire de chaque outil est s par e de sa poign e par un tube d extension Le chirurgien ex cute la chirurgie en faisant coulisser les instruments travers les canules et en les manipulant l int rieur de l abdomen en se r f rant une image affich e de l int rieur de l abdomen La chirurgie par t l pr sence c est dire partir d un emplacement distant au moyen d une commande distance des instruments chirurgicaux est une tape suivante Dans l id al un chirurgien est capable d ex cuter une intervention chirurgicale par t l pr sence ce qui la diff rence d autres techniques de manipulation distance donne au chirurgien le sentiment qu il est en commande directe des instruments bien qu il n ait que la commande distance des instruments et ne visualise que via l image affich e L efficacit de la t l pr sence d coule en grande partie de l illusion que les manipulateurs distants sont per us par l op rateur du syst me comme d passant des dispositifs de commande manuelle situ s au poste de l op rateur distant Si les 10 15 20 25 30 2 moyens de capture d image comme une cam ra ou un laparoscope sont plac s dans une position par rapport aux manipulateurs qui diff re significativement du rapport anthropomorphique des yeux et
37. met de l image affich e moiti sup rieure de l cran projet Dans l un ou l autre cas la transformation de l image affich e permet l op rateur de visualiser les manipulateurs comme s ils d passaient des commandes manuelles de l op rateur La reconfiguration de l image est effectu e avant que la commande r elle puisse tre effectu e En plus d effectuer un r alignement statique par transformation num rique de l image le moyen de transformation 25 peut effectuer une synchronisation dynamique de positions virtuelles de la pointe des manipulateurs avec des positions des commandes manuelles en ex cutant la transformation de coordonn es suivante sur les donn es d image vid o La position r elle des pointes des manipulateurs dans l espace de travail 30 peut tre transform e en une position virtuelle sur l image affich e de sorte que les manipulateurs semblent se d placer comme s ils taient reli s de mani re rigide aux commandes manuelles de l op rateur La modification de la position virtuelle des pointes des manipulateurs am liore la dext rit de l op rateur dans le traitement de l objet dans l espace de travail 30 Comme on connait le point final de l organe effecteur du manipulateur le point a b c peut tre associ la position angulaire et la longueur du manipulateur et le point p q r peut tre li aux m mes param tres par rapport la commande manuelle en utilisant des rapports trigonom
38. ns l espace de travail 30 peut tre transform e en une position virtuelle sur l image affich e de sorte que les manipulateurs semblent se d placer comme s ils taient reli s de mani re rigide aux commandes manuelles de l op rateur La modification de la position virtuelle des pointes des manipulateurs am liore la dext rit de l op rateur dans le traitement de l objet dans l espace de travail 30 La figure 8 et la figure 9 repr sentent l image 132 d un manipulateur 32 et d un manipulateur r el 32 respectivement par rapport une commande manuelle 24 Dans cet exemple et en comparaison avec la figure 2 les manipulateurs et les contr leurs correspondants repr sent s par des commandes manuelles sont d un type utilisant un seul point pivot 151 161 en connexion avec les d tecteurs de position 51 61 avec pivot bidimensionnel autour du ou des points et s tendant le long de l axe du manipulateur 32 D autres mouvements compatibles avec ces mises en action comme la rotation longitudinale du manipulateur autour de son axe sont envisag s par l invention En r f rence la figure 8 et la figure 9 le mouvement de la commande manuelle 24 am ne la pointe 72 du manipulateur se d placer un nouveau point a b c dans l espace de travail 30 de sorte que l image 132 de la pointe 172 du manipulateur se d place un nouveau point p q r dans l espace de travail virtuel 22 ce point apparaissant dans la vue de l op rateur pour tr
39. onque des revendications 21 23 dans lequel l tape de traitement de l image comprend le r alignement statique du manipulateur 32 34 en faisant tourner un dispositif de capture d image 19 utilis pour prendre l image en temps r el autour d un axe normal une surface du dispositif de capture d image 19 une position o le manipulateur 32 34 appara t sur l image trait e tel qu il est pr sent l op rateur de commande 14 les commandes manuelles 24 26 sont en dessous d un point de visualisation de l op rateur de commande 25 Proc d selon l une quelconque des revendications 21 23 dans lequel l tape de traitement de l image comprend le r alignement statique du manipulateur 32 34 en faisant tourner un dispositif de capture d image 19 utilis pour prendre l image en temps r el autour d un axe normal une surface du dispositif de capture d image 19 une position o le manipulateur 32 34 apparait dans l image trait e tel qu il est pr sent l op rateur de commande 14 les commandes manuelles 24 26 sont au dessus d un point de visualisation de l op rateur de commande 26 Proc d selon l une quelconque des revendications 21 25 dans lequel l tape de prise de l image en temps r el comprend la conversion d une position r elle de l organe effecteur terminal 39 41 dans la zone de travail en une position percue de l organe effecteur terminal dans l image trait e de
40. osition 51 55 La station de site de travail 16 comprend un moyen de capture d image 19 comprenant un moyen de d tection 21 avec l objectif 28 d une cam ra ou d un endoscope et comprenant qu il existe un moyen de capture d image 19 associ cet objectif qui capture une image d un objet plac dans l espace de travail 30 Un endoscope serait dans la cavit anatomique Les manipulateurs 32 34 permettent la manipulation de l objet dans l espace de travail 30 corr l e avec une image affich e en utilisant un moyen d organe effecteur 39 41 L image captur e au site de travail 16 est transmise par un certain nombre d tages qui pr sentent l op rateur 14 une image en temps r el de l objet dans l espace de travail 30 En particulier un moyen de d tection 21 comprenant un moyen optique de capture d image 19 propose une vue des manipulateurs 32 34 travers un objectif de cam ra 28 transmettant de telles informations d image via le chemin 13 un processeur d image 23 De plus les informations de position de d tecteur d image position de cam ra peuvent tre transmises sur le chemin 63 au transformateur de coordonn es C T 43 Pour une cam ra fixe les informations de position de cam ra peuvent tre d finies l avance En outre le moyen m canique de d tection de position 59 61 d tecte la position des manipulateurs 32 34 m caniquement transmettant les informations de position au transformateur de coordonn es 4
41. pport l axe y et la distance du point pivot m n la pointe du manipulateur u v est la longueur L 76 La figure 7B montre ce que verrait l op rateur si l image tait agrandie d un facteur M Le centre de l image est d cal lat ralement d une distance de Ax et Ay et les nouvelles coordonn es virtuelles de la pointe du manipulateur 72 sont u v Pour assurer un niveau d sir de t l pr sence l angle 74 et la longueur L 76 sont reconfigur s par le moyen de correction de perspective 29 sur l image affich e pour donner l op rateur l impression que la pointe du manipulateur 72 est toujours fix e de mani re rigide au dispositif de commande manuel La paire suivante d quations d crit la reconfiguration de l angle 74 en angle a 78 et de la longueur L 76 en longueur L 80 0 arc tan u m n et L u v 172 u M v Ay et ou L sin m v L cosa n Quand et L sont reconfigur s selon les quations ci dessus la pointe du manipulateur 72 semble se d placer sur l image affich e comme si celui ci tait reli de maniere rigide au dispositif de commande manuel de l op rateur Les relations ci dessus peuvent tre tendues pour inclure des transformations dans trois dimensions pour compenser le d placement des manipulateurs quand on fait tourner l objectif de cam ra 28 autour de son axe visuel propre 54 comme dans le mode d
42. re d image plac un angle et une position par rapport l organe effecteur terminal qui sont sensiblement quivalents un angle et une position relatifs des yeux de l op rateur de commande et du pupitre 2 Syst me selon la revendication 1 dans lequel ledit moyen de traitement d image 23 comprend en outre un moyen pour convertir une position r elle de l organe effecteur terminal dans la zone de travail en une position per ue de l organe terminal de pr hension dans l image trait e le dispositif de capture d image 19 tant monoscopique et tant positionn un angle 0 sur un plan de r f rence ledit dispositif de capture d image 10 15 20 25 30 2 19 tant au dessus du plan de r f rence dans un espace de r f rence et dans lequel les yeux de l op rateur de commande 14 sont plac s un angle de 0 par rapport une ligne de base sur ledit plan de r f rence lesdits yeux tant au dessus dudit plan de r f rence dans ledit espace de r f rence l image trait e tant tourn e pixel par pixel d un angle 6 qui est approximativement gal 0 3 Syst me selon la revendication 2 dans lequel les coordonn es de ladite position pergue de l organe effecteur terminal 39 41 sont dynamiquement associ es aux coordonn es de ladite position r elle de l organe effecteur terminal par le rapport suivant 51090 gine Oy 0 sind cos e cos
43. rt suivant 15 20 25 30 p cos sinl 0 cos 0 sinr cos 0 0 1 Oj lt b i o 1 0 cos 0 0 1 p q sont les coordonn es de ladite position percue a b c sont les coordonn es de ladite position r elle l angle est la rotation du moyen de capture d image autour d un axe normal une surface du moyen de capture d image l angle est l angle d inclinaison dudit axe normal en dessous d un axe vertical et l angle 0 est la rotation du moyen de capture d image dans un plan horizontal autour dudit axe vertical 10 Syst me selon l une quelconque des revendications pr c dentes dans lequel un angle et une position dudit dispositif de capture d image 19 par rapport l organe effecteur terminal 39 41 diff rent en chelle et en position lat rale en comparaison avec l op rateur de commande et la commande manuelle et dans lequel ledit moyen de traitement d image 23 corr le la manipulation dudit organe effecteur terminal 39 41 avec ladite commande manuelle 24 26 ledit moyen de traitement d image 23 et ledit g n rateur d image 31 conjointement comprenant en outre un moyen 29 pour ex cuter une correction de perspective dans l image trait e apr s un d calage lat ral et un changement d chelle du dispositif de capture d image 19 11 Syst me selon la revendication 10 dans lequel ledit moyen de correction de perspective 29 comprend un moyen pour
44. sorte que le d placement de l organe effecteur terminal semble reli de mani re rigide la commande manuelle 24 26 27 Proc d selon la revendication 26 dans lequel la conversion de la position r elle en la position percue se fait selon le rapport suivant sin 0 0 1 0 siO cos 1 sinD 0 cos 0 q 10 15 20 25 30 10 ou q r sont les coordonn es de ladite position per ue a b c sont les coordonn es de ladite position r elle l angle est la rotation du moyen de capture d image autour d un axe normal une surface du moyen de capture d image l angle est l angle d inclinaison dudit axe normal en dessous d un axe vertical et l angle 0 est la rotation du moyen de capture d image dans un plan horizontal autour dudit axe vertical 28 Proc d selon l une quelconque des revendications 21 27 dans lequel les tapes de traitement de l image en temps r el corr lent la manipulation de l organe effecteur terminal 39 41 avec la commande manuelle 24 26 et comprennent l tape consistant ex cuter une correction perspective dans l mage trait e apr s un d calage lat ral et un changement d chelle du dispositif 19 pour prendre l image en temps r el 29 Proc d selon l une quelconque des revendications 21 28 comprenant l tape de calibrage dynamique consistant amener automatiquement l organe effecteur terminal 39 41 s
45. traitement d image 23 audit premier d tecteur de position et audit deuxi me d tecteur de position pour transformer les informations concernant la position du manipulateur la position de la commande manuelle et la position de l image trait e en signaux de commande appliqu s ladite servocommande 15 Syst me selon la revendication 14 comprenant en outre un troisi me d tecteur de position 21 dispos pour d tecter une position du dispositif de capture d image 19 dans lequel le dispositif de transformation de coordonn es est coupl au troisi me d tecteur de position pour transformer les informations de position relatives au dispositif de capture d image 19 en signaux de commande 16 Syst me selon l une quelconque des revendications pr c dentes et comprenant un moyen de calibrage dynamique 27 comprenant un moyen pour amener automatiquement l organe effecteur terminal 39 41 se d placer travers une s quence pr s lectionn e de points de r f rence distribu s dans l espace tridimensionnel sur l image trait e un moyen pour afficher un point graphique superpos sur l affichage de l organe effecteur terminal de sorte que la position du point soit contr l e par la position de la commande manuelle 24 26 un moyen utilisable manuellement pour consigner l instant le point est superpos sur l organe effecteur terminal chaque point de r f rence et un moyen pour tablir une relation de su
46. tre points de coordonn es st r ographiques superpos s apr s calibrage La figure 7A est une vue en projection horizontale sup rieure d une image d un manipulateur distant dans un syst me de t l manipulation qui repr sente l angle de d placement l horizontale du moyen de capture d image par rapport aux manipulateurs La figure 7B est une vue agrandie d une partie de la figure 4A qui repr sente l effet combin sur la position de l organe effecteur d un manipulateur apr s un d calage lat ral La figure 8 est une repr sentation g om trique de l image d un manipulateur comme projection d une commande manuelle La figure 9 est une repr sentation g om trique du manipulateur r el dont l image est repr sent e sur la figure 8 10 15 20 25 30 5 DESCRIPTION DE MODES DE REALISATION SPECIFIQUES La figure 1A repr sente un syst me de t l manipulation 10 selon un mode de r alisation de la pr sente invention avec un poste d op rateur distant 12 o un op rateur 14 un chirurgien par exemple peut ex cuter une t l manipulation sur un objet un poste de site de travail 16 Le poste distant 12 comprend un cran vid o 20 pour que l op rateur 14 voie le site de travail et un espace de travail virtuel 22 o l op rateur 14 effectue les manipulations r elles en saisissant des moyens de commande manuelle 24 26 comme des poign es d instrument chirurgicaux qui sont reli es aux d tecteurs de p
47. uelle au poste op rateur sont plac s au dessus du point de visualisation de l op rateur de commande la rotation de l objectif de cam ra 28 et du moyen de capture d image 19 corrigeront l image affich e au point les manipulateurs apparaissent dans la partie sup rieure de l image affich e moiti sup rieure de l cran projet Pour conserver l effet st r oscopique en cas de formation d image st r oscopique comme repr sent sur la figure 1B les rotations ne peuvent pas tre faites autour d axes s par s par chaque objectif de cam ra mais r f rant la figure et la figure 5B doivent tre faites de concert autour d un seul axe d cal par rapport l un ou l autre des objectifs Sp cifiquement la rotation est faite normale l axe central 57 passant par le point central 50 et un point arbitraire sur l axe central 57 entre les objectifs des cam ras st r oscopiques 28 et 36 figures 5A et 5B Cet axe est similaire l axe visuel 54 d crit en connexion avec la figure 2 R f rant la figure 5A les objectifs d un dispositif st r oscopique sont repr sent s dans leur position initiale L axe central 57 montre la relation fixe de chaque objectif de la paire de cam ras et est parall le un axe de r f rence 59 parall le un axe dans le plan form par les manipulateurs 32 34 se croisant au point central 50 ot l axe est normal une ligne partageant en deux les manipulateurs et passant par le point
Download Pdf Manuals
Related Search