Manual de Utilização da Plataforma SIGUS - GPEC
Contents
1. ao desenvolver determinar qual o mais adequado dependendo do problema Geralmente a calibra o precisa ser realizada uma nica vez pelo usu rio ou por algum respons vel por ajudar o usu rio em caso de defici ncia motora nas m os 5 3 Janela de Interface do Aplicativo A janela de interface espec fica para cada novo aplicativo Neste exemplo temos um jogo da velha que pode ser jogado com movimentos da face associados a cada posi o do tabuleiro 5 4 Janela de resultado de processamento Esta janela mostra o resultado dos algoritmos de segmenta o que uma imagem binarizada preto e branco mostrando em preto as regi es que ir o ser transmitidas para os pr ximos m dulos extra o de atributos e aprendizagem autom tica 5 5 Janela principal da plataforma SIGUS Atrav s desta janela o desenvolvedor ou usu rio controla o m dulo que est ativo a cada momento e as janelas que devem ser apresentadas importante lembrar que a plataforma SIGUS implementa um tipo de interface bastante flex vel baseada em aprendizagem autom tica que depende de uma fase de treinamento onde os gestos e sinais realizados pelo usu rio faces m os dedos olhos pernas etc devem ser associados a a es na interface No exemplo mostrado na Figura desta se o 9 diferentes sinais devem ser realizados e associados a cada uma das nove posi es existentes no tabuleiro do jogo da velha Dependendo da aplica o uma quantidade di2. o de um navegador de internet para abrir o arquivo index html A utiliza o do arquivo sigus jar explicada na Se o 4 deste manual O caminho completo para estes dois arquivos assumindo a descompacta o na pasta Downloads Downloads svn libraries sigus sigus jar Downloads svn libraries sigus docs javadoc index html 4 Cria o de Aplicativos O primeiro passo para se criar uma nova aplica o utilizando SIGUS e ter acesso sua interface gr fica mostrada na pr xima se o deste manual escolher um dos aplicativos j existentes como modelo replic lo em uma nova pasta e ajustar alguns par metros de compila o Nesta se o iremos detalhar este procedimento 4 1 Estrutura de pastas de um aplicativo SIGUS applications drums build xml drums sh drums bat drums core gui AppEffect java Updater java AppjFramejava Main java A figura acima resume a estrutura de pastas e arquivos de um aplicativo baseado na plataforma SIGUS Neste exemplo estamos utilizando o aplicativo drums que fica dentro da pasta svn applications A pasta bin onde ficam os arquivos execut veis e os arquivos auxiliares para gera o dos execut veis utilizando o ant build xml e para a inicializa o do aplicativo drums sh para ambientes Linux e drums bat para ambientes Windows Na pasta data est o arquivos de imagens e sons utilizados pelo aplicativo quando for o caso No exemplo drums esta pasta cont m as imagens
3. ocorr ncias da palavra drums por guitar Para n o entrar em cada arquivo recomendamos a utiliza o de uma ferramenta como o Eclipse Um tutorial de como fazer isto no Eclipse esta dispon vel aqui http www avajava com tutorials lessons how do i do a find and replace in multiple files in eclipse html Caso o link esteja quebrado quando da leitura deste manual basta buscar por find and replace multiple files eclipse em qualquer ferramenta de busca na Internet que v rias op es ser o retornadas Altere tamb m os nomes das pastas que forem drums como src drums para guitar Para finalizar caso o seu aplicativo v utilizar uma quantidade de gestos ou sinais diferente do aplicativo modelo preciso realizar os seguintes ajustes 1 Dentro do m todo init da classe Updater em src guitar update java troque o valor inicial da vari vel class Value pelo total de gestos que ser utilizado no novo aplicativo Altere tamb m de forma correspondente a inicializa o da vari vel arffClasses 2 Dentro do m todo init da classes AppEffect em src guitar AppEffect java troque o valor inicial da vari vel MAX CLASS pelo total de gestos que ser utilizado no novo aplicativo somado de 1 ou seja se forem 4 gestos coloque 5 na vari vel MAX CLASS A interface e a l gica do novo aplicativo escrita livremente em Java e deve ser implementada atrav s do fonte src guitar App
4. D UCDB Manual de Utiliza o da Plataforma SIGUS Coordenador Hemerson Pistori Manual desenvolvido no mbito do projeto Plataforma de Apoio ao Desenvolvimento de Sistemas para Inclus o Digital de Pessoas com Necessidades Especiais apoiado pela FINEP Conv nio 01 05 0710 00 Ref 2161 05 Campo Grande MS Sum rio IL Obj tivos do Mantlal sireenit a e sa De ea mero SE aa aa 3 2 Requisitos para nliZA O ssa nara tania end iara adia R ES 3 3 Instala o da Plataforma SIGUS ago ROME A DS AU OCA SE 5 3 1 Download da Plataforma as gusemsssiraaganceshna lia atsantaaadpo da ddad a sro aaa aaa ar encanada aaa fio 5 3 2 Estrutura de pastas e principais arquivoSs seeseesessseessesersseessesersseesseseessressessessseessseessseee 5 3 2 2 Pasta Librar eS i a e e SR a a a aa e aa aaa 7 AS Cria ao de Aplicati yos asia e e ando o a A 8 4 1 Estrutura de pastas de um aplicativo SIGUS ssessesessseeseesessseesseseesseessesersseesseresseeesseesssse 8 4 2 Replica o e ajustes para novos aplicativos ii ceieeereerereerererrnererenanaea 9 4 3 Cm pilA o E 6 FOCU O ca eta da AGU pa RA EU dE ans 11 4 3 1 Compila o do aplicativo BUltar aspas engodo dad A Ca 11 4 3 2 Execu o do aplicativo guitar cccecceeerererererrerererereerenecenreraceraeeroranacreranaesorenacesaa 11 5 Interface Gr fica da Plataforma SIGUS sseeeeeeseesesseseeesessesssseseestsseseesssstesssseseesser
5. JFrame ou de classes novas mas que precisam ser referenciadas e inicializa o a partir da AppJFrame 4 3 Compila o e execu o A compila o e execu o dos aplicativos podem ser feitas utilizando qualquer ambiente que suporte a programa o em Java Neste tutorial iremos tratar da estrat gia que foi utilizada pelos desenvolvedores e que tem como vantagens a portabilidade Tanto para compila o da pr pria plataforma quando dos aplicativos foi utilizado o Apache Ant http ant apache org 4 3 1 Compila o do aplicativo guitar A seguinte sequ ncia de comandos pode ser utilizada para compilar o novo aplicativo cd Downloads svn applications guitar bin entrar na pasta de bin rios do novo aplicativo ant gera o arquivo guitar jar agregando as classes compiladas e os metadados Caso o guitar jar n o seja gerado confira o arquivo build xml utilizado pelo ant para se certificar de que as vari veis est o corretas Note que o build xml utiliza caminhos relativos relative paths para facilitar a reutiliza o no entanto preciso respeitar a hierarquia de pastas da distribui o da plataforma SIGUS ou ent o realizar os devidos ajustes dentro de build xml Tamb m podem ser necess rios ajustes para diferentes plataformas e vers es mais novas da ferramenta ant do java do sistema operacional e das bibliotecas auxiliares 4 3 2 Execu o do aplicativo guitar Caso o ant tenha sido executado sem prob
6. das pe as da bateria e seus respectivos sons E g bumbo jpg caixa jpg chimbalAberto wav prato wav etc A pasta docs reservada para arquivos de documenta o e a pasta src a principal delas onde ficam os fontes do aplicativo S o 4 os arquivos fonte de um aplicativo que se dividem em dois grupos 1 Core programas respons veis pela integra o entre os m dulos de captura de imagens JMF processamento de imagens IMAGE e aprendizagem autom tica WEKA Estes programas raramente precisam modificados de aplicativo para aplicativo 2 Gui programas que implementam a interface e a l gica espec fica do aplicativo O fonte AppJFrame java onde os detalhes de cada aplicativo ficam e portanto onde as modifica es para o novo aplicativo devem estar 4 2 Replica o e ajustes para novos aplicativos Para replicar um dos aplicativos por exemplo drums e criar um novo chamado por exemplo guitar a seguinte sequ ncia de comandos pode ser executada coment rios entre colchetes cd Downloads svn applications entrar na pasta de aplicativos mkdir guitar criar pasta para o novo aplicativo cp r drums guitar copiar arquivos do aplicativo drums para o novo aplicativo cd guitar entrar na pasta do novo aplicativo ls listar arquivos da pasta e verificar se foram realmente copiados Ap s a replica o preciso alterar dentro da pasta guitar as
7. es e sistemas operacionais testados correspondem s vers es dispon veis na poca As solu es podem n o funcionar em vers es posteriores e diferentes daquelas utilizadas que foram Sistemas Operacionais Linux Debian 3 1 Kernel 2 6 8 2 386 Java 2 Platform SE v1 4 2 JMF21 1 e Plataforma SIGUS dispon vel em http www gpec ucdb br pistori projetos sigus sigus zip Webcam compat vel com JMF 2 1 1 Exemplares testados Quickcam for Notebooks Pro Quicam Pro 4000 EasyCam Pro HO98064 Genius Video Cam S rie V4 Observa o importante o sistema foi criado em Java visando a m xima portabilidade entre sistemas operacionais tendo sido testado em 2007 tamb m nas plataformas Windows XP e MacOS hardware e vers es dispon veis na poca A tela abaixo mostra a p gina do site onde a plataforma SIGUS pode ser obtida gratuitamente ltimo link em vermelho do site com a palavra sigus zip O arquivo deve ser descompactado utilizando programas compat veis com o formato zip E g winzip linux zip etc Rs site sigus GPEC INOVIS x i lt a E e ta O tracgpecucdb br wiki site sigus version 6 tr a JHP Esinaes ius Eucos Sociais Geral News Pesquisa 5 Ensino v E Outros Favoritos N UCDB Login Help Guide About Trac Preferences Wiki Previous Version View Latest Version Last Change Version 6 modified by pistori 18 seconds ago PROJETO SIGUS T
8. esressesssresss 13 5 1 Janela para ajuste dos extratores seseeeseesseseesseessesseseessesseeseesseeseeseesseeseesersseesseeessseessse 13 5 2 Janela de captura de imagens e seeseesseeseeseesseeseeseesseesesersseesseseesseessessesseessessessseessseessee 14 5 3 Janela de Interface do Aplicativo seesseseesseessesorsseessesoessressessosseessessosseessessorseessseessoreeso 14 5 4 Janela de resultado de processamento ssessesessseesseseesseessessesseesseseesseessesseeseessesseeseesseess 14 5 5 Janela principal da plataforma SIGUS eseeesseseesseessessesseessessesseessesseseesseesseseesseessesereee 14 5 6 Janela para ajuste do m dulo de aprendizagem autom tica i 16 5 7 Janela para ajuste do m dulo de segmenta o eesseeseeseesseeseeseesseeseseesseessessrssressesseees 16 1 Objetivos do Manual Este manual apresenta orienta es para t cnicos e profissionais com forma o em computa o de como utilizar a plataforma SIGUS para o desenvolvimento de interfaces guiadas por sinais visuais N o faz parte do escopo deste manual a instala o de softwares b sicos como sistemas operacionais e ambiente de programa o como um ambiente Java por exemplo requisito para da plataforma SIGUS Manuais para isto s o facilmente encontrados na Internet 2 Requisitos para utiliza o Este manual foi desenvolvido entre os anos de 2005 e 2007 e portanto as bibliotecas auxiliar
9. ferente de sinais deve ser utilizada Para cada aplica o e usu rio uma nova fase de treinamento deve ser realizada Os seguintes bot es est o dispon veis nesta janela Enter Calibration Phase este bot o deve ser clicado para se voltar ou entrar na fase de calibra o do segmentador que consiste em selecionar uma regi o da imagem capturada pela webcam que contenha pele humana nem todos os segmentadores dispon veis necessitam de calibra o O mesmo bot o que mudar de nome para exit calibration phase deve ser usado para sair da fase de calibra o Enter Training Phase este bot o deve ser clicado para se voltar ou entrar na fase de treinamento quando os gestos devem ser efetuados E g olhar para uma determinada regi o do tabuleiro ao mesmo tempo em que a a o desejada E g clicar em uma determinada regi o do tabuleiro do jogo da velha realizada importante que isto seja feito v rias vezes para que o sistema aprenda as diferentes nuances dos gestos que ser o efetuados Como s o utilizadas t cnicas estat sticas de aprendizagem supervisionada de forma geral quanto mais exemplos melhor o sistema ir funcionar O mesmo bot o que mudar de nome para exit training phase deve ser usado para sair da fase de treinamento Ao sair da fase de treinamento o sistema levar alguns segundos para realizar a aprendizagem dos novos exemplos e o usu rio passar a poder controlar a interface do aplicat
10. ivo usando gestos ou movimentos ou seja sem precisar do mouse ou do teclado Show segmentation window Mostra a janela que permite escolher e ajustar os par metros dos algoritmos de segmenta o Show classification window Mostra a janela que permite escolher e ajustar os par metros dos algoritmos de aprendizagem autom tica Show extraction window Mostra a janela que permite escolher e ajustar os par metros dos algoritmos de extra o de atributos ou extra o de caracter sticas Clear parameters Limpa o conjunto de treinamento capturado na fase de treinamento para que um novo conjunto possa ser gerado Este bot o geralmente utilizado quando um novo usu rio come a a utilizar o sistema e os resultados indicam que um novo treinamento deve ser realizado para que o sistema se readapte 5 6 Janela para ajuste do m dulo de aprendizagem autom tica nesta janela que se determina o algoritmo de aprendizagem autom tica que ser utilizado bot o choose Como o SIGUS est integrado ao Weka todos os algoritmos do Weka podem ser utilizados Ao escolher o algoritmo um conjunto de par metros espec ficos do algoritmo podem ser ajustados Depois dos ajustes o bot o OK deve ser clicado para que a troca de algoritmo seja efetuada 5 7 Janela para ajuste do m dulo de segmenta o Nesta janela poss vel escolher qual a t cnica de segmenta o a ser adotada e tamb m ajustar os par metros referente
11. lemas basta utilizar agora o script guitar sh para iniciar o aplicativo e a plataforma sigus sh guitar sh Em caso de problemas abra este arquivo que est na pasta bin tamb m e realize os devidos ajustes Note que feita uma referencia a um arquivo respons vel pelo ajuste da vari vel classpath do Java que fica na pasta Downloads svn utils linux scripts setClassPath sh Programadores Java n o dever o encontrar dificuldades para atualizar o classpath tendo como base o build xml ou ent o o script setClassPath sh que acompanha a plataforma 5 Interface Gr fica da Plataforma SIGUS Ajustar Extratores Extractores LJ iCapture Pixels Image Chain Code Color Histogram GaborFiher IE Descritor de Fourier HSB lHandGeometry or Momentos da Imagem Mapas de interaDDo K Curvature Matriz de Co ocorrO Caracternsticas a serem extralidas Boolean Object Choose wekadassifiers lazy IBk Segmentation Control Window About Segmentador Atual Baseado em Cores Novo Baseado em Cores Muda Segmentador Fundo Adaptativo Subtran0 o de Fundo Baseado em Cores Gaussiano Aprendizado de MOquina Null Segmen gt K nearest neighbours classifier Nome Valor KNN 1 Posicionamento Horizontal crossValidate False Posicionamento Vertical Largura debug False Altura distanceWeighting No distance weighting Taxa de Falsos Negativ
12. ols internationalisation jannealerl 1 jmathtools openjgraph sigus swinglabs colorInspector itext java3d JMF 2 1 1e pega sigus maven swing layout comirva jahmm 0 6 1 jdbc log4j poi 3 0 2 skinlf weka hibernate jakarta commons jdom mical random soundplayer Downloads svn Downloads svn 5 A Ro a No exemplo mostrado na figura o arquivo sigus zip foi descompactado dentro de uma pasta 33 chamada Downloads Dentro da pasta Downloads criada uma pasta chamada svn indicando que a plataforma mantida atrav s do sistema de controle de vers es o subversion http subversion tigris org Cada pasta que s o mostradas em azul cont m um arquivo README htm que pode ser aberto atrav s de um navegador de Internet e que resume o conte do da pasta Na raiz da estrutura de pastas do SIGUS est o as pastas applications libraries e utils Destas as duas primeiras s o as mais importantes para a utiliza o da plataforma e a terceira interessa mais aos programadores que queiram aprimorar a pr pria plataforma e testar novos algoritmos Youlia sious plataforma EE Interface Homem M quina utilizando Movimentos do Corpo Humano hpistori 24videos v This video is public d Like M addto Shae p 1 814 m Uploaded by hpistori on Jan 14 2009 Video demonstrativo da plataforma SIGUS uma biblioteca em Java 3 2 1 Pasta Applications na pasta applications que ficam
13. os EspaDio de Cores LR LJG meanSquared False Estatostica Mediana E noNormalization False Amostragem em X Q Amostragem em Y windowSize Quantidade de Frames Open Cancel Taxa de amostragem A Figura acima mostra os 7 elementos principais da Interface Gr fica da plataforma SIGUS Cada elemento indicado com um n mero grande 1 a 7 ser descrito a seguir 5 1 Janela para ajuste dos extratores Nesta janela o desenvolver determina quais os algoritmos que ser o utilizados na extra o de atributos Diferentes algoritmos podem ser combinados e dependendo do algoritmo pode ser necess rio ainda ajustar algumas caracter sticas ou par metros O bot o exportar deve ser utilizado depois que os algoritmos forem escolhidos Como mostrado na janela entre os algoritmos dispon veis est o o Chain Code Gabor Filter Momentos da Imagem e o K Curvatura 5 2 Janela de captura de imagens Esta a janela que mostra em tempo real as imagens que est o sendo capturadas pela webcam Ela tamb m pode apresentar a janela de sele o utilizada por alguns dos algoritmos de segmenta o de pele humana utilizados no pr processamento das imagens A janela de sele o um pequena regi o da imagem escolhida pelo usu rio atrav s do movimento de arrastar com o mouse contendo uma amostra de pele humano Alguns dos algoritmos utilizados no SIGUS n o precisam de calibra o e caber
14. os prot tipos e exemplos de softwares desenvolvidos atrav s da plataforma SIGUS Por exemplo o aplicativo drums uma bateria musical virtual que pode ser acionada com movimentos da face J o aplicativo ttt o Tic Tac Toe jogo da velha A pasta libras cont m o prot tipo de editor que reconhece o alfabeto LIBRAS sinalizado pelas m os e a wheelchair o prot tipo de um sistema para controle de dire o de cadeiras de rodas utilizando movimentos da cabe a Um aplicativo que emita o jogo Genius para ser jogado com movimentos do bra o est dispon vel na pasta genius Um v deo no youtube mostrando alguns destes aplicativos em a o est dispon vel neste endere o http youtu be wwrHOgLHKFQ Cada pasta de aplicativo segue uma mesma estrutura que ser apresentada na Se o 4 deste manual 3 2 2 Pasta Libraries nesta pasta que ficam os fontes da plataforma SIGUS al m de diversas bibliotecas de apoio como imagej weka e JMF que foram integradas atrav s da plataforma A mais importante sub pasta da pasta libraries justamente a pasta sigus Em especial o arquivo sigus jar que a plataforma pronta para ser utilizada na constru o de aplicativos e o arquivo index html que cont m a documenta o javadoc das classes que comp e a biblioteca s o de interesse particular para os desenvolvedores Como trata se de uma documenta o em html recomenda se a utiliza
15. s a cada t cnica
16. tivos Java tamb m dispon vel no site do projeto SIGUS antes da utiliza o da plataforma pois esta depende da exist ncia de uma webcam configurada corretamente com o JMF para funcionar 3 Instala o da Plataforma SIGUS 3 1 Download da Plataforma A plataforma pode ser obtida atrav s do site do projeto SIGUS mostrado na se o anterior ou diretamente atrav s deste link http www gpec ucdb br pistori projetos sigus sigus zip O arquivo deve ser descompactado utilizando algum software compat vel com o formato zip E g winzip ou zip para Linux 3 2 Estrutura de pastas e principais arquivos Ap s descompactar o arquivo sigus zip ser gerada uma estrutura de pastas em seu computador contendo centenas de arquivos muitos com exemplos e utilit rios complementares ao projeto SIGUS al m de todos os fontes e documenta o do sistema Neste manual de utiliza o iremos nos concentrar nas pastas e arquivos essencial para a utiliza o da plataforma A figura abaixo mostra a estrutura principal de pastas da plataforma SIGUS que ser explicada a seguir Arquivo Editar Exibir Favoritos Configura es Ajuda a J m svn bash gt e Downloads svn ls applications libraries README htm utils Downloads svn Downloads svn ls applications drums genius libras README htm ttt wheelchair Downloads svn Downloads svn ls libraries adapmap imagej jama jfreechart ncsa README htm spring adapto
17. tulo SIGUS Plataforma de Apoio ao Desenvolvimento de Sistemas para Inclus o Digital de Pessoas com Necessidades Especiais Descri o O objetivo geral deste projeto foi desenvolver um ambiente computacional com programas fonte livres para facilitar a implementa o de sistemas com interface guiada por sinais visuais integrando e complementando as bibliotecas de processamento digital de sinais ImageJ e de aprendizagem computacional Weka Equipe Hemerson Pistori Coordenador UCDB Amaury Ant nio de Castro Junior Jo o Jos Neto Mauro Conti Pereira Priscila Silva Martins Tania Regina Vilela dos Santos Alvaro Roberto Silvestre Fialho PG Breno de Paula Fernandes IC Denys Gon alves dos Santos IC Emerson Galves Moretto PG F bio Mamor Conde PG Kleber Padovani de Souza IC Odenir Paula da Silva Junior IC Roger Sedlacek Fibiger PG e Vinicius Assis Saueia da Silva IC Parceiros UCDB CNPq gt FUNDECT gt FINEP Publica es Clique Aqui V deo Demonstra o Clique Aqui para assistir v deo mostrando alguns dos prot tipos desenvolvidos com a plataforma Sigus Fontes da plataforma SIGUS Uma vers o completa incluindo os aplicativos Drums TTT e Wheelchair e as bibliotecas de apoio de 2007 est dispon vel neste link gt sigus zip Download in other formats Plain Text Recomendamos fortemente a leitura do Manual de Utiliza o de Webcam no Desenvolvimento de Aplica
Download Pdf Manuals
Related Search