TP : Réseaux connexionnistes avec JavaNNS
Contents
1. fonctions d apprentissage etc 1 2 Faites des exp riences en bruitant certaines des entr es c est dire en modifiant al atoirement des valeurs des descripteurs 2 Construction de Perceptrons Multi Couches Pour la construction de Perceptrons Multi Couches PMC avec JavaNNS il faut se reporter au manuel d utilisation JavaNNS manual pdf disponible sur le site de JavaNNS en page 10 1 Dans un 1 temps vous cr erez un PMC 2 entr es une couche cach e de 2 neurones et une couche de sortie de 1 neurone afin d apprendre la fonction XOR dont les exemples d apprentissage sont disponibles dans le fichier XOR pat Vous regarderez en moyenne combien il faut de cycles d apprentissage pour apprendre cette fonction 2 Vous testerez ensuite d autres architectures ex 2 1 1 2 3 1 2 5 1 2 10 1 et vous examinerez nouveau le temps d apprentissage Vous cr erez un jeu de donn es bruit es et vous examinerez les performances en g n ralisation des diff rentes architectures sur ce jeu de donn es 3 Faites la m me tude sur une fonction XOR 3 entr es vous trouverez les jeux de donn es sur le site xor_recl pat et xor_rec2 pat 4 G n ralisez l tude pr c dente une fonction de 5 variables d entr e qui retourne 1 quand le nombre de variables d entr e 1 est pair et 0 sinon C est ce que l on appelle une fonction parit Vous construirez des bases d apprentissage et de test pour2. Apprentissage Artificiel ENSTA INT 22 A Cornu jols Connexionnisme l algorithme de R tro propagation Nous vous proposons dans ce TP de faire des exp riences avec l algorithme de r tro propagation de gradient dans un Perceptron multi couches Pour cela nous allons utiliser le simulateur de r seaux de neurones javaNNS une impl mentation en java du Stuttgart Neural Network Simulator Vous trouverez le site donnant des d tails sur ce simulateur et un manuel en ligne l adresse http www ra cs uni tuebingen de software JavaNNS Vous avez l option de charger le programme correspondant pour processeur intel ou AMD Il semble que la bonne configuration pour vos machines soit processeur AMD 1 Prise en main sur une base de lettres Dans un premier temps vous allez vous familiariser avec l utilisation de SNNS en utilisant une base de donn es fournie avec le logiciel Il s agit d une base de donn es sur les 26 lettres de l alphabet d crites sur une matrice 5x7 La couche d entr e du r seau comporte donc 35 neurones tandis que la couche de sortie en compte 26 un neurone par lettre reconna tre Copiez les fichiers Letters pat et letters net dans le r pertoire http www lri fr antoine Courses ENSTA ResNeuro Letters Lancez Windows ou bien Linux Puis utilisez la commande java jar JavaNNS jar Le reste des manipulations est expliqu dans le manuel en ligne sur le site mentionn Cepen
3. LID choisir le fichier correspondant au test Lancer l apprentissage RESET pour reprendre le cycle z ro ALL ajuster CYCLES et VALID lancer ALL jusqu R cup ration des r sultats Les poids dans snns manager FILES NET donner un non et save 4 4
4. Signaler les cellules cach es et u s f a le curseur doit tre dans la fen tre display Unit Set Activation function Choisir Act Tanh done Signaler les cellules de sortie et taper u s f a Choisir Act Identity done D s lectionner les cellules avec shift click Visualiser les liens dans fen tre display faire setup devant link cliquer on done 3 4 Associer les fichiers de donn es Dans le snns manager file PAT double cliquer sur le fichier load pour l apprentissage Lancement de l apprentissage Dans le snns manager control et graph Choix de la fonction de r tropropagation pour LEARN dans control SEL _FUNC en face de LEARN choisir par exemple SCG pour le gradient conjugu Dans LEARN crire le pas d apprentissage ex 0 2 et 0 0 pour les autres cases L ordre topologique de propagation du signal d entr e SEL _FUNC en face de UPDATE choisir topological order Initialisation des poids SEL FUNC en face de INIT choisir randomize Weights r duire l intervalle d initialisation ex 0 02 0 02 Cliquer INIT Mettre le nombre total de cycles et le nombre de cycles avant le test CYCLES et VALID Cocher shuffle pour une pr sentation al atoire des exemples durant l apprentissage gradient stochastique S lection du fichier d apprentissage et de test USE choisir le fichier correspondant de l apprentissage USE devant VA
5. ce probl me 3 Devoir la maison apprentissage de lettres dans un cadre plus g n ral A RENDRE POUR LE JEUDI 11 JUIN matin Vous trouverez une base de donn es d crivant des lettres d finies sur des matrices 6x8 et 7x9 et syst matiquement d cal es ou bruit es l adresse suivante http www lri fr antoine Courses ENSTA ResNeuro Letters IIE Copiez ces donn es 2 4 Les explications figurent dans le fichier Source download http www lri fr antoine Courses ENSTA ResNeuro Letters IIE Source download Puis r fl chissez la structure d un r seau de neurones permettant de les exploiter Quel codage pour les entr es et donc combien de neurones sur la couche d entr e Quel codage pour la sortie Combien de couches cach es et combien de neurones sur chacune Construire le r seau correspondant dans un fichier d extension net Cr er le fichier de description des donn es d extension pat Cr er le fichier des exemples suivant les sp cifications du fichier d extension pat cr Faites vos exp riences Qu en concluez vous 3 Compl ments sur l utilisation de SNNS Lancement xgui Cliquer sur bignet option feed _ forward Couche d entr e input dimensions 4x1 enter insert type hidden 2x5 enter insert hidden 2x5 enter insert type ouput 1x1 enter insert full connection create net done retour au snns manager
6. dant en voici les grandes lignes Dans la fen tre de contr le e Copier les fichiers d extension net et pat li s lettres Ces fichiers d crivent respectivement la configuration du r seau combien y a t il de couches cach es et combien de neurones par couches et la mani re de coder les donn es comment est ce fait l issue de cette tape une fen tre montrant le r seau ayant d j t appris devrait s afficher en pressant le bouton lt display gt e Ouvrir la fen tre permettant de suivre la courbe d apprentissage par le bouton lt graph gt e Ouvrir la fen tre de contr le permettant de contr ler l apprentissage par lt control gt e Dans cette fen tre mettre par exemple le param tre cycle 100 1 4 e Appuyer sur lt a11 gt L apprentissage se fait sur 100 pr sentations de la base d apprentissage e Tester le r sultat de l apprentissage par lt test gt Que constatez vous e R p ter On peut aussi suivre l volution des poids gr ce la fen tre s ouvrant avec le bouton lt weights gt Le codage couleur permet de visualiser le poids associ chaque connexion Lorsque vous pointez votre souris sur un pixel de cette fen tre les coordonn es de la connexion correspondante et son poids s affichent 1 1 Familiarisez vous avec l outil javaNNS en modifiant les param tres nombre de couches cach es nombre de neurones en couches cach es l initialisation ventuellement les
Download Pdf Manuals
Related Search