Home

Sachbericht

1. Muttersprache Deutsch 39 Andere Sprache 4 Von den 43 Personen hatten 4 Personen urspr nglich eine andere Muttersprache Muttersprache Deutsch B Andere Sprache Sprachliche Einschr nkungen Ja 14 Nein 29 Von den 43 Personen hatten 29 Personen keine Krankheitsbedingten sprachlichen Einschr nkung 14 Personen hatten krankheits bedingten Einschr nkungen jedoch in den meisten F llen nicht sehr massiv und oder Altersbedingt Von den 43 Personen waren 19 Personen Rollstuhlfahrer und weitere 12 Personen hatten andere motorische Einschr nkungen 12 Personen hatten keine erkennbaren motorischen Einschr nkungen Sprachliche Einschr nkungen Gehbehinderungen E Rollstuhl u Andere Gehhilfen u Keine Einschr nkungen Gehbehinderungen Rollstuhl 19 Andere Gehhilfen 12 Keine Einschr nkungen 12 LEN E Nein BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Bedarf an Spracherkennungsl sung generelle AAL L sung 32 Individuelle Kommunikationsl sung 22 Von den 43 Personen g be es Bedarf f r 32 Personen von Spracherkennungsl sungen welche im Rahmen dieses Forschungsprojektes erarbeitet werden wobei f r 22 Personen sowohl generelle AAL L sungen als auch individuelle Kommunikationsl sungen von Vorteil sein k nnten 2 3 1 2 Altersstruktur der Proban
2. 174 Programm benefit Login M glichkeit bei ffentlichen Stationen Siehe AP_07 Automatisches Logout nach definierten Rahmenbedingungen zeitlich keine Interaktion mehr Credits Teil dieses Arbeitspaketes ist es auch mit Hilfe von Test bzw Evaluierungsversionen Abl ufe zu erstellen und zu testen die den Anforderungen unseres Projektes entsprechen AP_03 Recherche und Forschung von Sprachpaketen 7 Arbeitstage Mitarbeiter MS 5 PG 2 Partner KFU Bereits vorhandene deutsche SIMON kompatible Sprachpakete sollen recherchiert und mit der End User Gruppe getestet werden um Schl sse daraus zu ziehen ob f r diesen Bereich der End User ein generalisiertes Sprachpaket welches kein Training voraussetzt verwendet werden kann AP_04 Evaluierung der Hardware Komponenten 10 Arbeitstage Mitarbeiter FS 5 MS 5 Partner TU Anhand des Ergebnisses der Bed rfniserhebung mit den End Usern sollen praxistaugliche Hardware Komponenten im speziellen Sound und Mikrofonl sungen im Bereich Smart Home in diesem Arbeitspaket evaluiert werden Zum jetzigen Zeitpunkt ohne Ergebnis der Bed rfniserhebung sind folgende Komponenten zu ber cksichtigen Server Terminals mit und ohne Touch Funktionalit t Mikrofone Montage und Aufbaumaterialien Ein weiterer wichtiger Faktor ist dass eine bereits bestehende Infrastruktur in die Evaluierung mit einflie t um kosteneffizient zu recherchier
3. AP_25 Technische Dokumentation 8 Arbeitstage Mitarbeiter PG 4 AB 4 Partner keine Alle technisch umgesetzten Arbeitspakete sollen in verst ndlicher Form dokumentiert werden um eine laufende Instandhaltung Erweiterung und ein rasches Bugfixing von unterschiedlichen Projektmitarbeitern zu erm glichen AP 26 Benutzerhandbuch 8 Arbeitstage Mitarbeiter FS 4 MS 4 Partner keine Ein Benutzerhandbuch soll erstellt werden das als eine Art Nachschlagewerk f r Betreuer aber auch f r interessierte Benutzer in druckbarer und digitaler Form als integrierte Hilfe Siehe AP_24 zur Verf gung steht AP_27 Schulungsmaterialien 20 Arbeitstage Mitarbeiter FS 8 MS 12 Partner keine Schulungsmaterialien speziell abgestimmt auf die einzelnen End User und End User Institutionen sollen in diesem Arbeitspaket erstellt werden Wichtig hierbei ist eine Einbeziehung der Erfahrungswerte der End User und Institutionen mit den Prototypen und eine Einbeziehung der f r die jeweiligen Bereiche vorgesehenen Use Cases AP_28 Installation der Hardwarel sungen 20 Arbeitstage Mitarbeiter FS 5 MS 15 Partner EU Bei den End Usern und Institutionen sollen mit diesem Arbeitspaket die erarbeiteten Hardware L sungen Server Bedien Stationen Mikrofone Montage Sets etc installiert und in Betrieb genommen werden AP_29 Installation der Software L sung 12 Arbeitstage Mitarbeiter AB 12 Partner
4. Umgesetzt wird das Sprachtagebuch als eigene unabh ngige Qt4 KDE4 Applikation die von XBMC als externes Program gestartet wird Der Abgleich zwischen Client und Server entf llt da als Speicherort ein Netzwerklaufwerk gew hlt wird wie auch bei Videos Musik etc Somit lassen sich auch Engp sse der Speicherkapazit t ber die Gesamtheit der L sung einheitlich abwickeln Dazu lassen sich benutzerbasierte Quotas auf Dateisystem oder Freigabeebene definieren Aus Gr nden der Robustheit werden F lle in denen auf das Medium nicht mehr geschrieben werden kann ja ohnehin abgefangen sodass dieselbe Implementierung auch dieses Szenario abdeckt Quota Systeme sind in der Regel sehr ausgereift und bieten meist auch Funktionalit ten wie e Mailbenachrichtigung an Administratoren im Falle einer Speicherknappheit Wie solche Limitierungen und Parameter gesetzt werden h ng vom zugrundeliegenden Dateisystem und dem Freigabesystems ab Unterst tzt werden Quotas zum Beispiel auf Dateisystemebene von z B Ext4 XFS NTFS und auf Freigabeebene z B von NFS Damit der vorhandene Speicherplatz jedoch optimal ausgenutzt wird und das Netzwerk nicht unn tig belastet wird werden aufgenommene Sprachdaten vor dem senden speichern komprimiert und vor dem Anh ren wieder dekomprimiert Der verwendete Komprimierungsalgorithmus ist noch nicht fixiert und h ngt davon ab wie viel Zeit bei der Implementierung zur Verf gung steht Angedacht wurden aber sowoh
5. themes machen und die Datei usr share awesome themes default theme lua nach themes awesome lua kopieren 7 1 7 2 MythTV F gen wir jetzt den Benutzer zur mythTV Gruppe hinzu und konfigurieren MythTV dann ber den Aufruf von mythtv setup Zum Abschluss sollte der Rechner jetzt neu gestartet werden 7 1 7 3 XBMC Kopiere den gew nschten Skin Ordner aus dem Verzeichnis Benefit Ubuntu 10 10 Installationsdateien usr share xbmc addons in das Verzeichnis usr share xbmc addons und benenne es in skin simon um Die Datei keyboard xmI von Benefit Ubuntu 10 10 Installationsdateien usr share xbmc system keymaps in den Ordner usr share xbmec system keymaps kopieren und ersetzen e Die Ordner telefon zeitungen und zeitschriften von Benefit Ubuntu 10 10 Installationsdateien home simon in den Ordner kopieren e Den Ordner German Austria von Benefit Ubuntu 10 10 Installationsdateien usr share xbmec language in den Ordner usr share xbmec language kopieren In XBMC mit der Taste s ins Setupmen wechseln o Unter Darstellung R Sprache amp Region die Sprache German Austria ausw hlen sowie die Region auf sterreich setzen o Unter Darstellung 0 Dateilisten folgende Punkte anpassen H Symbol zum bergeordneten Ordner anzeigen abhaken Quelle hinzuf gen Symbol im Haupt Ordner anzeigen abhaken o U
6. 145 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Dialog Erinnerungsfunktion Skypetelefonate 146 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Dialog Erinnerungsfunktion schlafen gehn 147 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 13 5 Anhang Komplement re Projektergebnisse 13 5 1 Projekt Getr nkemisch Roboter 13 5 1 1 Einleitung Autor simon listens Im Zuge des Arbeitspaketes Schnittstelle zu mechanischen Ger ten wurde ein Teilprojekt mit einem 4 k pfigen Projektteam der HTBLA Kaindorf Sulm initiiert Als Thema wurde der Titel Getr nkemisch Roboter gew hlt da damit gezielt definierte Szenarien umgesetzt werden k nnen und ein Roboter Arm der Firma Mitsubishi in der HTBLA zur Verf gung steht 13 5 1 2 Technisches Konzept Autor HTBLA Projektteam 13 5 1 3 Grundlegende Konzeption 13 5 1 4 Ideensammeln Nach einem langen Gespr ch mit unserem sehr gesch tzten Abteilungsvorstand Hartinger stellte sich f r uns heraus dass wir uns anf nglich relativ wenig mit dem Sinn den dieses Projekt erf llen soll besch ftigt haben 13 5 1 5 Konzept Das zentrale Modul in unserem Projekt wird der PC sein von dem aus alle Komponenten gesteuert und berpr ft werden Dies wird mithilfe eines Hauptprogrammes geschehen das die ein und ausgehenden Date
7. Komplement r dazu wurde auf Kosten der Reha Klinik die Station mit folgenden Hardware Komponenten ausgestattet e Zotac Mag Mini GIANT Net Top PC e Panic Button e Hauppauge Win TV HVR 1900 e Alesis IO 2 Express Soundkarte e T BONE TB 312S Schwanenhalsmikrofon e Diverse Kabel 91 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 9 2 1 2 Individuelle Konfiguration Von unserer Seite wurde die Vorlage der ffentlichen Station zumindest mit Fotos aus der Region von Radkersburg ausgestattet Zus tzliches Infomaterial das von der Reha angeforderte wurde wie Fotos Filme etc wurden bisher nicht geliefert Die Internetanbindung erfolgte ber das vorhandene W LAN der Reha Radkersburg 9 2 1 3 Implementierung und Integration Die Implementierung und Integration erwies sich ein wenig schwierig aufgrund fehlender Kooperation seitens der f r die Technik verantwortlichen Personen Praktische Tests in Zusammenarbeit mit Klienten konnten bisher nicht durchgef hrt werden da die Implementierungsphase sich aufgrund vorher genannter Faktoren sehr verz gert hat und dann keine Klienten der Zielgruppe vorhanden waren Eine weitere Vorgangsweise f r die Implementierung ist zu vereinbaren und zu planen 9 2 1 4 Status bei Projektende Bei Projektende war die ffentliche Station installiert und die Ergotherapeuten wurden von unserer Seite in die Handhabung eingeschult Praxistests mit Klient
8. e hohen oder niedrigen Blutdruck Migr ne und Ohrger usche Tinnitus 22 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 2 4 2 4 Netzhautabl sung 2 4 2 4 1 Symptome Erste Anzeichen einer Netzhautabl sung sind Lichtblitze am Rand des Gesichtsfeldes die auch bei geschlossenen Augen auftreten Sp ter sehen die Betroffenen Ru flocken oder Schw rme von schwarzen M cken Dies alles sind Symptome die auf Blutungen im Glask rper zur ckzuf hren sind Schreitet die Netzhautabl sung fort haben Betroffene den Eindruck dass ein schwarzer Vorhang f llt oder eine schwarze Wand aufsteigt Die Sehf higkeit verschlechtert sich immer mehr Ist schlie lich das Zentrum der Netzhaut betroffen kann nur noch zwischen hell und dunkel unterschieden werden 2 4 2 5 Grauer Star Katarakt 2 4 2 5 1 Symptome Menschen die am Grauen Star erkrankt sind nehmen ihre Umwelt im Verlauf der Krankheit nur noch unscharf matt verschleiert und verzerrt wahr Kontraste werden nicht mehr scharf gesehen und die Farben verlieren an Leuchtkraft Auch k nnen diese Menschen bei Sonne stark geblendet sein Patienten beschreiben ihren Blick auch so als w rde man durch ein Milchglas sehen 2 4 3 Zusammenfassende Erkenntnisse Mit den altersbedingten Sehproblemen sind verbunden e ein erh hter Vergr erungsbedarf e _Kontrastprobleme und e Sehfeldeinschr nkungen Die
9. 13 5 1 29 Fertige zu kaufende Greifer Nachdem wir beim Arbeitspaket der Bildverarbeitung herausgefunden haben wie wir etwas aus dem Programm herausschicken und wie wir Entscheidungen treffen k nnen und dieses Paket soweit abgeschlossen wurde haben wir beschlossen unsere Arbeit mit der mechanischen Konstruktion weiter fort zu setzen Im ersten Schritt recherchierten wir im Internet nach bereits vorhandenen und brauchbaren Greifern oder hnliche Konstruktionen welche wir f r unsere Anwendung verwenden k nnten Hier fanden sich alle m glichen kuriose Dinge wovon jedoch nichts auch nur ansatzweise f r uns brauchbar erschien Bei der Suche nach Handgelenksprothesen hatten wir ebenfalls wenig Gl ck Hier fanden wir lediglich hochtechnologische und somit auch sehr teure Prothesen die f r unsere Anwendung irrelevant sind 13 5 1 29 1 Flaschen ffner Daraufhin brachen wir dann die Recherche nach fertigen Produkten ab und machten uns zur Aufgabe Apparaturen oder Hilfsger te zu finden welche uns die Flaschen ffnet Hier stie en wir auf ein sehr breites Angebot von Korken ffnen bis hin zu teilweise sehr ausgefallenen Drehverschl ssen in allen Gr en Diverse Apparaturen sind sehr gut durchdacht und oft trotzdem sehr simpel aufgebaut Diese gut durchdachten Konzepte dieser Behelfe k nnen wir uns zu Nutze machen und durch den meist einfachen Aufbau auch selbst m helos in Eigenregie nachbauen Wir suchten auch nach einen automatischen
10. 2 Stunden e Weitere 18 biographische Texte von jeweils 2 ORF Sprecherinnen m nnl weibl aus jedem der 9 sterreichischen Bundesl nder e Jeweils zwei weitere biographische Texte pro Land von Rundfunksprechern aus Deutschland und der Schweiz e Weitere sechs Texte die den sterreichischen Innenstandard repr sentieren Dabei handelt es sich um gro regionale Gebrauchsstandards die in der Kommunikation innerhalb desselben Bundeslandes oder in Gro regionen verwendet werden und eine gro e Verbreitung haben Im Einzelnen handelt es sich um Texte aus Vorarlberg Tirol K rnten Salzburg Ost sterreich und Wien Zu diesen Sprachdaten fehlen allerdings noch die n tigen PROMPTS 36 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 5 2 Testen von Sprachpaketen Zum Erstellen der Sprachpakete wurden teilweise die laut unseren Recherchen n tigen Features und teilweise die von Hr Petrik vorgeschlagenen Features benutzt Durchg ngiges Resultat ist dass die Anpassung des Modellerstellungsprozesses noch n her in Augenschein genommen werden sollte um m glichst gut Erkennungsraten zu erreichen 5 2 1 Rehabilitationsklinik Bad Radkersburg e REHA Radkersburg e 60 out of corpus samples e 97 6685 5 2 2 Kids Chance Bad Radkersburg 5 2 2 1 In Corpus Alter Target Typ 64 2285 Neuer Target Typ 72 5574 3GMMs 3 80 5838 3GMMs 3 3 85 7125 4GMMs 3 4 87 5694 3GM
11. DMN Dynamische Kontrastoptimierung Sch rfeeinstellung 2D 3D Rauschreduzierung 1080p bei 24 25 30 Hz 1080p bei 50 60 Hz 5 ms 50 Hz Bildschirmoptimierung Reduzierte Blendung Max Helligkeit 65 Unterst tzte Display Aufl sung Computerformate Aufl sung Aktualisierungsrate 640x480 60Hz 800x600 60Hz 1024x768 60Hz 1280x720 60Hz 1280x768 60Hz 1280 x 60Hz 1024 1360x768 60 Hz Videoformate Aufl sung Aktualisierungsrate 480i 60 Hz 480p 60 Hz 576i 50 Hz 576p 50 Hz 720p 50 60 Hz 124 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 1080i 50 60 Hz 1080p bei 24 50 60 Hz 1080p 24 25 30 50 60 Hz Ton Sinus Ausgangsleistung RMS 16 W Unsichtbare Lautsprecher Verbesserung der Soundqualit t Automatische Lautst rkeeinstellung Incredible Surround Smart Sound H hen und Bassregelung Soundsystem Mono Nicam Stereo Stereo Komfort Schutz von Minderj hrigen Kindersicherung Uhr Sleep Timer Wecktimer Erweiterte Anschl sse Easy Link Einfache Installation Automatischer Programmname Automatic Channel Install ACI Automatic Tuning System ATS Autostore Feinabstimmung Digitales PLL Tuning Plug amp Play Einfache Bedienung Automatische Lautst rkeregelung AVL Bildschirmanzeige Seitl Bedienelemente Smart Picture Smart Sound EasyLink Elektronische Programmzeitschrift EPG 8 Tage Elektronische Programmzeitschrift Fernbedienung F
12. Presentation Text Ja Show icon Silent Trigger automatically wi Switch state Next state 2 Eingenommen v Execute commande H 4 ER O zeg Im Eingenommen Zustand gibt es nur eine Option Beenden die nach 7 Sekunden nachdem der Dialogtext gesprochen wurde automatisch ausgel st wird Auch im Noch nicht eingenommen Zustand existiert eine hnliche Option Wird diese ausgel st wird jedoch gleichzeitig ein Akonadi Kommando ausgel st das den Dialog sp ter erneut starten soll E Dialog option simon di wi we amp Name Trigger Beenden Description Presentation Text Beenden z Show icon V Silent vi Tigger automatically After 15000 ms vi Switch state Next state 0 Close dialog v M Execute commands Command Erneut an Medikamente erinnern Akonadi v _ Add Command Bet Trigger Category a Erneut an Medikamente erinnern s Akonadi DH 69 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Das Akonadi Kommando f hrt dabei den Dialog nach 10 Minuten einfach erneut aus 7 amp Command Erneut an Medikamente erinnern 2 e x Name Trigger Erneut an Medikamente erinnern Type sei Akonadi v O Description Command Medikamente Dialog v _ Absolute Relative After 10 Minutes v V Or Damit wurde der oben schematisch dargestellte Dialog komplett in simon umgesetzt 6 6 4 Dialogspe
13. Verwertung Im Berichtszeitraum wurden folgende Weiterverbreitungsaktivit ten get tigt Projektvorstellungen an folgenden Seniorenheimen Seniorenresidenz Humanitas Graz und Arnfels Krankenhaus der Barmherzigen Br der Sinnresidenz REHA Klinik der AUVA Tobelbad Projektvorstellungen auf universit rem Niveau TU M nchen Escuela Superior St Ana Pisa TU Laibach Projektvorstellungen im Rahmen von Konferenzen Vortrag und Workshop im Rahmen der KDE Entwicklerkonferenz Akademy in Tampere Finnland 2 Vortr ge und einen Projektstand beim AAL Forum in Odense D nemark 2010 1 Vortrag beim AAL Treffen in Innsbruck 2011 Projektstand bei der CEBIT im M rz 2011 Vortrag und Projektstand beim AAL Forum in Graz 2011 Vortrag und Projektstand beim IKT Forum in Linz 2011 Vortrag und Poster Pr sentation beim AAL Forum 2011 in Lecce ltalien Pressekonferenzen zur Projektvorstellung an der Reha Radkersburg und Humanitas im September 2011 Dokumentationsmaterial neben dem Endbericht f r die FFG Detaillierter technischer Sachbericht in Fertigstellung bis Ende August Projektvideo in Englisch und Deutsch Die Videos sind nun auf der Webseite http www cyber byte at index php id 402 amp 1L 0 und auf Youtube zu finden Deutsche Version http www youtube com watch v 5h gSADR8mg E ngl ische Version http www youtube com watch v 35tyZntA9j4 Projektplakat in Englisch und Deutsch Markt Grunds tzlich ist ein recht gro er Markt f
14. Video Telefonie unterer Ir Rn Rn ein ee 90 8 5 ele 90 Implementierung a en ern nenn ich E 91 9 1 Netzwerkkonfiguration Humanitas seesssseseseseesssssseserressssesereretrsssssrerrnessssssreereessssssrreenesssseseeenn 91 9 2 veer 91 9 2 1 ffentliche Station REHA Radkersburg 91 9 2 2 ffentliche Station Humanitas Graz sau 92 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 9 3 Individuelle Stationen nissen PAAS 93 9 3 1 Individuelle Station proband sssssssssssessseesrsssseserresrssssererresnssssrnerressssssreernesssseserernessssene 93 9 3 2 Individuelle Station proband ssssssssssssessseesssssseserrrsrsssserrrresnssssrnrrnessssesrrernessssesreeenessssnnt 94 9 3 3 Individuelle Stationen Humanitas nennen 95 10 Wissenschaftliche Begleitung 98 10 1 Wissenschaftliche Begleitung durch DI Stefan Petrik uussesessesssnsnneenenonnnnnnnnennennnnnnnennnnennennnnenn 98 10 1 1 Regelm ige monatliche Teamsitzungen der wissenschaftlichen Begleitung 99 10 1 2 Schwerpunktarbeiten zur Kl rung verschiedener Fragestellungen ssssssnssssssssssresssssssrerees 99 10 2 Wissenschaftliche Begleitung durch Prof Muhr von der Forschungsstelle sterreichisches Deutsch der Karl Franzens Universit t 100 11 Komplement re Prolektergebntsse riisiin sii einiin isnin hoia in inii 101 11 1 SSC sim n sample collector e
15. __ Display avatar name Dialog v Text to speech configuration Separator to options Repeat on trigger Wiederholen B d Add Remove Announce repeat __ Repeat available options on invalid input 6 6 3 2 2 Ausl ser Der Dialog soll zu einer gewissen Zeit gestartet werden Dazu verwenden wir eine Kalenderanbindung mit dem Akonadiplugin Mit Hilfe des Akonadiplugins k nnen simon Kommandos zeitgesteuert ausgel st werden Mit der unteren Konfiguration kann der Medikamente Dialog simon Trigger Medikamente also mittels eines Kalendereintrags mit Titel simon command Dialog Medikamente ausgel st warden ra Manage actions simon Hd Akonadi General Selected collection Peter Grasch x 4 Erecute Akonadi based command requests Dialog command prefwe smon commana A Display sam Dialog Akonadi SE 68 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Wiederholende Termine werden unterst tzt und k nnen f r t gliche Erinnerungen verwendet werden 6 6 3 2 3 Optionen Mittels den Optionen wird zwischen den Zust nden gewechselt Im ersten Zustand der Erinnerung selbst wird der Benutzer gefragt ob er die Medikamente bereits eingenommen hat Er hat daraufhin zwei Optionen e Ja Wechselt zum Zustand Eingenommen e Nein Wechselt zum Zustand Noch nicht eingenommen Pi Dialog option simon Name Trigger Ja Description
16. in dem Sie einen Sender markieren und mit Enter ffnen und im Element Platz die gew nschte Zahl vor der Bezeichnung definieren ndern e Nach dem Schlie en und Speichern des Mythtv Backends wird ein Neustart empfohlen 8 4 Video Telefonie Unter home simon gibt es den Ordner Telefon Unter home simon gibt es den Ordner Telefon in dem sich sowohl die Bilder der Kontakte als auch deren Namen im Modul und Skype Konten administrieren lassen Die Namen und Skype Konten lassen sich in der Textdatei telefon txt konfigurieren und die Bilder m ssen direkt im Ordner liegen die Namen m ssen der Konvention kontakt ong bis kontakt8 png entsprechen 8 5 Kalender F r die Administration der Termine die im Kalender aufscheinen gibt es mehrere M glichkeiten Da Adkonadi als Schnittstelle zwischen der Kalenderobfl che die der Proband sieht und dem Server z B Groupware Exchange in dem die Termine erstellt und gespeichert werden fungiert ist die Administration der Termine auch Abh ngig von der gew hlten Serverumgebung Wir empfehlen aus Sicht der Anforderungen in der Praxis zwei Varianten 1 eGroupware mit Wartung via Web a ein eGroupware Server wird auf einem Webserver installiert b pro Station ffentliche oder individuelle wird ein Benutzer und somit ein Kalender in der eGroupware Umgebung angelegt c in Akonadi werden lokal auf den Stationen die eGroupware Benutzerkonten integriert und so
17. r Tastatur Maus Gitter Telefon abheben auflegen anrufen durch drucken Medien Astro BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 13 3 2 Erl uterung der Sprachbefehle Konstante Erkennung ein und ausschalten si mon a ufwa ch en aktiviert das Mikrofon wener 2 sser 3 vigens 4 Musik 5 Fernseher 2 Veranstal zur ck rauf GE rauf rauf runter hinauf hinauf _Ihinauf hinauf zur ck Einzelworterkennung bei vielen Nebenger uschen Si mon Befe hl wie z B lauter simon schlafen deaktiviert das Mikrofon z aereus mern CT EN 6 7 Zeitungen 6 7 Zeitungen u SEEN ee Zeitschriften RSS Zeitschriften Internet P Zahl 1 4 Zahl5 3 r zur ck Jeu rechts Junge TI e a hinauf e Jede Unterseite ist mit einer r Zahl hinterlegt und diktieren die gew nschte Zahl in der verg r ern Reihenfolge des Schreibens z B 1 9 f r 19 und verkleinern best tigen mit OK Mit schlie en k nnen Sie die Zeitungsseite wieder beenden Zahl 0 9 har Sa BE 8 Abbrechen A Abbrechen 132 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 13 3 3 Generelles Sprachmodell BP RRH HUH HUS HUG ADA BP RRH HUH HUS HUG ADA 25 September 2011 1 Task de_nition Test der Aufnahmen Reha Radkersburg Humanitas Graz und Adaba nur bsterriechisches Deutsch Getestet wurde mit Schwanenhals Testdaten 2
18. reinfl ssen o hnlich gute Leistung des Samson CM12C H ngemikrofons bis auf Anf lligkeit gegen ber St reinfl ssen o m f igere Leistung f r AcousticMagic VoiceTracker nur unter St reinfl ssen leichte Vorteile 4 3 Mehrmikrofonl sung f r Sprachaufnahmen Da wir grunds tzlich mehrere unterschiedliche Szenarien geplant haben in denen unterschiedliche Mikrofone zum Einsatz kommen m ssen mussten wir aufgrund der unterschiedlichenen Mikrofoneigenschaften auch mit den jeweiligen Mikrofonen aufnehmen Hierf r entschieden wir uns nach den Mikrofontests mit folgenden Mikrofonen aufzunehmen Sennheiser PC 36 USB Headset THE T BONE 312S Schwanenhalsmikrofon Samson CM12C H ngemikrofon Dadurch wurde jede von uns angedachte Situation abgedeckt 4 3 1 Technische Umsetzung Das Sennheiser PC 36 USB Headset besitzt eine eigene USB Soundkarte Da die anderen beiden Mikrofone T BONE 312S und Samson CM12C einen XLR Anschluss haben wurde hierf r eine Alesis 32 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 MultiMix 4 Usb Soundkarte benutzt Diese erm glichte es mit den beiden Mikrofonen gleichzeitig aufzunehmen Mit der von uns in diesem Hinblick entwickelten Software SSC war es auch m glich mit mehreren Mikrofonen gleichzeitig aufzunehmen 4 4 Mikrofon Tests aus der Distanz 4 4 1 Beschreibung In den folgenden Tests verwendeten wir vorausgew hlte Mikrofone v
19. was den betroffenen Personenkreis bisher praktisch von der Nutzung von IKT Anwendungen ausschlie t Dieses Manko zu berwinden soll das vorliegende Forschungsprojekt helfen Internetaktivit ten chatten Informationen sammeln E Mails schreiben surfen BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 2 3 4 2 4 Kontakte und Kontaktmittel Der Kontakt der BewohnerInnen mit der Aussenwelt verteilt sich wie folgt Kontakte H ufigkeit zu Kontakte H ufigkeit zu Familie Freunden Die Kontakte gestalten sich prim r e Pers nlich e Per Telefon e Undin einigen wenigen F llen per E Mail 2 3 4 3 Basisinformationen f r die Gestaltung und inhaltliche Bef llung von Anwendungsl sungen 2 3 4 3 1 Priorit ten f r Bankl sungen Banken Bank BAWAG PSK 3 D B BAWAG PSK Hypo Bank 1 z B Hypobank Keine Angabe 24 g Uii iniii Raiffeisenbank 18 egen Sparda Bank 1 ee Steierm rkische Sparkasse 13 ei aba hm Gesamt 60 E Steserm rkisch 2 3 4 3 2 Hobbies Interessen und sonstige inhaltliche Informationen f r eine Priorit tensetzung siehe Anhang 2 3 4 4 Interpretation und Erkenntnisse Grunds tzlich k nnen aus den vorliegenden Erhebungsdaten folgende Erkenntnisse und Aussagen definiert werden Die Bewertung der allgemeinen Verfassung und Funktionsf higkeit der Sinne
20. 0 output output return output niceDate Den Zust nden wurden jeweils mehrere Texte zugewiesen Beim Ausl sen des Dialoges wird dann ein Text aus allen Texten des Zustandes ausgew hlt und angezeigt bzw ausgegeben um die Dialoge und minutes Minuten nicht zu eint nig erscheinen zu lassen Das Templating System wurde verwendet um mittels eines Parameters die Dialoge entweder formell oder informell wirken zu lassen Dazu muss nur der Wert des entsprechenden Templateparameters ge ndert werden General Dialog Manage actions simon vo Dialog A Dialog design Bound values Template options Avatars Output Add Edit Remove V ok Zus tzlich zum Text wird auch ein Symbolbild angezeigt das als Avatar konfiguriert wurde R General Dialog Dialog Manage actions simon v vi ei amp Ee Dialog design Bound values Template options Avatars Output CSS Add Edit Remove 2 K BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 F r die Ausgabe wird das Sprachausgabesystem in unserem Fall ber den Webserviceprovider und einer lokalen OpenMARY Instanz und das grafische Interface verwendet di e Manage actions simon A el e x EY Dialog A General H Dialog design Bound values Template options Avatars Output Graphical interface Dialog Avatar size 400 px
21. 1 5 Projektpartner Rehabilitationsklinik Maria Theresia a Firmenname bzw Name der Einrichtung REHA radkersburg klinik maria theresia Thermenstra e 22 8490 Bad Radkersburg b Angabe zur fachlichen Kompetenz der Organisation und der beteiligten Personen f r das Projekt Die REHA radkersburg klinik maria theresia ist ein Rehabilitationszentrum f r Neurologie Orthop die und Erkrankungen des rheumatischen Formenkreises Zudem wird eine umfassende Rehabilitation f r Kinder angeboten Aufgrund der langj hrigen Erfahrung und der besonderen Fachkenntnisse der rzte der Therapeuten und des Pflegepersonals in diesem Fachbereich nimmt die REHA radkersburg klinik maria theresia eine f hrende Stellung ein Hoch qualifizierte Mitarbeiter engagierte Rehabilitationsteams mit langj hriger Erfahrung sowie die angenehme freundliche Atmosph re im Haus garantieren Rehabilitation auf h chstem medizinischem pflegerischem und therapeutischem Niveau Die Einrichtung zeichnet sich aber nicht nur durch die gute interdisziplin re Zusammenarbeit der einzelnen Berufsgruppen sondern auch durch Aufgeschlossenheit f r kulturelle religi se und sprachliche Eigenheiten aus In der REHA radkersburg klinik maria theresia arbeiten Mitarbeiter aus zehn verschiedenen L ndern Europas die Spezialkenntnisse und spezielle Arbeitsweisen in das vielf ltige Rehabilitationsangebot einbringen c Darstellung des projektrelevanten Track Record Markterfolge Pa
22. 1918 9w D D DU 1 D 3 Pikgetamm 1919 DL w 2 t DU D 2 2 Pflogehaim 1926 aw 3 3 1 D 2 3 Pflegeheim m aw 3 3 3 3 H 3 Pik efemm 1955 54 w 2 D D 3 2 2 Pflaogabaim 111 39 w 2 2 2 2 2 3 Semorenheim 1055 55w 1 t DU 2 2 3 Zem erem 1922 BR w A 2 D 1 2 3 Somorunbaim 19 54 w D 2 2 2 1 Semorenheim 100 0 w 3 3 3 3 3 Senior nd 1377 saw 3 3 2 2 2 3 Seniorenheim 1918 92w A H 2 D 2 3 Semorenheim 1973 aw 2 DH 2 D 2 3 Semer er mm 1918 92w 3 3 2 2 2 3 Seniorenheim 1910 100 w D 2 2 H H 3 Semorenheim 1920 90 w 2 2 H D H 3 Zem er emm 1921 B3 w 2 3 2 3 3 3 Seniormheim 19235 usw 2 4 2 D 2 3 Seniorenheim 1005 65 w 1 t H 1 2 3 Semar mim 1924 Bi w 2 2 1 2 2 3 Seniorenheim 114 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 13 1 3 Vorlagen der Frageb gen gemeinn tziger Verein zur Entwicklung Verbreitung und Implementierung der Spracherkennungssoftware SIMON PsIMON listens fe Fragebogen f r Betreuer Bed rfniserhebung f r das BENEFIT Projekt 2010 11 des Vereines simon listens Wie ist die subjektive Einsch tzung des Kontaktes der Bewohner mit Freunden Kindern Familie 0O a LI O LI Sehr gut Gut Befriedigend Gen gend Nicht Gen gend Kommentare Anmerkungen Wie ist Ihre subjektive Einsch tzung der Kommunikation zwischen Bewohnern und Betreuern LI m o oO o Sehr gut Gut Befriedigend Gen gend Nicht Gen gend Kommentare Anmerkungen An welche vitalen T tigkeiten muss man die
23. 3 4 2 1 Situative Informationen und Voraussetzungen f r Anwendungsl sungen keiner durchschnittlich viel Gesamt Pflege Betreuungsbedarf 11 38 10 59 Pflege Betreuungsbedarf Der Pflege und Betreuungsbedarf ist relativ gleichm ig verteilt u keiner m durchschnittlich E viel 13 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 2 3 4 2 2 Sinne Sprache und k rperliche Verfassung Gut Durchschnittlich schlecht Gesamt Sehf higkeit 18 26 15 59 H rf higkeit 23 22 14 59 Sprechf higkeit 43 11 5 59 K rperliche Verfassung 11 37 10 58 60 50 40 4 30 4 20 10 B Gut w schlecht E Durchschnittlich Die Bewertung der allgemeinen Verfassung und Funktionsf higkeit der Sinne ergibt dass das Sehen und H ren durchschnittlich beeintr chtigt ist Die k rperliche Verfassung ist am meisten betroffenen und als St rke kann ganz klar die Sprechf higkeit erkannt werden was als klare Best tigung interpretiert werden k nnte dass die Sprache s E s als Schnittstelle zur Kompensation si si ai p f x S g g k rperlicher Einschr nkungen am l ngsten 3 A P m Fl WM A zielf hrend sein kann Es 2 3 4 2 3 EDV Kennntisse sehr gut durchschnittliche keine Gesamt EDV Kenntnisse 0 5 54 59 EDV Kenntnisse B dur k EDV Kenntnisse sind praktisch nicht vorhanden
24. 30 06 2011 30 06 2011 01 01 Vorgang In Arbeit Benefit Call5 Meilenstein Sammelvorgang Vorgang mit Enduser Rollup Meilenstein Rollup In Arbeit Unterbrechung Externe Vorg nge Gruppenkopf Stichtag C Projektsammelvorgang Qm A 179 Programm benefit organgsname September Dezember April Phase 1 Vorbereitung AP_01 AP_02 AP_03 AP_04 AP_05 Phase 2 Konzeption AP_06 AP_07 AP_08 AP_09 AP_10 AP_11 AF_12 Phase 3 Prototyping AP_13 Ap 4 Ap 18 AP_16 Phase 4 Umsetzung AP_17 Ap 8 AP_13 AP_20 AP_21 AP_22 AP_23 AP_24 AP_25 Ap Z Ap 27 Phase 5 Integration AP_28 AP_29 AP_30 AP_31 Phase 6 Auswertung AP_32 oo AO mn bk Ga N ca E A mlJela mlelaImjelalmjelalmjejalmlelalm je lalmlelalm le viele live Benefit Call5 Vorgang In Arbeit Meilenstein Sammelvorgang Vorgang mit Enduser Rollup Meilenstein Rollup In Arbeit Unterbrechung m gt Externe Vorg nge Projektsammelvorgang Qm Gruppenkopf Stichtag A 180 Programm benefit 13 6 2 2 3 Detaillierte Beschreibung der einzelnen Arbeitspakete Stellen Sie dar wie das Projekt gef hrt wird um die zeitgerechte und qualitativ hochwertige Durchf hrung des Vorhabens zu gew hrleisten Beschreiben Sie kurz die bisherigen Erfahrungen mit Forschungsprojekten oder hnlichen Vorhaben Zur Sicherstellung der zeitgerechten und qualitativ hochwertigen Durch
25. ADA Thaller BP RRH HUH HUS HUG ADA 30 September 2011 1 Task de_nition Test der Aufnahmen Reha Radkersburg Humanitas Graz und Adaba nur bsterriechisches Deutsch Zus Btzlch sind Aufnahmen von Fr Thaller einer Testperson f Lur die Individuelle Station dabei Getestet wurde mit Schwanenhals Testdaten 2 System 134 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Interne System Identi_kation SY SAM DEFAULT sam part of simon 0 3 50 HTK 3 4 1 64 bit Julius 4 1 1 SAM verewndet 8 Threads fLur die Reestimationen 3 Vokabular Interne Identi_kation des Vokabulars VB BOMP W Lbrter Aussprachen Durchschnitt 152889 152889 1 00 Es wird das Sequitur W brterbuch basierend auf dem BOMP W Lbrterbuch verwendet Fehlende WLbrter wurden manuell hinzugef Lugt 4 Grammatik Interne Identi_kation der Grammatik GR BASIC Die Grammatik verwendet nur einen Terminal Es werden nur Einzelwort SS htze ekrlabut 5 Trainingsdaten Interne Identi_kation Thaller RRH HUH HUS HUG ADA Aufnahmen Sprecher Durchschnitt 21317 75 284 23 Sprachdaten der Reha Radkersburg Humanitas Graz und der ADABA Sprachdatenbank Zus bktzlich sind Aufnahmen von Fr Thaller einer Testperson f Lur die Individuelle Station dabei 6 Experiment Interne Identi_kation des Experiments Thaller TE BP RRH HUH HUS HUG ADA Das Testset besteht aus den Sprechern 10 und 48 m LCannlich und weiblich der Humanitas Stadtres
26. Durchschnitt 21317 75 284 23 Sprachdaten der Reha Radkersburg Humanitas Graz und der ADABA Sprachdatenbank Zus btzlich 136 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 sind Aufnahmen von Fr Thaller einer Testperson f Lur die Individuelle Station dabei 6 Experiment Interne Identi_kation des Experiments Thaller TE BP RRH HUH HUS HUG ADA Das Testset besteht aus den Sprechern 10 und 48 m Stadtresidenz Graz Uannlich und weiblich der Humanitas Die Aufnahmen wurden im Vorfeld vom Trainingsset entfernt Dieses Experiment wurde durchgef Luhrt am 27 May 2011 7 Testsets Das Modell verwendet 8 Testsets 4 7 1 TEHUG GMMO Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 Ohne GMMs 7 2 TE HUG GMM1 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 1 GMM 7 3 TE HUG GMM2 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 2 GMMs 7 4 TE HUG GMM4 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 4 GMMs 7 5 TE HUG GMM8 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 8 GMMs 7 6 TE HUG GMM16 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 16 GMMs 7 7 TE H
27. EE retten E ETAT BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 4 4 2 Umgebung inata e a a ik REIN 33 4 4 3 Testobj kte lr eege 33 4 4 4 Ed EE 34 4 4 5 CEET Ee EE EE 34 4 4 6 Ausgeschlossene Mikrofone sssessseesssssseserersrsssseerrrrnsssserrrrtsrssssererrtssssssreernessssssreennessssene 35 4 4 7 Einsetzbare Mikrofone f r die Spracherkennung 2222200s000202200nnnnnennnnnnnnnnnnennennnnnnnennnnn 35 5 Sprach Modell f r Senioren 36 5 1 Sammlung der Sprachdaten aore eiei rieeiiaa s aeniea a aniani n anaa ria aiaa ud Kiaan 36 5 1 1 SSC Baten der Spracherheb ng un ah aeaa a aa AREE E R EES A A E O Raia 36 5 1 2 Spr achaufnahmen f rdie TU EE 36 5 1 3 Met te 36 5 1 4 ADABA Aussprachedatenbank 36 5 2 Testen v n Sprachpakete euie nn Ent anbauen 37 5 2 1 Rehabilitationsklinik Bad Radkersburg ssssnssnsnssssesenesssssseserresssssseserressssssreernesssssseeeenessssene 37 5 2 2 Kids Chance Bad Radkerzburg iison iaa E aa aar e aaa aE TAE 37 5 2 3 Reha Radkersburg und Kids Chance gemeinsam 37 5 2 4 Ve Ate 37 5 32 Zusammenfassung 2 rs EE EE dee bere 39 5 4 Sprachmodellierung eerste geg Rena EE de EE e el an 39 5 4 1 Sieg VE Del Lu EE 39 5 4 2 Allgemeines zur Sprachmodellierung 41 5 4 3 Erstellen von Sprachmodellen mit simon und sam 42 5 55 Gen tzte Sprachmodelle z2 2 222 rn a a a e e a an a ae e aaa 44 5 5 1 Generelles
28. Experiment 0 ASR Modell aus Headset Aufnahmen getest mit Headset Aufnahmen matched training test condition NUMMIX 1 2 4 8 16 WER 91 30 92 75 91 30 88 41 Table 1 Wortfehlerrate f r Experiment 0 in Abh ngigkeit der GMM mixtures im akustischen Modell 4 2 1 5 Experiment 1 ASR Modell aus Headset Aufnahmen getest mit Aufnahmen verschiedener Mikrofone unmatched training test condition MIC1 MIC2 MIC3 MIC4 MIC5 adapted adapted adapted adapted adapted POS1 50 72 89 86 72 46 94 20 69 57 91 30 66 67 94 20 60 87 89 86 POS2 55 07 84 06 78 26 95 65 76 81 92 75 84 06 95 65 69 57 91 30 POS3 49 28 86 96 63 77 89 86 79 71 94 20 65 22 92 75 71 01 92 75 Table 2 Wortfehlerraten f r Experiment 1 mit Mikrofonen 1 5 auf Positionen 1 3 mit 2 GMM mixtures MIC1 MIC2 MIC3 MIC4 MIC5 adapted adapted adapted adapted adapted POS1 52 17 92 75 73 91 94 20 71 01 94 20 75 36 92 75 59 42 94 20 POS2 52 17 78 26 79 71 95 65 73 91 94 20 88 41 98 55 71 01 91 30 POS3 43 48 86 96 60 87 95 65 76 81 94 20 73 91 94 20 76 81 95 65 Table 3 Wortfehlerraten f r Experiment 1 mit Mikrofonen 1 5 auf Positionen 1 3 mit 4 GMM mixtures 30 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 4 2 1 6 Experiment 2 ASR Modell aus Raumaufnahmen getestet auf Ra
29. Getr nkeflaschen ffner so etwas fanden wir allerdings nicht Unserer Einsch tzung nach der Recherche nach fertigen Produkten d rfte es nicht schwer sein mit einem ffnungsprinzip der Behelfe eine eigene Konstruktion zu entwickeln 13 5 1 30 Eigene Skizzen und Entw rfe Nach einer bisher recht erfolglosen Suche beschlossen wir uns nun hinzusetzen und selbst Konstruktionen zu entwerfen In diese Konstruktionen sind in das eine oder andere Detail Ideen bzw Umsetzungen aus den im Internet gefundenen Greifern eingeflossen Es kam zu ein paar Konstruktionen die mit den in der Schulwerkst tte zu Verf gung stehenden Mitteln sehr einfach herzustellen sind und in manchen Konstruktionen wird der bereits vorhandene Greifer des Roboters nur umgebaut Diese Skizzen sind auch diesem Dokument beigelegt welche Konstruktion wir dann w hlen wird erst noch beschlossen Wir werden anschlie end die einzelnen Vor und Nachteile der zur Auswahl stehenden Entw rfe abwiegen und danach werden wir uns entscheiden welche Greifer Konstruktion umgesetzt werden soll 158 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Mitsubishi Gafe E Entwurf 1 Entwurf mit fix montierten Fingern welche nur ber spindelgetriebenen Mitsubishi Greifer bewegt werden 159 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Hirsubiel Gre fe r Entwurf 2 Grei
30. Hauptforderung der betroffenen lteren Menschen ist e Lesen von Zeitungen Kontoausz gen Telefonb chern Beipackzetteln der Medikamente und e Fernsehen Die Orientierung auf der Stra e bleibt zum Gl ck gr tenteils erhalten Ausnahme Tunnelblick bei RP oder fortgeschrittener diabetischer Retinopathie Eine Leseprobe mit fortlaufendem Text unterschiedlicher Schriftgr e die mit einer Addition 4 0 dpt oder zumindest der Lesebrille benutzt wird zeigt beim Erreichen des kleinstm glich lesbaren Textes auf welcher Vergr erungsbedarf vorliegt um Zeitungsdruck wieder fl ssig lesen zu k nnen 23 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 3 Verwendete Hardware 3 1 Zotac Net Top PC Da wir f r die grafische Darstellung stets einen Flachbildfernseher vorgesehen haben fiel unsere Wahl auf einen Computer der Net Top Klasse da sie ein gutes Preis Leistungsverh ltnis haben klein sind und genau f r Multimedia auf einem Fernseher gedacht sind Des Weiteren bieten sie die M glichkeit auf der R ckseite eines Flachbildfernsehers unsichtbar montiert zu werden Die endg ltige Entscheidung fiel auf den Zotac Mag Mini GIANT Net Top PC da er die ben tigten Anschl sse HDMI zur Verbindung mit dem Fernseher gen gend USB Anschl sse bietet und ohne Betriebssystem ausgeliefert wird was die Kosten nochmal senkt 3 2 Full HD Fernseher Die Voraussetzungen f r de
31. Ich w nsche Dir einen sch nen Tag 7 Software Installationsanleitung 7 1 Ubuntuversion 7 1 1 Ubuntuinstallation Wir verwenden Ubuntu 10 10 von http at archive ubuntu com releases 10 10 ubuntu 10 10 desktop i386 iso Nachdem das Installationsmedium auf CD gebrannt wurde kann die Installation mit Standardeinstellungen durchgef hrt werden Achten Sie auf eine bestehende Netzwerkverbindung und stellen Sie sicher dass die Option gew hlt wird w hrend der Installation schon die neuesten Installationsdateien zu verwenden 7 1 2 XBMC Wir f gen das XBMC Repository hinzu 76 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 sudo add apt repository ppa team xbmc ppa Wir aktualisieren den lokalen Paket Zwischenspeicher sudo apt get update Installation von awesome lighttpd MythTV XBMC den DVB Applikationen und der simon Entwicklungsumgebung sudo apt get install git core build essential cmake bison flex gettext gettext kde kdeartwork kdelibs5 dev libxtst dev libqt4 sql sqlite qtmobility dev libphonon dev libattica dev libattica zliblg dev portaudiol9 dev xbmc awesome mythtv lighttpd dvb apps w scan patchutils libproc processtable perl wvdial wpasupplicant dhcpcd xbindkeys mingetty curl 7 1 2 1 Grafiktreiber Dazu kann die grafische Oberfl che verwendet werden Nutzen Sie dazu das Installationstool welches im Men unter folgendem Pun
32. Industrie Robotern sehr hilfreich und dienlich ist 162 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 13 6 Benefit Projektantrag simon Sprachsteuerung von IKT Anwendungen f r Senioren bene fit simon en C l Sprachsteuerung von IKT Anwendungen f r Senioren ef simon L Projektantrag Formularteil A f r ein Stimulierungsprojekt oder eine Programm begleitende Ma nahme Vor der Einreichung von Programm begleitenden Ma nahmen wenden Sie sich bitte an das Programmmanagement Projekttitel Projektkurztitel simor Antragsteller SIRSIHUUFZIGER VEESI EEN EN Projektpartner Si Bundesministerium f r Verkehr Innovation und Technologie BMVIT b m dh Programmverantwortung 163 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Programm Management A2 VW p D D sterreichische Forschungsf rderungsgesellschaft mbH FFG Inhaltsverzeichnis 0 1 Checkliste f r die Antragseinreichung Fehler Textmarke nicht definiert 0 2 Einr ichmodaltaten u een Fehler Textmarke nicht definiert 1 ile Eet EE 165 2 Beschreibung des vorgeschlagenen Vorhabens max 12 Seiten uunssnnnnennnnennnnnnnnnn 168 2 1 Inhalt des vorgeschlagenen Projekts scrissenu een 168 2 1 1 Ziele des vorgeschlagenen Proiekis E 168 2 1 2 Giand der Technik oder Motivatlon nn 170 2 1 3 Technische P
33. Internet dort sicher gestartet ist 7 1 13 Firefox Firefox4 installieren sudo add apt repository ppa mozillateam firefox stable sudo apt get update sudo apt get upgrade Firefox ausf hren und 1 In about config Backspace als zur ck aktivieren browser backspace_action auf 0 setzen 2 Rechte Maustaste auf die Men zeile gt H ckchen bei Menu Bar entfernen 3 Rechte Maustaste auf die Men zeile gt Customize Alle Felder au er der Adresszeile in den Dialog ziehen entfernen Addons installieren Adblock Plus Flashblock Mousless Browsing und Status 4 Evar 5 Konfiguration von Mouseless Browsing 82 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 a Style for id span kopiere den Inhalt von Benefit Ubuntu 10 10 Installationsdateien firefox id span txt in das Feld style for id span b Style for frame id span kopiere den Inhalt von Benefit Ubuntu 10 10 Installationsdateien firefox frame id span txt in das Feld style for frame id span 1 Konfiguration von Status 4 Evar Fortschritt gt Fortschritt in der Adresszeile anzeigen gef llt 2 Wei er Text f r die Adressleiste Kopieren der Datei userChrome css von Benefit Ubuntu 10 10 Installationsdateien home simon mozilla firexox profilname chrome nach mozilla firefox lt profilname gt chrome userChrome css In der Datei simonweb sh muss gew hrleistet werden dass der Befehl d
34. Leutschach ESNNEEENEENEEENENENNE CRL get t OCH rer Hiap Eu eps nps L 1 33 PAE ee urTau EEH WAS auf DE RS RUE JI n a C u X E o I F S R Ei CH ger SERRURIER BI ESA ELL BR C berdackt Terrasse CU B bee e BRGEOSARAR EANA P TREME T RE eme ee D E HR E A E A A A RR a E DIPL ING HANS LUKAS ZIVILINGENIEUR FOA BAUWESEN 8430 LEIBNITZ LEITRING LUDWIG ANZENGRUHER GASSE 3 TELEFON 03452 2061 120 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 l 0432 Bauwerk WH SE ERS GUTSC DNSRUNERENSEERNEETENEN MSc TI Ce lesten TE EH Eege CUTE TTET E HEEE CC CR CHE SSSR Zeyn W ELLO CE Zu A HBk TER KC Y g a aum A mg CC C IM l SRATH AS Ber NT a EN IE Cem BECH E ETEL E 3 u n Bim Es ag SSC E EK R Es EIER GI CH mim Se Ch Ei HES IER ECKE H eg i Some CO ECH ER CC IDE iS CEET BR Sp nd MEI el BI FH CET 3 CLBCOHET Gr SES SRRRR N hi Kannt PATYA Zar au RHEE HH al A anaran ZH BEA SE RES SER SS RED WR EES ES EAR ES ADEME E LEI CET L d Bueeelanteinbenhandsniendaschnde E ETT a Irre HHHH SS H HEER HH Str KA REES E HH DIPL ING HANS LUKAS ZIVILINGENIEUA F R BAUWESEN aii 8430 LEIBNITZ LEITRING L
35. Mikrofone und Verwendung der Mehrmikrofonl sung von simon qualitativ verschiedene Zonen der Signalverarbeitung zu definieren Das k nnten zum Beispiel sein e Rufzone f r Notf lle und Hilferufe e _Kommunikationszone f r Telefonate usw e _Komfortzone Bett Couch etc zur Direktsteuerung der Software 27 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 4 1 4 Empfohlene Hardware durch die TU Graz aufgrund der Testergebnisse 4 1 4 1 Headset e Sennheiser PC 36 USB 4 1 4 2 Schwanenhals Mikrofon e AKGDSA2E e Alternative the t bone TB 312S in Kombination mit einer Mikrofon Tischsprechstelle Modell K amp M 29376 oder THE T BONE TISCHFUR 4 1 4 3 H ngemikrofon e Samson Audio CM12C 4 1 5 Testergebnisse 4 1 5 1 Beschreibung Erstellt von Stefan Petrik Susanne Rexeis 22 6 2010 4 1 5 2 Ziele f r eine gegebene Menge an Mikrofonen und ein gegebenes Raumsetup e Auswahl des Mikrofons mit den besten Worterkennungsraten e Maximierung der Worterkennungsrate f r ein bestimmtes Mikrofon e Vorgaben f r bessere schlechtere Raumsetups 4 1 5 3 Testanforderungen e realistisches Setup f r Anforderungsf lle e Reproduzierbarkeit der Ergebnisse 4 1 5 4 Aufnahmesetup 4 1 5 5 Hardware e YAMAHA Lautsprecher zum Abspielen der Referenzaufnahme Headset Aufnahme e Mikrofone o MIC1 AcousticMagic VoiceTracker o MIC2 t bone 150 SC Studiomikrofon mit Nierenc
36. Mit Szenarios lassen sich gewisse Anwendungsf lle der Software gruppieren und diese Bausteine kombinieren Damit lassen sich allgemeine Pakete f r individuelle L sungen zusammenstellen und anpassen Dies ist auch eine vorraussetzung f r eine sinnvolle Umsetzung der geplanten Dialogsteuerung Programmatische Unterst tzung f r Szenarios war bereits in der verwendeten Entwicklungsversion von simon verf gbar erst durch die vorangegangene Stabilisierung konnte er aber erst in vollem Umfang verwendet werden 45 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 6 1 3 Verbesserung der Modellverwaltung Um eine zufriedenstellende Erkennungsrate zu erzielen ist die Verwendung eines passenden Sprachmodells unumg nglich Da die verwendeten Sprachmodelle in diesem Projekt zweckm igerweise Spezialanfertigungen f r die Zielgruppe sind ist der Prozess der Erstellung ein integraler Bestandteil des Projekterfolges In Zusammenarbeit mit der TU Graz wurde der Kompilierungsprozess des Sprachmodells berarbeitet 6 1 4 Modellerstellung Auf Anraten der wissenschaftlichen Begleitung wurde die Modellerstellung um einige Schritte erweitert um mehrere Gau sche Mischverteilungen zu erzeugen Damit kann vor allem in gr eren allgemeinen Sprachmodellen die individuelle Aussprache einzelner Personen besser abgebildet werden und das resultierende Modell ist dadurch robuster Weiters wurde de
37. Programmiiert tigkeiten erarbeitet werden Hier ist die gemeinsame Erarbeitung des Konzeptes in Teamarbeit besonders wichtig da es sozusagen das Herzst ck der Gesamtl sung wird AP_11 Konzeption der Software Prototypen 5 Arbeitstage Mitarbeiter PG 2 AB 3 Partner keine Vom Konzept des Gesamt Softwarepaketes m ssen zu den einzelnen Programmabschnitten Konzepte f r Prototypen entstehen die in der nachfolgenden Phase dann f r die Praxistests mit den End Usern erprobt werden AP_12 Konzeption der Hardware Prototypen 5 Arbeitstage Mitarbeiter FS 2 MS 3 Partner keine Die Ergebnisse der Vorbereitungsphase und des Detailkonzeptes der Hardware Komponenten sollen Aufschluss bieten welche Hardware Ausstattungen mittels Prototyping von den Zielpersonen praxisnah erprobt werden m ssen Hierf r m ssen in diesem Arbeitspaket Konzepte erstellt werden AP_13 Erstellung des Sprachpaketes 40 Arbeitstage Mitarbeiter MS 40 Partner KFU HTL EU Das Detailkonzept zum Sprachpaket der vorherigen Phase dient als Basis f r die Umsetzung Gemeinsam mit den genannten Partnern wird in diesem Arbeitsschritt das Sprachpaket erstellt das dann als generalisierte Version die Basis f r die Sprachsteuerung mit SIMON darstellt AP_14 Erstellung und Praxistests der Software Prototypen 80 Arbeitstage Mitarbeiter FS 5 PG 15 AB 60 Partner EU Anhand der in der Konzeptionsphase erstellten Anforderun
38. Senioren anzupassen Die Verwaltung der pers nlichen Termine und der Erinnerungsfunktionen kann ber einen zentralen Rechner erfolgen Erschwert wurde dieser Arbeitsprozess durch vorher nicht bedachte Aspekte die sich aus den Bed rfnissen der Zielgruppe und dem Input der wissenschaftlichen Begleitung ergeben haben Genannt seien hier vor allem L sungsans tze wie die Mehrmikrofonl sung Erfordernisse der Stabilisierung und Anpassung der bisherigen simon Version f r eine an die Zielgruppe angepasste L sung Erfordernisse des Umbaus der Erkennung vor allem f r Mikrofonl sungen nicht wie in der Regel Headset Erkennung Erg nzung der Erkennung mit technischen L sungen zur verst rkten Ausschaltung von Nebenger uschen Zur Unterst tzung des jungen Forscherteams und zur Gew hrleistung einer anwendungsorientierten Entwicklung Es ist 10 Uhr und 23 Minuten d D Eee s ich m chte Sieanhreeaikamene Wurde ein monatlicher Supervisionsprozess mit Hilfe einer Haben Sie sie schon eingenommen Bitte antworten Sie mit Ok f r Ja externen Psychologin dem Forschungsprozess zugeschaltet oder Abbrechen f r Nein Trotz vieler unvorhergesehener Probleme und o Schwierigkeiten wurden in der Implementierungsphase 2 Abbrechen ffentliche Stationen Eine an der Rehabilitationsklinik Maria Theresia Bad Radkersburg und eine an der Seniorenresidenz Humanitas in Graz installiert und in Betrieb genommen Weiters
39. System Interne System Identi_kation SY SAM DEFAULT sam part of simon 0 3 50 HTK 3 4 1 64 bit Julius 4 1 1 SAM verewndet 8 Threads fLur die Reestimationen 3 Vokabular Interne Identi_kation des Vokabulars VB BOMP W Lbrter Aussprachen Durchschnitt 152889 152889 1 00 Es wird das Sequitur W brterbuch basierend auf dem BOMP W Lbrterbuch verwendet Fehlende W Lbrter wurden manuell hinzugef Lugt 4 Grammatik Interne Identi_kation der Grammatik GR BASIC Die Grammatik verwendet nur einen Terminal Es werden nur Einzelwort SS htze ekrlabut 5 Trainingsdaten Interne Identi_kation RRH HUH HUS HUG ADA Aufnahmen Sprecher Durchschnitt 21317 75 284 23 Sprachdaten der Reha Radkersburg Humanitas Graz und der ADABA Sprachdatenbank 6 Experiment Interne Identi_kation des Experiments TE BP RRH HUH HUS HUG ADA Das Testset besteht aus den Sprechern 10 und 48 m Cannlich und weiblich der Humanitas Stadtresidenz Graz Die Aufnahmen wurden im Vorfeld vom Trainingsset entfernt Dieses Experiment wurde durchgef Luhrt am 22 May 2011 7 Testsets Das Modell verwendet 8 Testsets 4 7 1 TEHUG GMMO Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 Ohne GMMs 7 2 TE HUG GMM1 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 1 GMM 7 3 TE HUG GMM2 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprech
40. Teile und herrsche Es gibt viele verschiedene M glichkeiten und Wege eine solche Kapselung zu erreichen mit unserer Robotersoftware schafft man es ein einzelnes Programm in ein Haupt und mehrere Sub und Ablaufprogramme aufzuteilen 13 5 1 14 Ablaufprogramme Mit Ablaufprogrammen sind jene Teile unseres Gesamtprogramms gemeint die bei einer bestimmten Eingabe aufgerufen werden sei es durch die Sprachsteuerung sei es durch die Tastatur Diese Programme werden extra geschrieben und im Hauptprogramm mit dem Befehl CALLP lt Programmname gt aufgerufen Nachdem das Programm abgelaufen ist wird wieder mit dem Hauptprogramm fortgesetzt 13 5 1 15 Sub Programme Sub Programme sind gekapselte Codepassagen im Hauptprogramm oder auch in Ablaufprogrammen die laut der bersichtlichkeit dienen und durch bestimmte bergabeparameter gewisse Vorteile mit sich bringen Bis jetzt haben wir diese Art der Programme nur auf einfachster Weise verwendet und als Case bei einer Select Funktion verwendet Switch Case Funktion in C Programmiertechnisch legt man ein Label an z B LOOP und kann dann mit dem Aufruf GoSub lt Labelname gt an diese Stelle im Programmcode h pfen Ins Hauptprogramm zur ckgesprungen wird mit dem Befehl Return 13 5 1 16 Kleines Beispielprogramm Hauptprogramm 1 main 2 Close 3 M3 0 4 Open COM8 As 1 5 Input 1 M3 6 Select M3 7Casel 8 GoSub pr1 9 Break 10 Case 2 150 BENEFIT simo
41. custom2 xml Zeitschriften e custom3 xml Telefon e defaults xml e Home xml e includes xml e MyMusicPlaylist xml e MyMusicSongs xml e MyPics xml e MyVideo xml e MyWeather xml e ViewsFileMode xml Folgende vm Dateien m ssen konfiguriert werden e home simon xbmc userdata advancedsettings xml 61 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 o Hier muss ein neuer Eintrag erstellt werden damit Videos nicht automatisch im Vollbildmodus gestartet werden lt advancedsettings gt lt video gt lt fullscreenonmoviestart gt false lt fullscreenonmoviestart gt lt video gt lt advancedsettings gt 6 5 2 Zeitungen und Zeitschriften F r diese beiden Module werden 2 unterschiedliche Technologien eingesetzt Zum einen wird mit Hilfe des Zahlenplugins von simon in Kombination mit Firefox und dessen Mouseless Browsing Moduls ein Surfen auf Zeitungswebseiten erm glicht und zum anderen wurde mit Hilfe des RSS Clients in XBMC eine M glichkeit geschaffen mit den Sprachbefehlen Links und Rechts durch RSS Feeds Schlagzeilen zu Navigieren 6 5 3 TV F r die TV Funktionalit t wird das in XBMC integrierte Live TV Modul verwendet Es wurden einige TV Karten welche unter Ubuntu 10 10 funktionieren ausgew hlt und getestet Sowohl f r digitales als auch analoges Fernsehen wurden Prototypen entwickelt 6 5 4 Video Telefonie Die Entscheidung Skyp
42. den Bereichen der Kommunikation Information und Sicherheit in den eigenen vier W nden sicherstellen kann Dieses Projekt kann mittels der verbalen Steuerung auf der Grundlage v llig nat rlicher Begriffe die Usability aller bisherigen IKT Anwendungen immens erh hen Die Entwicklung von simon und der hier genannten zus tzlichen Anwendungsm glichkeiten auf der Grundlage der GPL er ffnet allen Betroffenen Endusern und Daseinsversorgern einen kostenlosen Zugang zu den entwickelten L sungen Der Bekanntheitsgrad von simon als weltweit einzige Open Source Spracherkennungsl sung f hrt zu einer verst rkten Auseinandersetzung vieler sterreichischer Universit ten und europ ischer Institute mit diesem neuen Ansatz was sich in der Vergabe vermehrter Forschungs und Diplomarbeiten niederschl gt 184 Programm benefit 13 6 4 Konsortium und Projektbeteiligte 13 6 4 1 Informationen zu den Projektbeteiligten 13 6 4 1 1 Antragsteller a Firmenname bzw Name der Einrichtung Gemeinn tziger Verein simon listens Gralla 90c 8430 Leibnitz b Angabe zur fachlichen Kompetenz der Organisation und der beteiligten Personen f r das Projekt Der gemeinn tzige Verein simon listens wurde 2007 gegr ndet um die weltweit einzigartige Open Source Spracherkennungssoftware simon weiter zu erforschen und zielgruppenorientierte Anwendungsentwicklungen zu betreiben Die Gr nder des Vereines und die Entwickler der Software sind an diesem Projekt a
43. desto besser die Erkennung Deshalb haben wir von Beginn an einen sehr gro en Fokus auf die Generierung und Verbesserung der verwendeten Sprachmodelle gelegt Grunds tzlich wird Sprache direkt von der Zielgruppe aufgenommen und daraus ein fertiges Sprachmodell generiert Diese Funktionalit t ist auch direkt in der verwendeten Spracherkennung simon bereits integriert So k nnen Endbenutzer selbst ihr eigenes Sprachmodell aufbauen und so m gliche Dialekte oder Sprachbeeintr chtigungen kompensieren Diese Vorgehensweise l sst sich so aber nicht auf die im Konzept geplanten ffentlichen Stationen bertragen Dort soll das System ohne vorhergehendes Training f r neue Anwender funktionieren Dieser Anforderung wird unsere L sung durch den Einsatz gro er vorab generierter allgemeiner Sprachmodelle gerecht Um diese allgemeinen Sprachmodelle zu generieren sammelten mehrere Aufnahmeteams wochenlang tausende von transkripierten Sprachaufnahmen mit denen das System ein Modell aufbaut das diese Sprecher m glichst genau abbildet Da die Aufnahmen zur Generierung des Modells direkt aus der Zielgruppe stammen kann die Erkennungsrate weiter gesteigert werden Derzeit umfasst z B das Modell der Humanitas 3077 Sprachaufnahmen der Zielgruppe Generiert wurde ein Modell bestehend aus diesen Aufnahmen aber auch Modelle die zus tzliche Sprachdaten aus anderen Corpora beinhalten So wurde beispielsweise auch ein Modell aus den Sprachdaten der Hum
44. dies aber auch nicht funktionierte setzten wir die Kamera auf ihre Werkseinstellungen zur ck Nach dem R cksetzen konnten wir die Kamera wieder normal betreiben und wir haben beschlossen entgegen der Anweisung der Bedienungsanleitung der Kamera keine andere IP Adresse zuzuweisen Seitdem funktioniert die Kamera an jedem Rechner an dem der Treiber installiert ist Nachdem die Kamera einwandfrei funktionierte haben wir uns wieder dem Problem mit dem Herausschicken der Werte gek mmert Durch l ngeres probieren stie en wir schlie lich auf die Funktion TCP 1 0 Diese schickt Werte auf einen vorher eingestellten Port wo diese dann abgeholt werden k nnen Man kann jeden beliebigen Wert der erfasst wird aus dem Programm auf den ausgew hlten Port schreiben Die Werte die gesendet werden sollen werden wie in einer Liste nach der Reihe untereinander angegeben 13 5 1 26 1 _ Arbeiten mit einer anderen Bildverarbeitungssoftware Open CV Nach der Besprechung mit Herrn Steinbauer von der TU Graz am Dienstag den 20 Juli sahen wir uns auf seinen Vorschlag hin die Bildverarbeitungssoftware Open CV an Im Gegensatz zum NI Vision Builder ist diese Software kostenlos jedoch komplett selbst in C oder C zu programmieren Um einen ersten Einblick in Open CV zu bekommen sahen wir uns auf der Herstellerseite die Dokumentation mit den Handb chern f r C an http opencv willowgarage com documentation c index html Trotz der Tatsache das
45. diese dann in einer fortw hrenden Zusammenarbeit zwischen Entwicklung und Tests zu reparieren So konnte eine Entwicklerversion innerhalb nur weniger Wochen auch produktiv eingesetzt werden 6 1 1 Recherche Ein Kernst ck des Projektes ist nat rlich die verwendete Spracherkennungssoftware Wir entschlossen uns daf r die freie Software simon zu verwenden W hrend der Definition der genauen Anforderungen durch Input der wissenschaftlichen Begleitung aber auch internen Anforderungen oder Funktionalit ten die sich aus dem Konzept selbst ergeben wurde schnell klar dass die stabile Version 0 2 der Sprach erkennung simon nicht alle Anforderungen erf llen w rde Der Entwicklungszweig 0 3 dachte aber bereits einige notwendigen nderungen an und beinhaltete Funktionen die die Umsetzung des Projektes erleichtern w rden Aufgrund dessen entschlossen wir uns kurzerhand den simon Entwicklungszweig 0 3 an unsere Bed rfnisse anzupassen und weiterzuentwickeln Im folgenden Protokoll finden Sie die durchgef hrten Anpassungen im berblick 6 1 2 Anwendungsorientierung Ein wesentlicher Aspekt unseres Projektes ist der durchgehende Fokus auf unsere Zielgruppe So ist eines der erkl rten Erfolgskriterien dass die unterschiedlichsten Personen ein speziell f r Sie zugeschnittenes Produkt verwenden Um dieses Ziel zu verfolgen und trotzdem den Aufwand auf einem vertretbaren Minimum zu halten entwickelte sich das Konzept der Szenarios
46. erinnern formal Haben Sie elseformal Hast du endformal sie schon eingenommen Bitte antworte formal n Sie endformal mit ja oder nein Z Edit Add Z Rename Remove Silent A Move up W Move down X Announce repeat option 6 6 3 2 1 Zust nde Die drei Zust nde k nnen direkt als solche angelegt werden Der Text wurde dabei mit Hilfe des Template Systems variabel gehalten und mit gebundenen Werten parametrisiert So wurde der Name des Systems als statische Variable simon angelegt um es sp ter leichter an passen zu k nnen So w re z B denkbar eigene Sprachausgabe Texte von einem r Pflegerin aufnehmen zu lassen und simon mit dem entsprechenden Namen zu ersetzen re Manage actions simon H Dialog H General Dialog design Bound values Template options Avatars Output Name Type Value Dialog a time Script function niceDate A Pflegerin Static Frau Schreibmeier Dialog simon Static simon dr Add Z Edit Remove Die Zeit wurde ber die OtScript Integration mittels eines Javascript Snippets kalkuliert GB 8 Uhr und 20 Minuten 66 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 function niceDate var currentTime new Date var hours currentTime getHours var minutes currentTime getMinutes var output hours Uhr if minutes gt
47. eventuell mittels Einsatzes von SIMON gel st werden k nnten Hard und Softwaretechnische Komponenten sind fertig definiert Ergebnis der Phase 2 M rz 2009 Detailkonzepte f r die Erstellung der Prototypen sind erarbeitet klar definierte Einsatzszenarien stehen zur Verf gung klar definierte Arbeitsgruppen sind gebildet Ergebnis der Phase 3 April bis September 2009 brauchbare und angenommene Prototypen sind definiert und wandern in die Umsetzungsphase generalisiertes Sprachpaket f r Senioren ist erstellt und steht zur Verf gung Ergebnis der Phase 4 Oktober 2009 bis M rz 2010 die definierten Programmpunkte sind ausprogrammiert und getestet Dokumentations und Schulungsmaterialien stehen zur Verf gung Ergebnis der Phase 5 April und Mai 2010 bei den End User Gruppen sind die erarbeiteten L sungen installiert und in Betrieb genommen sowohl Betreuer als auch End User sind eingeschult und k nnen die L sungen steuern und anwenden Ergebnis der Phase 6 Juni 2010 Auswertungen zum Projektverlauf sind erstellt und ver ffentlicht 173 Programm benefit 13 6 2 2 2 Detailierte Beschreibung der einzelnen Arbeitspakete Beschreiben Sie die Inhalte der einzelnen Arbeitspakete die zu erwartenden Ergebnisse im Zeitablauf und die Meilensteine Stellen Sie dar ber hinaus auch den Ressourceneinsatz dar Mit Hilfe einer Grafik soll ein bersichtlicher und detaillierter Arbeits und Zeitplan erste
48. f r Senioren Projektnr 825883 grunds tzliche berlegungen angestellt und die bevorstehenden Arbeitsprozesse geplant wurden Die Schwerpunkte von Prof Muhr im Rahmen dieser Arbeitsprozesse waren folgende Bereiche e Unterst tzung beim Reporting e Gemeinsame Erarbeitung des aufzunehmenden Wortschatzes e Planung und Vorbereitung des Aufnahmeprozesses f r das generelle Sprachmodell f r Senioren e Unterst tzung bei der Sprachmodellierung e Zur Verf gungstellung von Sprachdatenmaterial Adaba Datenbank e berarbeitung des Phonemsets e Durchf hrung mehrerer Prototypingveranstaltungen und Interviews mit Senioren der Seniorenresidenz Humanitas f r die Wortvorauswahl die Entwicklung der Dialogsteuerung und Usabilitytests e Entwicklung der Dialogspezifikationen und der verschiedenen Versionen davon e Anwendungsorientierte Beratung im Bereich des Prototypings e Und vieles Mehr Prof Muhr der schon in den Anf ngen der simon Entwicklung eine sehr motivierende Rolle gespielt hat war auch f r dieses Projekt vor allem durch seine radikale Anwendungsorientierung sein Eintreten f r die sterreichische Sprache als Kulturgut seiner gro en Erfahrung mit der Digitalisierung von Sprache und seiner enorm gro en Erfahrung mit Forschungsprojekten ein immens gro e Bereicherung vor allem da das Spannungsfeld theoretische Technik und anwendungsorientierte Entwicklungen speziell f r diese komplexe Zielgruppe immer in diesen Forschun
49. inhaltliche Bef llung und Gestaltung von Anwendungen k nnen diesem Dokument im Detail entnommen werden 2 3 8 2 Pflegepersonal Humanitas Seniorenresidenz Graz und Pflegeperson von Proband 002 e An Erinnerungsfunktionen sind vor allem Bereiche der K rperpflege des Trinkens der Medikamenteneinnahme und des Wechselns der Kleidung zu ber cksichtigen e M glichkeiten der Videotelefonie zwischen Bewohnern und der Au enwelt werden positiv bewertet e Videotelefonie zwischen Bewohnern und Betreuern wird eher negativ eingesch tzt e Die Installation einer punktuellen Kamera berwachung in Krisensituationen wird als n tzlich betrachtet e Akustische Sicherheitssysteme werden besonders bef rwortet e Kommunikationsl sung Computer Computer und oder Computer Mobiltelefon ist gew nscht 2 3 8 3 Technische Anforderungen e ffentlich zug ngliche Station mit generalisiertem Sprachpaket und allgemeinen Inhalten e ffentlich zug ngliche Station mit generalisiertem Sprachpaket und allgemeinen Inhalten allerdings mit Individualisierungsm glichkeit e Individuelle L sung mit generellen Inhalten und Individualisierungsm glichkeit e L sungen mit mehreren Mikrofonen e Computer zu Computer Kommunikation e Computer zu Mobiltelefon Kommunikation e Videotelefonie e Generalisiertes Sprachpaket 20 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 2 4 Recherche zu H r und Sehproblemen i
50. inkl Dialogsystem Auch die Erinnerungsfunktion wird ber den Akonadi PIM Layer zum Groupware Server gehandhabt In der Praxis wird einfach an alle Events erinnert deren Alarm Tag auf wahr gesetzt ist 6 4 2 11 Sprachtagebuch Das Sprachtagebuch wurde im Projekt angedacht und geplant allerdings wurde dieser Teil der L sung zu Gunsten anderer als wichtiger bewerteten Funktionen zur ckgestellt Dieser Punkt spiegelt den Fortschritt der Planung wieder 57 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Funktionen e Sprachaufnahme starten Tageweise o Sollte noch kein Eintrag vorhanden sein wird ein neuer erstelle o Gibt es f r den heutigen Tag bereits einen Eintrag dann wird die Aufnahme hinten angeh ngt e Sprachaufnahme anh ren e Sprachaufnahme l schen e Gleiche Struktur wie bei Musiktitel Wahl e Sprachdateien liegen im Ordner des Klienten am Server Oberfl che Standardm ig pr sentiert sich das Sprachtagebuch mit einer Ansicht des aktuellen Tages Dort kann er eine Aufnahme anf gen oder falls bereits eine Aufnahme an diesem Tag stattgefunden hat den vorhandenen Eintrag l schen oder erweitern die Aufnahme fortsetzen Zwischen den Tagen kann wie von anderen Modulen gewohnt mit Rauf Runter gebl ttert werden Zus tzlich kann der Benutzer ber eine Gehe zu Funktion einen Tag eingeben und zu diesem Tag springen Technische Umsetzung
51. nichts MPEG dev video0 s video gt nichts Videoquellen Name EIT Grabberskript Nur ausgestrahltes EPG EIT Tabelle der Senderfrequenzen Europe west Verkn pfungen Siehe unten Aufnahmeger t MPEG dev videoO Eingang Television Anzeigename leer Videoquelle EIT Externes Programm um Sender zu wechseln Standardkanal leer leer Startkanal Einen gew nschten ausw hlen Eingangspriorit t Eingangsgruppe 1 Eingangsgruppe 2 0 Generisch Generisch Sender bearbeiten Hier Sendersuchlauf machen und die Sender mit Name und Logo versehen sowie die Neueste VAL Version installieren Auschecken git clone git linuxtv org media_build git Skript ausf hren cd media_build sudo build sh sudo make install Benutzer amp Rechte sudo usermod a G video simon Anschlie end neu starten F r TM6000 In media_build Ordner sudo make menuconfig Staging drivers 80 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 M Staging drivers gt Media Devices in staging gt TV Master TM5600 6000 6010 M Staging drivers gt Media Devices in staging gt TV Master gt Audio support M Staging drivers gt Media Devices in staging gt TV Master gt DVB support Erneut sudo make install Dann sudo modprobe tm6000 sudo modprobe tm6000 alsa sudo modprobe tm6000 dvb Firmware von http steventoth net linux hvr1400 xc3028L v
52. r die im Rahmen dieses Projektes vorhandenen L sungen vorhanden vor allem im Seniorenbereich jedoch auch im klinischen 109 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Bereich wie die AUVA und die Barmherzigen Br der Mit dem klinischen Bereich gibt es bereits gute Kontakte und Interessenskundgebungen Die Akzeptanz der L sung durch die End User hat sich auf jeden Fall als sehr motivierend erwiesen Trotzdem sind noch marktkonforme umsetzbare L sungen zu erarbeiten 12 3 Ausblick 12 3 1 Arbeitsplan Anschlussprojekt Grunds tzlich ist der Projektzeitraum mit 31 07 2011 abgelaufen und hat viele positive Ergebnisse und Erkenntnisse gebracht Viele produktiven Arbeitsergebnisse konnten jedoch nicht stabilisiert und teilweise nicht in die Praxis umgesetzt werden sodass zwar Werte geschaffen wurden diese jedoch nicht praktisch nutzbar gemacht werden konnten Aus diesen Gr nden w re ein Folgeprojekt im Rahmen des Benefit Programmes sinnvoll welches folgende Aspekte bearbeiten k nnte Stabilisierung der bisher erreichten Ergebnisse Fertigentwicklung der Netzwerkl sung f r den institutionellen Einsatz umso die Verwaltung der individuellen Stationen machbar zu machen und die bereits entwickelten Dialoge f r eine Reduktion der Betreuungskosten nutzbar zu machen Erweiterung des bisherigen Funktionsangebotes der Information Kommunikation und Multimedia mit von vielen Institutionen u
53. r unsere Anforderungen zu wenig flexibel easyCafe 59 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 easyCafe ist eine reine Internet Caf amp L sung mit Goodies wie Bestellung von Cafeteria Artikel vom Desktop aus Somit werden auch nur Funktionen rund um einen Browser angeboten was f r unsere Bed rfnisse nicht ausreicht KioWare Gleich wie bei easyCafe k nnen auch mit KioWare nur Browser Applikationen gesteuert werden Betriebssystem und Desktop bleiben uneingeschr nkt F r unsere Anforderungen reicht dieses Produkt nicht aus bzw stellt auch keine n tige Ausgangsbasis dar Fazit Nach ausgiebiger Recherche entschieden wir uns f r die Verwendung von XBMC Die Bedienung des XBMC Media Centers kann ber diverse Eingabem glichkeiten Joystick Fernbedienung erfolgen f r uns entscheidend ist jedoch die Bedienung mit wenigen Kommandos was es als optimale Plattform f r simon darstellt Des Weiteren ist die Oberfl che ber sogenannte Skins komplett frei definierbar Das hei t man kann sowohl die optische Darstellung wie Schriftgr e Schriftart Farben Logos Design etc anpassen aber auch die einzelnen Men punkte die zur Verf gung stehen sollen in welcher Reihenfolge sie dem Benutzer angezeigt werden sollen und vor allem auch wie sie sich dem Nutzer pr sentieren In der finalen Version der Software wurde auf XBMC 10 Dharma gesetzt XBMC fr her Xbox
54. sind damit alle Funktionen die in XBMC implementiert wurden auch korrekt funktionieren e F r die korrekte bersetzung der Texte muss die nachfolgende Datei bearbeitet werden o skin simon language German Austria strings xml o skin simonindiv language German Austria strings xml 7 2 3 Zeitungen und Zeitschriften Als Basis dieser beiden Module dienen diese Komponenten e Firefox Internet Browser mit dem Plugin Mouseless Browsing e das angepasste CSS des Mouseless Browsing Plugins damit die Zahlen etwas gr er als standardm ssig und in dem definierten blau dargestellt werden Au erdem m ssen 88 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 e In C simon m ssen diese Dateien liegen o F r Zeitungen Zeitschriften im Firefox index htm main htm sprachbefehle htm sprachbefehle png e In C simon gibt es auch die Unterordner Zeitungen und Zeitschriften dort werden einerseits die Bilder definiert diese m ssen die entsprechenden Namen z1 png bis z8 png bzw zs1 png bis zs8 png tragen und andererseits in der Textdatei die Links zu den Seiten bzw RSS Feeds hinterlegt F r die Darstellung des installierten RSS Clients notwendig f r die Schlagzeilen ist es au erdem I wichtig die Datei seript rssclient standalone main xm im Ordner C Users Windowsbenutzer AppData Roaming XBMC addons script rssclient stan
55. sowie die Art und Parameter der Ausgabe k nnen wie im Dialogplugin selbst frei konfiguriert werden F r mehr Information ber das Dialogsystem sehen Sie bitte die entsprechende Dokumentation 7 2 Windowsversion 7 2 1 Simon Installation F r die Windowsversion muss ob derzeit ungel ster Inkompatibilit ten der neuen Qt Version die alte simon Version 0 3 0 verwendet werden Dazu wird auf die ver ffentlichte Windowsinstallation zur ckgegriffen In dieser Version sind einige Neuerungen noch nicht verf gbar weshalb in der Funktionalit t einige Abstriche in Kauf genommen werden m ssen Aufgrund des fehlenden Dialogsystems k nnen keine Erinnerungsfunktionalit ten umgesetzt werden Die Telefonie ber Skype ist auf Grund des unterschiedlichen Protokolls ebenfalls nicht m glich Der sprachgesteuerte Kalender ist wegen fehlender Akonadi Anbindung ebenfalls nicht verf gbar Auch auf die DVD und Panik Knopf Funktionalit t muss derzeit verzichtet werden 7 2 2 XBMC XBMC muss in der Release Version 10 Dharma installiert werden Sie k nnen die Software von xbmc org in einer stabilen Version herunterladen Des Weiteren ist es notwendig den RSS Client f r die Schlagzeilen der Zeitungen und Zeitschriften zu installieren Der RSS Client ist unter https github com pieh pieh xbmc addons in der Version 1 0 3 runterzuladen und laut Standard Plugin Import in XBMC zu importieren installieren Das gew nschte Skin individuel
56. t glich w chentlich definierbarer Faktor eine definierte Anzahl an Druckseiten um den Rahmen nicht zu sprengen Dieses Druckseiten Konto wird automatisch zu einem definierten Zeitpunkt z B Montag 00 00 Uhr wieder um eine definierte Anzahl z B 10 Seiten Woche bef llt Dem Benutzer steht dann in diesem Zeitraum die definierte Anzahl an Druckseiten zur Verf gung AP_22 Sprachtagebuch 10 Arbeitstage Mitarbeiter MS 10 Partner keine Ein weiterer Programmpunkt der in die Stationssoftware einflie en soll ist das Sprachtagebuch Hier soll dem Benutzer die M glichkeit geschaffen werden seine Erlebnisse W nsche Nachl sse und alles was ihm am Herzen liegt in sprachlicher Form festzuhalten Es sollen folgende M glichkeiten zu diesem Programmpunkt umgesetzt werden Darstellung der Sprachaufzeichnungen in Listenform nach Tag sortiert Mehrere Sprachaufzeichnungen pro Tag sollen m glich sein Limitierung der Gesamtzeit pro Tag definierbarer Faktor im Administrationsbereich Anh ren des Aufgenommenen soll m glich sein L schen einer Sprachaufzeichnung soll m glich sein Im Administrationsbereich soll der Betreuer die M glichkeit haben Sprachaufzeichnungen auf eine DVD zu brennen Hier sollen gew hlte Aufzeichnungen die gebrannt wurden gekennzeichnet werden Trotzdem soll die M glichkeit bestehen Aufzeichnungen auch mehrmals zu brennen AP_23 Interaktive Erinnerungsfunktion 2
57. 0 4 zu finden sein werden 46 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 6 2 1 simon Das Kernst ck des Systems ist nat rlich die Kombination aus simon und simond hier zu einem Punkt zusammengefasst 6 2 2 Kommandos Das Kommandosystem wurde erweitert um Autostart Kommandos welche automatisch ausgef hrt werden sobald das Szenario geladen wird Damit wurde der Filter der die Erkennung deaktiviert beim Systemstart automatisch ausgel st simon schlafen um ungewollte Erkennungen durch Hintergrundger usche zu vermeiden Das Filtersystem wurde au erdem dahingehend erweitert dass f r einzelne Kommandos z B ein Stopp w hrend der Wiedergabe von Musik der Filter nicht komplett deaktiviert werden muss Stattdessen kann durch das Kommando simon der Filter f r die Dauer eines Kommandos deaktiviert werden Nach Ausf hrung dieses Kommandos wird der Filter sofort re aktiviert und simon schl ft weiter Die permanente Deaktivierung des Filters mit simon aufwachen ist davon nicht betroffen Kombinationskommandos wurden verbessert indem die Kindkommandos jetzt au erhalb des GUI Threads ablaufen Die Oberfl che h ngt dadurch nicht w hrend der Abarbeitung eines Kombinationskommandos und eine parallele Erkennung anderer Kommandos wurde dadurch erm glicht R Manage actions simon von x Akonadi Ae General Selected collection Pet
58. 000 61135 e Raiffeisenbank Leibnitz 117 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 gemeinn tziger Verein zur Entwicklung Verbreitung und Implementierung der Spracherkenmungssoftware SIMON d SIMON listens Internetaktivit ten See Zu Freunden H ufigkeit Kontaktmittel Telefon Shysa Mail Brief Ponni zu Kindern H ufigkeit Kontaktmittel Telefon hype Mail Brief Persandion zur Familie H ufigkeit Kontaktmittel Telefon Skype Mail Brief Pers nlion 4 Alkt gliche Probleme SOLIDARITAT MIT SIMON http shop simon listens org A 8430 Leibnitz Gralla 90c e Obmann Steger Franz office simon lIistens org hitp www simon istens org Telefon 43 0 564 4034321 Fax 43 0 3452 74450 15 BLZ 38206 Kto 2000 61135 e Raiffeisenbank Leibnitz 118 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 13 1 4 Raumplan Proband 01 Leibnitz 54cm 400 cm 60 cm 60 cm Bad 146 cm 185 cm 185 cm 85 cm 93 cm Schlafzimmer 114cm Vorraum 81 cmx 33 cm E U rn E D v S 5 5 Ka u Ka A 3 K chenzeile a E Ui O oO m E u A 5 Sitzgarnitur D 138 cm 350 cm 185 cm 93 cm 85cm 119 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 13 1 5 Raumplan Proband 02
59. 2 Ergebnis Recherche Proband 01 Leibnitz 2 3 2 1 Situationsbeschreibung Der Proband 01 Leibnitz ist 82 Jahre alt weiblich und wohnt selbst ndig allein in einem Einfamilienhaus Die einzige Hilfe besteht derzeit aus einer Putzfrau und den Hilfen durch die Kinder Die geistige Verfassung und die sprachliche F higkeiten sind ausgezeichnet Die k rperliche Mobilit t ist aufgrund von gro en R ckenschmerzen eingeschr nkt EDV Kenntnisse sind keine vorhanden Die Bedienung von Fernbedienungen und Telefonen stellt kein Problem dar Die Bereitschaft an diesem Projekt mitzuarbeiten und ebenfalls Szenarien zu testen die f r Situationen von Senioren mit anderen Voraussetzungen erforderlich w ren ist gegeben 2 3 2 2 R umliches Szenario Die Wohnr ume wurden vermessen und werden ma stabsgetreu gezeichnet und sind im Anhang 1 leere Kopie und eine Kopie mit Erkl rungen der wesentlichsten Fixpunkte und Lebensbereiche von Proband 01 Leibnitz 2 3 2 3 Hardware An Hardware ist nichts vorhanden und ebenfalls ein Internetanschluss m sste organisiert werden 2 3 2 4 Auswertung Fragebogen Geburtsjahr 1927 Weiblich Kein Betreuungsbedarf H r Seh und Sprechf higkeit sehr gut Keine EDV Kenntnisse Wohnt alleine und selbst ndig Aktuelle Hobbies Kreuzwortr tsel Kartenspielen Lesen Musik h ren Fr here Hobbies Kegeln Schwimmen Radfahren Reisen Bevorzugte Zeitungen Kronenzeitung Ganze Woche Neue Post Illustrier
60. 243 27 393 49 178 70 3 57 92 75 7 0 Ein Programm zum Abfahren eines Kreises Da dieser Kreis in einer XYZ Ebene liegt muss zuerst der 1 Punkt dieses Kreises angefahren werden Ablaufprogramm 3 1 Mov p1 2 Close 3 Open COM8 As 2 4 Input 2 m4 5 Wait m4 1 6 Mov p2 152 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 7 Mov p3 8 Input 2 m4 9 Wait m4 1 10 Mov p1 11 End p1 570 43 177 63 733 80 0 09 0 31 137 44 4 0 p2 569 71 179 93 733 80 0 09 0 31 42 33 4 0 p3 569 73 179 93 557 10 0 10 0 30 42 33 4 0 Ein Programm das einem einen kleinen Gegenstand um ca 180 geben kann Zeile 3 ffnet die COMS8 Schnittstelle als Datei Mit Zeile 4 kann der Wert der Variable m4 in diese Datei geschrieben werden Der Wait Befehl wartet auf die Eingabe 1 ber die ge ffnete COM Schnittstelle und f hrt dann Zeile 6 und 7 aus Mit dem n chsten Input Befehl wird die Variable m4 wieder zur ckgesetzt 13 5 1 17 Umsetzung des simon Plugins Autor HTBLA Projektteam 13 5 1 18 Die Idee Gestartet sind wir mit der berlegung wozu das Plugin f r simon dienen soll Dazu musste uns erst einmal klar werden wie das Layout unserer Programmierung eigentlich aussehen soll Zuerst haben wir auf ein Hauptprogramm spekuliert dass dann mit s mtlichen Modulen kommuniziert Im Endeffekt haben wir mit Peter dann aber entschieden dass ein zus tzliches Progra
61. 36 fw laden und nach lib firmware verschieben Ende TM6000 7 1 9 Video Telefonie F r die Videotelefonie ist neben der Standardinstallation von Skype auch die f r dieses Projekt programmierte Software simonskype notwendig Sie dient als Schnittstelle zu Skype und ist f rs Abheben und Auflegen sowie f r die Mitteilung wenn jemand anruft zust ndig Skype muss so eingerichtet werden dass das Skype automatisch im Hintergrund startet und sich mit dem eigenen Konto automatisch anmeldet Unter home simon gibt es den Ordner Telefon in dem sich sowohl die Bilder der Kontakte als auch deren Namen im Modul und Skype Konten administrieren lassen Die Namen und Skype Konten lassen sich in der Textdatei telefon txt konfigurieren und die Bilder m ssen direkt im Ordner liegen die Namen m ssen der Konvention kontakt1 png bis kontakt8 png entsprechen 7 1 10 Akonadi Mit kcmshell4 akonadi die Akonadieinrichtung ausf hren Hier k nnen dann die entsprechenden Kalender konfiguriert werden siehe Akonadi Protokoll 7 1 11 Systemkonfiguration Die system tar gz Archiv aus Benefit Ubuntu 10 10 Installationsdateien installieren sudo tar xvf system tar gz C sudo Konfiguration sudo visudo die letzte Zeile so ndern admin ALL ALL NOPASSWD ALL 81 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Displaymanager deinstallieren sudo apt get remove gd
62. 5 Arbeitstage Mitarbeiter PG 25 Partner TU Eine Erinnerungsfunktion soll im individuellen Bereich mit folgenden Funktionen vorgesehen werden Ein Administrator Betreuer soll definierte Erinnerungen warten k nnen z B Medikamenten erinnerung Untersuchungserinnerung die der Benutzer nicht beeinflussen kann Der Benutzer soll selbst Erinnerungen warten k nnen z B f r Skype Erinnerungen TV Programm Erinnerung ber eine Sprachausgabe und eine Anzeige am Bildschirm soll die Erinnerung solange definierbar ausgegeben werden bis eine gewisse Interaktion vom Benutzer erfolgt z B Erinnerung OK als Sprachsignal Ein wesentlicher interessanter Bestandteil dieser Funktion ist die Dialogsteuerung D h dass dieses intelligente Unterprogramm in einer gewissen Art mit dem End User kommuniziert und auf Best tigungen dieses wartet um die Erinnerung abzustellen Die Dialogsteuerung w re noch f r viele Anwendungsgebiete von gro em Interesse wie ebenfalls ein denkbares Text to Speech Modul AP 24 Integrierte Hilfe 5 Arbeitstage Mitarbeiter MS 5 Partner keine Eine simple und End User verst ndliche Hilfe soll durchg ngig in der gesamten Stationssoftware 177 Programm benefit entweder ber ein Symbol per Ber hrung oder ber einen Sprachbefehl z B Hilfe aufgerufen werden k nnen Eine Hilfestellung soll dann genau zum aktuell befindlichen Programmpunkt angezeigt werden
63. 6 or m Microphoneld 12 or m Microphoneld 14 or m Microphoneld 20 42 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Die Einschr nkung der Mikrofone stellt sicher dass nur Aufnahmen von Headsets im Ergebnisset vorkommen Das zu erstellende Modell wird also vor allem mit Headset Mikrofonen optimal funktionieren Anmerkung Es wurde bewusst entschieden nicht auf den Mikrofon Typ abgefragt da eine fr here Version von SSC hier einen Programmfehler beinhaltete und die Datenbank noch Aufnahmen dieser Version beinhaltet Das folgende kleine Shell Skript schreibt das Result Set der Query in eine valide Prompts Datei um bin bash sed 1d 1 gt temp_out sed e s g e s Samples g e s wav t temp_out gt 1 rm temp_out Danach kann simon diese Prompts Datei einfach mit simon ber die Funktion Trainingsdaten importieren importiert werden Als Basisordner wird der Basispfad zum SSCD Sample Ordner angegeben a Importing Training Samples D ve x Import Training Samples Welcome to the import of existing training data Welcome Importing d Using this wizard you can import training data collected e g by previous Red simon installations 2 Import Prompts Prompts home bedahr kde share apps simon model prompts ii Base directory ahr kde share apps simon modelftraining data amp LA _ Import Folder lt Back
64. 63 24 67 65 82 61 78 26 76 81 POS3 76 47 76 81 88 06 82 61 73 53 Table 8 Wortfehlerraten f r Experiment 4 mit Mikrofonen 1 5 auf Positionen 1 3 mit 2 GMM mixtures MIC1 MIC2 MIC3 MIC4 MIC5 POS1 66 67 76 81 76 81 72 06 76 12 POS2 63 24 75 00 77 94 78 26 77 61 31 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 POS3 73 53 79 71 80 88 85 29 76 12 Table 9 Wortfehlerraten f r Experiment 4 mit Mikrofonen 1 5 auf Positionen 1 3 mit 4 GMM mixtures 4 2 1 9 Experiment 5 ASR Modell aus Raumaufnahmen getestet mit Aufnahmen zusammen mit St rger uschen Task connected digits MIC1 MIC2 MIC3 MIC4 MIC5 POS1 38 10 45 24 60 71 35 29 Table 10 Wortfehlerraten f r Experiment 5 mit Mikrofonen 1 5 auf Position 1 mit 2 GMM mixtures MIC1 MIC2 MIC3 MIC4 MIC5 46 43 65 48 45 59 POS1 72 62 50 00 Table 11 Wortfehlerraten f r Experiment 5 mit Mikrofonen 1 5 auf Position 1 mit 4 GMM mixtures 4 2 2 Fazit e Spracherkennung unter Raumeinfl ssen ist gut sehr gut m glich e Voraussetzungen o Trainingsdaten aufgenommen unter hnlichen Bedingungen matched training test condition e Adaption verbessert die Erkennungsleistung noch einmal deutlich e Mikrofonauswahl o sehr gute und robuste Leistung des AKG D542 E Schwanenhals Mikrofons auch bei St
65. 73 74 75 76 77 78 79 80 81 82 83 84 85 86 ausschalten schlafen aufwachen Hilfe Schwester suchen Eingabe Farbe rot gr n blau gelb Empf nger Training langsam schnell Computer Englisch Deutsch vergr ern verkleinern Texte senden Kontakte Komma Rechner mal plus minus dividiert Prozent Raum Wohnzimmer Schlafzimmer K che Vorraum Balkon T r Fenster Rollo Vorhang Licht Kopfteil Fu teil Klima L ftung 130 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 ausschalten schlafen aufwachen Hilfe Schwester suchen Eingabe Farbe rot gr n blau gelb Empf nger Training langsam schnell Computer Englisch Deutsch vergr ern verkleinern Texte senden Kontakte Komma Rechner mal plus minus dividiert Prozent Raum Wohnzimmer Schlafzimmer K che Vorraum Balkon T r Fenster Rollo Vorhang Licht Kopfteil Fu teil Klima L ftung BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 87 88 89 90 91 92 93 94 95 96 Kopf F e Kasten L ftung Ventilator Heizung Tisch Haust r Klima Klimaanlage 87 88 89 90 Heizung w rmer k lter Haust r 131 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 Heizung w rmer k lter Haust
66. AP_02 Tage AP_03 7 Tage AP_04 10 Tage AP_05 4 Tage ase 2 Konzeption 43 Tage AP_06 5 Tage AP_07 3 Tage AP_08 10 Tage AP_09 5 Tage AF_10 10 Tage AP_11 5 Tage AP_12 5 Tage Phase 3 Prototyping 182 Tage AP_13 40 Tage AP_14 80 Tage AP_15 40 Tage AP_16 22 Tage ase 4 Umsetzung 145 5 Tage AP_17 26 5 Tage AP_18 10 Tage AP_19 15 Tage AP_20 8 Tage AP_21 10 Tage AP_22 10 Tage AP_23 25 Tage AP_24 5 Tage AP_25 8 Tage AP_26 8 Tage AP_27 20 Tage Phase 5 Integration 47 Tage AP_28 20 Tage AP_29 12 Tage AP_30 5 Tage AP_31 10 Tage ase 6 Auswertung 40 Tage AP_32 40 Tage 01 01 2010 01 01 2010 14 01 2010 14 01 2010 14 01 2010 14 01 2010 10 02 2010 10 02 2010 24 02 2010 10 02 2010 10 02 2010 10 03 2010 23 03 2010 24 02 2010 06 04 2010 06 04 2010 22 07 2010 06 04 2010 06 04 2010 01 10 2010 01 10 2010 01 10 2010 01 10 2010 01 10 2010 01 10 2010 01 10 2010 01 10 2010 13 12 2010 13 12 2010 13 12 2010 04 01 2011 27 01 2011 27 01 2011 23 02 2011 28 03 2011 28 03 2011 25 04 2011 25 04 2011 10 02 2010 14 01 2010 01 02 2010 28 01 2010 10 02 2010 20 01 2010 06 04 2010 24 02 2010 04 03 2010 10 03 2010 24 02 2010 23 03 2010 06 04 2010 10 03 2010 01 10 2010 22 07 2010 01 10 2010 03 05 2010 03 06 2010 27 01 2011 13 12 2010 28 10 2010 11 11 2010 25 10 2010 25 11 2010 28 10 2010 04 11 2010 27 12 2010 04 01 2011 04 01 2011 27 01 2011 25 04 2011 23 02 2011 28 03 2011 11 04 2011 25 04 2011
67. BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 PR l 4 7 simon listens L gemeinn tziger Verein f r Forschung und Lehre Sachbericht Projektname Einsatz der Spracherkennungssoftware Simon zur verbalen Steuerung von IKT Anwendungen f r Senioren jjektzeitraum Projektnummer 825883 Programm E 2011 Stieger Franz Breznik Alexander Grasch Peter Stieger Mathias BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 1 Inhaltsverzeichnis 1 Inh ltsverzeichnis as ee Me Eege EE erachten 1 2 Bed rfniserhebung mit Zielpersonen und Jnstituttonen 6 2 1 ahate enra rege alien innen een OTA 2 2 Methoden 2 2 een Ran abi ern esse nee usa 2 3 Dokumentation N E AEAEE E T OEA E EET 2 3 1 Ergebnis Recherche REHA Bad Radkersburg ssessssnssssesesseresssssseserrrssssesrnernessssssreeenessssene 2 3 2 Ergebnis Recherche Proband 01 Leibnitz uss00020222002020nonnnnennnnnnnnnnnnnnnnnnnnnnnnannnnnnnennnnn 2 3 3 Ergebnis Recherche Proband 02 Leutschach 2 3 4 Ergebnis Recherche Humanitas Graz 2 3 5 Dokumentation Fragebogen Pilesgepersonal 2 3 6 EE ell te 2 3 7 Zusammenfassung n sen een gees 2 3 8 leg TEE 2 4 Recherche zu H r und Sehproblemen im Alter 2 4 1 H rschw chen a denen sr einsenden dent li 2 4 2 Sehprobleme und Symptome u n u uu222n02nan EEN SNE dd 2 4 3 Zusammenfass
68. Bewohner regelm ig erinnern Medikamente Hygiene etc SOLIDARITAT MIT SIMON http shop simon listens org A 8430 Leibnitz e Gralla 90c e Obmann Steger Franz office simon listens org Kite www simon Iistens org Telefon 43 0 664 4034321 e Fax 43 0 3452 74450 15 BLZ 38206 Kto 2000 61135 e Raiffeisenbank Leibnitz 115 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 gemeinn tziger Verein zur Entwicklung Verbreitung und Impbernentierung der Spracherkenwungssoftware SIMON PN P SIMON listens Welche Krisensituationen hat es in Ihrer Praxis schon gegeben Welche Unf lle hat es in Ihrer Praxis schon gegeben Bewerten Sie folgende Fragenstellungen Wie sinnvoll w ren organisierte regelm ige Videorelefonate zwischen Bewohnern und Sinnios Kindern Verwandten Fraunden Wie sinnvoll w re die M glichkeit der Bewohner ber Videotelefonie mit der Pflegezentrale und Sinnlos umgekehrt in Kontakt zu treten Wie hilfreich w re eine Kamera berwachung vor allem von nicht mobilen Bewahnern in Krisensituationen in der Pflege Wie sinnvoll w ren akustische Sicherheitssysteme die im Ernstfall das Betreuungspersonal Sinnlos alarmieren Sonstige berlegungen und Verbesserungsw nsche SOLIDARITAT MIT SIMON http shop simon listens org A 8430 Leibnitz e Gralla 90c e Obmann Stieger Franz office wsimon listens ong e http www simon istens org
69. Dich in 10 Minuten wieder V2 In 10 Minuten werde ich dich noch einmal an an die K rperpflege erinnern die K rperpflege erinnern V3 Die K rperpflege ist wichtig In 10 Minuten erinnere ich dich daran noch einmal b K rperhygiene und auskleiden abends Kommunikationsdefinition Ruhig ausgeglichen Stimme Denkbar weiblich eventuell Stimme bekannter Betreuerin Optische Aufl sung Bild von beliebter Pflegerin Turn DP Text Versionen 1 Sys Guten Abend hier ist simon Syn V2 Ich m chte dich an K rperpflege erinnern Hast Individualisierung du dir die Z hne geputzt Hast du dich gewaschen Es ist Syn 19 30 UHR Bist du schon f r das Schlafen umgezogen Ich m chte Dich fragen hast Du dich V3 Es ist Zeit f r die K rperpflege Bist du schon schon gewaschen die Z hne geputzt gewaschen und f r die Nacht angezogen und f r das Schlafen umgezogen Bitte sage ja oder nein User la Sys Das freut mich V2 Sehr gut Ich w nsche dir einen sch nen Abend Ich w nsche Dir einen gem tlichen und einen guten Schlaf Gute Nacht Abend und einen geruhsamer V3 Das freut mich sehr Einen sch nen Abend und erholsamen Schlaf Bis morgen eine gute Nacht w nsche ich dir Gute Nacht 2 User nein Sys Soll Dir jemand helfen V2 Willst du dass dir jemand hilft Bitte sag ja oder nein V3 M chtest du Hilfe User la 71 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Seni
70. ES e NEE 127 E E EE ERR EE 127 13 2 7 _ IHE T BONETB3128 2 0 ATTE TT en a u nalen 128 13 2 8 SANSON CM IIC reri ar en RER TREE Re 128 13 3 Anhang Sprachmodell f r Senioren 129 E WOTE E 129 13 3 2 Erl uterung der Sprachbhetehle ei aeaiiiaiinie iiak e i i aa ieii i aiaia 132 13 3 3 Ge erell es Sprachm dell e koreissa ed aseeni i ot aae a a aa Sii arin aaa iaa 133 Jack Adaptierte Sprachmodelle 2n 4 e u a dente E eet 134 13 4 Anhang Software Entwicklung 139 13 4 1 Screenshots XBMC Skin S irisaren ea anan lar EAE NEKEA EE PAE NEAN Aia E EER N e 139 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 13 4 2 Screenshots Dialoge ikea Ri 141 13 5 Anhang Komplement re Projektergebnisse ssssnsnsssssssseesesssseserenrrssssrserresnssssreereesssssserennessssene 148 13 5 1 Projekt Getr nkemisch Roboter 148 13 6 Benefit Projektantrag simon Sprachsteuerung von IKT Anwendungen f r Senioren 163 13 6 1 Kurzfassungen Abstracts nsssnsssesseesssesseessnessresstessrrssrrssressrtssrnssrresereserarerarernnerensrensrennns 165 13 6 2 Beschreibung des vorgeschlagenen Vorbabens 168 13 6 3 Relevanz des Vorhabens 182 13 6 4 Konsortium und Prolektbeteilete 185 13 6 5 Konsortium und Management 188 13 6 6 konomisches Potenzial und Verwertung uesseseesenseesennennennnnnnnnennnnnnnnnnenennennnnnennnnnnnnnnnnnnnnn 189 BENEFIT
71. EU Die Gesamtsoftwarel sung soll auf der bereits im vorangegangenen Arbeitsschritt der Hardware Installation erstellten Infrastruktur installiert und in Betrieb genommen werden AP_30 Einschulung der Betreuer 5 Arbeitstage Mitarbeiter FS 2 5 MS 2 5 Partner EU Die Betreuer der End User Institutionen erhalten in diesem Arbeitspaket eine Einschulung ins neue erarbeitete System um gewisse administrative T tigkeiten w hrend der Betriebszeit durchf hren zu k nnen Die Schulung soll gezielt mit Use Cases der betroffenen Institution und durch Learning by Doing erfolgen AP_31 Einschulung der End User 10 Arbeitstage Mitarbeiter FS 7 MS 3 Partner EU Die Zielpersonen werden durch dieses Arbeitspaket spielerisch in die erarbeitete Gesamtl sung eingeschult Auf Grund der laufenden Zusammenarbeit ber alle Phase mit ihnen ist ein gewisses Vorwissen nutzbar Der Rest soll wie auch bei den Betreuern gezielt mit Use Cases der Betroffenen und durch Learning by Doing erfolgen AP_32 Auswertung und Ver ffentlichung 40 Arbeitstage Mitarbeiter FS 25 MS 5 PG 5 AB 5 Partner keine Alle Informationen dieses Projekt betreffend die durch alle Phasen recherchiert erarbeitet konzipiert und implementiert wurden sollen in der letzten Phase und mit diesem Arbeitspaket zusammengefasst ausgewertet und ver ffentlicht werden 178 Programm benefit ase 1 Vorbereitung 32 Tage AP_01 5 Tage
72. Fernsehen Sparten Sendungen Nachrichten 8 Barbara Karlich Show 3 Wetter 6 Steiermark Heute 2 Heimatfilme 3 Universum 2 Kriminalfilme 3 Wege ins Gl ck 2 Tiersendungen 3 Zeit im Bild 2 Sport 2 Alles was z hlt 1 Musiksendungen 2 Bingo 1 Theaterst cke 2 Brieflos Show 1 Abendprogramm 1 James Bond 1 ltere Filme 1 King of Queens 1 Arztserien 1 Millionenshow 1 Dokumentationen 1 Seitenblicke 1 Familiengeschichten 1 Filme Kommerziell 1 Fernsehsender Kochsendungen 1 ORF2 19 Kom dien 1 ORF1 9 Kunst und Kultur 1 RTL 5 Liebesfilme 1 Eurosport 3 Pathologiesendungen 1 SAT1 2 Politische Diskussionen 1 ARD 1 Ratespiele 1 IRTL2 1 Unterhaltungsprogramm 1 ZDF 1 Radio Radio Steiermark 20 CDs 1 Antenne Steiermark 6 Lokalradio Graz 1 3 6 ORF 1 Nachrichten 4 Schlager 1 1 3 Steirisch gsungen 1 Radio Burgenland 2 112 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Musikrichtungen Volksmusik 19 Die 3 Ten re 1 Schlager 10 Hansi Hinterseer 1 steirische Musik 7 Instrumentalaufnahmen 1 Operetten 5 Milit rmusik 1 Klassik 4 Pop amp Rock 1 Oper 3 Rockballaden 1 Oldies 2 traditionelle Volkslieder 1 60 80er Jahre Musik 1 113 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 13 1 2 Auswertungen
73. Fragebogen Senioren Geburzjade Altar Goschlacht Sehtzbog pt H rf higkam Sprachf higkait K rperliche Vertassung Pfloge Berrauungsbodart ZDV Kannensse Wahnwerscrgung 1927 sm D t D 3 2 3 Pflegeheim DES 78 m 3 2 DU 3 3 3 Pilogehmim 1953 sm 1 1 1 D D 2 Pflegeheim 199 sim 2 t 1 D 2 1 Pflegeheim 1002 sam 1 t H 1 3 Pikgr eamm 1925 85m 3 2 3 3 3 3 Seniorenheim 1382 68 m 1 i D 1 t 1 Betreutes Wohnen 1916 g m 1 3 A D t 3 Semer re etn 1930 sum 2 2 D 3 2 2 Pflegefaim 19419 Dim 3 D 1 2 2 2 Plegeheim 1025 Bam 1 2 3 D H 3 Pikgr amm 1929 sim 1 2 1 2 2 3 Pflegeheim 1937 3m D H 3 2 H 3 Sermorenheim 1348 62m 2 2 2 2 2 3 Somoranbaim 1957 sam 1 L 2 2 2 3 Seniorenheim 1933 m 2 2 1 2 2 3 Semorenheim 1970 am 1 2 3 1 2 3 Som eremm 1920 uw 3 D D 2 2 3 Pflegeheim 192 sw 1 1 t 1 Pllegeheim 1972 BR w 1 2 D 1 t 3 Pflogabaim 1344 66w 1 I 1 1 2 3 Pflegeheim 1915 95 w D H 1 2 2 3 Pflegeheim 1925 Ba w 1 1 1 t 3 Pflogabaim 1925 Ba w 2 D 2 2 3 Pflegeheim 1033 Pw D D U D 2 3 Pflogehwim 1929 BI w 3 2 D 2 3 3 Pflagebaim 1324 BR w 2 2 3 3 3 3 Semioreneim 10233 aw 1 3 DU D 2 3 Semerer etmm 1929 siw 2 2 D 2 L 3 Sonorsahaim 1977 saw 2 2 D 3 3 Pflegebaim 1917 93w 2 3 DH D H 3 Semer er mm 1313 07 w 3 3 1 3 2 3 Zem eremm 1324 a6 w 1 t 1 2 t 3 Seniorenhaim 1073 Fw 1 t 3 D 2 3 Samen er emm 1954 46w 2 t 2 2 2 3 Pflagabaim 1922 BR w 3 2 1 2 D 3 Saniorenbalm DE 78w D t A 3 2 3 Zemmeren t972 BR w 1 t D 1 2 3 Pflogebaim 1920 D I w 3 2 1 2 2 3 Pflegeheim
74. Kombination von MythTV Details weiter unten und XBMC getestet wurden und unterst tzt werden und auch f r unsere Anforderungen des Satelliten Empfangs geeignet sind w ren e DVBWorld 2102 USB e Hauppauge DEC3000 S USB e Hauppauge WinTV NOVA S USB e TechniSat SkyStar USB e TechniSat Sky2PC USB MythTV XBMC enth lt eine Medienquelle die mit einem MythTV Backend kommunizieren kann Dadurch ist es m glich neben unserer Standard Anforderung des Fernsehens in Zukunft folgende Zusatz Features anzubieten e Schauen und pausieren mittels Live TV e EPG Electronic Program Guide elektronische Programmzeitschrift e Aufnehmen und verwalten der Aufnahmen MythTV ist kurz gesagt ein Tool zum Betrachten und Aufzeichnen von Fernsehsendungen MythTV ist ein Open Source Projekt welches vielfach in Kombination mit XBMC eingesetzt wurde Das Modul Fernseher steht sowohl in der individualisierten Stationsversion als auch in der ffentlichen mit derselben Funktionalit t zur Verf gung 6 4 2 5 Video Ausgew hlte Videos werden auf den Stationen gespeichert und k nnen von dort abgerufen und betrachtet werden 56 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Alternativ wird eine DVD eingelegt welche ber die Video Funktion der Station gelesen werden kann 6 4 2 6 Musik In einem Ordner werden Musikdateien abgelegt welche ber die Oberfl che im Modul Musik ausgew h
75. Kooperation mit dem SPSC der TU Graz Erstellung des akustischen Sprachmodells in Kooperation mit der Forschungsstelle sterreichisches Deutsch und dem SPSC der TU Graz Automatisierung Konzeption und ev Programmierung von simon Schnittstellen zur Steuerung des vorhandenen Roboters REHA klinik Maria Theresia Analyse der Bed rfnisse Unterst tzung beim Prototyping und der Integration der L sungen Altersheim Analyse der Bed rfnisse Unterst tzung beim Prototyping und der Integration der L sungen 188 Programm benefit 13 6 6 konomisches Potenzial und Verwertung 13 6 6 1 Verbreitung 13 6 6 1 1 Verbreitungsaktivit ten Falls noch nicht oben angef hrt beschreiben Sie Verbreitungsaktivit ten im Rahmen des Projekts z B Internet Seiten Konferenzen Presse Medien Wie werden die wissenschaftlichen Resultate verbreitet Wie werden die Ziel und Interessensgruppen angesprochen Folgende Aktivit ten sind geplant um die Resultate des Projektes zu verbreiten und die Ziel und Interessensgruppe anzusprechen a Auf der Webseite www simon listens org werden folgende Projektergebnisse ver ffentlicht e Open Source Software frei zum Download e Installations und Konfigurationsbeschreibung e Erforderliche Hardwaredefinitionen f r institutionelle ffentliche und private L sungen e Schulungsmaterial e Sachberichte und Forschungsergebnisse b Abschlusspressekonferenz mit Projektpr sentation e Mit geladenen Presse
76. Media Center stellt durch den Open Source Gedanken und unsere Anforderungen die optimale Basis f r das Frontend unserer Anwendung dar 60 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 6 5 1 Simon Skins Es wurde ein eigenes Skin steht f r das Erscheinungsbild einer Anwendung f r unser Projekt implementiert das den Bed rfnissen unserer Zielgruppe gerecht wird Besonderen Wert wurde auf e Lesbarkeit e Kontrast e intuitive Symbole und e Farbwahl gelegt Hierf r wurde auch mit einem Optiker zusammengearbeitet der wertvollen Input zur visuellen Darstellung des Skins lieferte Sehen Sie daf r die entsprechenden Kapitel F r die ffentliche Station und f r die individuellen Stationen waren zum Teil unterschiedliche Men punkte erforderlich daher wurde das prim r entwickelte Skin in zwei unterteilt e skin simon o Erscheinungsbild der ffentlichen Stationen o Zeitungen und Zeitschriften sind zwei eigene Men punkte mit jeweils 8 Medieninhalten e skin simonindiv o Erscheinungsbild der inidividuellen Stationen O Zeitungen und Zeitschriften wurden f r die individuelle Station zu einem Men punkt zusammengefasst o Telefon Skype Videotelefonie wurde als individuellen Men punkt eingebaut Folgende xmi Dateien f rs Erscheinungsbild wurden von Grund auf neu erstellt bzw auf unsere Bed rfnisse angepasst e custom1 xml Zeitungen e
77. Ms 3 3 3 87 4907 2GMMs 3 2 2 87 4907 2GMMs 3 4 2 90 7526 6GMMs 2 4 6 91 9698 8GMMs 3 5 8 94 6927 10GMMs 4 7 10 95 0571 5 2 2 2 60 out of corpus samples 8GMMs 3 5 8 60 5905 10GM Ms 4 7 10 62 2589 14GM Ms 5 9 14 61 9554 5 2 3 Reha Radkersburg und Kids Chance gemeinsam REHA Radkersburg amp REHA Kids Chance 73 3750 5 2 4 Voxforge 5 2 4 1 Test 1 Modell BOMP W rterbuch und leicht modifiziertes deutsches Voxforge W rterbuch Manuell korrigierte Prompts Beam Width 250 0 einige Fehler beim Forced Alignment 37 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Testmodell Out of Corpus Sprachaufnahmen und Vokabular Grammatik f r Linuxtage 2009 ca 40 W rter 182 Testsamples Gesamterkennungsrate 41 8281 Anmerkung Es f llt auf dass viele W rter beinahe gar nicht erkannt werden wohingegen andere bei 100 Confidence liegen z B Drei Links Runter Sechs Als Problemquelle werden Transkriptionsfehler und die unterschiedlichen W rterb cher vermutet 5 2 4 2 Test2 Modell BOMP W rterbuch 13 257 W rter nicht dabei deshalb nur 8702 Prompts von 22056 komplett abgedeckt verwendet Manuell korrigierte Prompts Beam Width 250 0 Testmodell Out of Corpus Sprachaufnahmen und Vokabular Grammatik f r Linuxtage 2009 ca 30 W rter 168 Testsamples Gesamterkennungsrate 52 0374 Anmerkung Auch hi
78. Next gt Cancel Nachdem dieser Vorgang abgeschlossen ist kann man ber die sam Funktionalit t Modify simons I model die Pfade setzen um anschlie end das Modell zu generieren Statt sam k nnte auch simon zur Kompilierung verwendet werden durch eine simple Synchronisation Allerdings bietet sam eine detailierte Protokollierung die bei der Suche nach Fehlern die sich in so gro e Modelle gerne einschleichen behilflich sein kann Anschlie end kann das Modell mit SAM mit einem zuvor abgespaltenen Testset getestet werden Mehr Informationen ber das Testen von Sprachmodellen mit sam k nnen in sam Anwenderhandbuch gefunden werden 43 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 5 5 Genutzte Sprachmodelle Detaillierte Protokolle zu den Sprachmodellen gibt im anhang unter Pkt 13 3 5 5 1 Generelles Sprachmodell Das generelle Sprachmodell wurde nach Tests aus Daten der ADABA Datenbank Humanitas Graz und Reha Radkersburg und dem W rterbuch HADI BOMP erstellt Es wird in folgenden Szenarien verwendet 5 5 1 1 ffentliche Station Die ffentliche Station steht in einem belebten Aufenthaltsraum im ersten Stock der Humanitas Seniorenresidenz Graz und ist f r jeden zug nglich 5 5 1 2 Proband01Humanitas Da Proband01Humanitas sprachlich keine Beeintr chtigung aufweist und sie zur Zeit der Sprachaufnahmen f r die adaptierten Modelle aus gesundheitlichen G
79. Personen die sowohl im institutionellen als auch individuellen Bereich sinnvoll sind Diese k nnen sein Direkttelefonate ber Skype und oder anderen VoIP L sungen Kontrolle der Finanzen und Durchf hrung von Transaktionen Sicherheitsl sungen ber verbale bei S ichhw rtarn Weiser H Kl rung und Definition m glichst kosteng nstiger technischer L sungen im institutionellen ffentlichen und privatem Bereich e Praktische Implementierung und Erprobung der L sungen im praktischen Umfeld der Projektpartner e Ver ffentlichung der Ergebnisse Konkrete vorstellbare Szenariobeschreibung Ausgehend von der Ausstattung des generellen Szenarios gibt es individuell konfigurierbare M glichkeiten Zum Beispiel Telefonverbindung Die Artikulation in das Mikrofon von Tante Mitzi w hlt automatisch die Telefonnummer von Tante Mitzi und die Telefonkommunikation ist ber Mikrofon und Lautsprecher m glich Zum Beispiel Erinnerungsfunktion Medikamente Zum vorkonfigurierten Zeitpunkt taucht bei eingeschaltetem Fernseher ansonsten nur ber Lautsprecher eine Sprecherin auf und fragt Hast du deine Blutdruckmedikamente schon genommen Diese Frage wird solange wiederholt bis verbal best tigt wird dass die Medikamente eingenommen wurden 169 Programm benefit http Dam D n Fernsehen Internet surfen 13 6 2 1 2 Stand der Technik oder Motivation Simon ist weltweit di
80. Seite 186 4 1 5 Projektpartner Rehabilitationsklinik Maria Theresia falls zutreffend pro Partner max 1 Seite 187 4 1 6 Projektpartner Altenheim falls zutreffend pro Partner max 1 Seite 187 4 2 Konsortium und Management soferne zutreffend max 1 Seite uermenneen 188 4 21 Kompetenz und Rolle der beteiligten Organisationen ssssssssnnssssnnese enrete ernennen nnen 188 5 konomisches Potenzial und Verwertung max 2 Seiten 189 51 Keele BEE 189 CN Ee De GE seen waren nenn aiaa 189 Erg nzende hlarmallanen nase Fehler Textmarke nicht definiert Kosten und Finanzierung Erl uterungen nenn Fehler Textmarke nicht definiert 164 Programm benefit 13 6 1 Kurzfassungen Abstracts Beschreiben Sie die Ausgangslage und die Ziele und Inhalte des Vorhabens in deutscher Sprache im Falle einer F rderung werden diese Angaben ffentlich gemacht a f nfzeilige Kurzfassung Synopsis auf deutsch Mittels des Einsatzes verbaler Steuerung durch simon unter Verwendung von im Alltag normalen Begriffen sollen f r ltere Menschen sinnvolle Szenarien und Anwendungsgebiete geschaffen werden um die einfache Verwendung neuer Kommunikationstechnologien wie Internet Telefon Multimediaanwendungen und Sicherheitsl sungen wie Medikamentenerinnerungen etc ebenfalls lteren Personen zug nglich zu machen b Kurzfassung auf deutsch Mit der Entwicklung der Open Source Spracherkennungssoftware simon ha
81. Sie hat den Eindruck dass die Station nach ca 15 Minuten nicht mehr funktioniert auch wenn die wirkliche Ursache so nicht bekannt ist Die Einschulung war von Ihrer Seite her in Ordnung und Sie kennt sich aus Dass der Befehl Ok bei den Fotos die Diashow aktiviert war Ihr jedoch unbekannt ist aber auch ein Fehler da das Skin bereits einmal bei dem Befehl Ok den Hinweis auf Diashow beinhaltete Anregungen die sich aus dem Test ergaben In Ihrem Fall mit vielen privaten Fotos w ren Unterordner sinnvoll Auf dem Skin f r Fotos m sste wie bereits bei einem alten Skin beim Befehl Ok der Vermerk Diashow eingef gt werden Das DVD Laufwerk m sste wenn geht noch mittels USB Verl ngerung und USB Hub mit Stromversorgung an die Seite des Bettes zu bringen sein damit Sie direkten Zugang dazu hat Dies w re noch zu testen 9 3 3 3 Individuelle Station proband03 Humanitas 9 3 3 3 1 Hardware e Samsung 80 cm Full HD Fernseher e Zotac Mag Mini GIANT Net Top PC e Panic Button e Alesis IO 2 Express Soundkarte e SAMSON CM12C Kondensator H ngemikrofon e Logitech C 310 Webcam e Hauppauge Win TV HVR 1900 e 10 Wandschrank e A1 USB Internetstick 97 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 9 3 3 3 2 Individuelle Konfiguration Im Falle des Probanden 03 wurden alle erforderlichen Inhalte auf seine Interessen hin abgestimmt und ge ndert wie Fotos Videos Fernsehpro
82. Sprachmodell 2 882222 en ae ara kia aa aeiae niet 44 5 5 2 Individuelle Sprachmodelle s nnnennseenensnssnsesnseesnsssseserressssssererressssssenernessssssreernesssseseeennessssene 44 6 Sottwate Entwickl ng ress sssi perras g 4282er Run nn RR Ri ne 45 GL Sen 1 10 Ene ne eege E EE EE EEN 45 6 1 1 Recherche Aeddi edd de Eed de 45 6 1 2 Anwendungsorlentierung aeieeiaii ie aaaea a deia aie diea aeai Ra aii aa 45 6 1 3 Verbesserung der Modellverwaltung 46 6 1 4 Modellerstellung 2 2 222 er se rer re se an m ei gel ee 46 6 1 5 Basismodelle 2 3ru 000 a hen hentai sahen 46 6 1 6 Zusammenfassungs nu 2er ee ein ed init 46 62 Simon Weiterentwicklung u eg dese ee nee ne 46 6 2 1 lu TEE 47 6 2 2 zivile CR 47 6 2 3 S u dsysteM eege ele Gel Eule an Seege Eege ease 48 6 2 4 EELER 49 6 3 Simon Benefit Neuentwicklung usuruessensenenennnnennennnnnnnnnnnnnnnnnnnnnnnenonnnnnnnnnnnnnnnnnnnnnsnnnnnannnannnensnnn 49 6 3 1 Mehrmikrofonl sungen 2 2 2e serien mbar Te rer En 49 6 3 2 SDEECHCA ae ee a ne el Nele 50 6 3 3 SIMONO EE 50 6 3 4 EE 50 6 3 5 luet EE 51 6 3 6 lu el EN GA ZSeoftowatekonzept tegen EE EA de EE 52 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 6 4 1 L gin Meth de u2 28420 Rare ek EEE Na 54 6 4 2 Modul Beschreibung nsspa en onan ein ae aan 54 6 5 XBMC Entwicklung ucscsses
83. Telefon 43 0 664 4034321 Fax 43 0 3452 74450 15 BLZ 38206 Kto 2 000 61135 e Raiffeisenbank Leibnitz 116 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 PsIMON listens gemeinn tziger Verein zur Entwicklung Verbreitung und Implementierung der Spracherkenmungssoftware SIMON Fragebogen f r Senioren Bed rfniserhebung f r das BENEFIT Projekt 2010 11 des Vereines simon listens 5 Geschlecht m nnlich TE Sehf higkeit _ gut H rf higkeit gut durchschnittlich durchschnittlich schlecht schlecht Sprechf higkeit gut K rperliche Verfassung gut C durchschnittlich _ durchschnittlich Ll schlecht schlecht Pflege Betreuungsbedarf C keiner EDV Kenntnisse sehr gut durchschnimlich durchschnittliche viel keine Wohnversorgung C Alleine Betreutes wohnen C wohngemeinschaft C Seniorenheim C Pflegeheim C Familie C sonstiges Aktuelle Hobbies Interessen Freizeitaktivit ten Fr here Hobbies interessen Freizeitaktivit ten Bevorzugte Zeitungen Illustrierten Magazine Bevorzugte Fernsehprogramme und sendungen Bevorzugte Radioprogramme und sendungen Bevorzugte Musikrichtungen SOLIDARITAT MIT SIMON http shop simon listens org A 8430 Leibnitz e Gralla 90c e Obmann Steger Franz office simon listens org hitp www simon istens org Telefon 43 0 664 4034321 e Fax 43 0 3452 74450 15 BLZ 38206 e Kto 2
84. UDWIG ANZENGRUBER GASSE 3 TELEFON 03452 206i 121 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 13 1 6 Stellungnahme optometrische berpr fung Protokoll zur Mitwirkung im Forschungsprojekt simon IKT Anwendungen f r Senioren 1 Einleitung Aus der Sicht einer gelernten Augenoptikerin durfte ich bei dem Forschungsprojekt simon IKT Anwendungen f r Senioren mitwirken Meine Aufgabe war es den aktuellen Prototyp zu beleuchten und Verbesserungen aus Sicht meiner beruflichen T tigkeit vorzuschlagen 2 Projekt In diesem Projekt geht es darum lteren Menschen bzw Menschen mit einer Sehbehinderung das Alltagsleben mit einem besonderen Computerprogramm zu erleichtern Durch eine sehr einfache Bedienung durch Sprachsteuerung f llt es den betroffenen Personen sehr leicht das System zu steuern Man kann allt gliche Aktivt ten mit Hilfe dieses Programmes wie z B Musik h ren verschiedene Zeitungen lesen Fotos ansehen oder auch das Wetter abrufen wie andere Interessen viel leichter bew ltigen Es ist auch f r Menschen die eine geringere Sehleistung haben geeignet da die Schrift sehr gro ist und daher leichter zu erkennen ist 3 Sehbehinderungen Ca 70 aller Personen ber 60 Jahre brauchen einen 3x h heren Kontrast als ein 20 J hriger Kontraste machen bestimmte Dinge erst sichtbar Wird ein eingeschr nktes Kontrastsehen festgestellt das durch mediz
85. UG GMM32 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 32 GMMs 7 8 TE HUG GMM64 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 64 GMMs 8 Ergebnisse Noch keine Vergleich m Lbglich 2 Abbildung 1 LUbersicht Thaller TE BP RRH HUH HUS HUG ADA Tag WER Acc COR SUB INS DEL S Chtze Aufnahmen 1 0 1 0 0 1 TE HUG GMM0 59 02 40 98 25 5 0 31 31 61 137 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 TE HUG GMM1 59 02 40 98 25 5 0 31 31 61 TE HUG GMM2 59 02 40 98 25 5 0 31 31 61 TE HUG GMM4 59 02 40 98 25 5 0 31 31 61 TE HUG GMM8 59 02 40 98 25 5 0 31 31 61 TE HUG GMM16 59 02 40 98 25 5 0 31 31 61 TE HUG GMM32 62 30 37 70 23 7031 31 61 TE HUG GMM64 59 02 40 98 25 5 0 31 31 61 Tabelle 1 Erkennungsergebnisse Tabellarischer berblick 13 3 4 3 Sprachmodell Proband 02 Leutschach 13 3 4 3 1 Sprachmodellanpassungen Martin Gutschy Da Martin Gutsch schwere k rperliche Einschr nkungen aufweist war bei ihm ein personalisiertes Sprachmodell notwendig Um eine maximale Erkennungsrate sicherzustellen wurde eine Kombination mehrerer Ma nahmen umgesetzt 13 3 4 3 2 Auswahl des Datensatzes Zuerst wurden die vorhandenen Datensets gesammelt und unterschiedliche Konstellationen getestet Eine Kombination der Headset und H ngemikrofondaten erwies sich in den Tes
86. achteil w re dass es dort keinen Fernsehanschluss gibt und daher Fernsehen nicht empfangen werden k nnte Der Funktionstest ergab folgendes Ergebnis Nach zweimaligem Hochfahren Fehlermeldung beim Einschalten MTV Das Add on wurde im Depot als defekt markiert Wollen Sie es in ihrem System deaktivieren war das System voll einsetz und verbal steuerbar 9 3 Individuelle Stationen 9 3 1 Individuelle Station proband01 Proband 01 als aktive Seniorin mit 82 Jahren war f r das Projekt ein wichtiger Partner f r Prototypingaktivit ten im Vorfeld zu den berpr fungen mit der gro en unterschiedlichen Anzahl von Prototypingteilnehmern an der Humanitas Graz Da jedoch kein realer Bedarf f r den Einsatz dieser L sung gegeben war wurde versucht die zur Verf gung stehenden Investitionen f r die 93 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Humanitas Graz zu verwenden da dort 3 interessierte Personen gegeben waren die einen realen Bedarf f r die vorliegende L sung aufwiesen 9 3 2 Individuelle Station probandO2 9 3 2 1 Hardware Proband 02 in Leutschach ist von den Voraussetzungen her eine hohe Anforderung an das Projekt da er v llig immobile und extreme schlechte sprachliche Voraussetzungen mitbringt Das war der Grund f r die Integration dieses Probanden in dieses Projekt um die Grenzen des m glichen Einsatzes dieser L sung auszuloten Er und seine Familie selb
87. andin ist sehr interessiert und motiviert und hat sofort skype Verabredungen mit Ihrem Neffen Bei den Einschulungen gab es kaum Verst ndnisprobleme und vor allem gro es Interesse an der Nutzung von skype und aller anderen Funktionen Schwierig war vor allem dass viel Zeit f r die Stabilisierung vor Ort aufgewendet werden musste sodass die Zeit f r eine gute Implementierung und Integration fehlte Die Probandin verwendet die Station aktiv soweit sie verf gbar ist und probiert selbst aktiv durch aus und einstecken z B der Internetverbindung die Station funktionsf hig zu machen Im Falle der individuellen Stationen wurden zus tzliche Sprachaufnahmen get tigt und ein adaptiertes Sprachmodell f r Proband 02 erstellt welches auch im Einsatz ist Die Artikulation und 96 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Sprechf higkeit der Probandin ist sehr gut sodass in diesem Falle wahrscheinlich auch das generelle Sprachpaket gen gt h tte 9 3 3 2 4 Status bei Projektende Bei einer berpr fung der Station 3 Wochen nach Projektende war die Station nach zweimaligem Hochfahren wieder einsetzbereit Proband 02 ist sehr aktiv und interessiert und verwendet die Station h ufig wobei Sie durch die Instabilit t der Station sehr genervt ist dies jedoch mit dem Argument eines Forschungsprojektes versteht und Verst ndnis daf r hat wird um die Angebote nutzen zu k nnen
88. anitas und der Rehabilitationsklinik Bad Radkersburg generiert da diese Sprecher hnliche Sprachcharakteristika aufweisen und die Erkennungsrate somit durch potentiell bessere phonetische Abdeckung unterschiedlicher Sprecher m glicherweise erh ht werden kann Aufgrund dieser Hypothese wurden auch Modelle generiert die zus tzlich allgemeine deutsche Sprachaufnahmen aus dem frei zug nglichen Voxforge Corpus beinhalten Weitere Tests mit z B der ADABA Datenbank verschiedenen W rterb chern und der Zielgruppe stehen noch aus 41 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 5 4 3 Erstellen von Sprachmodellen mit simon und sam Der simon Softwareverbund bietet ein Tool das speziell f r die Generierung und das Testen von Sprachmodellen ausgelegt ist Dieses Werkzeug hei t sam simon Acoustic Modeller FE sam Untitled i wa x File Build Test Settings Help sA 6 Hd ie VG New Open Save Modifysimons model Build model Test model Test results Input amp output files Adapt scenarios Create model Test model Test results Build model 100 Cancel Build log Now making deterministic finite automaton 12 13 Now making deterministic finite automaton 13 13 Now making deterministic finite automaton 13 13 Now making triplet list Now making triplet list 1 13 Now making triplet list 2 713 Now making triplet list 3 13 Now making triplet list 4 13 Now making
89. as Samson CM12C N here Informationen finden Sie unter Anhang Pkt 13 2 8 26 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 3 9 2 Erkennungsmikrofone 3 9 2 1 Schwanenhals Hier fiel die Entscheidung auf 2 Modelle Das AKG D5A2E und das T BONE TB 3125 Ersteres Modell aufgrund der Tests und das zweite Modell da es vergleichbare Eigenschaften besitzt und in Preis und Verf gbarkeit besser ist N here Informationen finden Sie unter Anhang Pkt 13 2 6 und 13 2 7 3 9 2 2 H ngemikrofon Hier fiel die Entscheidung auf das Samson CM12C N here Informationen finden Sie unter Anhang Pkt 13 2 8 4 Mikrofon L sungen 4 1 Mikrofonvorauswahl durch die TU Graz 4 1 1 Einleitung Die Bearbeitung und Definition des Themas Signalverarbeitung als Grundlage f r die Sprachmodellierung und Spracherkennung wurde aus folgenden Gr nden intensiver betrieben 4 1 2 Unterschiedliche Szenarien Grunds tzlich soll sowohl die Hardware als auch das Sprachmodell unterschiedliche Situationen ber cksichtigen Dies k nnte zum Beispiel das Erfordernis sein Hilfe herbeirufen zu m ssen die einzelnen Funktionen der Software aus verschiedenen r umlichen Situationen Schlafzimmer Wohnzimmer aus dem Bett bei Bettl gerigkeit heraus steuern zu k nnen 4 1 3 Unterschiedliche Anforderungen der Signalverarbeitung Ausgehend von diesen Anforderungen g be es Sinn durch Verwendung unterschiedlicher
90. ation Management framework e Akonadi Resources Configura a Akonadi Server Configuration Local Folders Add Ready Modify re im Remove fm Calendar Ready ges Default Address Book A e Ready D OE Help 11 el Defaults Reset wO IL e Apply Cancel A KDE Control Module ei Vi oO i B Calendar Search Agent _ DAV groupware resource Dummy MailTransport Resource Dummy Resource implementing mail transport interfac V OK Cancel 84 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 F gen Sie im erscheinenden Dialog mit Add eine neue Resource hinzu Der Typ ist davon abh ngig welches Groupwaresystem Sie verwenden siehe oben Je nach ausgew hlter Resource wird der Dialog daraufhin nach den systemspezifischen Verbindungsparameter Benutzername Passwort Host etc fragen Nachdem Sie die entsprechenden Felder ausgef llt haben sehen Sie einen neuen Eintrag in der Liste der verf gbaren Akonadiresourcen Sie k nnen den Dialog jetzt mit Ok best tigen 7 1 14 6 Integration in simon Nun m ssen Sie noch simon und die jeweilige Akonadiresource verbinden Dies geschieht in simon ber ein entsprechendes Kommandoplugin Artificial Intelligence Computer SCH Program Computer b Text Macro Computer lt gt 2 OK Cancel In der Konfiguration w hlen Sie die neu hinzugef g
91. berg ngen bzw Kanten Der Abschluss einer Inspektion wird mit der Funktion Set Inspection Status gesetzt Bei dieser Funktion wird angegeben ob die gestartete berpr fung mit positivem Ergebnis pass oder mit negativem Ergebnis fail abgeschlossen wurde Die Inspketion funktionierte nach dem Start einwandfrei 13 5 1 25 4 Farb und Texturerkennung 155 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Als n chstes arbeiteten wir mit der Textur bzw Farbvergleichsfunktion Match Color Pattern Bei dieser Funktion wird auf dem aufgenommenen Bild ein Interessensbereich definiert in dem man speziell suchen m chte Anschlie end gibt man im Bild die gew nschte Textur an mit der die sp teren Bilder verglichen werden F r diese Inspektion haben wir unsere f rbigen T Shirts verwendet Dabei sind wir zur Erkenntnis gekommen dass die im T Shirt vorhandenen Falten und die dadurch ver nderten Licht bzw Farbverh ltnisse schon verst rkt zu fehlerhaften Inspektionsergebnissen f hren 13 5 1 25 5 Texterkennung Da f r unsere Diplomarbeit Texterkennung wahrscheinlich eine Rolle spielt haben wir uns dies als n chstes zur Aufgabe gemacht Unter Vision Builder gibt es eigene Funktion die sich Read Verify Text nennt Als erstes haben wir versucht den bekannten Tom Tailor Schriftzug zu lesen da allerdings der Abstand zwischen den einzelnen Buchstaben zu klein war kon
92. ch Syn Individualisierung Pflegerin mitteilen dass Sie Dir hilft User nein Sys Danke ich finde es toll sch n gut dass Du selbst ndig bist V2 Danke es ist toll gut sch n dass Du so selbst ndig bist 2 3 4 Erinnerung an Skypetelefonate Kommunikationsdefinition Fr hlich animierend motivierend Stimme Denkbar weiblich eventuell bekannte Stimme Optische Aufl sung Bild von der Kontaktperson Turn DP Text Info Sys Hallo hier ist simon Syn Individualisierung Es ist Syn 15 30 Uhr Deine Tochter dein Sohn dein Freund deine Frau dein Mann Syn wartet wie immer am Freitag Syn auf Deinen Anruf Soll ich jetzt f r Dich w hlen Bitte antworte mit ja oder nein User ja Sys Gut dann werde ich versuchen Deine Tochter Syn Individualisierung zu erreichen Warte aufdie Verbindung Bitte ein wenig Geduld Gut dann rufe ich jetzt Deine Tochter Syn Individualisierung zu an Warte aufdie VerbindungLBitte hab ein wenig Geduld User nein Sys Du willst heute nicht mit Ihr Syn sprechen Ich werde es ihr gleich sagen Je ichesIhr mit Ich verstehe Du willst heute nicht mit Ihr Syn sprechen Ich werde es ihr gleich sagen 5 a Erinnerungen ohne Best tigungsanforderung Kommunikationsdefinition Fr hlich animierend motivierend Stimme Denkbar weiblich eventuell bekann
93. ch wieder daran Bis sp ter einmal daran erinnern V3 Schade Bitte nimm die Medikamente doch ein Sie helfen dir Danke 3 Sys Hallo hier ist simon Syn Hallo hier ist wieder simon Individualisierung V2 Deine Medikamente sind wichtig f r dich Hast Es ist Syn 9 10 UHR Du sie schon eingenommen Ich erinnere Dich jetzt zum zweiter V3 Ich m chte dich wieder an deine Medikamente Mal wieder an die Einnahme Deiner erinnern Hast Du sie schon eingenommen Medikamente Hast Du sie schon eingenommen Bitte antworte mit ja oder nein User nein Sys Ich rufe jetzt Syn Individualisierung eine Pflegerin damit Sie Dir hilft d Erinnerung an regelm iges Trinken Kommunikationsdefinition Bestimmend auffordernd 72 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Stimme Denkbar m nnlich eventuell bekannte Stimme Optische Aufl sung Arztfoto Turn DP Text Versionen Sys Hallo hier ist simon Syn V2 Regelm iges Trinken ist f r Deinen Individualisierung K rper wichtig Hast Du Syn Deinen Tee Es ist Syn 10 00 Uhr UHR Dein Wasser schon getrunken Ich m chte Dich daran erinnern V3 Du wei t dass regelm iges Trinken f r Regelm iges Trinken ist f r Deinen die Gesundheit wichtig ist Hast Du Syn K rper gesund und wichtig Hast Du Syn Deinen Tee Dein Wasser schon getrunken Deinen Tee Dein Was
94. chen Entwicklungen im Interesse der in diesem Projekt genannten Zielgruppe m glich 13 6 4 1 2 Projektpartner SPSC der TU Graz a Firmenname bzw Name der Einrichtung Signal Processing and Speech Communication Laboratory Graz University of Technology Inffeldgasse 12 A 8010 Graz b Angabe zur fachlichen Kompetenz der Organisation und der beteiligten Personen f r das Projekt Das SPSC der Technischen Universit t Graz wurde im Jahr 2000 als Forschungs und Bildungseinrichtung f r nonlineare Signalverarbeitung Comptational Intelligence Algorithmus Engineering und Telekommunikation gegr ndet c Darstellung des projektrelevanten Track Record Markterfolge Patente Publikationen http www spsc tugraz at people stefan petrik stefan petrik 13 6 4 1 3 Projektpartner KFU Forschungsstelle sterreichisches Deutsch a Firmenname bzw Name der Einrichtung Forschungsstelle sterreichisches Deutsch Heinrichstra e 22 2 A 8010 Graz b Angabe zur fachlichen Kompetenz der Organisation und der beteiligten Personen f r das Projekt Die FORSCHUNGSSTELLE STERREICHISCHES DEUTSCH gibt es seit dem 01 08 2005 genau genommen aber schon seit dem Oktober 1996 Sie entstand aus seiner Vorl uferform dem Projekt sterreichisches Deutsch das im Oktober 1996 gegr ndet wurde und aus der Teilnahme an zwei EU Sprachkorpora Projekten PAROLE SIMPLE entstanden war In deren Folge wurde die Erforschung des sterreichischen Deutsch intensiviert
95. dalone mit der Benefit Version zu tauschen 7 2 4 TV Das Mediaportal muss installiert werden damit die TV Funktion genutzt werden kann 8 Inhaltstausch Wartung und Aktualisierung Der Inhalt diverser Module kann ge ndert werden 8 1 Wetter Eine nderung des Ortes der f r die Wettervorhersage herangezogen wird ist in der Systemsteuerung von XBMC durchzuf hren Hierf r muss mit einem Dr cken der Taste s im Hauptmen ins Backend gewechselt werden und im Men punkt Wetter der Ort ge ndert werden Eine aktive Internetverbindung ist auch f r diese nderung notwendig 8 2 Zeitungen und Zeitschriften Unter home simon gibt es die Ordner Zeitungen sowie Zeitschriften die f r den Kontent dieser beiden Module ausschlaggebend sind Details finden Sie unter 3 2 8 3 TV Um die Sender f rs Fernsehen zu ndern Senderlogos zu w hlen tauschen oder die Reihenfolge der Programme anzupassen ist ein Aufruf des Mythtv Backends notwendig e Starten Sie die Konsole und f hren Sie den Befehl sudo mythtv setup aus e Das Backend von Mythtv wird gestartet auftretende Fragen beantworten Sie mit Ja e W hlen Sie den Men punkt Sender bearbeiten o Hier k nnen Sie die Senderlogos aktualisieren herunterladen 89 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 einen neuen Sendersuchlauf starten die Reihenfolge der Sender ndern
96. de nicht verlassen m ssen da die Aufnahmen als Schulprojekt organisiert werden 5 4 1 6 Vorbereitung Humanitas F r die Aufnahmen bei der Seniorenresidenz Humanitas mussten folgende Aspekte beachtet werden e Suche nach Personen welche sich f r die Sprachaufnahmen zur Verf gung stellen e Unterschrift einer Einverst ndniserkl rung zur Nutzung der Sprachaufnahmen e Informationsveranstaltungen f r Klienten der Humanitas zu den Sprachaufnahmen e Kl rung der Termine f r die Sprachaufnahmen e Kl rung der Einteilung der Aufnahmeteams mit den jeweiligen angemeldeten Personen e Kl rung und Anschaffung der ben tigten Hardware f r Sprachpaketaufnahmen 5 4 1 7 Mikrofondefinitionen mit klarer situativer Beschreibung Zur Standardisierung wurden klare situative Definitionen f r die benutzten Mikrofone erarbeitet Diese sahen folgenderma en aus 5 4 1 7 1 Headset e Normal aufgesetzt e B gel am Kopf 40 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 e Mikrofon zwischen Oberlippe und Nase 5 4 1 7 2 Schwanenhalsmikrofon e Entfernung ca 50cm vor dem Sprecher 5 4 1 7 3 H ngemikrofon e Entfernung ca 75cm 100cm vor dem Sprecher 5 4 2 Allgemeines zur Sprachmodellierung Das Sprachmodell beschreibt wie die Sprache der Anwender klingt Die Erkennung vergleicht dann die aktuellen Aufnahmen mit diesem zuvor generierten Modell Je besser dieses Modell die Realit t abbildet
97. den ID Geb Jahr Jahr Anzahl Alterstabelle 17 1922 1922 1 i 35 1926 1926 1 108 40 1927 1927 1 zul 15 1929 1929 1 197 23 1932 1932 1 u 20 1933 1933 1 196 41 1938 1938 1 a 1 1940 1940 2 emm 1 38 1940 1941 2 wg 2 1941 1942 1 e 26 1941 1943 1 1952 16 1942 1944 2 abe 39 1943 1945 1 1949 21 1944 1946 1 28 1944 1947 1 1945 1 24 1945 1949 2 a l 18 1946 1950 1 1942 1 22 1947 1951 1 a 11 1949 1952 1 jan 25 1949 1953 2 l 27 1950 1954 1 gt l 3 1951 1955 1 1926 49 1952 1959 1 ai 13 1953 1960 1 i 43 1953 1965 1 46 1954 1967 1 34 1955 1968 1 61 1959 1969 1 37 1960 1970 1 36 1965 1971 2 10 1967 1974 1 42 1968 1980 1 44 1969 1981 1 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 62 1970 1983 1 45 1971 59 1971 Durchschnittsalter 33 1974 58 Jahre 48 1980 14 1981 47 1983 60 1983 2 3 1 3 Geschlechterverteilung Von den 43 Personen waren 25 m nnlich und 16 weiblich Im Rahmen eines Termins mit Primar Kubik wurden folgende Entscheidungen und Definitionen f r die ffentlich zug ngliche Station getroffen 2 3 1 4 Bereichsdefinition Die Definition des Bereiches wo die ffentlich zug ngliche Station untergebracht werden soll wird in Zusammenarbeit mit der Haustechnik der REHA Klinik Radkersburg unter Ber c
98. dene Sprachtechnologiekomponenten etc e Beratung im Bereich des Prototypings e Beratung im Bereich der Ger uschunterdr ckung Info ber verschiedene Modelle wie Garbadge Modell Voice Activity Detection etc e Und vieles Mehr Die systematische Beratung und Reflektion des Projektes war ein wesentlicher Bestandtteil der positiven Entwicklung auch wenn aufgrund der hohen unterschiedlichen Anforderungen an dieses Projekt durch die Vielfalt der wissenschaftlichen Bereiche die hier zusammentreffen immer wieder das Spannungsfeld Theoretischer Ansatz und Praktische Umsetzung aufeinander geprallt sind und vielfach aufgrund der unterschiedlichsten Voraussetzungen des Teams gro e Verst ndnisprobleme vorhanden waren 10 1 2 Schwerpunktarbeiten zur Kl rung verschiedener Fragestellungen Aufgrund der Anforderungen an das Projekt ergaben sich folgende Aspekte die nicht im Rahmen der regelm ssigen Sitzungen bearbeitet werden konnten wo dann spezielle Schwerpunktsetzungen erforderlich waren und zus tzliche Arbeitsschwerpunkte geschaffen wurden 10 1 2 1 berpr fung der Sprachtechologiekomponenten von simon Am Beginn des Projektes wurden schwerpunktm ssig alle Sprachtechnologiekomponenten von simon berpr ft und optimiert um von dieser Seite her Probleme f r den praktischen Einsatz auszuschlie en 99 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 10 1 2 2 Mikrofonvorauswahl f r di
99. dieser Open Source L sung eine sehr aktive Entwicklercommunity siteKiosk Auch siteKios ist eine ausgereifte L sung mit unz hligen Referenzen weltweit Dieses Produkt bietet auch passende Features f r unsere Anforderungen allerdings sind hier zwei Nachteile zu verbuchen 1 der Kostenfaktor der Lizenzgeb hr und 2 die Hauptbedienung l uft ber einen Browser eine HTML Seite was f r optische Schmankerl bei der Bedienung eine gro e H rde darstellt KDE Kiosk Mode Der KDE Kiosk Mode ist ein komplett flexibles und offenes Framework f r KDE Viele Einstellm glichkeiten sind hier ber Parameter in unterschiedlichen Dateien zu setzen F r ein paar Kernfunktionen steht eine Admin Oberfl che zur Verf gung KDE Knowhow ist f r dieses Produkt unbedingt erforderlich OpenKiosk hnlich wie beim KDE Kiosk Mode ist auch hier bei OpenKiosk das Verh ltnis zwischen Admin Tool und Coding sehr ausgeglichen D h dass auch hier viel gescriptet werden muss und einige Funktionen dazuimplementiert werden m ssten Die Windows Version wird nicht ausreichen daher ist auch hier KDE Knowhow unumg nglich Eldy Eldy ist ein nettes sehr simpel gestaltetes Bedienprogramm speziell ausgelegt f r Senioren allerdings mit wenig Konfigurations und Erweiterungsm glichkeiten Au erdem steht hier kein Quellcode zur Verf gung und Anpassungen werden ausschlie lich vom dahinter stehenden Verein Firma erledigt Im Gro en und Ganzen ist es somit f
100. doch eine Option da die Hardwareintegration in Ubuntu eine immens zeitaufw ndige darstellt und ein Nachvollzug der Installation praktisch nicht m glich ist 107 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Zur besseren Verdeutlichung des Zielerreichungsgrades und Status der Entwicklung der einzelnen Projektkomponenten wurde folgende Tabelle erstellt Empirische Einsch tzung des Zielerreichungsgrades und Projektergebnisses der einzelnen Projektbestandtteile Nr Projektteil Funktion Entwickelt Usability Funktionalit t Praktischer angepasst Verwendbarkeit Stabilit t Einsatz Akzeptanz 1 Sprachmodelle f r Senioren 2 Hardwaremodelle 3 _ simon Stabilisierung und Anpassungen 4 Ubuntuversion 5 6 Windowsversion Funktionen Wetter Bilder Videos Musik Fernsehen Zeitungen RSS Feeds Zeitungen Firefox Skype Kalender Sprachtagebuch Druckfunktion Login M glichkeit 7 Dialogentwicklung 8 Netzwerkverwaltung 9 Einschulung der End User 10 Dokumentation Schulungsmaterial 11 Auswertung und Ver ffentlichung 12 Evaluierung Stationen ffentliche Station REHA Radkersburg ffentliche Station Humanitas Proband 01 Humanitas Proband 02 Humanitas Proband 03 Humanitas Proband 01 Leutschach Sehr guter Entwicklungsstand Akzeptanz EZ Entwickelt aber nicht stabil perfek
101. e Die Inbetriebnahme des Roboters ist uns relativ leicht gefallen da wir schon im Werkst ttenlabor damit arbeiten durften Zus tzlich wurde auch noch ein Protokoll von Sch lern der HTBLA Kaindorf angefertigt dieses haben wir aber nicht ben tigt 13 5 1 11 Kleine Programme F r den Anfang versuchten wir einfache Bewegungsbefehle auszuf hren Dazu brachten wir dem Roboter mittels Teaching ein paar Punkte bei und versuchten sie mit einem einfachen MOV Befehl automatisch anzufahren Sp ter probierten wir auch andere Befehle aus wie zum Beispiel das Verschleifen von Punkten Kreisbahnen Kreise Linearbewegungen etc welche im Endeffekt kein Problem f r uns darstellten 13 5 1 12 Probleme Erste Probleme gab es dann mit gewissen Funktionen wie Kreisbahnen oder ganze Kreise diese konnten aber nach einigen Versuchen gel st werden Ein weiteres Problem stellte die Kommunikation zum Laptop dar Uns fehlten einige Informationen bez glich des Roboters zum Beispiel die IP Adresse und somit konnte anf nglich keine Verbindung mit dem Roboter hergestellt werden Nach einer kurzen Besprechung mit unserem Herrn Fachlehrer Schuller schafften wir es letztendlich doch die Verbindung herzustellen 149 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 13 5 1 13 Idee Da unser Projekt viele verschiedene Abl ufe erfordert versuchten wir ein gro es Programm in kleinere Teile zu kapseln
102. e Infrastruktur zu 25 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 nutzen und die zweite mittels UMTS Sticks die Internetverbindung zu gew hrleisten Da bei der Humanitas Seniorenresidenz Graz keine stabile Verbindung mittels des vorhandenen WLAN Netzwerkes hergestellt werden konnte mussten wir auf UMTS USB Sticks von A1 umsteigen Das Ger t selbst ist ein Huawei E173 UMTS USB Modem welches auch unter Linux l uft 3 8 Alesis IO 2 Express Soundkarte Da f r die Erkennung professionelle Mikrofone verwendet werden wird auch eine Soundkarte ben tigt welche die ber die n tigen Anschl sse verf gt Die Wahl fiel auf die g nstige USB Soundkarte io l2 express von Alesis Detaillierte Informationen dazu finden Sie im Anhang 3 9 Mikrofone Die ben tigten Mikrofone lassen sich in folgende Kategorien aufteilen 3 9 1 Aufnahmemikrofone 3 9 1 1 Headset Hier werden Modelle der Firma Sennheiser benutzt N here Informationen finden Sie unter Fehler Verweisquelle konnte nicht efunden werden 5 3 9 1 2 Schwanenhals Hier fiel die Entscheidung auf 2 Modelle Das AKG D542E und das T BONE TB 3125S Ersteres aufgrund der Tests und zweiteres da es vergleichbare Eigenschaften besitzt und mit Preisgestaltung und Verf gbarkeit berzeugen konnte N here Informationen finden Sie unter Anhang Pkt 13 2 6 und 13 2 7 3 9 1 3 H ngemikrofon Hier fiel die Entscheidung auf d
103. e Mehrmikrofonl sung f r Sprachaufnahmen F r die optimale Mikrofonvorauswahl f r die Sprachaufnahmen und den praktischen Einsatz der Mikrofone f hrt DI Petrik mit verschiedenen Mikrofonen Mikrofontests durch um die optimalen Modelle f r die Aufnahmen und den praktischen Einsatz zu definieren Auf Basis dieser Vorauswahl wurden dann die Mikrofone f r die Sprachaufnahmen und den praktischen Einsatz angekauft um so f r verschiedenste Einsatzformen des Sprachmodells und der Mikrofone ger stet zu sein H ngemikrofon f r immobile Personen etc Auf Basis dieser Entscheidung wurde von unserer Seite eine zweite Testserie mit Spracherkennung auf Distanz durchgef hrt um die Einsetzbarkeit dieser Mikrofone aus verschiedenen Distanzen und Winkeln zu testen vor allem in Hinblick auf m gliche Sicherheits und Rauml sungen in der Zukunft 10 1 2 3 berpr fung der Sprachmodellierungskomponenten SAM Da es gro e Qualit tsprobleme bei der Sprachmodellierung gab wurde ein weiterer Schwerpunkt gesetzt Die Probleme waren wahrscheinliche durch mangelnde Qualit t der Aufnahmen durchgef hrt durch HTL Sch ler praktischer Unm glichkeit komplexe Satzaufnahmen mit unserer Zielgruppe durchzuf hren und in die Sprachmodellierung zu integrieren Da die Ergenisse aus der Modellierung jeglicher Logik entbehrten wurde ein Schwerpunkt dahingehend gesetzt dass durch parallele Sprachmodellierung die Qualit t unseres Werkzeuges f r die Sprachmodellie
104. e Personen Pensionisten EU o Weiblicher Repr sentant eigenes Interesse o M nnlicher Repr sentant eigenes Interesse AP_01 Bed rfniserhebung mit Zielpersonen und Zielinstitutionen 5 Arbeitstage Mitarbeiter FS 2 5 MS 2 5 Partner EU In enger Zusammenarbeit mit den Zielpersonen und Institutionen sollen die genauen Bed rfnisse und M glichkeiten erhoben werden um schon von Beginn an diesen wichtigen Part der Einbindung im Projekt zu ber cksichtigen Das Ergebnis dieses Arbeitspaketes ist wegweisend f r die folgenden Evaluierungs und Recherche Arbeitspakete AP_02 Evaluierung eines Stationsframeworks 6 Arbeitstage Mitarbeiter AB 6 Partner keine Um den Anforderungen der simplen Bedienung gerecht zu werden soll ein Stationsframework zum Einsatz kommen Darunter ist zu verstehen dass dem Benutzer bei seiner Station egal ob ffentlich oder individuell ein ganz einfaches Men zur Verf gung steht ber das er gewisse Programmpunkte entweder per Sprache oder per Ber hrung w hlen kann Unter welchem Betriebssystem z B Windows oder Linux dieses Framework laufen soll soll ebenfalls in diesem Arbeitspaket evaluiert werden Dieses Framework soll folgende Anforderungen erf llen Automatischer Start beim Hochfahren des Computers Terminals Keine Zugriffsm glichkeit aufs Betriebssystem oder anderen Komponenten als Benutzer Konfigurationsm glichkeit der einzelnen Programmpunkte f r Administratoren
105. e als Video Telefondienst zu verwenden fiel sehr rasch und einstimmig da der Dienst am meisten verbreitet ist und somit von den Angeh rigen der Probanden am meisten Zustimmung findet F r die Integration von Skype ins Gesamtsystem wurde eine eigene Applikation simonskype in Qt programmiert die als Schnittstelle zwischen XBMC und Skype dient Neben dem T tigen von Anrufen werden mittels simonskype auch Anrufe entgegengenommen und diese in Dialogform dem Anwender pr sentiert 6 5 5 Kalender Auch der integrierte Kalender ist eine eigens programmierte Anwendung die sich mit Hilfe von Akonadi zu beliebigen Quellen Exchange Server Groupware Server etc verbindet Es werden in bersichtlicher Form die tagesaktuellen Termine dargestellt und mit Hilfe von simplen Sprachkommandos k nnen diese Tage in die Gegenwart oder Zukunft gewechselt werden 6 5 6 Panic Button Der Stress oder Panic Button wurde ins Projekt gerufen damit gewisse Situationen im t glichen Gebrauch der Gesamtl sung einfach in den Griff zu bekommen sind Ein Bet tigen dieses Knopfes startet eine eigens entwickelte Softwareanwendung die nachfolgend n her erl utert wird Die Anwendung macht folgendes e Reduzierung der Lautst rke auf 30 62 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 e ffnen eines modalen Fensters mit dem Hinweis dass das System in 30 Sekunden neu gestartet wird Hinweis mittel
106. e einzige Open Source Spracherkennungssoftware mit der einzigartigen Innovation sich an die individuellen sprachlichen M glichkeiten der Zielgruppen anzupassen Aktuell wurde ein absolut stabil laufender Prototyp entwickelt der es erm glicht diesen in Richtung der verschiedensten Anwendungsszenarien weiterzuentwickeln und zum Einsatz zu bringen Nichts liegt daher n her als ebenfalls ber den Einsatz von Spracherkennung im AAL Bereich nachzudenken Gerade durch die Pr sentation des Projektes simon beim AAL Forum 2009 in der Wiener Hofburg gab es eine enorme Nachfrage und viele neue Anregungen Der Grundtenor dieser Gespr che bestand darin dass bereits viele ber Spracherkennungsl sungen im Smart Home Bereich nachgedacht haben die Entwicklung derselben jedoch enormen Aufwand verursachen w rde Alle bisherigen Smart Home L sungen enden letztlich bei einer Fernbedienung die f r Senioren irgendwann eine H rde darstellt und oder wenn einfach bedienbar den Funktionsumfang wesentlich einschr nkt Da es jedoch aufgrund unserer immensen Vorarbeiten eine frei zug ngliche und anpassbare L sung wie simon gibt k nnen alle bisherigen L sungsans tze neu berdacht werden Dies ist auch unsere gr te Motivation f r diesen Antrag da das Wissen und die Kenntnis der Entwicklungsm glichkeiten von simon uns motiviert in Richtung Spracherkennungsl sungen f r ltere Menschen zu forschen 13 6 2 1 3 Technische Probleme und Risiken des Projekt
107. e komplement re Ger te wie TV Karten Sky Adapter Kabel und Installationsmaterial nicht ber cksichtigt waren Zus tzlich kamen noch f r die Projektumsetzung nicht bedachte erforderliche Investitionen f r einen Sprachdatenserver und vor allem einen Sprachdatenrechner dazu da Sprachmodelle in dieser Dimension nicht mehr auf einem Notebook gerechnet werden k nnen und oder bei dieser Rechenleistung Tage in Anspruch nimmt AP_32 Auswertung und Ver ffentlichung siehe Punkt 5 Verwertung Erreichte Ziele und Meilensteine Ein generelles Sprachmodell von Senioren und 3 individuell angepasste Sprachmodelle sind und im praktischen Einsatz Zwei ffentliche Stationen wurden erstellt und sind im praktischen Einsatz Vier individuelle Stationen wurden individuell angepasst installiert und sind im praktischen Einsatz Die Dialogsteuerung ist programmiertechnisch umgesetzt die Dialoge entwickelt und integriert Im praktischen Einsatz ist jedoch nur der skype Dialog da f r die Integration des Restes der Zeitrahmen nicht ausgereicht hat Die Serverl sung war institutionell nicht machbar und wurde durch individuelle Anpassung an die lokalen Gegebenheiten der Institutionen mittels eines Internetkalenders vorl ufig gel st Eine Ubuntuversion des simon XBMC Centers ist auf allen Stationen im Einsatz Eine Windowsversion wurde zu Teilen mit Ausnahme der Kalender und Netzwerkl sung entwickelt ist jedoch nicht praktisch erprobt w re je
108. e_ deluxe_edition timbaland present_shock_value_ deluxe_ 01 Falco THE SOUND OF MUSIK e e 6 Funktion Zeitung Zeitung Ka us ai x A 1 nachrichten Duissen sport Astars society ZEITUN WOCHE Deene Zeitung Gaz Zeitung bie Woche B sterreich 6 2 Funktion Zeitung mit Firefox und Zahlenplugin BW HI Sprachbefehle RUNTER HINAUF HINUNTER RECHTS VERGR BERN VERKLEINERN ZUR CK SCHLIESSEN e Sprachbefehle RAUF RUNTER ZUR CK RAUF LINKS ZAHL OK 8 Funktion Veranstaltung Donnerstag 7 Juli 2011 140 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 13 4 2 Screenshots Dialoge 1 Dialog Aufstehn Dialog Fr hst ck s a ei ER ei 4 y S om E gt M Sg A 141 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Dialog Erinnerungsfunktion Trinken nein 142 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 143 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Dialog Erinnerungsfunktion Medikamente Dialog Erinnerungsfunktion Kaffeepause 144 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Dialog Erinnerungsfunktionen Mittag und Abendessen Dialog Erinnerungsfunktion Veranstaltungen
109. eal auch f r Talkback Anwendung oder Festinstallationen e L nge des Schwanenhalses 27cm e 3 Jahre Thomann Garantie 13 2 8 SAMSON CM12C e _Kondensator H ngemikrofon e Nierencharakteristik e Flexible Stahlhalterung e Mini XLR Anschluss e inkl 10 Meter Kabel e _mehrstufiger Poppschutz e 9 52 Volt Phantomspeisung erforderlich e Farbe Schwarz e speziell f r Chorabnahme e 3 Jahre Thomann Garantie 128 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 13 3 Anhang Sprachmodell f r Senioren 13 3 1 Wortlisten Nr Wort erarbeitete Liste f 1 Aufnahmen HU DECHE Wortliste Benefit 14 11 2010 1 Null 1 null 1 null 1 null 2 Eins 2 eins 2 eins 2 eins 3 Zwei 3 zwei 3 zwei 3 zwei 4 Drei 4 drei 4 drei 4 drei 5 Vier 5 vier 5 vier 5 vier 6 F nf 6 f nf 6 f nf 6 f nf 7 Sechs 7 sechs 7 sechs 7 sechs 8 Sieben 8 sieben 8 sieben 8 sieben 9 Acht 9 acht 9 acht 9 acht 10 Neun 10 neun 10 neun 10 neun 11 Zahl 11 Zahl 11 Zahl 11 zahl 12 Rechner 12 ja 12 ja 12 ja 13 mal 13 nein 13 nein 13 nein 14 plus 14 wiederholen 14 wiederholen 14 Ok 15 minus 15 danke 15 danke 15 zur ck 16 durch 16 bitte 16 bitte 16 abbrechen 17 Prozent 17 l schen 17 l schen 17 hinauf 18 l schen 18 Ok 18 Ok 18 hinunter 19 Ok 19 zur ck 19 zur ck 19 rauf 20 Komma 20 abbrechen 20 abbrechen 20 runter 21 zur ck 21 hinauf 21 hinauf 21 links 22 abbrechen 22 hinunter 22 hinunter 22 rech
110. ein 6 6 3 1 Dialogablauf Zu gewissen Zeiten soll simon den Anwender daran erinnern seine Medikamente einzunehmen Der Benutzer wird gefragt ob er dies bereits gemacht hat Antwortet er darauf mit Nein soll ihn das System in einem Abstand von ein paar Minuten so lange erinnern bis die Medikamente eingenommen werden Zeit a S o DN EN Ae 6 6 3 2 Umsetzung in simon Aus dem obigen schematischen Diagram lassen sich die Dialogzust nde leicht ablesen Es ergeben sich also e 3 Zust nde Erinnerung Bereits eingenommen und noch nicht eingenommen 65 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 e 1 zeitgesteuerter Ausl ser der den Dialog zu einer gewissen Uhrzeit startet e 2 sprachliche berg nge Ja Nein e 1 zeitgesteuerter bergang erneute Erinnerung nach Zeitablauf Dieser Dialog l sst sich in dieser Form durch eine Kombination des Dialog und Akonadi Plugins umsetzen a Manage actions simon D Ye amp EY Dialog H General Dialog design Bound values Template options Avatars Output States Text Options Avatar WEICH Le Willkommen Varant 1 P Add Remove 2 Eingenommen EES Dialog 3 Nicht eingenommen Hallo hier ist simon Es ist time Ich m chte formal Sie elseformal dich fendf ormal an die Einnahme formal hrer elseformal deiner fe ndformal Medikamente
111. ein z B Gesicht einer Pflegerin Symbolbild etc Optionen Durch das Ausl sen von Optionen z B ber ein Sprachkommando kann ein Zustand in einen anderen bergehen bzw Kommandos ausgef hrt werden Optionen besitzen einen Trigger einen Namen ein optionales Symbol und k nnen auf Wunsch auch automatisch nach einer gewissen Zeit ab Betreten des Zustandes ausgel st werden 63 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 6 6 2 2 Gebundene Werte Variablen werden im Dialogsystem durch gebundene Werte dargestellt So k nnte beispielsweise der Name des Benutzers durch eine Variable name dargestellt werden Zur Laufzeit wird die Variable dann mit der Liste der konfigurierten gebundenen Werte aufgel st Es gibt vier Typen von gebunden Werten Statisch Verkn pfung des Variablen mit einem Text Bsp Name des Patienten OtScript Die Variable nimmt das Ergebnis des gegebenen Qt Scripts ECMAScript auch bekannt als JavaScript an das zur Laufzeit evaluiert wird Bsp Umgangssprachliche Uhrzeit Kommandoargument Wird der Dialog mit Kommandoparametern aufgerufen ber simons Parametersystem f r Kommandos kann hier mit diesem Typ von gebunden Werten auf diese Werte zugegriffen werden Bsp simonskype bergibt an den gegebenen Dialog den Anrufernamen ber ein Kommandoargument Plasma data engine Der Wert der Variable entspricht dem Wert des Attributes der gegebenen Pla
112. en AP_05 Hypothesen berpr fung 4 Arbeitstage Mitarbeiter FS 1 MS 1 AB 1 PG 1 Partner keine Die vorweg in diesem Konzept genannten Hypothesen sowohl im Anwendungsbereich im Hard und im Softwarebereich sollen anhand der Ergebnisse der Vorbereitungsphase berpr ft und erg nzt werden Dieses Arbeitspaket soll daf r genutzt werden die Ergebnisse in fachkundigem Kreise zu besprechen um eine geeignete Ausgangsbasis f r den Beginn der Konzeptionsphase zu liefern AP_06 Detailkonzept zum Stationsframework 5 Arbeitstage Mitarbeiter AB 5 Partner keine In diesem Arbeitspaket soll ein Detailkonzept erarbeitet werden dass anhand der Ergebnisse der Vorbereitungsphase zum Thema Stationsframework eine genaue umfangreiche und zeitliche Darstellung der T tigkeiten liefert AP_07 Konzeption einer optimalen Login M glichkeit 3 Arbeitstage Mitarbeiter PG 1 5 AB 1 5 Partner keine Es muss ein Konzept erarbeitet werden welche Login M glichkeit im ffentlichen Bereich am sinnvollsten erscheint Zu bedenken sind hier folgenden Faktoren Speziell bei einer Bedienung mit reiner Sprachsteuerung muss f r ein sicheres Einloggen in den privaten Bereich Skype gt Kontakte gesorgt werden ohne dass sich andere Personen einfachen Zugriff durch mith ren verschaffen k nnen Bei einer m glichen Bedienung mittels TouchScreen ist die Sicherheitsh rde leichter zu nehmen aber auch hier sollen si
113. en Werte etc an andere Programme schicken k nnen Anfangs haben wir in Internetforen wie z B auf www labviewforum de nach Informationen gesucht mit der Hoffnung das jemand schon einmal ein hnliches Problem gehabt hat Neben der Suche in Foren haben wir auch auf der Herstellerseite selbst nach Hilfestellungen Tutorials oder Beschreibungen gesucht Trotz intensiver langer Suche blieben unsere beiden Versuche vorerst erfolglos Darauf haben wir uns dazu entschieden selbst zu probieren und kamen dadurch auch schlie lich darauf dass man mit der Funktion Calculator die Ergebnisse in ein gew nschtes Format wie z B einen String konvertiert vielleicht etwas hinausschicken kann Doch mit dieser Funktion konnten wir unser Problem auch nicht l sen Danach unterbrachen wir unsere Arbeiten an diesem Thema da wir vorerst nicht weiterkamen und wir die Netzwerk Kamera bekommen haben Bei der Konfiguration der Kamera traten dann ebenfalls 156 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 weitere Probleme auf In der Bedienungsanleitung war als zweiter Schritt nach dem Anschlie en der Kamera zuweisen einer IP Adresse angegeben Laut der Bedienungsanleitung haben wir dies dann gemacht allerdings wurde die Kamera am n chsten Tag nicht mehr erkannt Aus diesem Grund haben wir zuerst versucht die Kamera an anderen PCs und Notebooks anzuschlie en und von dort aus auf die Kamera zuzugreifen Da
114. en Sprachmodelle mit unterschiedlichen Lexika generiert In vorl ufigen Tests fiel auf dass es mit dem jetzigen System Modelle zu generieren schwierig war die n tige Triphonabdeckung zu erreichen Vermutungen legen nahe dass aufgrund der Menge an Sprachaufnahmen beim Triphon Clustering zu viele Probleme auftreten Diesbez glich w ren auch weitere Tests von N ten Laut einer schnellen berpr fung seitens der TU Graz sind die Aufnahmen des deutschen Voxforge Corpus mangelhaft und es bestehen Zweifel ob sie berhaupt genutzt werden sollten Tests mit der ADABA Datenbank und anderen Corpora stehen noch aus und sind in anderen Arbeitspaketen vorgesehen nachdem der Generierungsprozess weiter verbessert wurde um mit sehr gro en Datenmengen umzugehen 5 4 Sprachmodellierung 5 4 1 Sprachaufnahmen 5 4 1 1 Wortschatzentwicklung Der Wortschatz wurde gemeinsam mit Hr Prof Muhr erarbeitet Die Erarbeitung fand sowohl in Zusammenarbeit mit Bewohnern der Humanitas Seniorenresidenz statt als auch intern basierend auf den definierten Szenarien Die Wortliste besteht aus den erhobenen Kommandos f r die BENEFIT Szenarien Kommandos zur Haussteuerung mit dem Hintergedanken der m glichen Erweiterung der Szenarien und phonetisch reichhaltigen W rtern um damit die Phoneme der deutschen Sprache gr tm glich abzudecken Dies erm glicht eine leichtere Erweiterung der Kommandos f r zuk nftige Szenarien 39 BENEFIT simon Sprachsteue
115. en haben keine stattgefunden und de facto ist es ebenfalls keine ffentliche Station da sie nur unter Aufsicht der Ergotherapeuten betrieben werden kann da es nicht m glich war die Kabel f r das Mikrofon und den Panic Button zu verlegen So m ssen diese Ger te jeweils f r den praktischen Einsatz aus dem montierten Kasten genommen werden um die Station in Betrieb zu nehmen 9 2 2 ffentliche Station Humanitas Graz 9 2 2 1 Hardware e Philips 42PFL3405H Full HD Fernseher e Zotac Mag Mini GIANT Net Top PC e Panic Button e Hauppauge Win TV HVR 1900 e Alesis Multimix Soundkarte e T BONE TB 312S Schwanenhalsmikrofon e APC USV e A1 USB Internetstick e 10 Wandschrank e Diverse Kabel 9 2 2 2 Individuelle Konfiguration Die ffentliche Station an der Humanitas wurde speziell mit Fotos und Filmen von Veranstaltungen in der Institution ausgestattet und die aufgrund der Bed rfniserhebung bekannten Interessen und 92 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Informationsmedien wurden bei der Gestaltung der Inhalte vor allem den Fernsehprogrammen Zeitungen und Zeitschriften ber cksichtigt Die Internetanbindung an das bestehende W LAN war stabil nicht m glich daher wurde die Station mit einem A1 USB Stick ausgestattet Die Einbindung des Fernsehens erforderte eine TV Karte die ein analoges Signal verarbeiten kann wie die obengenannte Hybrid TV Karte vo
116. end Nicht gen gend Gut 4 ur pen Befriedigend 2 Betiedigend w Schr gut Gen gend 1 ES 0 Nicht gen gend u Befriedigend u Gen gend m Nicht gen gend Die Kommunikation zwischen Bewohnern und Betreuern wird subjektiv als positiv eingesch tzt 18 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 2 3 6 Zusatzinfos 2 3 6 1 Krisensituationen Bezeichnung Tod Hausverbote f r Angeh rige Demente Heimbewohner abg ngig Zu wenig Personal demente Bewohner die das Haus verlassen ohne sich abzumelden Selbstmordversuch nIolu rP w n r Stress mit Demenzbewohnern 2 3 6 2 Unf lle Bezeichnung St rze Br che Kopfverletzungen Ausrutschen Umknicken Aus dem Bett fallen Schnittverletzungen Platzwunden vlo s lIo Ju Plw n r Prellungen 2 3 6 3 Interpretation und Erkenntnisse e An Erinnerungsfunktionen sind vor allem Bereiche der K rperpflege des Trinkens der Medikamenteneinnahme und des Wechselns der Kleidung zu ber cksichtigen e M glichkeiten der Videotelefonie zwischen Bewohnern und der Au enwelt werden positiv bewertet e Videotelefonie zwischen Bewohnern und Betreuern wird eher negativ eingesch tzt e Die Installation einer punktuellen Kamera berwachung in Krisensituationen wird als n tzlich betrachtet e Akustisc
117. ende Erkenntnisse uuusssesssessssnsnnsennnnennennnnnnnnnnnnnennnnnnnnensnnnennsnnneensnnnnennnnn 3 Nerwendete e Elte UE 24 3 1 Zot c Net Top PC He Hr RI 3 2 _ FUllHD Fernseher nina linken Bin nis LES Ines Habe 3 3 dere ECHT EE 34 DVD Laufwerk E 3 5 Logitech C310 Webcam ES CN le EE 3 6 1 Analog TV und DNBT 3 6 2 RUE 3 7 nternetanbindung e 8s2 0 8 Rennen Ee ENEE Seed ENEE 28 Alesis I0 2 Express Soundkarte sonesssirsrirircosneiossessintn sna nine riar riS onno N KRENN KEARNS ESAK IS A nA EKD 39 MIKONSAARI A EESE E E AE A 3 9 1 AufnahmemikrofonE marasi arenai eE a E EE EE E A UE EEE N 3 9 2 Erkenn ngsmikrofone 42 nenn Eae AE AEA EES SS d MikreotopL suppenm saeni a a e a a a a aa a a ia 27 4 1 Mikrofonvorauswahl durch die TU Graz nenne 4 1 1 EIER ege EE ee 4 1 2 Unterschiedliche Szenarien 2 2 40 a Enns ne 4 1 3 Unterschiedliche Anforderungen der Signalverarbeitung sssssssssssresssssssrerressssssrrenrnssssene 4 1 4 Empfohlene Hardware durch die TU Graz aufgrund der Testergebnisse een 4 1 5 Testergebnisse 2u 2 run rn EEN 4 2 EXperimenteiz a ri E EE H TE REES ERLERNEN GEHE EE Eet 4 2 1 Daten Beterenzaufnabmen nennen 4 2 2 Fazit Aare een rennen E ESER APETA E EEA EEE 4 3 Mehrmikrofonl sung f r Sprachautfnabmen 4 3 1 Technische Umsetzung 2 22 Raul laein a eae lH 4 4 Mikrofon Tests aus der Distanz 4 4 1 Beschreibungen er fererennseses
118. enschen den Alltag sehr erleichtern kann Conny Czuba Augenoptikerin 13 2 Anhang verwendete Hardware 13 2 1 Zotac Mag Mini Model Model MAGHD NDO1 B C E U J Chipset Manufacturer NVIDIA GPU ION CPU Compatibility Name Intel Atom 330 dual core 1 6 GHz Intel HyperThreading technology Socket NA integrated CPU Front side bus 533 MHz Memory Memory 2GB DDR2 800 Storage Hard Drive 160GB 5400RPM Expansion eSATA 3 0Gbps Memory Card Reader 6 in 1 MMC SD SDHC MS MS Pro xD Networking Ethernet 10 100 1000Mbps WiFi 802 11n g b 3D API DirectX DirectX 10 OpenGL OpenGL 3 1 Ports HDMI 1 HDCP w 8 channel digital audio VGA 1 e SATA 1 SATA 3 0 Gbps USB 2 0 6 4 back panel 1 front panel 1 top panel Ethernet 10 100 1000Mbps RJ45 Audio Headphone jack Microphone jack Operating system 13 2 2 User installed Windows XP Vista 7 and Linux ready Philips Fernseher 42PFL3405h Daten LCD Fernseher mit Crystal Clear 1080p 107 cm Full HD 1080p DVB T 123 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Bild Anzeige Bildformat Breitbild Helligkeit 400 cd m Betrachtungswinkel 1782 H 178 V Bildschirmgr e diagonal 42 Zoll 107 cm Anzeige Full HD LCD Aufl sung des Displays 1920 x 1080p Bildoptimierung Crystal Clear 3 2 bis 2 2 Bewegungs Pulldown 3D Kammfilter Active Control Farbverbesserung Digitale Rauschminderung
119. ensessensnnenenennnnnennnnnnnonnnnennnnnennnnennnnnnnnnnnnnnnennnnnnnsnnnnnnnnnsnnssnsnnnnnenensnnsensnnn 59 6 5 1 SIMoNn SSKINs Ha RR AE E r e r steh A EA ehe 61 6 5 2 Zeitungen und Zeitschrtften 62 6 5 3 ern NE AE E PE O I E EA E EA IE E A NNE E A E E E 62 6 5 4 ae A E E E EAE E NEE E T A AEE E 62 6 5 5 UE ET 62 6 5 6 Panic B tton EE 62 6 6 Dialogsteuerung nee en ge EE Seed 63 6 6 1 Glen EE 63 6 6 2 UMSEZ NE ala DEAD I a a 63 6 6 3 Dialogen Benelit a 4 0 28 nn EDER AIR an EE 65 6 6 4 Dialogspezifikationen 2 re EA Ran EDER a RR 70 Software Installationsanleitung 76 RENE e Ee ET e EE 76 7 1 1 WlbgpnkOpstallattef aeie e er aan ER I denn ee ken 76 7 1 2 XBME un Ran Eet IE lesen le hie EE et AE 76 7 1 3 SKY en Eee Eet 77 7 1 4 Lee ET EE 77 7 1 5 UG 77 7 1 6 SIMON EE 77 7 1 7 Konfiguration en E EE E TE E 78 7 1 8 UN EAR ET A E T A E E E A E A A T 79 7 1 9 VUE RTE EE 81 7 1 10 EE 81 7 1 11 Svstemkonfteuration T E E E A 81 RENG EP E aE E 82 Ka E e EE 82 7 1 14 Kalender ee ee He Be ie la elek brief 83 K Nie lee EE EE 87 7 2 1 Simon Installation rere iaaa EEOAE AOA E R OOA ORAON EER 87 7 2 2 Lie 87 7 2 3 Zeit ungen und Zeitschriften re ee euer rien 88 7 2 4 NEE 89 Inhaltstausch Wartung und Aktualisierung ssossnsssesssesseesseesseessressressressressressressrresrresrensereseresee 89 81 EE TEE 89 KR Zeit ngen und Zeitschriften nasser tee unsre 89 E EE TEE 89 8 4
120. er Firefox startet auch funktioniert in der Regel ist dies firefox 7 1 14 Kalender 7 1 14 1 Einrichtung und Konfiguration des Groupware Systems Das Benefit Projekt umfasst mehrere Aktionen die das System pro aktiv zu gewissen Zeiten gestartet starten soll So sollen z B zu gewissen Kalendereintr gen Erinnerung ber das simon Dialogsystem ausgegeben werden Daf r wird simon direkt in die Groupware Infrastruktur eingebunden 7 1 14 2 Einrichten eines neuen Groupwaresystems Grunds tzlich kann simons Groupwareintegration mit allen von Akonadi unterst tzten Groupwaresystem umgehen z B OpenExchange eGroupware Kolab etc F r mehr Informationen siehe http pim kde org akonadi Ist bereits ein solches vorhanden muss nat rlich kein zweites System installiert werden und der Schritt kann bersprungen werden Ansonsten empfehlen wir einen der beiden folgenden Konfigurationen 7 1 14 3 Einzelplatzinstallation F r Einzelplatzinstallationen empfehlen wir die Verwendung eines simplen iCal Kalenders der ber das Internet freigegeben wird Eine solche Funktionalit t bietet z B Google Calendar gratis an Ein solcher Kalender kann direkt in Akonadi eingebunden werden Die Administration erfolgt dann ber das jeweilige Webinterface z B Google Calendar In diesem Fall hei t die zu verwendende Akonadi Resource Akonadi Google Calendar Resource Eventuell muss unter Ubuntu dazu noch folgendes Paket zus tzlich installi
121. er Grasch v A Execute Akonadi based command requests Dialog Command prefix simon command 2 V Display alarms Akonadi Dialog design Bound values Template options Avatars Output Text Event 1 2 3 Location 4 Replacements 1 Summary 2 Date 3 Time 4 Location Avatar Display avatar Options iv Close and do not show again Ok _ Close and show again Snooze After 5 Minutes v Mit dem Akonadi Plugin wurde au erdem eine Anbindung an ein Groupwaresystem geschaffen mit dem simon Kommandos zeitgesteuert ausgel st werden k nnen und das Dialogsystem f r Erinnerungen genutzt werden kann F r die Parametrisierung von Kommandos wurde au erdem ein Argumentensystem eingef hrt und das Trigger System parametrisiert Durch spezielle Keywords in Triggern k nnen jetzt Parameter an das entsprechende Kommando bergeben werden So kann bspw der Anrufernamen des Gespr chsteilnehmers von Skype an das simon Dialogsystem bergeben werden 47 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 d W Command Activate Widget Once simon D V G Name Trigger Activate Widget Once Type wv DBus x O Description Service name org simon listens SimonStatusWidget Path SimonStatusWidget Interface local SimonStatusWidget Method setActiveonce Arguments 10000 Add vx F r die Kommunikation mit externe
122. er sieht man wieder konkret dass W rter entweder komplett oder gar nicht erkannt werden 5 2 4 3 Test 3 Modell Ralf Herzogs German PLS Nahezu perfekte Abdeckung der Prompts dank gro em Lexikon gt 400k W rter 21164 aktive Prompts Testmodell Out of Corpus Sprachaufnahmen und Vokabular Grammatik f r Linuxtage 2009 neu erstellt mit PLS W rterbuch ca 30 W rter teilweise mit unterschiedlichen Aussprachen Anmerkung Leider fand sich im generierten Modell kaum Abdeckung der verwendeten Triphone sodass im Endeffekt die Erkennung nur mit 8 unterschiedlichen S tzen getestet werden konnte bei denen die Erkennung jedoch sehr hoch war ca 95 im Durchschnitt Da das Lexikon entsprechend gro ist ist es wahrscheinlich dass das Pruning beim Forced Alignment diese Probleme verursacht hat Mit h heren Werten w re unbedingt zu experimentieren 5 2 4 4 Test4 Modell Ralf Herzogs German PLS Beam Width max 5500 0 Testmodell Out of Corpus Sprachaufnahmen und Vokabular Grammatik f r Linuxtage 2009 neu erstellt mit PLS W rterbuch ca 30 W rter teilweise mit unterschiedlichen Aussprachen Anmerkung Leider fand sich im generierten Modell kaum Abdeckung der verwendeten Triphone sodass im Endeffekt die Erkennung nur mit 8 unterschiedlichen S tzen getestet werden konnte bei denen die Erkennung jedoch sehr hoch war 95 im Durchschnitt Da das Lexikon entsprechend 38 BENEFIT simon Sprachsteuerung von IKT An
123. er uns den entscheidenden Hinweis gegeben hat Nach diesem Schritt erfolgten schon das Erstellen der Klassen und die Implementierung der Methoden Nach und nach erarbeiteten wir uns die Applikation indem uns Peter immer mit guten Fragen auf den richtigen Weg gebracht hat Mit der Zeit konnten wir auch feststellen dass wir langsam aber sicher in den Umgang mit KDE und Qt hineinkamen und auch schon selbst gute Ideen lieferten Nach ca 17 Arbeitsstunden konnten wir dann letztendlich unsere fertige Chat Applikation KnockKnock benutzen 154 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 13 5 1 24 simon Plugin Siroc Nach der anstrengenden Einschulungswoche begannen wir am Freitag den 24 Juli mit unserem Plugin f r simon Nach intensiver Diskussion beschlossen wir den Namen Siroc und bekamen daraufhin die Templates f r unser Plugin Am Montag darauf begannen wir mit Peter unser Plugin zu schreiben Mit der GUI angefangen hatten wir schon mal eine Grundlage die uns sagte was Siroc im Endeffekt k nnen sollte Nach 2 Arbeitsstunden hatte Peter uns die wichtigsten Sachen bez glich der Pluginverwaltung und programmierung von simon veranschaulicht und lie uns von dort an allein an unserem Plugin arbeiten 13 5 1 25 Implementierung der Bildverarbeitung Autor HTBLA Projektteam 13 5 1 25 1 Erste Schritte 13 5 1 25 2 Installation Die erforderlichen Programme NI V
124. ergibt dass das Sehen und H ren durchschnittlich beeintr chtigt ist Die k rperliche Verfassung ist am meisten betroffenen und als St rke kann ganz klar die Sprechf higkeit erkannt werden was als klare Best tigung interpretiert werden k nnte dass die Sprache als 15 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Schnittstelle zur Kompensation k rperlicher Einschr nkungen am l ngsten zielf hrend sein kann e Das Alter ist dominant weiblich e EDV Kenntnisse sind praktisch nicht vorhanden was den betroffenen Personenkreis bisher von der Nutzung von IKT Anwendungen ausschlie t e Der Kontakt zur Au enwelt k nnte durch organisierte Videotelefonate wesentlich und auch optisch bereichert werden e Basisinformationen f r die inhaltliche Bef llung und Gestaltung von Anwendungen k nnen diesem Dokument im Detail entnommen werden 2 3 5 Dokumentation Fragebogen Pflegepersonal 2 3 5 1 Erinnerungen Bezeichnung Anzahl T tigkeiten des Alltags w Medikamente Essen Trinken Hygiene K rperpflege Waschen An Umziehen Schlafen Arzttermine v Io Islolu rP w wm m e jejje Jo IS IA IO An Erinnerungsfunktionen sind vor allem Bereiche der K rperpflege des Trinkens der Medikamenteneinnahme und des Wechselns der Kleidung zu ber cksichtigen 1 1 1 g sS S S vw 16 BENEFIT simon Sprachsteuerung
125. ern 10 und 48 2 GMMs 7 4 TE HUG GMM4 Aufnahmen Sprecher Durchschnitt 61 2 30 50 133 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Bene_t Testset aus Humanitas Sprechern 10 und 48 4 GMMs 7 5 TE HUG GMM8 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 8 GMMs 7 6 TE HUG GMM16 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 16 GMMs 7 7 TE HUG GMM32 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 32 GMMs 7 8 TE HUG GMM64 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 64 GMMs 8 Ergebnisse Noch keine Vergleich m Lbglich 2 Abbildung 1 bersicht TE BP RRH HUH HUS HUG ADA Tag WER Acc COR SUB INS DEL S Chtze Aufnahmen 1 0 1 A A 01 TE HUG GMMO 60 66 39 34 24 6 0 31 31 61 TE HUG GMM1 57 38 42 62 26 4 0 31 31 61 TE HUG GMM2 57 38 42 62 26 4 0 31 31 61 TE HUG GMM4 59 02 40 98 25 5 0 31 31 61 TE HUG GMMB8 60 66 39 34 24 6 0 31 31 61 TE HUG GMM16 59 02 40 98 25 5 0 31 31 61 TE HUG GMM32 55 74 44 26 27 34 0 0 31 61 TE HUG GMM64 62 30 37 70 23 38 0 0 31 61 Tabelle 1 Erkennungsergebnisse Tabellarischer berblick 3 13 3 4 Adaptierte Sprachmodelle 13 3 4 1 Sprachmodell Proband 02 Humanitas Thaller BP RRH HUH HUS HUG
126. ernseher Bildschirmformat Anpassung 4 3 Auto Format SuperZoom Breitbildformat 14 9 Breitbildformat 16 9 Untertitel Zoom Breitbild Videotext 1000 Seiten Smart Text Multimedia Anwendungen Multimedia Anschl sse USB Wiedergabeformate MP3 JPEG Standbilder Tuner Empfang bertragung Antenneneingang 75 Ohm koaxial IEC75 TV System PAL I PAL B G PAL D K SECAM B G SECAM D K SECAM L L Video Wiedergabe NTSC Secam PAL Digitales Fernsehen DVB T MPEG4 Frequenzb nder Hyperband S Kanal UHF VHF Anschl sse Ext 1 Scart Audio links rechts RGB Ext 2 Scart Audio links rechts FBAS Eingang Anzahl Scartanschl sse 2 Ext 3 YPbPr Linker rechter Audio Eingang 125 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 HDMI 1 HDMI V1 3 Vordere seitliche Anschl sse HDMI V1 3 FBAS Eingang Linker rechter Audio Eingang Kopfh rer Ausgang USB 0 Weitere Anschl sse PC Audio Eingang PC VGA Eingang SP DIF Ausgang koaxial Common Interface EasyLink HDMI CEC System Start Systeminformationen Men sprache EasyLink System Audiosteuerung System Standby Modus Zusammenfassung 2 x HDMI 1x USB 2 x SCART Leistung Umgebungstemperatur 5 C bis 35 C Netzstrom 220 240 V 50 Hz Energieverbrauch normal 125 W Standby Stromverbrauch 0 3 W J hrlicher Energieverbrauch 284 7 kWh Bleihaltig Ja Quecksilbergehalt 72 mg Abmessungen Kompatible Wandhalt
127. ert werden akonadi kde resource googledata 7 1 14 4 Installation in einer Institution F r Institutionsinstallationen empfehlen wir grunds tzlich in bereits bestehende Groupwaresysteme zu integrieren Sollte derzeit keines verwendet werden oder dieses nicht f r Patienten offen stehen empfehlen wir f r diese Funktionalit t einen eigenen Groupwareserver einzurichten Mit eGroupware bietete sich eine kostenfreie und wartungsarme OpenSource L sung an 83 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Installieren Sie dazu eGroupware auf dem Server Ihrer Wahl Die Installation h ngt vom Serverbetriebssystem ab Aufgrund der Popularit t von eGroupware besteht aber kein Mangel an Dokumentation eGroupware bietet auch kosteng nstiges All Inclusive Hosting als Service Mehr Information sowie Dokumentation zu eGroupware finden Sie auf der Seite des Anbieters auf http www egroupware org Verwenden Sie eGroupware ist die gew nschte Akonadi Resource DAV groupware resource Der anzugebende GroupDAV URL ist http host egroupware groupdav ph 7 1 14 5 Anbinden von Akonadi Nun muss Akonadi an das jeweilige Groupwaresystem angebunden werden Starten Sie dazu zuerst ein Terminal auf den Benefit Stationen erfolgt das mit Windows Enter und f hren Sie den Befehl kemshell4 akonadi aus ES Akonadi Configuration KDE Control Module Ve G Configuration of the Akonadi Personal Inform
128. erung Anpassbar 300 x 200 mm Abmessungen Ger t B x H x T 1 018 5 x 635 7 x 83 mm Abmessungen Ger t inkl Fu B x H x T 1 018 5 x 683 x 236 mm Gewicht inkl Verpackung 17 4 kg Produktgewicht 11 5 kg Produktgewicht St nder 12 8 kg Zubeh r Mitgeliefertes Zubeh r Design Tischfu Netzkabel Kurzanleitung Benutzerhandbuch Garantiekarte Fernbedienung 2 AAA Batterien 13 2 3 Terratec S7 DVB S USB Box f r digitales Satellitenfernsehen inklusive Cl Modul f r PayTV e Externe USB Box f r DVB S2 und DVB S amp Radio e Common Interface f r PayTV e Unterst tzt HDTV und Dolby Digital e Software f r PC und Mac e Anschluss ber USB 2 0 e Inkl Fernbedienung Allgemeines 126 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 e Plugin Play e DVB S DVB S2 Empf nger mit integriertem CI Modul e Geh usefarbe schwarz e Abmessungen 142 x 105 x 27 mm e Gewicht 250 Gramm Infrarot Fernbedienung e 37 Tasten e Inkl Batterien 13 2 4 Alesis I0 2 e 2 Kanal Computer Audio Recording Interface e Aufnahme in bis zu 24 Bit 48 kHz e _symmetrischer MASTER Ausgang und Kopfh rerausgang e professionelle A D thomann und D A Wandler e rauscharme Vorverst rker sowie 48V Phantomspeisung e Eing nge f r Mikrofone Line Pegel Signale und Gitarren e dreifarbige Pegelanzeige zur visuellen Aussteuerungs berwachung e MIDI Ein und Ausgang zum spielen und st
129. erz hlen 1 Essen 5 Hausmeistert tigkeiten 1 Gesellschaftsspiele 5 Herumsitzen 1 Malen amp Basteln 5 im Speisesaal Essen austeilen helfen 1 Musik h ren 4 Lerncomputer 1 schlafen 4 Natur genie en 1 Telefonieren Unterhalten 4 Politik 1 Sport 3 rauchen 1 Aktivit ten im Haus 2 Sauna 1 Fr here Hobbies Gartenarbeit Landwirtschaft 17 Klettern 2 Handarbeiten 12 LKW Autofahren 2 Wandern 10 Natur 2 Radfahren 6 R tsel l sen 2 Lesen 4 Schifahren 2 Reisen 4 Einkaufen 1 Schwimmen 4 Familie 1 Fortgehen 3 Freunde 1 Karten spielen 3 Hunde 1 Kinder 3 Kunst 1 kochen backen 3 Malen 1 M nner 3 Musizieren 1 Spazieren 3 Sauna 1 Tanzen 3 Sehensw rdigkeiten 1 Fernsehen 2 Sportverein 1 Fischen 2 trinken 1 Fu ball 2 Turnen 1 Haushalt 2 111 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Zeitungen Kleine Zeitung 14 Fachzeitungen 1 Kronenzeitung 14 Fernsehprogramm 1 Tageszeitungen 12 Frauenmagazine 1 Neue Post 8 Furche 1 Illustrierte 5 Lesezirkel 1 Woche 2 Neues Blatt 1 Alle erreichbaren 1 ORF Nachlese 1 Autozeitungen 1 sterreich 1 B cher und Zeitschriften ber Kunst 1 Standard 1 Echo der Frau 1 Wissen aktuell 1
130. euern von Software Instrumenten durch externe MIDI Controller e Plug and Play funktioniert mit nahezu allen Audioprogrammen ohne Treiberinstallation e USB Bus Powered kein externes Netzteil notwendig e f rthomann Windows und MAC OS X e inkl Software CD Steinberg Cubase LE und USB Kabel e 3 Jahre Thomann Garantie 13 2 5 Sennheiser PC36 USB Kabell nge 3m 9 8 ft Anschlu stecker USB Anschluss mit integrierer Soundkarte Frequenzbereich 40 18 000 Hz Impedanz 32 Q Kennschalldruckpegel 109 dB Frequenzbereich 80 15 000 Hz Richtcharakteristik Noise canceling Impedanz 2 kQ Empfindlichkeit n 121 TR 9 5 38 dBV Pa 13 2 6 AKG D542E Richtcharakteristik Niere bertragungsbereich 150 15 000 Hz Leerlauf bertragungsfaktor 2 2 mV Pa 127 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Grenzschalldruckpegel k 1 133 dB quivalentschalldruckpegel lt 21 dB A Signal Rauschabstand A bew gt 73 dB Elektrische Impedanz 530 Q Empf Lastimpedanz gt 2 000 Q D 542 E Stecker Kabel 3 pol XLR Stecker kein Abmessungen 13 mm x 345 mm Netto Bruttogewicht 285 334 g 13 2 7 THE T BONE TB312S e Dynamisches Schwanenhalsmikrophon e Ein Ausschalter am 3 poligen XLR Stecker e Nierencharakteristik e Frequenzgang 50 Hz 18 kHz e Empfindlichkeit 56 dB 3dB thomann 1kHz2 e _mpedanz 500 Ohm e L nge ca 40cm e Gewicht 208g e id
131. extremen L rmpegeln aussetzt muss sp ter mit Konsequenzen rechnen ein eingeschr nktes H rverm gen Doch wie u ert sich Schwerh rigkeit im Alter Ab wann ist man schwerh rig und woran erkennt man das Folgende Punkte k nnen deutliche Merkmale f r H rprobleme sein e h ufiges berh ren des Telefons oder der T rklingel e verst rktes Gef hl dass Gespr chspartner nuscheln e h ufiges Nachfragen e Probleme und Unsicherheit im Stra enverkehr e Nachbarn beschweren sich ber zu lauten Fernseher zu laute Musik e _ berh ren von Alltagsger uschen Surren des K hlschranks 21 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Bei lteren Menschen kommen h ufig noch folgende Faktoren hinzu e leises Sprechen bzw leise Ger usche werden nicht wahrgenommen e erh hte Empfindlichkeit bei lauten Ger uschen e erschwertes Sprachverstehen in ger uschvoller Umgebung e berh ren von Naturger uschen Vogelgezwitscher Bl tterrauschen 2 4 2 Sehprobleme und Symptome An Sehproblemen und entsprechenden Symptomen bei der Arbeit mit der definierten Zielgruppe ist mit folgenden Problemen zu rechnen 2 4 2 1 Altersabh ngige Makula Degeneration AMD 2 4 2 1 1 Symptome Die AMD kann in zwei unterschiedlichen Formen verlaufen e Die trockene AMD Sie macht 80 der Erkrankungen aus Diese Form verl uft langsam Die ersten Anzeichen bemerkt der Betroffene h u
132. f hrung des Vorhabens wurde eine durchg ngige hochwertige Personalstruktur ber die gesamte Projektlaufzeit geschaffen basierend auf dem Kernteam der simon Entwickler erg nzt mit DI Alexander Breznik der aufgrund seiner Erfahrung und Qualifikation die notwendige Professionalisierung dieses Teams sicherstellen wird Erg nzt wird dieses durchg ngige Team durch die von der Qualifikation absolut inhaltlich hochwertig und engagierten Projektpartner seitens der HTL Kaindorf der TU Graz der Forschungsstelle sterreichisches Deutsch der KFU der REHA Klinik Maria Theresia deren KnowHow strategisch zu den einzelnen Arbeitsprozessen zugeschaltet werden Da es sich bei den einzelnen Projektpartnern vielfach um Personen handelt die bereits bisher umfangreiche interdisziplin re Erfahrungen und Kenntnisse vorzuweisen haben ist der Know How Transfer sehr effizient und ohne Reibungsverluste m glich Der Nachweis der effizienten Forschungsarbeit des Vereines simon listens wurde bereits bei der Erstellung des Prototypen von simon geleistet da diese Arbeit nur mit enormen Engagement und Motivation der bisherigen Projektmitarbeiter m glich war Auch das hier vorgeschlagene Projekt ist sehr ambitioniert und wir freuen uns schon sehr auf die bestehenden geistigen und sozialen Entwicklungsanforderungen Da der Verein simon listens erst seit kurzem besteht wird die wissenschaftliche Begleitung und Endbewertung dieses Projektes von der Technischen Universi
133. fer mit Zangenmechanismus Zum L ngenausgleich wird jedoch ein zus tzliches Langloch ben tigt 160 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 161 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Entwurf 3 Selbe Ausf hrung wie Entwurf 2 jedoch besitzt eine H lfte zwei Finger Um dies leichter zu veranschaulichen erstellte Meister Alexander eine 3D Zeichnung von dieser H lfte Die Idee mit 3 Fingern f r den Greifer haben wir von alten einfach ausgef hrten Handgelenks Prothesen entnommen Durch die 3 Punkt Auflage beim Flaschen bzw Bechergreifen ergibt sich eine wesentlich h here Stabilit t 13 5 1 31 Zusammenfassung Autor simon listens Dieses Teilprojekt startete im Juni 2010 nach einer Phase der Ideenfindung gemeinsam mit dem Projektteam der HTBLA Kaindorf Sulm Geplant ist die Fertigstellung eines Prototypen bis Oktober 2010 und in weiterer Folge die Stabilisierung dieses Prototypen bis Ende des Jahres 2010 Die Zusammenarbeit mit dem Projektteam und auch mit der Technischen Universit t Graz f r Software Technologie ist bis dato sehr fruchtbar und erfolgreich Wir sind der Meinung dass Recherche Ergebnisse und die Entwicklung eines Prototypen der definierte Szenarien abarbeiten kann sowohl f r dieses Teilprojekt als auch f rs benefit Projekt und weiteren Bereichen rund um die Steuerung von Service und
134. fig beim Lesen Neben eine Unsch rfe nehmen die AMD Betroffenen mitten im Schriftbild verschwommene Flecken oder graue Schatten wahr die im weiteren Verlauf der Krankheit gr er werden k nnen e Die feuchte Form der AMD Davon sind 20 der Patienten betroffen Sie schreitet meist rascher voran Typisches Krankheitszeichen ist ein verbogenes und verzerrtes Bild Aus der trockenen Form kann sich die feuchte AMD entwickeln 2 4 2 2 Diabetische Retinopathie 2 4 2 2 1 Symptome Lange Zeit ist der Verlauf dieser Krankheit symptomlos Erst im fortgeschrittenen Stadium wird das Sehverm gen stark eingeschr nkt Dabei u ert sich die diabetische Retinopathie in mittleren bis schweren Blutungen im Augeninnern 2 4 2 3 Gr ner Star Glaukom 2 4 2 3 1 Symptome die Krankheit verl uft schleichend Anfangs zeigt sie keine Symptome Erst sp ter wenn die Sch digung des Sehnervs weit vorgeschritten ist kommt es zu Ausf llen im Gesichtsfeld Das Gesichtsfeld ist der Bereich der Umgebung den man wahrnimmt ohne das Auge zu bewegen Ist das Glaukom bereits so weit fortgeschritten dass es das Gesichtsfeld beeintr chtigt sind die Sch den nicht mehr zu beheben Typisches Merkmal des Glaukoms ist der Glaukom Anfall Dabei treten heftige Schmerzen und R tungen im Auge Sehverschlechterung nebelig sehen farbige Ringe um Lichtquellen und h ufig auch belkeit auf Etwa 30 Prozent der Glaukom Patienten klagen h ufig ber kalte H nde und F
135. gen zu den Software Prototypen soll es in diesem Arbeitspaket zur Umsetzung kommen Schritt f r Schritt sollen die einzelnen Prototypen programmiert und mit den End Usern auf ihre Einsatzf higkeit und Praxistauglichkeit erprobt werden Hier ist auch ein direktes Zusammenspiel mit der Arbeitsgruppe der Hardware Prototypen notwendig da in den meisten F llen nur ein gemeinsamer Test sinnvoll ist AP_15 Erstellung und Tests der Hardware Prototypen 40 Arbeitstage Mitarbeiter FS 10 MS 30 Partner EU Gleich wie bei den Software Prototypen bildet auch in diesem Arbeitspaket das Detailkonzept der vorangegangenen Phase die Grundlage Die erarbeiteten Prototyp Konzepte sollen hier zur Umsetzung kommen und im Detail mit den End Usern erprobt werden Wie bei den Software Prototypen ist es auch hier unabdingbar mit der Entwicklung der Software Prototypen einher zu gehen und diese gemeinsam bei den Zielpersonen zu testen AP_16 Schnittstelle zu mechanischen Ger ten 22 Arbeitstage Mitarbeiter PG 10 AB 12 Partner EU HTL In Zusammenarbeit mit dem technischen Partner und den individuellen End Usern soll in diesem Arbeitspaket an einer standardisierten Schnittstelle von SIMON zu mechanischen Ger ten wie z B Rollst hlen Fenstern Liften Rollos Roboters gearbeitet werden Ziel soll es sein mit wenigen Sprachbefehlen definierte Endger te steuern zu k nnen AP_17 Stationsframework 26 5 Arbeitstage Mita
136. gramme RSS Feeds und Internetseiten Die Anpassung der Skype Kontakte erfolgte nicht da von seiner Frau bisher keine Kontaktinformationen geliefert wurden Aufgrund der schwierigen sprachlichen Situation wurden zus tzliche Sprachaufnahmen get tigt und ein adaptiertes Sprachmodell f r den praktischen Einsatz erstellt Praxistests im Vorfeld ergaben gute Ressultate bei der Erkennungsrate trotz der schwierigen sprachlichen Situation 9 3 3 3 3 Implementierung und Integration In diesem Fall war die Implementierung und Integration mit gro en Schwierigkeiten verbunden sodas die Station bis zuletzt nicht wirklich einsetzbar war und ist Im Gegenteil wurde durch die massive Pr senz durch Installationen im Zimmer die Belastbarkeit des Probanden bei weitem berschriten sodass zum Schluss fast keine Motivation mehr gegen war was bei zuk nftigen Implementierungen zu bedenken ist 9 3 3 3 4 Status bei Projektende Bei berpr fung der Station von der Konfiguration her drei Wochen nach Projektabschluss war nur festzustellen dass sie nicht einsetzf hig ist da trotz mehrmaliger Start st ndig die unterschiedlichsten Fehlermeldungen kamen Die Aufl sung des Fernsehers war ebenfalls bergro und m te adaptiert werden Aus diesen Gr nden wurde die Station zur berarbeitung mitgenommen wobei der Klon einer WW wm EE funktionierenden Station geklont wurde und die individuellen nderungen wieder reingespielt wurden sodass die Wahrschei
137. gsprozessen vorhanden ist 11 Komplement re Projektergebnisse 11 1 SSC simon sample collector Der simon sample collector wurde erweitert um mit mehreren Aufnahmeger ten umgehen zu k nnen und bertr gt nun Informationen ber die Aufnahmehardware in die Datenbank So k nnen beim Erstellen der Sprachmodelle Trainingsdaten gewisser Soundkarten und Mikrofone bzw Mikrofontypen ausgew hlt werden Damit lassen sich bspw spezielle Headset oder Schwanenhals Modelle erstellen die f r den jeweiligen Mikrofontyp optimiert sind Das gesamte System ist nun au erdem viel robuster und kann mit Netzwerk und Serverproblemen Datenbank umgehen 101 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 aa Local Samples ssc D ei V x Please select the data set to edit send from the list below KA KEE REGER Upload Edit user Delete selected V K Cancel Sollte dennoch keine Verbindung m glich sein verf gt ssc jetzt ber einen kompletten Offline Modus in dem Aufnahmen durchgef hrt werden k nnen die sp ter an den Server gesendet werden k nnen in der Zwischenzeit bleiben sie lokal am Aufnahmerechner gespeichert 11 2 SAM simon accoustic modeller Um die Sprachmodelltests schneller umsetzen zu k nnen wurde der simon acoustic modeller kurz sam berarbeitet Er kann jetzt mit der Ordnerstruktur von sscd umgehen bietet einen Batch Modus um
138. hang 16 1 12 Schlussbericht Grunds tzlich war davon auszugehen dass die wissenschaftlichen Anforderungen und Ziele f r die Umsetzung eines derartigen Projektes mit Anforderungen an Technik Programmierung Usability Phonetik Sprachdatenmodellierung vielen speziellen Anforderungen durch die Zielgruppe wie fehlendes IT Know How Sprachprobleme Defizite im akustischen motorischen und optischen Bereich f r einen kurzen Projektzeitraum vor allem f r ein sehr junges Forscherteam sehr hoch X SE gesteckt waren und die Grenzen des Machbaren bereits in Simon aufwachen der Vorauswahl der Probanden 2 Probanden mit extremen terr D Ko Bu motorischen und sprachlichen Problemen gesucht 1 were dame Am 4 mus wurden Diese Grenzen und hohen Anforderungen haben Dr KA sich dann auch in der Praxis erwiesen jedoch auch zu UI g z P j le G Ss vielen praktikablen L sungsans tzen gef hrt um diese Fernseher Zeitung Telefon Veranstaltung Grenzen weit zu verschieben Daher wurde in Anlehnung an die geplanten Arbeitspakete ein intensiver Arbeitsprozess umgesetzt der durch DI Stefan Petrik in monatlichen Sitzungen der wissenschaftlichen Begleitung inhaltlich erg nzt wurde Die Schwerpunkte der Arbeit bezogen sich auf die Erstellung einer umfassenden Bed rfnis und Situationserhebung bei den im Projekt definierten End Usern die Einleitung eines Verfahrens f r die Sammlung von Sprachdaten von Senioren auf der Basis eine
139. harakteristik o MIC3 Samson CM12C H ngemikrofon o MIC4 AKG D542 E Schwanenhals Mikrofon o MIC5 Samson UB1 USB Grenzfl chenmikrofon e Wandler RME Fireface 800 28 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Laptop mit FireWire PCMCIA Karte Mobiliar Tisch Sessel Regale 4 1 5 6 Software PureData mit PD Patches playrec array_auto pd get_recording_ch26 pd Audacity f r Samson UB 1 4 1 5 7 Ablauf Aufnahme von Referenzaufnahmen mit Headset Aufbau der Szenarios im Raum Abspielen amp Aufnahme 4 1 5 8 Sonstiges Verst rkungen Lautst rke notiert f r Reproduzierbarkeit ge _ Pom Illustration 1 Testaufbau f r Mikrofontest im Raum IEEG140 Inffeldgasse 16 Im Bild RME FireFace 800 Wandler Mikrofone MIC1 MIC5 YAMAHA Mornritorlautsprecher Laptop zur Aufnahmesteuerung 4 2 Experimente 4 2 1 Daten Referenzaufnahmen 1 Sprecher Headset Aufnahmen Sennheiser PC 25 USB 4 2 1 1 Tasks connected digits S commands Simon C 29 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 4 2 1 2 Daten Sets e Train Set alle S ausser jedem 5 C00 C01 amp C04 C05 e Dev Set CO2 e Eval Set jedes 5 S C0O3 4 2 1 3 Aufnahmepositionen Abstand amp Winkel der Quelle zu den Mikrofonen e POS1 2m 0 Grad e POS2 1m 45 Grad e POS 1 5m 90 Grad 4 2 1 4
140. he Sicherheitssysteme werden besonders bef rwortet 2 3 7 Zusammenfassung Im Rahmen dieser Bed rfniserhebungen wurden Informationen von zwei privat wohnenden Betroffenen und Zielpersonen der Institutionen Klinik Maria Theresia und Humanitas Seniorenresidenz Graz bearbeitet Komplement r zu den Bed rfnissen der Zielpersonen wurden ebenfalls W nsche und Anregungen von Betreuungspersonen ausgewertet 19 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 2 3 8 Erkenntnisse 2 3 8 1 Bewohner Humanitas Seniorenresidenz Graz Grunds tzlich k nnen aus den vorliegenden Erhebungsdaten folgende Erkenntnisse und Aussagen definiert werden e Die Bewertung der allgemeinen Verfassung und Funktionsf higkeit der Sinne ergibt dass das Sehen und H ren durchschnittlich beeintr chtigt ist Die k rperliche Verfassung ist am meisten betroffenen und als St rke kann ganz klar die Sprechf higkeit erkannt werden was als klare Best tigung interpretiert werden k nnte dass die Sprache als Schnittstelle zur Kompensation k rperlicher Einschr nkungen am l ngsten zielf hrend sein kann e Das Alter ist dominant weiblich e EDV Kenntnisse sind praktisch nicht vorhanden was den betroffenen Personenkreis bisher von der Nutzung von IKT Anwendungen ausschlie t e Der Kontakt zur Au enwelt k nnte durch organisierte Videotelefonate wesentlich und auch optisch bereichert werden e Basisinformationen f r die
141. hmen 1 0 0 N A 01 TE HUG GMMO 59 02 40 98 25 5 0 31 31 61 TE HUG GMM1 59 02 40 98 25 5 0 31 31 61 TE HUG GMM2 59 02 40 98 25 5 0 31 31 61 TE HUG GMM4 59 02 40 98 25 5 0 31 31 61 TE HUG GMMS8 59 02 40 98 25 5 0 31 31 61 TE HUG GMM16 59 02 40 98 25 5 0 31 31 61 TE HUG GMM32 62 30 37 70 23 7 0 31 31 61 TE HUG GMM64 59 02 40 98 25 5 0 31 31 61 Tabelle 1 Erkennungsergebnisse Tabellarischer berblick 13 3 4 2 Sprachmodell Proband 03 Humanitas Thaller BP RRH HUH HUS HUG ADA Thaller BP RRH HUH HUS HUG ADA 30 September 2011 1 Task de_nition Test der Aufnahmen Reha Radkersburg Humanitas Graz und Adaba nur bsterriechisches Deutsch Zus Btzlch sind Aufnahmen von Fr Thaller einer Testperson f Lur die Individuelle Station dabei Getestet wurde mit Schwanenhals Testdaten 2 System Interne System Identi_kation SY SAM DEFAULT sam part of simon 0 3 50 HTK 3 4 1 64 bit Julius 4 1 1 SAM verewndet 8 Threads TC Ur die Reestimationen 3 Vokabular Interne Identi_kation des Vokabulars VB BOMP WLoprter Aussprachen Durchschnitt 152889 152889 1 00 Es wird das Sequitur W brterbuch basierend auf dem BOMP W Lbrterbuch verwendet Fehlende W Lbrter wurden manuell hinzugef Lugt 4 Grammatik Interne Identi_kation der Grammatik GR BASIC Die Grammatik verwendet nur einen Terminal Es werden nur Einzelwort SS hAtze erlabut 5 Trainingsdaten Interne Identi_kation Thaller RRH HUH HUS HUG ADA Aufnahmen Sprecher
142. hysically handicapped people on the basis of the following hypothesis a speech impediments shall not matter for the control b computer literacy is not required for the control In this special case the developed application package basic autonomy including the easy use of the internet the telephone and the control of multimedia applications can be easily conferred to the needs of elderly people For the control of these scenarios only a few terms and knowledge of the numbers 0 9 are necessary In order to meet the needs of elderly people it is necessary to study their approach to special situations and to adapt the existing application packages to these needs Moreover further systems especially in the area of security and electronic control need to be researched and developed Especially mentioned are the following technical basic approaches e dialog control systems e warning systems via acoustic alarm signals from the system e reminder signals via dialog control medication drinking appointments etc e control systems for robots and assistive equipment such as wheelchairs lifts etc Implementing this project based on the development of simon so far a control mechanism might be created that could massively change all other developments in this special subject in the European area up to now especially due to the language independent programming of simon Massive hints towards this relevance and the strong interest of many ins
143. idenz Graz Die Aufnahmen wurden im Vorfeld vom Trainingsset entfernt Dieses Experiment wurde durchgef Luhrt am 27 May 2011 7 Testsets Das Modell verwendet 8 Testsets 4 7 1 TEHUG GMMO Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 Ohne GMMs 7 2 TE HUG GMM1 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 1 GMM 7 3 TE HUG GMM2 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 2 GMMs 7 4 TE HUG GMM4 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 4 GMMs 7 5 TE HUG GMM8 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 8 GMMs 7 6 TE HUG GMM16 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 16 GMMs 135 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 7 7 TE HUG GMM32 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 32 GMMs 7 8 TE HUG GMM64 Aufnahmen Sprecher Durchschnitt 61 2 30 50 Bene_t Testset aus Humanitas Sprechern 10 und 48 64 GMMs 8 Ergebnisse Noch keine Vergleich m Lbglich 2 Abbildung 1 bersicht Thaller TE BP RRH HUH HUS HUG ADA Tag WER Acc COR SUB INS DEL S Chtze Aufna
144. ie L sung aufgrund der unterschiedlichen TV Zug nge Analog digital Sat Sky etc gestellt hat Als gro es Problem erwies sich unter Ubuntu die Integration von Hardwarekomponenten wie Internetsticks TV Karten und Soundkarten Das Management der Mikrofone f r skype musste eigens gel st werden damit ber die ausgew hlten Mikrofone nicht nur die Spracherkennung sondern auch die Videotelefonie m glich war Zus tzlich erwies es sich als schwierig bis unm glich die erstellten Systeme in die 106 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 vorhandene Infrastruktur zu integrieren teils aus technischen Gr nden unbrauchbare Systeme und teils aus Sicherheitsgr nden sodass eigene L sungen gesucht werden mussten Diese Probleme haben sehr viele zeitliche Ressourcen gebunden und gingen auf Kosten der Erstellung der Dokumentationen Durch die konstante Pr senz vor Ort war jedoch eine gute Einschulung der End User und Betreuer m glich Erschwerend f r die praktische Umsetzung waren auf jeden Fall folgende zwei Faktoren a D Schwierige Finanzielle Situation im Bereich der Liquidit t des Vereines aufgrund der erforderlichen Vorfinanzierung des Projektes Schlechte Konzeption und Einsch tzung der real erforderlichen Investitionen f r die Umsetzung aufgrund dessen dass viele Hardwarekomponenten zum Zeitpunkt des Projektstartes noch nicht bekannt waren und viele zus tzlich
145. ieses Projektes basierend auf der bisherigen Entwicklung von simon k nnte ein Steuerungsmechanismus geschaffen werden der alle bisherigen Entwicklungen im europ ischen Raum in diesem Bereich vor allem durch die sprachunabh ngige Basisprogrammierung von simon massiv ver ndern k nnte Massive Hinweise auf diese Bedeutung und das Interesse auf europ ischer Ebene vieler 165 Programm benefit Entwicklungsinstitutionen ergaben sich im Rahmen der Gespr che im Rahmen des AAL Forums 2009 in der Hofburg in Wien 166 Programm benefit Beschreiben Sie die Ausgangslage und die Ziele und Inhalte des Vorhabens in englischer Sprache im Falle einer F rderung werden diese Angaben ffentlich gemacht a f nfzeilige Kurzfassung Synopsis auf englisch With the help of verbal control provided by simon using terms of everyday language useful scenarios and areas of application shall be created to enable an easy use of new communication technologies such as the internet telephone and multimedia applications for elderly people Moreover additional security can be provided for example a reminder for the user to take a medication b Einseitige Kurzfassung auf englisch With the development of the Open Source Speech Recognition Software simon the non profit association SIMON listens created a very powerful tool that could make a verbal control of computer applications and electronic equipment possible Originally simon was developed for p
146. in ltere gro e TV Anlagen wie sie bspw in der Seniorenresidenz Humanitas genutzt wird findet jedoch gelegentlich noch Anwendung e DVB T Das digitale terrestrische Signal ist der derzeitige Fernseh bertragungsstandard und kann in sterreich mit jedem f higen Ger t empfangen werden e DVB S Das digitale Satellitensignal wird benutzt um Satellitenfernsehen zu empfangen e DVB C Ein digitaler Kabelfernsehstandard Bei unseren Teststationen kommt Analogfernsehen DVB T und DVB S zum Einsatz Das analoge Signal bei der Humanitas Seniorenresidenz Graz wird durch einen lokalen Kabelanbieter eingespeist 3 6 1 Analog TV und DVB T Der Bereich Analog TV und DVB T kann zusammengefasst werden da wir uns in dieser Hinsicht auf eine Hybrid Tv Karte entschieden haben die beides Signale verarbeiten kann Die Wahl fiel auf die Hauppauge Win TV HVR 1900 Detailliertere Informationen hierzu finden Sie im Datenblatt im Anhang 3 6 2 DVB S F r DVB S Signale haben wir uns f r die Terratec S7 TV Karte entschieden N here Details hierzu finden Sie im Datenblatt im Anhang 3 7 Internetanbindung Die Anbindung ans Internet jeweils vom Standort abh ngig und unbedingt n tig da einige wichtige Funktionen davon abh ngig sind Dies sind unter anderem die Nachrichten das Wetter und auch die Termine Es gibt in dieser Richtung unterschiedliche Ans tze wie man eine Internetverbindung erm glichen kann Die erste w re es bestehend
147. inische Ma nahmen nicht zu verbessern ist m ssen die physikalischen Kontraste verst rkt werden z B auch durch Beleuchtung Viele Erkrankungen f hren zu einer Verminderung der Sehsch rfe Hauptursache sind Erkrankungen der Netzhaut wie z B Makulopathie Vergr ernde Sehhilfen VSH haben die Aufgabe den Abfall des Visus Sehsch rfe durch eine Vergr erung des im Auge entstehenden Bildes auszugleichen Ein Ziel welches bei der Versorgung mit VSH erreicht werden soll ist wieder Zeitungsdruck lesen zu k nnen d h den sehbehinderten Menschen mit Hilfe entsprechender optischer oder elektronischer Hilfsmittel in die Lage zu versetzen als h tte er 50 Restsehverm gen was f r das Lesen von Zeitungsdruck ausreichend ist oder ihn so zu versorgen dass er eine Sehsch rfe von mindestens 10 erreicht 4 Ma nahmen F r das Projekt simon IKT Anwendungen f r Senioren bedeutet dies nach Begutachtung und Bewertung des aktuellen Prototyp folgendes Es wird die gr tm gliche Schriftgr e f r Texte empfohlen um ein optimales Sehen auch f r Schwachsichtige zu gew hrleisten Der Hintergrund sollte mit einem leichten Gelbstich versehen werden Dadurch wird die Kontrastwirkung verst rkt 5 Schlu wort 122 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Ich kann aus diesem Projekt schlie en dass dieser technische Fortschritt f r ltere bzw schwachsichtige M
148. ision Builder Al und NI Vision Development Module luden wir nach der Anweisung unseres Betreuungslehrers Herr Prof V lk von der Herstellerseite www ni com vision herunter Die Produktschl ssel f r die Registrierung erhielten wir ebenfalls von Herrn Professor V lk Die Installation sowie die Produktaktivierung verliefen ohne Komplikationen Nach einer Einschulung von unserem Herrn Prof V lk und eines interaktives Tutorials vom Hersteller selbst war unsere n chste Aufgabe ein Add on bzw einen Treiber aus dem Internet herunter zu laden damit zuk nftig Webcams im Programm eingebunden und verwendet werden k nnen Hierbei trat ein Fehler auf da wir anfangs einen falschen Treiber installiert haben und dies zur Folge hatte dass wir die gesamten zusammenh ngenden National Instruments Programme deinstallieren Anschlie end fanden wir das richtige Add on namens NI Vision Acquisition Software 2010 und installierten die gesamte NI Software erneut Danach konnten wir ohne weitere Fehler mit der im Notebook von Stefan Veit integrierten Webcam erste eigene Testversuche Inspektionen im NI Vision Builder durchf hren 13 5 1 25 3 Erste Inspektion F r den Anfang versuchten wir einfache Operationen wie es auch im interaktiven Tutorial erkl rt wurde Mit der Webcam machten wir ein Bild von der Umgebung definierten anschlie end in diesem ein Koordinatensystem und suchten darauf mit der Funktion Find Edges nach markanten
149. it Simon wenn auch noch einiges zu tun ist 1 Notebook mit Anschluss zu einem gro en Fernseher sind vorhanden und ebenfalls Internet WLAN Die Anschaffung eines Beamers wird f r die Steuerung vom Bett aus gew nscht und berlegt 2 3 3 4 Szenarien Proband 02 Leutschach ist praktisch immobil und daher wird es in seinem Zimmer zwei Fixpunkte geben wo er Zugang zu verbalen Steuerung haben soll Ein weiterer Zugangspunkt f r verbale Steuerung w re noch im Wohnzimmer denkbar e _ Bettnutzung eines Projektors vom Bett aus denkbar e Arbeitsplatz im Rollstuhl e Wohnzimmer TV Steuerung 11 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 2 3 3 5 L sungsans tze und sinnvolle Bed rfnisse e Mikrofonzugang Bett Sicherheits Kommunikationsl sung e Mikrofonzugang Arbeitsplatz Kommunikations und Multimedial sung e Mikrofonzugang Wohnbereich Kommunikations und Multimedial sung e Sicherheits Kommunikationsl sung Mikrofon Computer Lautsprecher in den anderen R umen unidirektional Mikrofon Computer Gegensprechanlage Mikrofon Computer zu Computerkommunikation mit Arbeitszimmer der Mutter Mikrofon Computer zu Mobiltelefon der Mutter e Verkabelung w re kein Problem kann ber den Dachboden gehen 2 3 4 Ergebnis Recherche Humanitas Graz HUMANITAS Stadtresidenz Graz Babenbergerstra e 80 8020 Graz Tel 0316 71 23 23 Fax 0316 71 23 23 52 r Aufgrund zei
150. itte antworte mit Ich m chte Dich an das Mittagessen ja oder nein erinnern v3 Hallo Ich erinnere dich daran in 10 Es wird jetzt im Speisesaal serviert Minuten f ngt im Speisesaal das Heute gibt es Syn Mittagessen an Brauchst du Hilfe um in den Brauchst du Hilfe um in den Speisesaal Speisesaal zu kommen Bitte antworte mit zu kommen ja oder nein Bitte antworte mit ja oder nein User ja Sys Gut dann werde ich Syn Individualisierung der Pflegerin mitteilen dass Sie Dir hilft 2 User nein Sys Danke ich finde es toll dass Du so V2 Danke es ist toll gut sch n dass Du selbst ndig bist so selbst ndig bist h Abendessen Turn DP Text Version 1 Sys Hallo hier ist simon Syn Individualisierung Es ist Syn 16 30 V2 Hallo in 10 Minuten wird im Speisaal das Abendessen serviert Kannst du allein Ich m chte Dich an das Abendessen erinnern in den Aufenthaltsraum gehen Bitte Es wird jetzt im Speisesaal serviert 74 antworte mit ja oder nein BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Heute gibt es Syn Brauchst du Hilfe um in den Speisesaal zu ko Bitte antworte mit ja oder nein V3 Hallo Ich erinnere dich daran in 10 Minuten f ngt im Speisesaal das Abendessen an Brauchst du Hilfe um in den Speisesaal zu kommen Bitte antworte mit ja oder nein User ja Sys Gut dann werde i
151. ksichtigung folgender Aspekte getroffen werden e ffentlich zug nglich und doch abgegrenzt e wenn geht kein allzu lautes Umfeld e TV Anbindung gegeben e Internetanbindung gegeben 2 3 1 5 Allgemeine Inhalte An allgemeinen Inhalten w ren neben den blichen TV Sendern Radio Musik Zeitungen etc ebenfalls Filme Diashows der Region Wetter Nachrichten Spiele und Organisatorische und Inhaltliche Informationen von Veranstaltungen und Angeboten der REHA Klinik verbal steuerbar auf der Grundlage eines generalisierten Sprachpaketes zug nglich zu machen 2 3 1 6 Hardware Die erforderlichen Investitionen werden seitens der REHA Klinik get tigt An Ideen wurden von Primar Kubik die Gestaltung einer Multimediabar genannt Aktuell gibt es einen Gro bildfernseher mit Netzwerkanschluss und einem Nintendo Wii Ger t welches bisher nicht sehr gut angenommen wird Optional w ren erforderlich e 1Standard PC e Soundl sung e 1 Mikrofonl sung eventuell 2 Mikrofone e R umlich w ren die Abgrenzung des Bereiches und der sinnvolle Abstand zum Bildschirm zu kl ren BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 e Inhaltlich w re der Zugang zur Information ber die Steuerungsm glichkeiten wie z B Testscreen mit intuitiver Einf hrung sowie das Andenken der M glichkeiten der Nutzung des vorhandenen Nintendo Ger tes ebenfalls ber verbale Steuerung noch zu kl ren 2 3
152. kt zu finden ist System gt Systemverwaltunng gt Zus tzliche Treiber W hlen Sie dort Nvidia Treiber und DVB Firmware bei angesteckter TV Karte 7 1 3 Skype Skype Paket von http skype com herunterladen installieren und konfigurieren Aufnahmeger t Benachrichtigungen etc 7 1 4 Akonadi F r Akonadi ben tigen wir ebenfalls ein eigenes Repository sudo add apt repository ppa kubuntu ppa backports sudo apt get update sudo apt get dist upgrade sudo apt get install kdepim dev 7 1 5 Qwt Qwt 6 0 ZIP Archiv herunterladen extrahieren und kompilieren unzip lt archiv gt qmake make sudo make install 7 1 6 simon Die aktuelle Version von simon herunterladen git clone git speech2text git sourceforge net gitroot speech2text speech2text 77 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Zur sound Branch wechseln git branch sound git checkout sound git pull origin sound simon kompilieren und installieren im speech2text ordner build ubuntu sh Das Sprachmodell von Benefit Ubuntu 10 10 Installationsdateien sprachmodell in simon installieren siehe simon Handbuch 7 1 7 Konfiguration 7 1 7 1 Awesome Die Datei rc lua von Benefit Ubuntu 10 10 Installationsdateien home simon config awesome in den Ordner config awesome kopieren und gegebenfalls ersetzen Au er der rc lua auch noch einen Ordner
153. ktiv beteiligt Stieger Franz e Diplomp dagoge sonderp dagoge und Sprachtherapeut E Business Consultant der WKO IT Einzelunternehmen seit 10 Jahren e Akkreditierter EU Experte f r internationale Eins tze Initiator und organisatorischer Begleiter des simon Projektes Stieger Mathias e Lehrabschluss als EDV Techniker 12 Monate Zivildienst bei Lebenshilfe Radkersburg e Mitinitiator und organisatorischer Begleiter des simon Projektes Ing Breznik Alexander e Absolvent HTBLA Kaindorf e Projektmanagerausbildung BIT Schulungscenter e F hrungslehrgang bei Lukmann Consulting e Junior bzw Senior Programmierer bei BOOM Software Mitgr nder Gesch ftsleitung Gesellschafter activelT Software amp Consulting GmbH e Leiter Abteilung Prozess Software bei Lukmann Consulting Grasch Peter e Absolvent HTBLA Kaindorf e Urheber und Autor des technischen Konzeptes von simon e Informatikstudent der TU Graz c Darstellung des projektrelevanten Leistungsbilanz Markterfolge Patente Simon ist eine Open Source Software daher sind keine Patente m glich aber allein die Existenz dieses stabilen Prototypen ist f r eine derart kleine Gruppe der Betreiber eine H chstleistung da ansonsten Spracherkennung prim r Leistungen von Institutionen wie IBM etc darstellen Simon macht die Nutzung von Spracherkennung unter Verwendung von 185 Programm benefit bereits mit vielen Steuergeldern weltweit finanzierten hochwissenschaftli
154. l eine OGG Vorbis Komprimierung verlustbehaftet sehr kleine Dateien als auch eine ZIP GZip basierte Komprimierung verlustfrei gr ere Dateien Das Konzept der direkten Zuordnung von Dateien und Tagen lassen den Aufnahmeprozess sowohl f r Endanwender als auch Entwickler leichter werden Auf komplexe Funktionen wie das l schen bzw ndern von Abschnitten einer Aufnahme wird absichtlich verzichtet 58 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 F r die Umsetzung wird simons Audio Abstraktionslayer verwendet simonsound Insbesondere die Klassen WavPlayerClient WavRecorderClient und damit indirekt simons SoundServer Architektur werden Anwendung finden F r das Schreiben der Dateien wird die simonwav Bibliothek verwendet 6 5 XBMC Entwicklung Um den End Usern eine passende Bedien Oberfl che zur Verf gung zu stellen wurden in diesem Arbeitspaket sieben Software Produkte unter die Lupe genommen die anhand einer Internet Recherche oder pers nlichen Erfahrungen ihren Weg in diesen Auswahlschritt gefunden haben Es werden nun die untersuchten Produkte vorgestellt XBMC Diese optisch und funktional sehr ansprechende und leistungsf hige Multimedia L sung die dank flexiblen Plugins und Skripting vorwiegend via Python leicht angepasst werden kann bietet die optimale Ausgangsbasis f r unsere Bed rfnisse Neben der Ausrichtung der einfachen Bedienung befindet sich hinter
155. l oder ffentlich muss in den nachfolgenden Ordner kopiert werden 87 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 C Program Files x86 XBMC addons Au erdem muss der Ordner German Austria in den folgenden Ordner kopiert werden C Program Files x86 XBMC language Die nachfolgenden Anpassungen m ssen f r das korrekte Auslesen der Medien get tigt werden e C Users Windowsbenutzer AppData Roaming XBMC userdata sources xml lt sources gt lt programs gt lt default pathversion 1 gt lt programs gt lt video gt lt default pathversion 1 gt lt source gt lt name gt vtestdir lt name gt lt path pathversion 1 gt C simon Videos lt path gt lt path pathversion 2 gt lt path gt lt source gt lt source gt lt name gt vtvdir lt name gt lt path pathversion 1 gt lt path gt lt source gt lt video gt lt music gt lt default pathversion 1 gt lt source gt lt name gt mtestdir lt name gt lt path pathversion 1 gt C simon Musik lt path gt lt path pathversion 2 gt lt path gt lt source gt lt music gt lt pictures gt lt default pathversion 1 gt lt source gt lt name gt ptestdir lt name gt lt path pathversion 1 gt C simon Bilder lt path gt lt source gt lt pictures gt lt files gt lt default pathversion 1 gt lt f files gt lt sources gt Weitere Dateien die notwendig
156. lche markiert werden Sie k nnen dann vor der Modellerstellung automatisch entfernt werden 6 3 5 simonskype Mit simonskype wurde eine Br cke zwischen der simon Infrastruktur und der Voice over IP L sung Skype geschaffen simonskype bietet zwei grundlegende Funktionen 1 Rufaufbau mit Kontakten ber Aufruf eines Kommandozeilentools 2 Integration in simons Dialogsystem zum ffnen von Dialogen bei eingehenden Anrufen ber diese Dialoge kann der Anruf angenommen oder abgewiesen werden 6 3 6 simonstatus Mit simonoid wurde bereits ein Werkzeug geschaffen um dem Benutzer ber die aktuelle Aufnahmesituation zu informieren Da neben dem tats chlichen Mikrofonaufnahmepegel auch der aktuelle Filterzustand simon schlafen simon aufwachen relevant ist f r die Funktionst chtigkeit des Systems wurde noch ein weiteres Tool erstellt das den Aktivierungsstatus grafisch darstellt Simon aufwachen Neben dem grafischen Aktivit tszustand wird auch das Sprachkommandb eingeblendet mit dem dieser ge ndert werden kann 51 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 6 4 Software Konzept Das erarbeitete Gesamtl sungskonzept ist ein wichtiger Faktor f r die Umsetzung der einzelnen Module Tools und Szenarien Die Ausarbeitung dieses Konzeptes in Teamarbeit war uns dabei besonders wichtig um so alle fachkundigen Inputs der einzelnen Bereiche dieses Forschungspr
157. ldes durch das Projekt zu erwarten Ist eine Anbindung des vorgeschlagenen Vorhabens an EU oder andere internationale Aktivit ten geplant Bereits im Vorfeld dieser Projekteinreichung kam es zu einer wesentlichen Verbesserung des Forschungsumfeldes durch diese Projektidee Es gibt in diesem Zusammenhang eine intensive interdisziplin re Vernetzung der inhaltlich kompetentesten Institute und Personen mit der Wahrscheinlichkeit dass komplement r eine F lle an zus tzlichen Studien und Diplomarbeiten zu Teilbereichen und Teilaspekten dieses Projektes in die Wege geleitet werden Grunds tzlich ist es Ziel dieses Projekt aufgrund des sprachunabh ngigen Basisprogrammierung von simon an EU und oder andere Internationale Aktivit ten anzubinden Ein Transfer des Knowhows und der Spracherkennungsl sungen in andere Sprachr ume ist ohne intensiven Aufwand m glich 13 6 3 1 4 Relevanz f r das Programm benefit Soferne in den Punkten 3 1 1 3 1 3 noch nicht angegeben Welche Teile des vorgeschlagenen Vorhabens unterst tzen die allgemeinen Ziele von Programm benefit die im Leitfaden erw hnt sind Im besonderen sind hier Ausbildungseffekte f r akademisches Personal und andere Ausbildungseffekte anzuf hren Das vorgeschlagene Vorhaben von anwendungsorientierter Forschung und Entwicklung f hrt aufgrund der einzigartigen Innovation von simon zur M glichkeit der einfachen verbalen Steuerung von IKT Anwendungen die einen hohen Nutzen f r die EndUser in
158. legerin f Fr hst ck g Kaffeezeit Turn DP siehe a Text Versionen 73 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 1 Sys Hallo hier ist simon Syn V2 Hallo in 10 Minuten wird im Individualisierung Aufenthaltsraum der Kaffee serviert Es ist Syn 10 20 Uhr Die Mitbewohner freuen sich wenn du Ich m chte Dich daran erinnern auch kommst Kannst du alllein in den dass die Kaffeezeit in 10 Minuten Aufenthaltsraum gehen beginnt Der Kaffee duftet schon Bitte antworte mit ja oder nein und Deine Mitbewohner freuen V3 Hallo Ich erinnere dich daran in 10 sich schon auf Deine Anwesenheit Minuten wird im Aufenthaltsraum der Brauchst Du Hilfe um in den Kaffee serviert Die Mitbewohner sind Aufenthaltsraum zu kommen schon dort Kannt du alllein in den Bitte antworte mit ja oder nein Aufenthaltsraum gehen Bitte antworte mit ja oder nein User ja Sys Gut dann werde ich Syn Individualisierung der Pflegerin mitteilen dass Sie Dir hilft 2 User nein Sys Danke ich finde es toll gut sch n V2 Danke es ist toll gut sch n dass Du dass Du so selbst ndig bist so selbst ndig bist Mittagessen Turn DP Text Version 1 Sys Hallo hier ist simon Syn V2 Hallo in 10 Minuten wird im Speisaal das Individualisierung Mittagessen serviert Kannst du allein in den Es ist Syn 12 00 Aufenthaltsraum gehen B
159. lichen aber auch die ffentlichen k nnen mit unterschiedlichen Datenquellen gef ttert werden AP_19 Video Telefonie 15 Arbeitstage Mitarbeiter AB 15 Partner keine In die Stationssoftware soll eine Telefon M glichkeit integriert werden die es den Benutzern erm glicht vordefinierte Kontakte mittels Skype anzurufen Hier muss die M glichkeit geschaffen werden die Kontaktliste von einem Betreuer aktualisieren zu k nnen Weiters soll der Benutzer hier die M glichkeit haben entweder wie gewohnt ber das Standmikrofon und den Lautsprechern auch zu telefonieren oder ein verf gbares Headset zu verwenden F r Telefonate zu Endger ten Festnetz oder Handy muss das Skype Konto entsprechend mit Guthaben aufgeladen werden was auch ber eine Administrator Funktion gesteuert vom Betreuer realisiert werden kann AP 20 Lesezeichen 8 Arbeitstage Mitarbeiter MS 8 Partner keine Uber vordefinierte Lesezeichen soll der Benutzer die M glichkeit haben Internetseiten ffnen zu k nnen und sich dort ber aktuelle Themen Zeitung aber auch ber Hobbies und Kontaktm glichkeiten Email zu unterhalten AP_21 Druckm glichkeit 10 Arbeitstage Mitarbeiter PG 10 Partner keine Um interessante Informationen zB Kochrezepte Spielregeln auch in Papierform greifbar zu erhalten soll eine Druckm glichkeit von Internetseiten mit folgenden Rahmenbedingungen realisiert werden Der Benutzer enth lt
160. llt werden Die eingesetzten Instrumente und Schritte sind klar und konsistent zu definieren bzw zu beschreiben Die nachfolgenden Arbeitspakete wurden inhaltlich laut aktuellem Wissensstand und aktuellen Hypothesen erstellt Die gesch tzte Dauer der Arbeitspakete wurde anhand von Erfahrungswerten und auf der Grundlage bestehender Qualifikationen ermittelt und beinhaltet den jeweiligen Projektmanagement Aufwand Arbeitspakete und Anforderungen Projektpartner Ressourcen und K rzel Verein SIMON listens o Franz Stieger Teilzeit 10 WSt FS o Peter Grasch Teilzeit 9 WSt PG o Mathias Stieger Teilzeit 20 WSt MS o Alexander Breznik Teilzeit 20 WSt AB _ KF Uni Graz Forschungsstelle f r sterreichisches Deutsch KFU o Prof Muhr Werkvertrag ca 50 Beratungsstunden TU Graz Institut f r Signalverarbeitung und Sprachkommunikation TU o DI Petrik Werkvertrag 50 Beratungsstunden REHA Klinik Maria Theresia Bad Radkersburg 1 ffentliche Station EU o Prim Dr Kubik 1 Ergotherapeutin Kosten f r Investition und Personal wird von REHA Klinik bernommen HTBLA Kaindorf Abteilungen EDV amp Organisation und Automatisierung HTL o Prof Wilfling Werkvertrag 50 Beratungsstunden o 20HTL Sch ler Aufwandsentsch digung o 1 Lehrer der Abteilung Automatisierung Werkvertrag 20 Beratungsstunden Altersheim 4 individuelle Stationen EU o 1 Betreuungskraft Werkvertrag 100 Arbeitsstunden Individuell
161. lt und abgespielt werden k nnen 6 4 2 7 Fotos Es wird die M glichkeit geschaffen durch eine Foto Bibliothek zu navigieren und eine Diashow dieser zu starten und zu beenden 6 4 2 8 Wettervorhersage Dieses Modul steht allen End Usern zur Verf gung egal ob registrierten oder nicht registrierten und bringt zum definierten Ort die Wettervorhersage des aktuellen und der n chsten Tage zur Ansicht 6 4 2 9 Veranstaltungskalender Benutzeroberfl che Der Veranstaltungskalender wird als Liste der n chsten Veranstaltungen dem Benutzer pr sentiert Mit Vor und Zur ck kann er durch die kommenden Tage Events bl ttern Will der Benutzer auf ein gewisses Ereignis erinnert werden kann er einen Alarm auf eine Veranstaltung setzen Dieser wird dann ber die Erinnerungsfunktion ausgegeben Technische Umsetzung Der Veranstaltungskalender kommuniziert via KDE4s Akonadi PIM Layer mit einem zentral installierten Groupware Server Mit Tags k nnen pro Veranstaltung zwei Attribute gespeichert werden Hidden wird nicht als Veranstaltung angezeigt F r reine Erinnerungen wie die Medikamentenerinnerung und Alarm der Benutzer wird mit einem Dialog an diesen Event erinnernt Obwohl die Tags angedacht wurden konnten sie aus Zeitmangel leider noch nicht umgesetzt werden Die Administration geschieht ber die bestehende Groupware Infrastruktur oder ber ein eingerichtetes eGroupWare Webinterface 6 4 2 10 Erinnerungsfunktion
162. m In der Datei etc X11 default display manager den derzeitigen Inhalt mit bin false ersetzen Die asoundrc in evtl an das verwendete Mikrofon die verwendete Soundkarte anpassen Eventuell ist die Laust rke speziell f r digitale Ausg nge noch stummgestellt Pulseaudio entfernen sudo apt get remove pulseaudio Wenn Benutzer aus vollkommen unerkl rlichen Gr nden aus der audio Gruppe entfernt wurde den Benutzer in etc group wieder zur Gruppe audio hinzuf gen Nach dem Neustart den MicBoost der Soundkarte mit alsamixer c1 entsprechend anpassen Plasma Konfiguration Skin Die Datei plasmarc von Benefit Ubuntu 10 10 Installationsdateien home simon kde share config plasmarc nach kde share config plasmarc kopieren Ordner anlegen falls sie noch nicht existieren 7 1 12 Internet Entfernen des Networkmanagers sudo apt get remove network manager 2 M glichkeiten 1 Stick Internet etc wvdial conf ausf llen und in xinitrc sudo wvdial amp eintragen 2 WLAN Eintragen des Netzwerkes in etc wpa_supplicant wpa_supplicant conf siehe man wpa_supplicant conf und hinzuf gen des Aufrufs sudo wpa_supplicant Dwext iwlanO c etc wpa_supplicant wpa_supplicant conf amp in die xinitrc Au erdem hinzuf gen sudo dhcpcd wlanO nach dem Aufruf von wpa_supplicant Bei beiden Optionen Achten auf ein entsprechendes sleep X zwischen dem Aufruf und dem XBMC Start damit das
163. m Alter Bezugnehmend auf die Situation der Zielgruppe ergab sich die Anforderung sich grunds tzlich bei den geplanten Arbeiten mit den zu erwartenden Einschr nkungen im Bereich der funktionellen Defizite auseinanderzusetzen Aus diesen Gr nden wurde die Bed rfniserhebung mit den Ergebnissen der folgenden Recherche erg nzt 2 4 1 H rschw chen H rschw che erkennen H rprobleme M gliche Symptome berh ren des Telefons oder der T rklingel Erschwertes Sprachverstehen in ger uschvoller Umgebung E 3 Getuhl dass der Gespr chspartner nuschelt Probleme im Stra enverkehr H ufiges Nachfragen keng Nachbarn beschweren sich ber zu lauten Fernseher Sg Uherb ren von Naturger uschen Vberh ren von Alltagsger uschen Untersuchungen haben ergeben Jeder dritte Deutsche ber 60 hat H rprobleme Wer also in den besten Jahren ist und feststellt dass das H rverm gen langsam nachl sst muss sich nicht sch men er ist nicht allein Ursachen f r H rprobleme gibt es viele Unsere hektische Gesellschaft macht uns anf lliger f r Stress und Infektionskrankheiten die Durchblutungsst rungen hervorrufen k nnen In Folge hiervon kann neben Herz Kreislauf Erkrankungen auch Schwerh rigkeit auftreten Auch der Stra enverkehr nimmt weiter zu und belastet unser Geh r ebenfalls genauso wie ein lautes Arbeitsumfeld Und wer sich bereits als Jugendlicher in der Freizeit
164. mehrere Tests automatisiert hintereinenander durchlaufen zu k nnen und einen komplett berarbeiteten Testmodus der verschiedene Modelle bzw Modellkonfigurationen untereinander vergleichen kann Overview 60 B Accuracy w d 24 ER H r T T T T T T T T TE_HUH_GMMO TE_HUH_GMMl TE_HUH_GMM2 TE_HUH_GMM4 TE_HUH_GMM8 TE HUH_GMM16 TE_HUH_GMM32 TE_HUH_GMM64 P Confidence v S Een A LA Au erdem wurde ein Reportingsystem umgesetzt das LaTeX Reports auf Template Basis exportieren kann Zwei Templates wurden f r unsere Tests bereits entwickelt Eines f r kurze und eines f r Ausf hrliche Reports Die Protokolle k nnen mit pdflatex in PDF Dateien bersetzt werden 102 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Humanitas Headset with Reha Radkersburg Okular v e Humanitas Headset with Reha Radkersburg BP_HUH_HUG_RR E ss D 10 Juli 2011 Inhaltsverzeichnis 2 1 System Interne System Identifikation SY_SAM_DEFAULT sam part of simon 0 3 50 HTK 3 4 1 64 bit Julius 4 1 1 1_ Task definition Z Setup 1 SAM verewndet 8 Threads f r die Reestimatio DT System 1 nen 2 2 Vokabular 1 23 Grammatik 2 2 Vokabular 2 4 Trainingsdaten 1 Interne Identifikation des Vokabulars 2 41 RRHUH 1 VBBOMP Das Vokabula
165. mit die Termine im Kalender angezeigt d eine Erstellung Administration der Termine erfolgt direkt im jeweiligen Kalender in der eGroupware Umgebung 2 eGroupware mit Wartung via Mozilla Sunbird a die Schritte a bis c sind ident wie in Punkt 1 b es wird Mozilla Sunbird auf jenen Computern installiert wo eine Administration der Termine vorgenommen werden soll c in Mozilla Sunbird werden Konten erstellt und diese mit den eGroupware Benutzern verkn pft d somit ist die Administration direkt in Mozilla Sunbird m glich 90 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 9 Implementierung 9 1 Netzwerkkonfiguration Humanitas Netzwerkbeispiel Humanitas Proband Kaschitz Proband Thaller Proband Kl pfl Individuelle Station Individuelle Station Individuelle Station Analog TV Karte N Analog TV K rte N Analog TV Karte N Nu eg gt lt gt lt gt Zotac Zotac Zotac Internet via Handynetz Internet via Hand gemet via Handynetz ffentliche Station 1 Stock Analog TV Karte N m a O Zotac Internet via Handynetz I Kalender Administration Laptop Schreibmayer 9 2 ffentliche Stationen 9 2 1 ffentliche Station REHA Radkersburg 9 2 1 1 Hardware Die ffentliche Station an der Klinik Maria Theresia besteht aus einem bereits vorhanden gewesenen Full HD Fernseher von Samsung der ebenfalls f r andere Zwecke benutzt wird
166. mit reduzierten W rtern f r den praktischen Einsatz entwickelt und mit positiven Ergebnissen getestet 9 3 2 4 Status bei Projektende Die Station war bei Projektende nicht in Betrieb vor allem da das Fernsehproblem bisher nicht gel st werden konnte Grunds tzlich ist die L sung dieses Problemes erforderlich und nach L sung w ren noch mehrere 94 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Einschulungseinheiten erforderlich um eine Stabilit t des Systems zu gew hrleisten und das angepasste Szenario und individuell erstellte Sprachmodell zu dokumentieren und zu testen 9 3 3 Individuelle Stationen Humanitas Im Bereich der Humanitas waren 3 Personen 2 weiblich 1 m nnlich daran interessiert eine individuelle Station in ihrem Wohnbereich installiert zu bekommen und an den Forschungstests aktiv teilzunehmen 9 3 3 1 Individuelle Station proband01 Humanitas 9 3 3 1 1 Hardware e Philipps 80 cm Full HD Fernseher e Zotac Mag Mini GIANT Net Top PC e Panic Button e Alesis 1O 2 Express Soundkarte e T BONE TB 312S Schwanenhalsmikrofon e Logitech C 310 Webcam e Hauppauge Win TV HVR 1900 e 10 Wandschrank e A1 USB Internetstick e Diverse Kabel 9 3 3 1 2 Individuelle Konfiguration Im Falle der Probandin 01 wurden alle erforderlichen Inhalte auf Ihre Interessen hin abgestimmt und ge ndert wie Fotos Videos Fernsehprogramme RSS Feeds und Interne
167. mm im Prinzip nur Umst ndlich w re Unsere Idee ist es jetzt also im Plugin dass wir liebevoll Siroc f r simon robot control getauft haben s mtliche In und Outputs zu verwalten Diese L sung erspart uns eine weitere unn tige Schnittstelle zu einer zus tzlichen Applikation 13 5 1 19 Grundlagen In der Woche von Montag dem 19 Juli bis Freitag dem 24 Juli bekamen wir eine Einschulung in die Programmiersprache C die OOA und OOP in C dem Programm Qt Designer und Assistant und lernten mit diesen f r uns relativ neuen Sprachen und Programmen umzugehen und sie uns selbst weiter anzueignen 13 5 1 20 Anf nge Anf nglich glaubten wir uns in der C Welt zurechtfinden zu k nnen es stellte sich aber heraus dass wir uns dabei ziemlich get uscht hatten 153 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Nach einer kleinen Pr fungssituation mit Peter unserem Mentor in dieser Woche konnte er unsern Wissensstand erahnen und fing mit uns im Endeffekt wieder ziemlich von vorne an und lehrte uns im Prinzip die Grundlagen des Programmierens und C Zu diesem Lehrprozess geh rten unter anderem die Kapitel Pointer Referenzen Stack und Heap etc Nach einiger Zeit gingen wir dann zu C und somit auch zu Qt ber und versuchten anhand einfachster Beispiele wie z B ein Hello World Programm mit der Materie vertraut zu werden Mit viel Hilfe von Peter konnte
168. n Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 11 GoSub pr2 12 Break 13 Case 3 14 GoSub pr3 15 Break 16 End Select 17 GoTo main 18 19 pri 20 CallP 1 21 M3 0 22 Return EEN 24 pr2 25 CallP 2 26 M3 0 27 Return 28 29 pr3 30 CallP 3 31 M3 0 32 Return Das einfache Hochkomma Z 18 23 28 haben wir nur in den Code geschrieben da der Compiler Leerzeilen automatisch gel scht hat und wir die bersichtlichkeit bewahren wollten Dieses Zeichen kommt am Anfang eines Kommentares zum Einsatz Ab diesem Zeichen gilt alles in der Zeile als Kommentar Der Close Befehl am Anfang schlie t die Schnittstelle damit sie bei Systemausfall nicht offen bleibt und nicht mehr ansprechbar ist 151 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Ablaufprogramm 1 1 Mov p1 2 Mov p2 3 Mov p3 4 End p1 516 06 5 38 393 22 179 06 4 05 75 16 7 0 p2 516 06 5 38 393 22 179 34 52 70 104 29 7 0 p3 516 06 5 38 393 22 165 64 56 22 105 42 7 0 Ein einfaches Programm zum Anfahren von 3 geteachten Punkten p1 p2 und p3 Wenn man den Code im Editor ffnet kann man sehen dass die Punktkoordinaten nach dem End Befehl gespeichert sind Ablaufprogramm 2 1 Mov p1 2 Mvc p1 p2 p3 3 End p1 384 69 139 09 393 49 178 70 3 57 92 75 7 0 p2 384 69 198 30 393 49 178 70 3 57 92 75 7 0 p3 320 31
169. n 101 11 2 SAM simon accoustic modeller ucrencsrnures eia o n AA EA ENGE 102 11 3 Seouttur 2EnpWwigklung deet dE alien ne Fr e EE A E 103 11 4 Projekt Getr nkemischroboter nennen 104 12 Schlussbericht r n ee a une us En EN an ER 104 12 1 Technisch wissenschaftliche Beschreibung der Arbeit 106 12 1 1 Ergebnisse und Meilenstelne snamete aai eai a a eaaa iiaii ain 106 12 12 Arbeits und Zeitpl ne 2 et mer er m eaa EE ee 108 12 2 Verwertung EE 109 123 Elle EE 110 12 3 1 Arbeitsplan Anschlussprojekt ueeeeeeesseeeessseeenseennnennnnnennnnnnnnnnnnnnennnnnnnnnnnnnnnennnnnnnnnnennennnnnnnn 110 EE ELE 111 13 1 Anhang Bed rtfniserbhebung 111 13 1 1 Hobbies Interessen und sonstige inhaltliche Informationen f r eine Priorit tensetzung 111 13 1 2 Auswertungen Fragebogen Senioren 114 13 1 3 Vorlagen der Frageb gen aona ierii rennir ie rerent nieas t r Lana iher En iin PEs Erebas ts ESUS r ins ii nPE ESSEE 115 13 1 4 Raumplan Proband 01 Leibnttz 119 13 1 5 Raumplan Proband 02 Leutschach 120 13 1 6 Stellungnahme optometrische berpr fung uueesesseesensesennnnnennennnnnnnnnnennnnnennnnnennennnnnnnnnnnnnn 122 13 2 Anhang verwendete Hardware nennen 123 13 2 1 Z tac Mag TE 123 13 2 2 Philips Fernseher42PEI3405R 22 2 cn ea ker eur 123 13 2 3 Terratec S7 DVB als ne ernennen 126 13 22 Alesis O 122 422 geb ANE AN EEA 127 13 2 5 Sennheiser PC36 USB gege gg ege S eee EENS E
170. n Hauppauge 9 2 2 3 Implementierung und Integration Die Integration der Station gestaltete sich schwierig da Probleme mit dem Internet und dem Fernsehen zu bew ltigen und verschiedenste Anpassungen erforderlich waren um ein Funktionieren im ffentlichen Bereich m glich zu machen da ansonsten die Aufnahme von zuvielen Ger uschen die Speicherkapazit ten berforderten Die Integration und Verwendung des Keyword Spottings konnte dieses Problem weitestgehend ausschalten Weiters gab es gro e Probleme mit den Stromschwankungen im Geb ude sodass zweimal das Netzteil der Soundkarte kaputt wurde Dieses Problem wurde durch den Einsatz einer kleinen USV von APC gel st Der Kalender der ffentlichen Station wurde ber das Internet verwaltbar gemacht sodass eine Verwaltung der ffentlichen Termine ber den Computer der verantwortlichen Person m glich ist Die Station selbst wird von derselben Person betreut die auch gemeinsam mit Senioren in die Handhabung derselben intensiv eingeschult wurde Die Termine der individuellen Stationen k nnen ebenfalls ber denselben Computer verwaltet werden 9 2 2 4 Status nach Projektende Bei der berpr fung am 17 08 2011 nach Projektende ergab sich folgender Projektstatus Die ffentliche Station war nicht in Betrieb aufgrund der Urlaubszeit Frau Schreibmaier hat auch angeregt die Station eventuell in das Parterre zu verlegen da der Zugang dort f r die Klienten optimaler w re Der N
171. n Programmen wurde au erdem die DBus und Json Plugins eingef hrt die ber die beiden IPC Technologien z B mit simonstatus DBus und XBMC Json kommunizieren k nnen 6 2 3 Soundsystem Gro e Fortschritte gelangen auch bei dem Soundsystem das simon und ssc teilen So beherrscht dieses jetzt das gleichzeitige verwenden mehrerer Aufnahme und Wiedergabeger te um das Training mit mehreren Mikrofonen zu beschleunigen Auch liegt dem Soundstack eine komplett neue Implementierung auf Basis von ALSA bzw QtMultimedia zu Grunde d ZS Volume calibration ei 5 Please say a few sentences Tryto pronounce them clearly but naturally and speak in a normal volume Device default E Raise the volume volume changed Ein neue eingef hrtes Qualit tssicherungssystem warnt Benutzer z B Aufnahmeteams im Falle von SSC vor schlecht konfigurierten Mikrofonen Lautst rke und Hintergrundger uschen Signal to Noise Ratio F r breitere Hardwareunterst tztung wurde auch ein transparentes Resampling auf Basis von libsamplerate eingef hrt Um dies auch auf den verwendeten low end Nettops performant 48 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 umzusetzen wurde Multi Threading eingesetzt um vom zweiten Kern des Atomsystems zu profitieren 6 2 4 Erkennung Die Erkennung wurde auf vielf ltige Weise verbessert So wurde beispielsweise auf Anraten der TU Graz das System a
172. n verarbeitet Kommunikation muss herrschen zwischen e Hauptprogramm und Roboter e Hauptprogramm und LabView e Hauptprogramm und Simon e Sensorik und Roboter e Kameras und LabView e Mikrofon und Simon Die einzelnen Verbindungen werden voraussichtlich mit Sockets Server Client realisiert 13 5 1 6 _Roboteransteuerung 13 5 1 7 Der Roboter 148 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Beim Roboter handelt es sich um den Typ MELFA RV 3S der Firma Mitsubishi Electric Mit bis zu 5 5 Meter pro Sekunde ist er einer der schnellsten seiner Klasse und durch die vielen flexiblen Achsen auch perfekt einsetzbar f r gezielte Bewegungsabl ufe und Positionierung von Modulen wie zum Beispiel eines Greifarms 13 5 1 8 Prinzip ber die Teaching Box kann der Roboter manuell an die gew nschten Punkte bewegt werden Dazu stehen mehrere Modi der Bewegung zur Verf gung wobei jeder Modus seine eigenen Vor und Nachteile besitzt ber den PC und die zum Roboter zugeh rige Software RT Toolbox 2 werden die Einzelprogramme zum Anfahren der bestimmten Abl ufe erstellt Die Vielfalt an Funktionen die der Roboter besitzt k nnen entweder digital via PDF Benutzerhandbuch oder ber die ausgedruckte Version dem Roboter beiliegend nachgeschlagen werden Die Verbindung Roboter zu PC erfolgt entweder ber RS232 USB oder TCP IP 13 5 1 9 Erste Schritte 13 5 1 10 Inbetriebnahm
173. n wir uns dann schon am Mittwoch an einen kleinen Videoplayer herantrauen wo wir dann auch zum ersten Mal gemerkt haben wie schwer das Betriebssystem Windows es einem macht unter KDE und Qt im Prinzip einfache Programme zu schreiben Nach dieser Session wurde uns klar dass es wahrscheinlich intelligenter w re das Projekt Getr nkemischroboter auf Linux zu programmieren 13 5 1 21 Das erste kompliziertere Testprojekt 13 5 1 22 Die Idee Am Donnerstag dieser Einschulungswoche ging es dann erst richtig los Da es in unserem Fall Sinn machte eine Server Client Applikation zu demonstrieren wagten wir uns am Donnerstag an die Applikation KnockKnock heran eine kleine Chat Applikation Die Idee zu der Applikation klang recht simpel In einem Chatfenster sollten Nachrichten aller Benutzer zu sehen sein unterhalb sollten sich eine Eingabezeile eine Anzeige f r den Username und ein Button zum Senden der Nachricht befinden Neben diesen Modulen war eine Liste f r alle beigetretenen User die sich bei Verbinden und Trennen zum Server aktualisieren sollte vorgesehen Ganz oben in der GUI sollte sich ein Connect Button darstellen der die Verbindung zum Server gew hrleistet 13 5 1 23 Die Umsetzung Angefangen haben wir mit der Architektur was sich wie auch schon beim Videoplayer f r uns Automatisierungstechniker als sehr schwierig erwiesen hat Wir haben zwar Ideen liefern k nnen jedoch war es letztendlich oft Peter d
174. n zu beschaffenden Fernseher waren folgende e Er musste gro genug sein damit man eventuellen Sehproblemen vorbeugen kann e Unterst tzung f r HDMI als Anschluss f r den PC Empfohlenes Modell e Philips A2PFL3405H Datenblatt siehe Anhang 3 3 Notfallbutton WW Da man gelegentliche Softwarefehler nie ausschlie en kann entschieden wir uns einen Panic Button zu implementieren Bei Bet tigung last er alle laufenden Funktionen unterbrechen und das System neu starten 3 4 DVD Laufwerk Da die sich die M glichkeit Filme zu sehen nicht nur auf lokal gespeicherte beschr nken soll ist ein DVD Laufwerk zum Abspielen von DVD Filmen unerl sslich Hierf r reicht im System allerdings ein Standard USB Laufwerk Die M glichkeit die Filme abzuspielen wurde auch in die Software integriert 24 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 3 5 Logitech C310 Webcam Merkmale e _HD Videogespr che 1280 x 720 Pixel mit empfohlener Systemausstattung e Videoerfassung Bis zu 1280 x 720 Pixel e Fotos Bis zu 5 Megapixel Software interpoliert e Eingebautes Mikrofon mit Logitech RightSound Technologie e Hi Speed USB 2 0 zertifiziert empfohlen e Universalhalterung f r Notebooks LCD oder CRT Monitore 3 6 TV Karte Derzeit gibt es 4 verschiedene M glichkeiten um Fernsehsignale zu empfangen e Analog Wird kaum mehr benutzt Die Einspeisung
175. nd End Usern gew nschten Raumsteuerung zur Steuerung von Licht Fenster T ren Jalousien etc Aufgrund der vielen W nsche wurde in dem bereits erstellten Sprachmodell f r Senioren bereits der erforderliche Wortschatz mitaufgenommen und w rde so mit relativ wenig Aufwand f r Forschungszwecke schnell zur Verf gung stehen Erweiterung des Funktionsangebotes mit akustischen Sicherheitsl sungen durch Erforschung des im Rahmen dieses Projektes aufgebrochenen Forschungsfeldes der Spracherkennung auf Distanz welcher viele einfache kosteng nstige Sicherheitsl sungen durch g nstige Mikrofone und eingegrenzte Sprachmodellen m glich machen w rde In diesem Bereich g be es ebenfalls Synergien mit der TU Graz dem Institut f r Signalverarbeitung und Sprachkommunikation zu nutzen welches sich teilweise motiviert durch Fragestellungen aus simon Projekten einen Schwerpunkt in diesem Bereich in der n chsten Periode setzen wird 110 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 13 Anhang 13 1 Anhang Bed rfniserhebung 13 1 1 Hobbies Interessen und sonstige inhaltliche Informationen f r eine Priorit tensetzung Aktuelle Hobbies Lesen 21 R tsel 2 Fernsehen 15 Tiere 2 Animation 6 Alles wissenswerte 1 Spazieren 6 Freunde 1 Handarbeiten 6 Geschichten
176. nen Sie dann zu jeder Zeit Stopp sagen Durch die M glichkeit die teilnehmenden Testpersonen pers nlich Einzuschulen entschlossen wir uns dieses Modul letztendlich nicht umzusetzen obwohl es f r ffentliche Stationen doch sehr sinnvoll w re 6 4 2 2 Internet Mit Hilfe von Mozilla Firefox und dem Zahlen Plugin f r die unterst tzte Darstellung einer eindeutigen Zahl pro Link kann mit diesem Modul im Internet gesurft werden 55 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Prim r stehen vordefinierte Lesezeichen Links zu Internetseiten zur Verf gung die einerseits global f r alle Anwender definiert werden und andererseits mit der individuellen Funktion des Benutzerlogins auf spezielle End User abgestimmt sind 6 4 2 3 Skype Skype oder ein anderer Gratis Videotelefonie Dienst soll den End Usern dazu dienen sich regelm ig mit Freunden Bekannten und Verwandten akustisch und visuell auszutauschen wenn direkte Besuche nicht m glich sind Dieses Modul steht ausschlie lich angemeldeten Benutzern zur Verf gung da hier das Adressbuch und das Konto zur Videotelefonie geladen werden m ssen um deren Funktionen nutzen zu k nnen 6 4 2 4 TV Um die Funktionalit t eines TV Ger tes mit Satelliten Empfang nutzen zu k nnen ist f r unsere Gesamtl sung folgendes zu beachten Ein USB DVB S Ger t muss mit dem Zotac Computer verbunden sein Ger te die in
177. nerell jedoch situativ in kritischen Einzelf llen ber cksichtigt werden 17 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 2 3 5 2 4 Akustische Sicherheitssysteme Wie sinnvoll w ren akustische Sicherheitssysteme Sehr gut Gut Befriedigend Gen gend Nicht gen gend 5 8 Beiniedigend Gen gend 7 E Schr gut r r r w s Nicht gen gend Gut u Befriedigend Der Hinweis auf denkbare akustische n Gen gend Nicht gen gend Sicherheitssysteme wurde vom Pflegepersonal extrem positiv bewertet Auch wenn Systeme mit einer derartigen Komplexit t im Rahmen dieses Projektes nicht bearbeitet werden k nnen so k nnte dieser Wunsch trotzdem Grundlage f r darauf aufbauende Forschungsprojekte darstellen 2 3 5 2 5 Einsch tzung Kontakt Klienten und Familie Sehr gut 3 Gut 4 Befriedigend 5 7 Subjektive Einsch tzung des Kontaktes der Gen gend 1 Bewohner mit Freunden Kindern Familie Nicht gen gend 0 a ro Der Kontakt der Bewohner mit Freunden w Schr gut Kindern und Familie wurde vom Personal als eier A S u Befriedigend Durchschnittlich bewertet E Gen gend m Nicht gen gend 2 3 5 2 6 Einsch tzung Kontakt Klienten und Betreuer Subjektive Einsch tzung der Kommunikation sehr gut 6 zwischen Bewohnern und Betreuern Gen g
178. neriertes Lexikon das auf den Transkriptionen bestehender Sprachaufnahmen basiert Dazu wurde ein weiteres Bash Skript geschrieben play sh das Aufnahmen Beispiele von dem als Parameter bergebenen Wort aus dem Korpus herraussucht und abspielt So konnte das ganze Lexikon anhand der gesammelten Aufnahmen komfortabel und effizient erstellt werden Aufruf play sh lt Samples gt lt Word gt 13 4 Anhang Software Entwicklung 13 4 1 Screenshots XBMC Skins Hauptmen Donnerstag 31 M rz 2011 11 32 Uhr 2 0 e A Tweter 2 Bider Jvideos D Femseher 3 Dronen reieton Benal 2 Funktion Bilder 1 Funktion Wetter d Bilder Watter Graz Austria Sprachbefehle hoch aec miedngise Sprachbetehie ZUR CK teilweise Bier En RAUF 1 5 o C RUNTER hoch 19C KREE HINAUF EE HINUNTER teilweise wolkig ess ZUR CK hoch 20 C niedrig SC Ee E Get hlt 15 C weitgehend sonnig wen Stopp pao Taupunkt sc Feuchtigkeit 51 uv wen 4 mMa ig hoch 21 niedrig Se Wind Von W mit 8 kmh sonnig Simon schlafen Simon aufwachen 139 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Videos TV K fr nintendo themes Sprachbefehle RAUF NER tony royster junior HINAUF HINUNTER D OK ukelele weeps ZUR CK a Wushu Shaolin Kung Fu Tai Chi Quan 48 Form Simon schlafen Simon aufwachen 5 Funktion Fernsehn Vide
179. ngerer Inaktivit t wird das Trainingsintro wieder angezeigt Da bei diesem Training eine gute Erkennungsrate besonders wichtig ist bietet sich eine kontext abh ngige Erkennung hier an Weitere Experimente mit den vorhandenen Akustikmodellen und deren Erkennungsraten sind aber noch ausst ndig Mock ups des Trainingsintros 5 Zur ck S Willkommen Gratulation Hier ist Simon Sie k nnen mit mir Fernsehen Sie haben soeben ein Sprach Musikh ren das Wetter abfragen und mehr kommando ausgel st Statt Tasten auf der Fernbedienung zu dr cken Sprachkommandos l sen Aktionen k nnen Sie mit mir sprechen aus wenn sie ausgesprochen werden Sie sind immer blau geschrieben Reden Sie dazu einfach in das Mikrofon vor ihnen ER In der Leiste links finden Sie Sagen Sie Weiter um fortzufahren Kommandos die Sie sagen k nnen Weiter Fahren Sie wieder mit Weiter fort 1 Zur ck Zur ck Zahlen Fertig Manchmal m ssen Sie statt der Herzlichen Gl ckwunsch Sie haben Funktion selbst auch eine das Training abgeschlossen zugeordnete Zahl sagen Sie s erkennen das daran dass nur die F r weitere Fragen steht Ihnen Frau Zahl blau ist Schreibmaier gerne zur Verf gung Um fortzufahren achten Sie auf die Leiste links Erkennen Sie das blaue Sprachkommando um weiter zu gehen Auf dieser Seite sagen Sie zum Beispiel Zwei um fortzufahren Wenn Sie diese Einf hrung das n chste Mal berspringen wollen k n
180. nlichkeit gro ist das eine bessere Stabilit t gegeben sein wird Genaue Praxistests und weitere Einschulungen w ren im September noch erforderlich Aufgrund der geringen Belastbarkeit des Probanden ist die gute Kooperation mit seiner Frau die jeweils Dienstag und Donnerstag zur Verf gung steht sehr wesentlich 10 Wissenschaftliche Begleitung 10 1 Wissenschaftliche Begleitung durch DI Stefan Petrik Die wissenschaftliche Begleitung durch DI Stefan Petrik vom Institut f r Signalverarbeitung und Sprachkommunikation der Technischen Universit t Graz erfolgte auf zwei verschiedene Arten 98 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 10 1 1 Regelm ige monatliche Teamsitzungen der wissenschaftlichen Begleitung Im Rahmen der regelm ssigen zum Gro teil monatlichen Sitzungen wurden die verschiedenen Aspekte des Projektes reflektiert grunds tzliche berlegungen angestellt und die bevorstehenden Arbeitsprozesse geplant Schwerpunkte dieser Arbeitsprozesse bestanden aus folgenden Bereichen e Unterst tzung beim Reporting e Gemeinsame Erarbeitung des aufzunehmenden Wortschatzes e Planung und Vorbereitung des Aufnahmeprozesses f r das generelle Sprachmodell f r Senioren e Unterst tzung bei der Sprachmodellierung e Unterst tzung bei den adaptierten Sprachmodellen e Beratung im Bereich der Mehrmikrofonl sung e _Anwendunsgsorientierte Beratung Keyword Spotting verschie
181. nnvolle M glichkeiten gemeinsam mit den Endusern erarbeitet werden z B Auswahl eines eigenen Fotos und danach simple Passworteingabe AP_08 Detailkonzept zu Sprachpaketen und Aufnahme 10 Arbeitstage Mitarbeiter MS 10 Partner KFU HTL Die Ergebnisse der Vorbereitungsphase zum Thema Sprachpakete sollen als Basis f r eine Detailkonzeption herangezogen werden um einen genauen berblick zu erhalten um inhaltliche Richtungen unter Ber cksichtigung der zeitlichen Komponenten festzulegen Weiters wird hier ein Konzept zur Aufnahme Planung gemeinsam mit den genannten Partnern erarbeitet um zu den wichtigen Sprachdaten zu gelangen AP_09 Detailkonzept zu den Hardware Komponenten 5 Arbeitstage Mitarbeiter MS 2 5 FS 2 5 Partner keine Anhand der Ergebnisse von Phase 1 zum Thema Hardware soll in diesem Arbeitspaket ein Detailkonzept entstehen das unter Ber cksichtigung der Bed rfnisse der End User L sungen enth lt die bei den Zielpersonen und Institutionen zum Einsatz kommen sollen AP 10 Konzeption des Gesamt Softwarepaketes 10 Arbeitstage Mitarbeiter FS 2 5 MS 2 5 PG 2 5 AB 2 5 Partner keine Unter Ber cksichtigung der Themen End User Bedarfserhebung Sprachpakete Aufnahme 175 Programm benefit Planung Framework Login oder Sicherheit allgemein und Hardware soll ein technisches Gesamtkonzept f r die Umsetzung der n tigen
182. nte man die einzelnen Buchstaben nicht richtig einlernen Mit dem Begriff einlernen ist gemeint man muss dem Programm eine Vorlage geben mit der immer verglichen wird Nachdem der Versuch mit dem T Shirt Schriftzug fehlgeschlagen ist nahmen wir eine V slauer Mineralwasserflasche und versuchten den V slauer Schriftzug zu erkennen Das Einlernen der Buchstaben hat gut funktioniert aber in der automatisch ablaufenden Inspektion hat das Erkennen der Buchstaben nicht mehr richtig funktioniert da aufgrund der Schriftart die Strichst rke an manchen Stellen zu d nn ist So wird zum Beispiel ein N als V eingelesen Ein weiteres Problem war dass die Schrift durch die W lbung der Flasche noch verzerrt war Auf dessen hin haben wir uns entschlossen in Word die W rter TOM TAILOR und V SLAUER mit gr erem Zeichenabstand und gut lesbarer Schrift auszudrucken und vor die Kamera zu halten Das hat dann soweit immer funktioniert sofern das Blatt Papier in einem gewissen Abstand zur Kamera gehalten wurde Dieses Problem mit dem Abstand wurde aber schlie lich auch noch gel st indem wir f r jeden Buchstaben verschiedene Vorlagen mit unterschiedlichen Abst nden eingestellt haben 13 5 1 26 Konfiguration einer Kommunikationsschnittstelle zu anderen Programmen Nachdem wir die wichtigsten Funktionen von NI Vision Builder durch unterschiedliche bungen selbst angewendet haben haben wir uns nun dem Problem gewidmet wie wir Dat
183. nter Netzwerk Bl Server den folgenden Punkt anpassen Erlaube Kontrolle von XBMC ber HTTP anhaken 78 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 e Die Datei sources xml von Benefit Ubuntu 10 10 Installationsdateien home simon xbmc userdata in den Ordner xbme userdata kopieren e Alle Dateien exklusive Verzeichnisse von Benefit Ubuntu 10 10Installationsdateien home simon in den Ordner kopieren H RSS Client installieren o Unter https github com pieh pieh xbmc addons die Version 1 0 3 vom script rssclient standalone runterladen o Im Confluence Skin bei XBMC im Men System D Add ons A Aus ZIP Datei installieren w hlen o Die vorhin runtergeladene ZIP Datei ausw hlen o Unter Add ons den RSS Client aktivieren und wenn gew nscht die Option Extract images from HTML tags in der Konfiguration ausw hlen o Die Datei Benefit Ubuntu 10 10 Installationsdateien xbmc addons script rssclient standalone ressources skins default 720p script rssclient standalone main xm in den folgenden Ordner kopieren und die dortige Datei ersetzen xbme addons script rssclient standalone ressources skins default 720p 7 1 8 TV Treiber installieren 1 Die Treiber Dateien vom Ordner Data Projekte Benefit 2010 2011 Treiber WinTV Analog Treiber f r Linux des simon Servers auf den Zo
184. nz erg nzt um den Zugang ebenfalls f r Senioren mit Sehproblemen zu optimieren AP_02 bis AP_16 siehe 1 Zwischenbericht Im Bereich des AP_16 entstand ein eigenes Diplomarbeitsprojekt mit 4 Sch lern der HTL Kaindorf die konkret einen verbal steuerbaren Getr nkemischroboter programmiert haben AP_17 bis AP 27 Erg nzend zum ersten Zwischenbericht ist hier zu erw hnen dass die Arbeitspakete wie AP_21 wie Druckm glichkeit und AP_07 optimal Loginm glichkeit aufgrund fehlenden Bedarfes seitens der Zielgruppe nicht umgesetzt wurden Die Arbeitspakete AP_22 Sprachtagebuch sowie AP_24 Integrierte Hilfe aufgrund mangelnder zeitlicher Ressourcen nicht umgesetzt wurden und die Bereiche AP_25 bis AP_27 nur in Ans tzen im Rahmen des in Erstellung befindlichen umfassenden Sachberichtes erstellt wurden vor allem da die praktische Implementierung der L sungen relativ gro e zeitliche Ressourcen beansprucht hat AP_28 bis AP_31 Installation der Hard und Softwarel sungen und Einschulung der Betreuer und End User Wie bereits erw hnt wurden 2 ffentliche und 4 individuelle Stationen installiert und in Betrieb genommen Im Bereich der Installation kam es zu gro en Problemen bei der Integration der L sungen in das lokale Umfeld Das betrifft vor allem die Internetanbindung erforderlich f r skype den Kalender die RSS Feeds und Internetseiten und ebenfalls die TV Anbindung die je nach Institution und Proband unterschiedliche Anforderungen an d
185. o wie die Anbindung ans Internet und ans interne Netzwerk Home L sung Beschreibung der Grafik Freunde und Verwandte 53 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Der blaue Bereich ist bei der Home L sung als Schnittstelle des Datenaustauschs mit Verwandten und Freunden dargestellt Neben dem Senden bzw Raufladen von Bildern bers Internet in den Speicherbereich des Zotac Computers vom End User soll auch die Video Telefonie ein wichtiger Aspekt sein End User Da es anders als bei der Institut L sung in der Regel keine Netzwerkumgebung gibt wird das Administrationstools simba lokal am Zotac Computer installiert werden und muss auch von dort administriert werden Der Rest ist ident mit der Institut L sung 6 4 1 Login Methode Auch bei dem Verfahren des Logins f r individuelle Funktionsmodule im ffentlichen Umfeld wurde nach einer Evaluationsphase eine Teamentscheidung getroffen Da aufgrund der Bed rfniserhebungen klar war dass aufgrund der EDV Kennntisse der Zielgruppe eine individualisierte ffentliche Station nicht funktionieren wird wurde von der Entwicklung dieses Bereiches Abstand genommen 6 4 2 Modul Beschreibung Nachfolgend werden die einzelnen Module im Detail beschrieben Um das Prototyping so effizient wie m glich zu machen werden auch zu jedem Modul m glicherweise noch nicht vorhandene Logging Methoden erg nzt und aktiviert Somit la
186. ojektes vereinen und zusammenfassen zu k nnen Wir haben wir uns bei der Konzeption f r zwei Szenarien entschieden e Zum einen soll eine netzwerkf hige Institut L sung implementiert werden die eine zentrale Administration der einzelnen Probanden sowie deren zugeh rigen Bewegungsdaten Termine Media Dateien erm glicht Die ffentliche Station der Institut L sung wird in diesem Kapitel nicht extra behandelt da es sich lediglich um eine eingeschr nkte Version der pers nlichen Institut L sung handelt abgesehen von der Signalverarbeitung Mikrofon L sung e Zum anderen soll auch eine dezentrale Home L sung daraus resultieren die entweder komplett wartungsfrei mit eingeschr nkten Modulen funktioniert oder von eingeschulten Verwandten Bekannten oder gar vom Probanden selbst zuhause administriert werden kann Die nachfolgenden bersichten sollen den technischen Aspekt der beiden beschriebenen L sungen darstellen Das hier beschriebene Administrationswerkzeug simba wurde aus Zeitmangel nicht umgesetzt Institut L sung pers nlich Panic Button Beschreibung der Grafik Administration Freunde und Verwandte Der blaue Bereich stellt den administrativen Teil sowie die Schnittstelle des Datenaustauschs mit Verwandten und Freunden dar 52 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Bei der Institut L sung gehen wir von einer Netzwerkumgebung aus
187. om Institut f r die Signalverarbeitung und Sprachkommunikation der Technischen Universit t Graz siehe Vorkapitel in einer nat rlichen Umgebung Wir verwendeten stabile simon 0 3 Version und ein vorkompiliertes allgemeines Modell bp __rr_huh_hug_hus _ada_adc_add_shh_shg_shs__2010_09_09 Wir verwendeten eine ausgew hlte Liste von W rtern f r die Erkennung Diese Liste enthielt 99 vorausgew hlte W rter 20 davon erkannte simon perfekt Der Aufbau des Testsets Getestet wurde es mit einem Sennheiser PC 36 USB Headset die Testperson sprach 5 mal 99 W rter und dokumentierte die Erkennungsrate Die ausgew hlten 20 W rter hatten immer eine Erkennungsrate von 100 4 4 2 Umgebung Wir haben die Mikrofone in einer kontrollierten Umgebung unter m glichen Endbenutzer Bedingungen gepr ft Die Umgebung war eine normale Wohnung mit Standardm beln wie Fernseher Couch usw 4 4 3 Testobjekte Das T BONE TB312S Schwanenhalsmikrofon Sony ECM MS907 Sony ECM CZ10 33 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 SAMSON CM12C H ngemikrofon Sennheiser PC 36 USB Headset Samson UB1 Accoustic Magic THE T BONE drahtlose Mikrofon System THE T BONE TWS 16PT 854MHZ DER T BONE LC97 TWS Ziele Die Hauptziele dieser Tests waren ein Gef hl zu f r die einzelnen Mikrofone zu entwickeln um sie in verschiedenen Zonen der Kommunikation verwenden zu k nnen Deshalb machten wir Test
188. oren Projektnr 825883 Sys Ich rufe jetzt Syn Individualisierung V2 Ich rufe jetzt das Pflegepersonal eine Pflegerin 3 User nein Sys Ich werde Dich in 30 Minuten wieder V2 In 10 Minuten werde ich dich noch einmal an an die Abendhyeiene K rperpflege die K rperpflege erinnern erinnern V3 Die K rperpflege ist wichtig In 10 Minuten erinnere ich dich daran noch einmal c Erinnerung an die Einnahme von Medikamenten Kommunikationsdefinition Bestimmend auffordernd Stimme Denkbar m nnlich eventuell bekannte Stimme des Chefpflegers Optische Aufl sung Arztfoto Turn DP Text Versionen 1 Sys Hallo hier ist simon Syn V2 Der Arzt hat dir Medikamente verschrieben Individualisierung Hast Du sie schon eingenommen Es ist Syn 9 00 UHR V3 Ich m chte Dich Deine Medikamente erinnern Ich m chte Dich an die Einnahme Hast du sie schon eingenommen Deiner Medikamente erinnern Hast Du sie schon eingenommen Bitte antworte mit ja oder nein User ja Sys Danke ich finde es gut dass Du daran V2 Danke es ist gut dass du das schon gemacht gedacht hast hast V2 Ich freue mich dass du dich daran erinnert hast 2 User nein Sys Bitte nimm die Medikamente jetzt ein V2 Die Medikamente sind wichtig f r dich Bitte Du wei t es ist sehr wichtig f r Dich nimm sie jetzt ein In 10 Minuten melde ich noch Ich werde Dich in 10 Minuten noch einmal und erinnere di
189. os TV K Sprachbefehle RAUF RUNTER HINAUF nintendo themes tony royster junior HINUNTER DK ZUR CK 2 ukelele weeps Wushu Shaolin Kung Fu Tai Chi Quan 48 Form Simon schlafen Simon aufwachen 6 1 Funktion Schlagzeilen Schlagzeilen Amautovic steht vor dem Rauswurf aus dem FB Team d Amautovic steht vor dem Rauswurf Sprachbefehle aus dem FB Team LINKS RECHTS ZUR CK Millionenbetrug mit Schrott Euros in Deutschland Deutsche Ermittler sind einem Riesenbetrug mit verschrotteten Euro M nzen auf die Spur gekommen Insgesamt wurden 29 Tonnen M nz Altmetall der deutschen Bundesbank von den Betr gern wieder zu Geld gemacht Die Teile wurden nach China gebracht dort von Billigarbeitern zusammengesetzt und von Stewardessen der Lufthansa wieder zur ck nach Deutschland geschmuggelt Dort hat die chinesische Bande das nun nur noch schadhafte Geld bei der Bundesbank in Scheine getauscht und so insgesamt sechs Millionen Euro umgesetzt 7 Funktion Telefon Telefon em Stieger Z mathias Stie Ikontakt 3 T Sprachbefehle EINE ZAHL ZUR CK e kontakt 4 ee dh dh Bkonakt 8 D kontakt 5 Oronak 6 Tronar ze A Sprachbefehle RAUF RUNTER HINAUF HINUNTER oK STOPP LAUTER LEISER ZUR CK Simon schlafen Simon aufwachen a inii Sprachbefehle EINE ZAHL ZUR CK Musik 000 timbaland present_shock_value_ deluxe_edition 100 timbaland present_shock_valu
190. r nden nicht teilnehmen konnte entschieden wir uns bei ihr das generelle Sprachmodell auf einer individuellen Station zu testen 5 5 2 Individuelle Sprachmodelle 5 5 2 1 Proband02Humanitas Das Sprachmodell f r Proband02Humanitas ist das generelle Sprachmodell welches mit zus tzlichen Sprachaufnahmen adaptiert wurde Hierf r wurden extra Aufnahmeeinheiten mit ProbandO2Humanitas eingelegt 5 5 2 2 Proband03Humanitas Das Sprachmodell f r Proband0O3Humanitas ist das generelle Sprachmodell welches mit zus tzlichen Sprachaufnahmen adaptiert wurde Hierf r wurden extra Aufnahmeeinheiten mit ProbandO3Humanitas eingelegt 5 5 2 3 ProbandO2Leutschach Hierf r war aufgrund der sehr schlechten Aussprache mehr Aufwand erforderlich da nicht alle W rter abgedeckt werden konnten Somit musste der Wortschatz verkleinert werden und das Interface auf die geringere Wortanzahl angepasst werden Zus tzlich zum Wortschatz wurde auch das Lexikon speziell f r ProbandO2Leutschach angepasst was die Erkennungsrate nochmal deutlich steigen lie 44 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 6 Software Entwicklung 6 1 Simon Stabilisierung Da es sich bei der verwendeten Software um eine Entwicklungsversion handelte war der erste Schritt eine weitgehende Stabilisierung des Programmes Einige Zeit wurde investiert um mit strukturierten Tests Probleme der Software offenzulegen und
191. r Modelltyp von MFCC_D_N_Z O0 auf MFCC_D_A_0O ge ndert und damit die Anzahl der ber cksichtigten Features von 25 auf 39 erh ht Auch diese nderung brachte eine signifikant h here Erkennungsrate mit sich 6 1 5 Basismodelle Damit die so generierten Modelle der Sprachdaten auch in simon verwendet werden k nnen wurde Unterst tzung f r Basismodelle eingef hrt So kann simon 0 3 fertige Modelle direkt verwenden diese noch an den Sprecher adaptieren statische Adaption oder wie in simon 0 2 das Modell individuell f r den Benutzer kreieren Durch die Unterst tzung f r statische Basismodelle k nnen nun allgemeine Anwendungen wie eine ffentliche Station ohne vorhergehendes Training umgesetzt werden 6 1 6 Zusammenfassung Die Entscheidung die Entwicklerversion der simon Spracherkennungssoftware zu verwenden erwies sich als eine gute Wahl Die notwendigen Erweiterungen waren schnell und effizient umzusetzen und nach der vorhergehenden Stabilisierungsphase erwies sich das Framework als stabil und zuverl ssig Durch die Entwicklung als freie Software lassen sich auch die weiteren notwendigen nderungen leicht einpflegen und die erstellte L sung kann als zukunftssicher angesehen werden 6 2 Simon Weiterentwicklung Im Rahmen des Benefit Projektes musste simon um eine Vielzahl von Funktionen erweitert werden Dieses Dokument bietet einen groben berblick um die neuen Funktionalit ten die entwickelt wurden und in simon
192. r auf Sequitur G2P Sequitur G2P ist ein Graphem to Phonem Konverter der versucht die Aussprache eines Wortes in geschriebener Form zu finden und wurde als Open Source Software entwickelt http www i6 informatik rwth aachen de web Software g2p html Hierzu wurde zuallererst mit dem HADI BOMP ein G2P Kompatibles Phonemlexikon erstellt indem wir Sequitur G2P insgesamt f nfmal mit dem HADI BOMP Lexikon trainiert hatten Mit dem so erstellten Modell wurde zuerst versucht das HADI BOMP Lexikon zu transkribieren um die Qualit t festzustellen Da sich diese als hervorragend herausgestellt hat wurden auch im Lexikon unbekannte W rter getestet und wieder kamen ausgezeichnete Ergebnisse heraus Fazit Die Erstellung eines Graphem zu Phonem Modells erm glicht es uns nun jedes ben tigte Wort schnell und verl sslich zu transkribieren Des Weiteren sind s mtliche Transkriptionen mit dem HADI BOMP Lexikon kompatibel 103 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 11 4 Projekt Getr nkemischroboter Im Zuge des Arbeitspaketes Schnittstelle zu mechanischen Ger ten wurde ein Teilprojekt mit einem 4 k pfigen Projektteam der HTBLA Kaindorf Sulm initiiert Als Thema wurde der Titel Getr nkemisch Roboter gew hlt da damit gezielt definierte Szenarien umgesetzt werden k nnen und ein Roboter Arm der Firma Mitsubishi in der HTBLA zur Verf gung steht N here Informationen finden Sie im An
193. r besteht aus 110 W rtern und ins 3 Testi 1 gesamt 110 Aussprachen durdschnittlich 1 00 B1 Experiment 2 Aussprachen pro Wort e S Es wird das BOMP W rterbuch verwendet Feh TE HUH GMMO 2 lende W rter wurden manuell hinzugef gt TE HUH_GMMI TE DCH GMM 2 2 3 Grammatik a Interne Identifikation der Grammatik TEHUHGMM3 2 GR BASIC Zt LE ELENA 2 Die Grammatik verwendet nur einen Terminal TE DCH GMM32 2 s iar AEGAN 2 Es werden nur Einzelwort SS tze rlabut lt gt 2 4 Trainingsdaten a gt F r die Integration mit den von ssc aufgenommen Samples wurde eine Vielzahl von Bash Skripten entwickelt die den Import und einige Vorverarbeitungsschritte bernehmen Um das Vergleichen der Ergebnisse mit anderen Korpora zu vereinfachen wurden au erdem in Koordination mit dem Institut f r Signalverarbeitung der TU Graz Standard Metriken umgesetzt So beherrscht sam jetzt auch die Analyse von word error rates WER insertion errors deletion errors substitution errors und die Kalkulation des word accuracy scores 11 3 Sequitur Entwicklung Da wir als Basis das HADI BOMP Lexikon der Universit t Bonn verwenden waren wir erst auf den vorhandenen Wortschatz des Lexikons angewiesen Da sich in diesem jedoch nur deutsche W rter befinden und einige sterreichische Versionen nicht vorhanden waren mussten wir uns berlegen wie wir diese zum HADI BOMP Lexikon kompatibel transkribieren In Laufe der Recherchen kamen wi
194. r den Einsatz sowohl im institutionellen Pflegeheimen ffentlichem ffentliche Stationen in Altersheimen und Wohngemeinschaften und individuellem Bereich Smart Homes etc e Definition Aufbereitung und Erarbeitung eines Akustisches Sprachmodells um die Anwendung des generalisierbaren Anwendungsszenario ohne Training m glich zu machen inklusive Einbau einer individuellen Trainingsm glichkeit bei massiven Sprachproblemen e Kl rung und Definition m glichst kosteng nstiger technischer L sungen im institutionellen ffentlichen und privatem Bereich e Praktische Implementierung und Erprobung der L sungen im praktischen Umfeld der Projektpartner e Ver ffentlichung der Ergebnisse Konkrete vorstellbare Szenariobeschreibung Ein an einem Computer angeschlossener und mit Mikrofon versehener Fernseher startet mit dem generalisieten Framework welches grafisch dargestellt folgende Auswahlpunkte anbietet TV Filme Zeitungen Musik Telefon Jeder dieser Men punkte ist mit einer Zahl versehen Durch Artikulation der Zahl Eins zum Beispiel wird eine Liste 168 Programm benefit der TV Sender ge ffnet und mit einfachen Begriffen wie rauf runter links rechts ok kann man durch die Programme zappen Komplex B Individualisierter Einsatz e Definition und Kl rung in Kooperation mit Projektpartnern von individuellen Anwendungsf llen zur Verbesserung der Kommunikation Sicherheit und Betreuung lterer
195. rbeiter AB 26 5 Partner keine Das Stationsframework das Herz der Gesamt Softwarel sung soll anhand einer evaluierten bestehende Teil L sung an unsere Bed rfnisse angepasst werden bzw bei erfolgloser Recherche eigens nach den Bed rfnissen der End User implementiert werden Die folgenden Arbeitspakete der Phase 4 Umsetzung wurden anhand von bereits erarbeiteten Anwendungsbereichen und W nschen der End User konzipiert Wie im Arbeitspaket der Hypothesen berpr fung beschrieben kann es speziell in diesem Bereich zu Adaptionen der Programmteile kommen und somit zu Adaptionen der Arbeitspakete AP_18 Medienportal 10 Arbeitstage Mitarbeiter AB 10 Partner keine Ein Medienportal mit den Funktionen TV Video Musik und Fotos soll mittels Sprach und Ber hrungssteuerung in die Stationssoftware integriert werden Zu ber cksichtigen sind hierbei folgende Faktoren Em Betreuer Administrator muss gewisse Einstellungsm glichkeiten vornehmen k nnen Definition der Videos Definition der TV Sender Definition der Musik Definition der Fotos Auf Serverseite muss ber cksichtigt werden dass sowohl unter ffentlichen Stationen als auch unter individuellen unterschiedliche Datenquellen m glich sein k nnen D h dass auf individuellen Stationen andere Videos TV Sender etc gew hlt werden k nnen als auf anderen 176 Programm benefit individuellen bzw ffent
196. robleme und Risiken des Projekts soferne zutreffend 170 2 1 4 Vorgeschlagene L sung oder Herangehenswese nn 171 2 2 Arbeitsplan und Projektmanagement max 6 Seiten ueenenseseennnnnnnennnnnnnnnnnnnnnennnn nenn 173 2 2 1 Zeitplan und Meilensteine f r das gesamte PDroiekt A 173 2 2 2 Detailierte Beschreibung der einzelnen Arbeispakete nen 174 2 2 3 Detaillierte Beschreibung der einzelnen Arbeitspakete nsnssssssnennenesssrrnnnnnssrern nnn 181 2 2 4 Qualifikation der f r die Durchf hrung des Projekts vorgesehenen Personen 181 3 Relevanz des Vorhabens max 4 Seiten AE 182 31 Relevanz T r die Progfammeiele n n sen ea ah 182 3 1 1 Partizipative Verfahren Grad der Interdisziplinarit t 0 nnnnssnnneennae eeen ae neen ne neern eena 182 L2 Eikische Aspekte EE 183 1 3 Verbesserung des Forschungsumielde nennen 184 14 Relevanz f r das Programm beneilt nesenenenn een 184 4 Konsortium und Projektibeteili te nn 185 4 1 Informationen zu den Projektbeteiligten sssseesssresssrnesssnnssrenneernnneneenneennnnentnnneennnnnnnennee 185 4 1 1 Antragsteller max EC een aaa 185 4 1 2 Projektpartner SPSC der TU Graz falls zutreffend pro Partner max 1 Seite 186 4 1 3 Projektpartner KFU Forschungsstelle Osterreichisches Deutsch falls zutreffend pro Belinda RE 186 4 1 4 Projektpartner HTBLA Kaindorf Sulm falls zutreffend pro Partner max 1
197. rung SAM simon acoustic modeller berpr ft wurde und nachdem es ein positives Ergebnis gab dieser Faktor ausgeschlossen werden konnte 10 1 2 4 Spracherkennung aus der Distanz zuk nftige Schwerpunktsetzung Speziell durch die Beratung der TU Graz er ffnete sich im Bereich der Spracherkennung der Bedarf speziell f r diese Zielgruppe jedoch auch f r wesentliche konomische zuk nftige L sungen wie Raumsteuerung Robotersteuerung etc sich mit der Spracherkennung aus der Distanz zu besch ftigen Dieser Bereich und zuk nftige simon Anpassungen wie das Management von verschiedenen Sprachmodellen Umgang mit verschiedenen Mikrofon Inputs Management verschiedenster Kommunikationszonen und Integration von tools der k nstlichen Intelligenz werden die Forschungsthemen der Zukunft im Bereich der Spracherkennung sein Ebenfalls dieser Bereich wurde bis zu einem gewissen Grad zur zuk nftigen Forschungsschwerpunktsetzung des Institutes f r Signalverarbeitung und Sprachkommunikation der TU Graz erkoren und wird viele Projektthemen der Zukunft bestimmen 10 2 Wissenschaftliche Begleitung durch Prof Muhr von der Forschungsstelle sterreichisches Deutsch der Karl Franzens Universit t Prof Muhr beteiligte sich aktiv an vielen der regelm ssigen zum Gro teil monatlichen Sitzungen der wissenschaftlichen Begleitung in denen die verschiedenen Aspekte des Projektes reflektiert 100 BENEFIT simon Sprachsteuerung von IKT Anwendungen
198. rung von IKT Anwendungen f r Senioren Projektnr 825883 5 4 1 2 S tze Da die W rter nicht die gesamte Phonetik der deutschen Sprache abdeckt wurden in Zusammenarbeit mit dem SPSC der Technischen Universit t Graz Satzbausteine entwickelt welche eben jenes erreichen sollen Insgesamt entstanden 100 Bausteine mit je 24 kurzen S tzen 5 4 1 3 Vorbereitung Server F r die Aufnahmen mit mehreren Aufnahmeteams muss ein Server zur Verf gung gestellt werden zu den alle Aufnahmen gesendet werden Die Erfordernisse hierf r sollten folgende sein e Ausreichend Speicherplatz f r eine gro e Menge an Daten e Verbingung zum Internet um die Daten dar ber auf den Server stellen zu k nnen e Standort B ro von simon listens da wir aufgrund der Datenmenge im internen Netzwerk zur Datenmodellierung und Sprachpaketerstellung darauf zugreifen m ssen 5 4 1 4 SSC und Vorbereitung der Mehrmikrofonl sung Um eine reibungslose Aufnahme zu erm glichen muss die Aufnahmesoftware SSC folgendes k nnen e Daten bertragung bers Netzwerk o Entsprechende Fallbackl sung sollte keine Internetverbindung m glich sein e Speicherung der aufnahmerelevanten Informationen wie Aufnahmemikrofone Hardware etc 5 4 1 5 Schulung des Aufnahmeteams Das Aufnahmeteam muss in die Nutzung von ssc und in die Handhabung der Hardware eingeschult werden Dies wird vorl ufig in R umen der HTBLA Kaindorf passieren da die Sch ler dadurch das Schulgel n
199. s soferne zutreffend An technischen Problemen die im Rahmen dieses Projektes erforscht werden m ssen sind folgende Fragestellungen zu kl ren 170 Programm benefit 1 Istes m glich ein Sprachmodell lterer Menschen f r den generalisierten Einsatz zu erstellen 2 Wie kann die Dialogsteuerung mittels simon f r Tools wie Medikamenten Erinnerungen implementiert werden 3 Welchen Einfluss haben Nebenger usche bei im Raum verteilten Mikrofonen auf die Spracherkennung und Sicherheitsl sungen und wie kann man sie minimieren oder beseitigen 4 Erforschung einer technischen L sung f r den Einsatz von mehreren in verschiedenen R umen verteilten Mikrofonen 13 6 2 1 4 Vorgeschlagene L sung oder Herangehensweise Die erfolgreiche Durchf hrung des Projektes soll mittels Umsetzung folgender Projektphasen sichergestellt werden 1 Vorbereitungsphase mit Kl rung folgender Fragestellungen e Recherche Hard und Software e Bed rfniserhebung mit Zielpersonen und Zielinstitutionen e berpr fung und Erg nzung der in diesem Konzept genannten Hypothesen 2 Konzeptionsphase e Detailkonzeption der Ergebnisse der Vorbereitungsphase e Detailkonzeption der Anwendungsszenarien e Detailkonzeption der technischen Projektbereiche Softwarel sungen Hardwarel sungen etc 3 Prototyping e Erstellung von Prototypen e Praxistests mit Hardwarekomponenten und Softwareprototypen e Praxistests mit End Usern e Sprachpaketerstellung 4 Implemen
200. s Fortschrittsanzeige e Mit dem Sprachbefehl Abbrechen wird das Fenster wieder geschlossen e _Anwendungsf lle f r den Notfall Knopf e Die Lautst rke z B beim Musikh ren Video schauen wurde zu hoch gesetzt sodass die Spracherkennung nicht mehr funktioniert In diesem Fall kann mit dem Notfall Knopf die Lautst rke gedrosselt werden und danach normal weitergemacht werden e Ein unerwarteter Fehler ist aufgetreten sodass ein Neustart des Gesamtsystems erforderlich ist Dies k nnte sein o Internetverbindung geht verloren o Spracherkennung funktioniert nicht mehr o Unerwarteter Systemfehler 6 6 Dialogsteuerung 6 6 1 simons Dialogsystem F r die geplante interaktive Erinnerungsfunktion ben tigten wir eine M glichkeit proaktive Dialoge mit dem Benutzer zu f hren Die Dialoge sollen mehrere Pfade untersch tzen die der Benutzer mit unterschiedlichen Antworten ausw hlt 6 6 2 Umsetzung simons Dialogsystem wurde als Kommandoplugin realisiert Prinzipiell kann von einem endlichen Automaten gesprochen werden Jeder Dialog besteht prinzipiell aus einigen Kernkomponenten 6 6 2 1 Zust nden Jeder Zustand besteht intern aus Text Der aktuelle Dialogtext Jeder Zustand kann mehrere bevorzugt sinngleiche Texte besitzen um dem Dialog einen nat rlicheren Fluss zu verleihen Dialogtexte k nnen gebundene Werte und Templates verwenden siehe unten Avatar Ein Zustand kann mit einem Avatar verkn pft s
201. s Mikrofon diente ein Sennheiser PC 26 USB Headset 5 1 2 Sprachaufnahmen f r die TU Graz Das Paket beinhaltet die Sprachaufnahmen von 2 weiblichen F001 und F002 und 2 m nnlichen M001 und M002 Klienten von simon listens die im Rahmen eines Projektes f r die TU Graz erstellt wurden 5 1 3 Voxforge Das Paket beinhaltet 18854 Sprachaufnahmen von diversen Sprechern und ist frei auf http www voxforge org erh ltlich Es wird unter der GPL ver ffentlicht und steht jedem frei zur Verf gung 5 1 4 ADABA Aussprachedatenbank Auszug von der Webseite der ADABA Aussprachedatenbank zum Inhalt e Die Modellaussprache von insgesamt 42 000 W rtern davon 12 964 W rter mit Audiofiles zum Anh ren e Insgesamt 75 964 Audiofiles die die Leseaussprache von jeweils einem m nnlichen und einem weiblichen Modellsprecher aus sterreich Deutschland und der Schweiz beinhalten Die Realisierungen der deutschen und schweizerischen SprecherInnen haben dabei die Funktion die Unterschiede in der Aussprache zwischen der sterreichischen deutschen und schweizerischen Norm h rbar und berpr fbar zu machen e Die Aussprache von 2 101 h ufigen sterreichischen Familiennamen e Die Aussprache aller 2 353 sterreichischen Gemeindenamen e Insgesamt 52 Texte von SprecherInnen unterschiedlicher Herkunft und Aussprache e Insgesamt 24 Texte die von den sechs Modellsprechern aus den drei deutschsprachigen L ndern realisiert wurden Gesamtl nge ca
202. s aus verschiedenen Entfernungen 30 Cm 100 Cm 300 Cm 400 Cm 500 Cm und lt 10 Cm und verschiedenen Winkel 0 45 und 90 4 4 4 Methode Die Testperson sprach die vorausgew hlten 20 W rter f nfmal und dokumentierte die Erkennungsrate Der Durchschnitt dieser Erkennungsrate war das Endresultat des Mikrofons in der angegebenen Entfernung und dem Winkel 4 4 5 Ergebnisse Ausf hrliche Ergebnisse siehe App 1 Ocm 30cm 100cm 200cm 300cm 400cm 500cm THE T BONE TB312S gooseneck microphone 0 81 53 88 63 75 54 THE T BONE TB312S gooseneck microphone 45 88 53 87 70 85 25 THE T BONE TB312S gooseneck microphone 90 91 61 86 58 85 51 Sony ECM MS907 Sony ECM CZ10 95 40 90 75 86 49 SAMSON CM12C hanging microphone 80 00 79 60 Sennheiser PC 36 USB Headset 100 00 Samson UB1 93 75 87 85 Acoustic Magic Samson Q1U 0 99 75 93 14 Samson Q1U 45 97 10 89 05 Samson Q1U 90 98 62 83 17 THE T BONE wireless microphone system 34 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 4 4 5 1 Bewertung der Mikrofone 4 4 5 1 1 Sony ECM MS907 Dieses Mikrofon hatte ernstes Problem mit der Spracherkennung und lieferte nur sehr schlechte Ergebnisse 4 4 5 1 2 Acoustic Magic Das Acoustic Magic Mikrofon Array ist ein amerikanisches Produkt Das bedeutet unterschiedliche Stromspann
203. s die Software NI Vision Builder Al kostenpflichtig ist haben wir uns dazu entschieden bei dieser zu bleiben da der Programmieraufwand mit Open CV zu gro w re um das zeitlich zu bew ltigen 13 5 1 27 Kommunikation zwischen den Programmen Autor HTBLA Projektteam 13 5 1 27 1 Die Idee Unser erster Gedanke war es die Informationen von den anderen Programmen in Dateien zu schreiben und gesammelt in einem Programm wieder aus dieser Datei auszulesen Diese erste Idee haben wir gleich verworfen als wir von Server Client Verbindungen erfahren haben Im Prinzip liefen unsere berlegungen dann darauf hinaus dass wir einen Client erschaffen der die Servermodule LabView und den Roboter miteinander verbindet Da unsere geplante Applikation ein Plugin von simon ist haben wir sowieso schon Zugriff auf die Spracherkennung und m ssen uns um diese Schnittstelle keine Gedanken mehr machen LabView bietet die M glichkeit via TCP IP seine verarbeiteten Daten mithilfe eines Tools zu verschicken dass in Programm selbst integriert ist der Roboter wird prinzipiell ber die TCP IP Schnittstelle angesprochen 157 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 13 5 1 27 2 Die Umsetzung Wie schon erw hnt agiert das Plugin f r simon als Client der sich auf die 2 Server h ngen und somit deren Daten verarbeiten kann 13 5 1 28 Entwicklung der mechanischen Konstruktion Autor HTBLA Projektteam
204. s in Kooperation mit Prof Muhr von der KFU erarbeiteten Wortschatzes mit Unterst tzung von Sch lern der HTBLA Kaindorf Durchf hrung von Tests f r die Modellierung Zeitung Simon au ifwachen EINE ZAHL ZUR CK 1 nachrichten Dissen Frechnik Arechnik KLEINE Lou ZEITUNG Zeitung EE Deene Zeitung Okronen Zeitung T stereich Beuropa aen D EE HINAUF HINUNTER oK E keltech strikes back ZUR CK 15 DVD abspielen Ei landon shfet erster Sprachmodelle auf der Basis von 3 Mikrofonaufnahmen Headset Schwanenhalsmikro und H ngemikro f r Personen die nicht mobil sind Konzeption eines Gesamtsoftwarepaketes und Anpassung des vorausgew hlten Frameworks XBMC f r die Erstellung einer ffentlich einsetzbaren Station in erster Linie mit Informationsangeboten und institutionellem Kalender zur Verwaltung von ffentlichen Terminen und Veranstaltungen x DS Die individuellen Stationen wurden zus tzlich mit individuellen ARE Anpassungen und der skype Funktion und der Integration der Se aN ER Dialogsteuerung und Sprachausgabe f r Jesse denen Zeng Zensen Erinnerungsfunktionen erweitert Das Design und die Se e e KE o5 Oronta ve T Kontakt 07 Bronte E 104 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Farbgestaltung wurde speziell einer optometrischen berpr fung unterzogen um die Gestaltung und durchgehende Farbkonstanz optimal auf die Sehdefizite von
205. ser schon getrunken Bitte antworte mit ja oder nein User ja Sys Danke ich finde es gut freue mich bin V2 Danke bin froh dass Du daran gedacht zufrieden dass Du daran gedacht hast hast V3 Danke sch n dass Du es schon gemacht hast 2 User nein Sys Bitte trinke jetzt ein Glas Syn Deinen V2 Bitte trinke jetzt ein Glas Syn Deinen Tee Tee Dein Wasser Du wei t es ist sehr Dein Wasser wichtig f r Dich du wirst es ap Deinem Es wird dir gut tun Hast Du noch genug Syn Wohlbefinden merken dass es dir gut Deinen Tee Dein Wasser tut Hast Du noch gen gend Syn Deinen Tee Dein Wasser Bitte antworte mit ja oder nein 3 User ja Sys Danke ich finde es gut dass Du so gut V2 Danke bin froh dass Du daran gedacht f r dich selber sorgst hast V3 Danke sch n dass Du es schon gemacht hast 4 User nein Sys Gut dann werde ich Syn V2 Ich werde der Pflegerin dann gleich Syn Individualisierung der Pflegerin mitteler Individualisierung sagen dass Sie Dir Syn sagen dass Sie Dir einen Krug Syn Tee Wasser ins Zimmer bringt Tee Wasser in Dein Zimmer bringt V3 Dann werde ich die Pflegerin bitten dass Sie Syn Tee Wasser ins Zimmer bringt e Erinnerung an Fr hst ck Kaffeezeit Mittagessen Abendessen Kommunikationsdefinition Fr hlich animierend motivierend Stimme Denkbar weiblich eventuell bekannte Stimme Optische Aufl sung Bild von beliebter Pf
206. simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 2 Bed rfniserhebung mit Zielpersonen und Institutionen Im Bereich der Bed rfniserhebung gibt es basierend auf dem Konzept 4 unterschiedliche Situationen zu bewerten und zu analysieren 2 1 Inhalte ffentlich Zug ngliche Station an der REHA Klinik Maria Theresia Bad Radkersburg Individuelle L sung Proband 01 in Leibnitz Individuelle L sung und Bed rfnisse Proband 02 Leutschach Institutionelle Netzwerkl sungen und Bed rfnisse Seniorenresidenz Humanitas Graz 2 2 Methoden F r die Durchf hrung der Recherchen wurden folgende Methoden angewandt e Interviews Vorort e Recherchen Vorort e Fragebogenerhebungen Senioren Humanitas e Fragebogenerhebung Pflegepersonal Humanitas e Sprachdatenerhebung im Vorfeld des Projektes im Rahmen der REHA Klinik Maria Theresia 2 3 Dokumentation 2 3 1 Ergebnis Recherche REHA Bad Radkersburg Zielgruppendefinition Im Rahmen einer Sprachdatenerhebung wurden 43 Personen der REHA Klinik Bad Radkersburg exemplarisch f r die in dieser Institution vertretene Zielgruppe mit folgenden Erkenntnissen erfasst 2 3 1 1 Allgemeine Daten Beruf Beruf Pensionisten 29 Berufst tig 14 Von den 43 Personen waren 29 Pensionisten und 14 in Beruf stehend u Pensionisten u Berufst tig BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883
207. sma data engine Bsp Einfache Uhrzeit Wetter etc 6 6 2 3 Templateoptionen In Dialogtexten k nnen alternative Textvarianten eingebaut werden die gem einer Templateoption ausgew hlt werden So kann z B eine formelle und eine informelle Formulierung aufgenommen werden zwischen denen dann zur Laufzeit aufgrund einer Templateoption ausgew hlt wird 6 6 2 4 Ausgabeoptionen Ein Dialog kann grafisch auf dem Bildschirm angezeigt werden oder ber das integrierte Sprachsynthesesystem TTS ber den Lautsprecher ausgegeben werden Das TTS System kann folgende Typen der Synthese verwenden e Speech Dispatcher ber Jovie e Beliebige Webservices mit WAV R ckgabe z B f r OpenMARY e Ein zuvor aufgenommenes Set von WAV Aufnahmen f r konkrete Dialoge k nnen importiert exportiert werden 64 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 6 6 3 Dialoge in Benefit Im Benefit Projekt waren eine Vielfalt von Dialogen angedacht Aufgrund des knappen Zeitrahmens wurde aber nur der Skype Dialog in die Praxis berf hrt Trotzdem finden Sie in diesem Kapitel eine Beschreibung des simon Dialogsystems auf Basis eines komplexen Dialoges Der periodischen Medikamentenerinnerung 8 o Dialog ya x Hallo hier ist simon Es ist 15 Uhr und 55 Minuten Ich m chte Sie an die Einnahme Ihrer Medikamente erinnern Haben Sie sie schon eingenommen Bitte antworten Sie mit ja oder n
208. ssen sich selten auftretende Probleme besser reproduzieren und l sen 6 4 2 1 Trainingsintro Obwohl ein gro er Fokus der Gesamtl sung darauf gelegt wird m glichst leicht von neuen Benutzern verwendet werden zu k nnen besteht bei jeder noch so simplen technischen L sung ein Lernkurve bevor das System effektiv verwendet werden kann Um diese Kurve weiter zu senken und einen gef hrten Einstieg in das Programm zu geben wurde im Team ein kurzes Tutorial ausgearbeitet das Trainingsintro Dieses Tutorial umfasst vier Schritte jeweils mit einem eigenen klar definierten Lernziel e Einleitung Hier wird kurz der Nutzen des Systems zusammengefasst und erkl rt dass der Benutzer in das Mikrofon sprechen soll Weiter geht es direkt durch das gesprochene Wort Weiter e Sprachkommandos Hier wird erkl rt was Sprachkommandos sind wie sie aussehen wo sie zu finden sind e Zahlen Hier wird erkl rt dass manchmal Zahlen statt W rter verwendet werden Au erdem ist dies der erste Schritt indem der Benutzer selbst erkennen soll was er sagen soll um weiter zu gehen 54 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 e Abschluss Es wird erkl rt wo der Benutzer Hilfe bekommen kann und wie er das Intro das n chste Mal berspringen kann Das Trainingsintro wird als Plugin zu XBMC umgesetzt und ist sozusagen der Startbildschirm bei der Verwendung des Systems Bei l
209. st sind sehr motiviert und daher wurde bereits von Ihrer Seite ein Full HD Beamer und eine gute Internetverbindung eingerichtet e Full HD Beamer e Zotac Mag Mini GIANT Net Top PC e Alesis IO 2 Express Soundkarte e SAMSON CM12C Kondensator H ngemikrofon e Logitech C 310 Webcam e Terratec S7 DVB S USB Box f r digitales Satellitenfernsehen inklusive ClI Modul f r PayTV e D Link DAP 1160 WLAN Access point e Diverse Kabel 9 3 2 2 Individuelle Konfiguration Aufgrund der speziellen Interessen und extreme schwierigen Voraussetzungen dieses Probanden waren eine F lle von individuellen nderungen erforderlich Die Fotos Filme RSS Feeds und Internetseiten wurden seinen individuellen Interessen angepasst und die gew nschten Skype Adressen angelegt Die Integration in das vorhandene Internet war nur durch Einsatz eines Repeaters m glich Die Positionierung der Webcam und des Mikrofones war aufgrund der r umlichen Voraussetzungen ein wenig schwierig Besonders interessant war die L sung aufgrund des Vorhandenseins des qualitativ hochwertigen Full HD Beamers Erschwerend war noch das Vorhandensein digitalen TVs und eines Sky Receivers was zus tzliche Investitionen in einen Adapter f r die Skykarte erforderte 9 3 2 3 Implementierung und Integration Aufgrund der extrem schwierigen Aussprache und des geringen verst ndlichen Wortschatzes wurde das komplette Benefit Szenario auf seine Bed rfnisse angepasst und ein eigenes Sprachmodell
210. t t Graz Signal Processing and Speech Communication Laboratory sichergestellt und bernommen 13 6 2 2 4 Qualifikation der f r die Durchf hrung des Projekts vorgesehenen Personen Stellen Sie Information ber die wissenschaftlich technische Qualifikation der beteiligten Personen eines jeden Projektpartners dar f hren Sie weiters wichtige zug ngliche Ver ffentlichungen B cher rezensierte Artikel Patente an die das Gebiet des Vorhabens betreffen und geeignet sind den Projektinhalt zus tzlich zu erl utern FORSCHUNGSSTELLE STERREICHISCHES DEUTSCH Heinrichstra e 22 2 A 8010 Graz sterreich Tel 0043 316 380 8176 Ass Prof Dr Rudolf Muhr http www oedt kfunigraz ac at TU Graz Signal Processing and Speech Communication Laboratory http www spsc tugraz at DI Stefan Petrik Publikationen http www spsc tugraz at people stefan petrik stefan petrik 181 Programm benefit REHA Klinik Maria Theresia Bad Radkersburg http www klinik maria theresia at Primarius Dr Wolfgang Kubik HTBLA Kaindorf Abteilungen EDV amp Organisation und Automatisierung http www htl kaindorf ac at 13 6 3 Relevanz des Vorhabens 13 6 3 1 Relevanz f r die Programmziele Stellen Sie dar welchen Beitrag das Projekt zu den Gesamtzielen des Programms siehe Leitfaden f r Einreicher leisten Kann 13 6 3 1 1 Partizipative Verfahren Grad der Interdisziplinarit t Stellen Sie den Grad der Interdisziplinarit t dar
211. t der Verein SIMON listens ein m chtiges Tool in die Hand bekommen welches die verbale Steuerung von Computeranwendungen und mechanischer Ger te erm glichen k nnte simon wurde urspr nglich f r k rperbehinderte Personen auf der Grundlage folgender Grundhypothesen entwickelt a Sprachprobleme d rfen keine Rolle bei der Steuerung spielen b EDV Kenntnisse sind f r die Steuerung nicht erforderlich Im Speziellen kann das entwickelte Anwendungspaket Basisautonomie mit der einfachen M glichkeit des Internetsurfens des Mailens der Telefonl sung und der Steuerung von Multimediaanwendungen gut auf die Bed rfnisse lterer Menschen bertragen werden F r die Steuerung dieser Szenarien sind nur wenige Begriffe und die Kenntnis der Zahlen von 0 9 erforderlich Um allerdings auf die besonderen Bed rfnisse lterer Personen eingehen zu k nnen ist es erforderlich deren Herangehensweise in bestimmten Situationen zu studieren die bestehenden Anwendungspakete an diese Bed rfnisse anzupassen und weitere Systeme vor allem im Bereich der Sicherheit und mechanischen Steuerung zu erforschen und zu entwickeln Im Speziellen genannt sind folgende technische Ans tze e Dialogsteuerungssysteme e _ Warnsysteme ber akustische Wahrnehmungen des Systems e Erinnerungssysteme ber Dialogsteuerung Medikamente Trinken Termine Bet tigungen usw e Steuerungssysteme f r Roboter und Hilfsmittel wie Lifte Rollst hle etc Mittels der Durchf hrung d
212. t ess In Ans tzen entwickelt Nachholbedarf ees Nicht entwickelt aus unterschiedl Gr nden EEE 12 1 2 Arbeits und Zeitplan Korrespondiert der Projektfortschritt mit dem Zeitplan im weitesten Sinn Grunds tzlich haben wir im Rahmen dieses Projektes in dem zur Verf gung stehenden Zeitraum viel erreicht es w re jedoch zumindest noch ein Zeitrahmen von 3 Monaten n tig um die bestehenden L sungen perfekt zu stabilisieren und zufriedenstellend zu implementieren und in den Alltag der End User zu integrieren Ein gro er zeitlicher Verzug entstand im Rahmen der Implementierung da die urspr ngliche Hypothese das Betriebssystem Ubuntu als Basis zu verwenden da es stabiler ist durch die immensen zeitlichen Anforderungen f r die Integration der Hardwareperipherie wie HDMI Verbindungen mit Full HD Fernseher Soundkarten Webcams Internet Sticks TV Karten etc nicht nur den Gro teil des Zeitaufwandes der letzten Monate erfordert sondern auch wesentliche zus tzliche Mehrkosten im Bereich der Investitionen verursacht hat Das Projektergebnis und die Akzeptanz durch die End User sind an und f r sich gut eine wesentliche Stabilisierungsphase w re jedoch erforderlich und sinnvoll um ein wirklich 108 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 zufriedenstellendes Ergebnis zu erreichen und zumindest die als gelb gekennzeichneten Bereiche in der obigen Tabelle zu beseitigen 12 2 Verwertung
213. tac kopieren 2 Rechte der Dateien anpassen chown root root fw 3 Die Dateien in den firmware Ordner kopieren sudo cp fw lib firmware 4 Zotac neustarten Anleitung f r Ubuntu 10 04 http tuxpool blogspot com 2010 11 wintv hvr 1900 under ubuntu 410 and html MythTV Einrichtung ber mythtv setup bei mir war dev videoO die Webcam und dev video1 die TV Karte kann also variieren F r DVB T die Datei channels conf mit diesem Inhalt anlegen ORF1 ORF 498000 C34D34M16B8T8G4Y0 T 27500 1010 1011 deu 1013 deu 1015 0 10101 8232 100 0 ORF2 W ORF 498000 C34D34M16B8T8G4Y0 T 27500 1020 1021 deu 1023 deu 1025 0 10102 8232 100 0 ORF2 N ORF 498000 C34D34M16B8T8G4Y0 T 27500 1020 1021 deu 1023 deu 1025 0 10122 8232 100 0 ATV ATV 498000 C34D34M16B8T8G4Y0 T 27500 1040 1041 deu 1045 0 10120 8232 100 0 PULS 4 sevenonemedia 578000 C34D34M16B8T8G8Y0 T 27500 1050 1051 deu 1052 0 10123 8232 110 0 3SAT ORF 578000 C34D34M16B8T8G8Y0 T 27500 1055 1056 deu 1057 eng 1058 0 11102 8232 110 0 ORF Sport Plus ORF 578000 C34D34M16B8T8G8Y0 T 27500 1060 1061 deu 0 0 11103 8232 110 0 79 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 TV Karte einrichten Kartentyp Videoger t mehrmals probieren Sondierte Information VTV MPEG 2 Kodierer dev videoO WinTV HVR 1900 Model 73xxx pvrusb2 Standardeingang Television MPEG dev video0 television gt EIT MPEG dev videoO composite gt
214. te Collection aus in der Auswahlliste finden Sie alle Collections aus der Akonadikonfiguration aus dem vorigen Schritt d e Manage actions simon v Vi G x H Akonadi General Selected collection Peter Grasch v A wi Execute Akonadi based command requests Dialog Command prefix simon command 2 _ Display alarms Mit den Eintr gen im Kalender k nnen mit dem Akonadiplugin nun zwei T tigkeiten ausgef hrt werden 85 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 e simon Kommandos zu bestimmten Zeiten ausgef hrt werden e _Kalendererinnerungen ber simon Dialoge abwickeln 7 1 14 7 Ausf hren von Kommandos mit Kalendereintr gen Kalendereintr ge deren Zusammenfassung mit einem konfigurierbaren Prefix beginnen werden als simon Kommando erkannt Per Default sind das Events die mit simon command beginnen Das erwartete Format lautet lt prefix gt lt plugin gt lt trigger gt Soll bspw das ausf hrbare Kommando Browser ausgef hrt werden so lautet der Kalendereintrag simon command Program Browser Beachten Sie bei den Kalendereintr gen auch die entsprechende Lokalisierung des simon Clients Am besten lesen Sie Plugin Titel und Kommandbotrigger direkt aus der simon Oberfl che ab E Fle Scenarios Recognition Modules Commands Actions Help O SR mo 7 arrer Actvate AddWord vocabulary Grammar Training Comman ds Synchroni
215. te Stimme Optische Aufl sung Bild von Animateurin 75 Veranstaltungen der Humanitas Allgemeine Termine BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Turn DP Text Versionen 1 Sys Hallo hier ist simon Syn Individualisierung Es ist Syn 16 15 Ich m chte Dich an daran erinnern dass in 15 Minuten das Ged chtnistraining Syn im Raum 12 Syn beginnt Frau Schreibmeier Syn freut sich schon auf Deinen Besuch V2 Hallo in 15 Minuten beginnt das Ged chtnistraining Syn im Raum 12 Syn Ich m chte dich daran erinnern Frau Schreibmeier Syn freut sich schon auf Deinen Besuch V3 Hallo das Ged chtnistraining Syn beginnt in 10 Minuten im Raum 12 Syn Frau Schreibmeier Syn freut sich schon auf Deinen Besuch b Pers nliche Termine Kommunikationsdefinition Fr hlich animierend motivierend Stimme Denkbar weiblich eventuell bekannte Stimme Optische Aufl sung Bild von Animateurin Sys Hallo hier ist simon Syn Individualisierung Ich m chte Dich an deine Termine erinnern die Du heute hast Um 10 00 Syn ist das Ged chtnistraining in Raum 12 Syn Um 11 30 Syn hast Du einen Arzttermin Syn Um 15 00 Syn kommt Dich Maria Syn besuchen Wichtig ist auch Dein Sohn Hans Syn hat heute Geburtstag Syn Deine Enkelin Tanja Syn hat n chste Woche Geburtstag Syn
216. ten diverse Bevorzugte Fernsehprogramme Universum Schlagersendungen Sport Schifahren Tennis 10 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Sch ne Filme Bevorzugte Radioprogramme Radio Steiermark Bevorzugte Musikrichtungen Schlager Andrea Berg Konto bei VOLKSBANK Kontakte zu Freunden Kindern und Familie Generell oft Kontaktmittel Pers nlich Fixtermine Telefon Allt gliche Probleme BEWEGLICHKEIT 2 3 3 Ergebnis Recherche Proband 02 Leutschach 2 3 3 1 Situationsbeschreibung Proband 02 ist m nnlich und k rperlich v llig immobil und auf st ndige Betreuung angewiesen Intellektuell ist er recht aktiv und orientiert Er spricht gerne verf gt aber nur ber ein extrem schlechte Aussprache und Artikulationsf higkeit Sprachaufnahmen sind vorhanden Er arbeitet teilweise bereits mit Simon sodass Vorerfahrungen gegeben sind Das EDV Interesse ist gro L sst sich viele Webseiten vorlesen und steuert die Nutzung des Internets und von Spielen ber verbale Anweisungen an seine Betreuer Mit dem elektrischen Rollstuhl kann er sich in den unteren R umen frei bewegen 2 3 3 2 R umliches Szenario Originalpl ne wurden von der Mutter nachgeliefert 1 leere Kopie und eine Kopie mit Erkl rungen der wesentlichsten Fixpunkte und Lebensbereiche von Proband 02 Leutschach siehe Anhang 2 3 3 3 Hardware Proband 02 Leutschach arbeitet bereits m
217. tente http www klinik maria theresia at 13 6 4 1 6 Projektpartner Altenheim a Firmenname bzw Name der Einrichtung 187 Programm benefit 13 6 5 Konsortium und Management 13 6 5 1 Kompetenz und Rolle der beteiligten Organisationen Beschreibung der Zusammensetzung der verschiedenen fachlichen Kompetenzen der Projektpartner hinsichtlich der Projektziele Kompetenzaufbau und andere mittel bis langfristigen Vorteile durch das Konsortium Verein simon listens Der Verein stellt die qualitativ hochwertige und effiziente Umsetzung und Auswertung des Projektes sicher SPSC der TU Graz Das Know How des SPSC im Bereich der Spracherkennung war bereits in der Vergangenheit f r die Entwicklung von simon sehr wesentlich Im Rahmen dieses Projektes ist vor allem Consulting zu folgenden Themengebieten unerl sslich Dialogsteuerung Akustische Signalverarbeitung f r Sicherheitsl sungen Technische Konzeptionen f r Hardwareausstattungen in Smart Homes Validierung des generalisierten Sprachpaketes bernahme der wissenschaftlichen Begleitung f r das Gesamtprojekt Forschungstelle sterreichisches Deutsch Consulting und Controlling bei der Erstellung des generellen Sprachmodells f r Senioren in Kooperation mit der HTBLA Kaindorf HTBLA Kaindorf EDV amp Organisation Durchf hrung von Sprachaufnahmen mit Senioren als Grundlage f r das generelle Sprachmodell Qualit tskontrollen der Aufnahmen Validierung der Daten in
218. tierungs bzw Umsetzungsphase e Programmierung e Erstellung Dokumentation e Erstellung von Schulungsmaterial 5 Integration in die Praxis e Installation der Hardwarel sungen e Installation der Software e Einschulung in die Verwendung der EndUser und Betreuer 6 Auswertung und Ver ffentlichung 171 Programm benefit Bedienoberfl che Konzept SIMON listens P Rollos elektr Rollstuhl An Methoden zur Sicherstellung des Informationsflusses der Dokumentation und Erkenntnisgewinnes werden folgende Methoden verwendet o Koordinationsmeeting o Dokumentierte Interviews Befragungen und Beobachtungen mit End Usern und Organisationen Inhaltliche Workshops mit Projektpartnern Prototyping Methoden der Aktionsforschung f r die Phasen 1 3 und 5 172 Programm benefit 13 6 2 2 Arbeitsplan und Projektmanagement max 6 Seiten 13 6 2 2 1 Zeitplan und Meilensteine f r das gesamte Projekt Gem dem genannten Phasenkonzept ergibt sich folgender Zeitplan und Ergebnisse der Arbeitsprozesse als Meilensteine Phase 1 Phase 2 Phase 3 Phase 4 Dhase S Phase 6 Vorbereitung Konzeption Prototyping Umsetzung Integration Auswertung Projekt Freigabe der Freigabe der Freigabe der Freigabe des Inbetriebnahme Projektabschlu ansto Evaluierungsergebnisse Detailkonzepte Prototypen Umsetzungsergebnisses Ergebnis der Phase 1 J nner und Februar 2009 Priorit tenliste der praktischen Probleme im Alltag die
219. titutions developing products in the area of AAL emerged in the course of conversation at the AAL Forum 2009 in Vienna 167 Programm benefit 13 6 2 Beschreibung des vorgeschlagenen Vorhabens 13 6 2 1 Inhalt des vorgeschlagenen Projekts Beschreibung Sie detailliert und verst ndlich den wissenschaftlich technischen Inhalt Ihres vorgeschlagenen Vorhabens max 12 Seiten 13 6 2 1 1 Ziele des vorgeschlagenen Projekts Beschreiben Sie klar die Ziele und das Bestreben des vorgeschlagenen Vorhabens mit pr zisen Angaben Erkl ren Sie warum die von Ihnen aufgegriffene Problemstellung wichtig ist Das prim re Ziel dieses Projektes besteht in der Nutzbarmachung der Open Source Spracherkennungssoftware simon zur Schaffung von Kommunikation Sicherheit und individueller Betreuung lterer Menschen auf generalisierbarer und individueller Ebene Dies soll durch das Anstreben folgender Zielsetzungen erreicht bzw erforscht werden Komplex A Generalisierter Einsatz e Schaffung eines Frameworks welches den Zugang zu Computeranwendungen f r ltere Personen ohne EDV Kenntnisse erm glicht e Definition und Kl rung in Kooperation mit den Projektpartnern von generalisierbaren Anwendungsf llen f r die Entwicklung eines allgemein g ltigen Einsatzszenarios zur Schaffung von E Inklusion und Verbesserung der Informationsvermittlung Diese k nnen sein Multimediaanwendungen wie TV Videos Fotos das t gliche Lesen von Zeitungen etc f
220. tlicher Engp sse des Personals der Humanitas Stadtresidenz konnte im Februar noch keine Erhebung Vorort gemacht werden Trotzdem wurden mit engagierter Unterst tzung durch die Betriebsleitung die erforderlichen Erhebungen mittels Fragebogen f r Senioren und Pflegepersonal durchgef hrt welche bereits sinnvolle Informationen f r die weitere Planung des Forschungsprojektes geliefert haben 2 3 4 1 Fragebogen Senioren 2 3 4 1 1 Gesamtdaten Informationen Humanitas Stadtresidenz Graz Anzahl Prozent Bewohner Gesamt 133 100 Bewohner m nnlich 43 32 3 Bewohner weiblich 90 67 7 12 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 2 3 4 2 Erhebungsdaten Geschlechterverteilung 17 29 m Anzahl M nnlich m Anzahl Weiblich Anzahl Prozent Anzahl M nnlich 17 29 Anzahl Weiblich 42 71 Anzahl Gesamt 59 100 Von den 133 BewohnerInnen der Humanitas Stadtresidenz sind 90 weiblich und 43 m nnlich Die Frageb gen wurden von insgesamt 59 BewohnerInnen 42 weiblich und 17 m nnlich ausgef llt was ungef hr auch von der Geschlechterteilung her der Gesamtverteilung entspricht Altersdurchschnitt Gesamt M nnlich Weiblich Durchschnittsalter 80 14 72 06 83 40 Beim Vergleich des Durchschnittsalters ergibt sich ein enormer Unterschied zwischen dem Alter von m nnlichen bzw weiblichen Bewohnern 2
221. triplet list 5 13 Now making triplet list 6 13 Now making triplet list 7 13 Now making triplet list 8 13 Now making triplet list 9 13 Now making triplet list 10 13 Now making triplet list 11 13 Now making triplet list 12 13 Now making triplet list 13 13 Now making triplet list 13 13 usr bin dfa_minimize tmp kde bedahr sam internalsamuser compile dfaTemp tmp o home bedahr kde4 share apps simon model model dfa 11 categories 13 nodes 18 arcs gt minimized 7 nodes 12 arcs Generating reverse grammar Generating termporary vocabulary Generating DFA Generating grammar dictionary Finished Mit sam lassen sich einfach gro e Korpora in Sprachmodelle kompilieren Zur Aufbereitung der gesammelten Sprachdaten von z B sscd in ein sam lesbares Format hat sich eine Mischung aus Shell Skripten und der Trainingsdaten importieren Funktionalit t durchgesetzt SSCD speichert die beschreibenden Daten zu den Aufnahmen in einer MySQL Datenbank Die folgende Query holt die Aufnahmen des 3 Instituts Humanitas aus der Datenbank select s Path s Prompt from Sample s inner join User u on s UserId u UserId inner join UserInInstitution uii on u UserId uii UserId inner join SampleType st on s TypeId st SampleTypeId inner join Microphone m on m Microphoneld s Microphoneld where st ExactlyRepeated 1 and uii Institutionld 3 and m Microphoneld 2 or m Microphoneld 3 or m Microphoneld
222. ts 23 hinauf 23 rauf 23 rauf 23 lauter 24 hinunter 24 runter 24 runter 24 leiser 25 rauf 25 Seite 25 Seite 25 stop 26 runter 26 vor 26 vor 26 simon 27 Seite 27 weiter 27 weiter 27 schlie en 28 vor 28 links 28 links 28 schlafen 29 weiter 29 rechts 29 rechts 29 aufwachen 30 links 30 lauter 30 lauter 30 vergr ern 31 rechts 31 leiser 31 leiser 31 verkleinern 32 lauter 32 stop 32 stop 33 leiser 33 Pause 33 Pause 34 stop 34 abspielen 34 abspielen 35 Pause 35 simon 35 simon 36 abspielen 36 aus 36 aus 37 Texte 37 ein 37 ein 38 senden 38 Liste 38 Liste 39 Kontakte 39 schlie en 39 schlie en 40 simon 40 ffnen 40 ffnen 129 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 aus ein Liste schlie en ausschalten schlafen zuh ren Hilfe Ja Nein wiederholen suchen Eingabe Farbe rot gr n blau gelb Empf nger Training langsam schnell Computer Englisch Deutsch ffnen vergr ern verkleinern Danke Bitte Raum Wohnzimmer Schlafzimmer K che Vorraum Terrasse Balkon T r Fenster Rollo Jalousie Vorhang ffnen Licht Bett Lampe 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72
223. ts als am vielversprechendsten 13 3 4 3 3 H ndische Transkription der Erkennungssamples Zus tzlich zu den mit simon und sscd im Vorfeld gesammelten Trainingsdaten wurden auch die Aufnahmen des dersten Erkennungstests eingespielt Der Praxistest wurde mit simon in der Benutzerumgebung Martins Zimmer mit den letztendlich zu verwendenden Mikrofonen durchgef hrt Da Martin in diesen Aufnahmen das System aktiv verwendete ergeben sich Trainingssamples die praktisch ident sind in Sprachmuster Umgebungsger usche etc mit den Aufnahmen die in der simon Verwendung erkannt werden sollen Zum Sammeln der Samples wurde die simond Option aktiviert Erkennungssamples nicht sofort zu l schen Mit SAM wurde ber das Conservative Training dann aus diesen Daten eine Prompts Datei erstellt Dies erwies sich zu Beginn als zu fehleranf llig ob der niedrigen Erkennungsrate sodass ein Bash Skripts transcriber sh geschrieben wurde mit dem die Prompts Datei von Grund auf manuell erstellt wurde Aufruf transcriber sh lt prompts base path gt lt output prompts gt Es bleibt zu evaluieren in wie fern SAMs konservatives Training bei Trainingssamples die bei der simon Verwendung mit guter Erkennungsrate gesammelt wurden sinnvoll ist 138 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 13 3 4 3 4 Lexikon Auf Grund Martins sehr distinkten Sprachmuster entschieden wir uns f r ein eigens ge
224. tseiten Die Anpassung der Skype Kontakte erfolgte auf Basis der gelieferten Informationen 9 3 3 1 3 Implementierung und Integration Die Probandin ist sehr interessiert jedoch auch unsicher sodass Sie die Anlage zum Gro teil nur verwendet wird wenn das Projektteam pr sent ist Bei den Einschulungen gab es kaum Verst ndnisprobleme und vor allem gro es Interesse an der Nutzung von skype und der Zeitungsinhalte und wissenschaftlichen Informationen und Informationen zur EU Im Falle der individuellen Stationen wurden zus tzliche Sprachaufnahmen get tigt und ein adaptiertes Sprachmodell f r Proband 02 erstellt Im vorliegenden Falle wurde jedoch nur das allgemein erstellte generelle Sprachpaket verwendet Die Artikulation und Sprechf higkeit der Probandin ist sehr gut 9 3 3 1 4 Status bei Projektende Bei einer berpr fung der Station 3 Wochen nach Projektende war die Station nach zweimaligem Hochfahren wieder einsetzbereit Die Probandin hatte sie jedoch kaum verwendet da nach Ihrer Auffassung die Station nach mehreren Gewittern und Stromausf llen nicht mehr einsetzbar war Ein 95 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 gemeinsamer Testlauf ergab dass die Station einsatzbereit war jedoch noch Unsicherheit in der Verwendung gegeben war Die Probandin kritisierte vor allem die Instabilit t des Systems und dadurch die geringe Verwendbarkeit der Anwendungen Manchmal f
225. ucht L sungsans tze f r unterschiedliche Ebenen der Situation der EndUser zu ber cksichtigen wie o Rehabilitationseinrichtungen o Pflege und Wohnheime 182 Programm benefit o 1 individuelle weibliche Seniorin 82 Jahre geistig voll fit motorisch eingeschr nkt selbst ndig wohnend o 1 individuelle m nnliche Person schwer pflegebed rftig motorisch komplett eingeschr nkt gro e sprachliche Probleme geistig jedoch sehr aktiv Bei der Vorauswahl der Individualpersonen wurde versucht beide Pole von normal sprechend und aktiv bis schwer behindert und sprachgest rt trotz geistiger Beweglichkeit f r Tests der Anforderungen im SmartHome Bereich abzudecken Dies deshalb weil sich die Entwicklung von Senioren in der Regel aufgrund der nat rlichen Alterung regressiv verh lt und deshalb generalisierte Modelle ebenfalls auf diese Ver nderungen vorbereitet sein m ssen Die Interaktion mit den EndUsern findet unter Verwendung der in Punkt 2 1 4 genannten wissenschaftliichen Methoden in folgenden Phasen intensiv Eingang in die Projektentwicklung Phase 1 Bed rfniserhebung mit EndUsern Einzelpersonen Bewohner des Altersheimes wechselnde Senioren der REHA Klinik Maria Theresia Ergotherapie und Pflegepersonal Phase 3 Praxistests von Prototypen mit den EndUsern w hrend der gesamten Phase Einzelpersonen Bewohner des Altersheimes wechselnde Senioren der REHA Klinik Maria Theresia Ergotherapie und Pflegepersonal Phase 3 Durchf hr
226. uf einen anderen HMM Modelltyp umgestellt unterschiedliche Featurewahl und das System verwendet jetzt mehrere Gau sche Mixturenmodell GMMs um Unterschiede zwischen Sprechern in sprecherunabh ngigen Modellen besser abzubilden Um Tests mit gro en Sprachmodellen effizienter abzuwickeln wurde eine performante Workstation auf Basis von Intels i7 Serie zusammengestellt Um die Quadcore dank Hyperthreading 8 virtuelle Kerne optimal auszunutzen wurde der Modellerstellungs prozess berarbeitet und parallellisiert Modell Reestimations etwa 80 des Modellerstellungsprozesses laufen nun beliebig parallel ab thread pooling Weiters wurde die Fehlerbehandlung von HTK Problemen weiter verbessert um z B Alignment Fehlern auomatisch zu behandeln und schwerwiegende Fehler im Erstellungsprozess leichter zu finden Um simon leichter an die Anforderungen in den REHA Zentren anpassbar zu machen wurde au erdem ein eigenes Soundstreaming zwischen simon und simond implementiert Die zur Segmentierung verwendete level basierte Voice Activity Detection VAD ist direkt ber simon konfigurierbar Configure simon m Configuration of simons Soundsystem As Device Configuration C Voice Acte Detection Fang lt PostProcessing Speech Model Model Settings Skip samples shorter than 150 ms Social Desktop Heip c Defauts ni Reset Vok e Appl Cancel P o Api simond wurde au erdem um eine Option erweitert im Betrieb Sprachdaten die
227. umaufnahmen auf selber Position matched training test condition MIC1 MIC2 MIC3 MIC4 MIC5 adapted adapted adapted adapted adapted pos 79 71 98 55 85 51 98 55 69 57 100 00 84 06 100 00 SE 97 10 POS2 89 86 97 10 88 41 98 55 94 20 100 00 82 61 95 65 pi 98 55 POS3 85 29 98 55 79 71 98 55 89 86 98 55 78 26 97 10 Kees Table 4 Wortfehlerraten f r Experiment 2 mit Mikrofonen 1 5 auf Positionen 1 3 mit 2 GMM mixtures ASR Modell aus Raumaufnahmen POS1 getestet mit anderer Position im Raum POS3 4 2 1 7 Experiment 3 MIC1 MIC2 MIC3 MICA MIC5 adapted adapted adapted adapted adaped POS3 75 00 92 75 85 29 97 10 69 57 100 00 75 36 100 00 77 94 97 10 Table 6 Wortfehlerraten f r Experiment 3 mit Mikrofonen 1 5 auf Position 3 mit 2 GMM mixtures MIC1 MIC2 MIC3 MICA MIC5 adapted adapted adapted adapted adapted Pos3 69 12 92 75 83 82 98 55 68 12 100 00 81 16 100 00 82 35 100 00 Table 7 Wortfehlerraten f r Experiment 3 mit Mikrofonen 1 5 auf Position 3 mit 4 GMM mixtures 4 2 1 8 Experiment 4 ASR Modell aus Raumaufnahmen zusammengemischt aus verschiedenen Positionen getestet mit einer bestimmten Position MIC1 MIC2 MIC3 MIC4 MIC5 POS1 66 67 76 81 79 41 68 12 82 61 POS2
228. und dar ber hinaus weitere Projekte aus dem Bereich der Korpuslinguistik Spracherkennung W rterbucherstellung usw durchgef hrt c Darstellung des projektrelevanten Track Record Markterfolge Patente Publikationen http www oedt kfunigraz ac at 13 6 4 1 4 Projektpartner HTBLA Kaindorf Sulm a Firmenname bzw Name der Einrichtung HTBLA Kaindorf Grazer Stra e 202 8430 Kaindorf b Angabe zur fachlichen Kompetenz der Organisation und der beteiligten Personen f r das Projekt 186 Programm benefit Drei Abteilungen und ein Ziel Jungen motivierten Menschen eine Ausbildung zu geben die ihnen dabei hilft ihre Tr ume zu verwirklichen und ihren Weg zu finden Doch neben der hervorragenden Ausbildung bietet die HTBLA Kaindorf viele weitere Vorz ge So zum Beispiel die exzellenten Kontakte zu heimischen Wirtschaftsbetrieben die den Einstieg ins Berufsleben erheblich erleichtern oder den nur wenige Meter neben der Schule liegenden Bahnhof der eine bequeme An und Abreise erm glicht Absolventinnen und Absolventen der HTBLA Kaindorf genie en aufgrund ihrer ausgezeichneten Ausbildung einen sehr guten Ruf in der Wirtschaft und haben beste Jobm glichkeiten ob Elektronische Datenverarbeitung und Organisation Automatisierungstechnik oder Mechatronik die Sch ler der HTBLA Kaindorf z hlen mit zu den besten des Landes c Darstellung des projektrelevanten Track Record Markterfolge Patente http www htl kaindorf at 13 6 4
229. und davon dass ein Server zur Verf gung steht so wie es auch bei unseren End User Instituten der Fall ist Am Server befindet sich das Administrationstool simba mit dem die einzelnen Probanden angelegt verwaltet und gel scht werden k nnen Des Weiteren liegt am Server auch ein Datenspeicher Bereich f r jeden Probanden wo pers nliche Daten wie Fotos Videos Termine etc abgelegt sind Mittels FTP Upload ist es m glich von au en zum Beispiel von zuhause eines Verwandten Dateien auf den pers nlichen Bereich des Probanden zu laden die dann sofort im jeweiligen Modul zum Beispiel Bilder des End Users zur Verf gungen stehen Au erdem ist eine Videotelefonie mit Verwandten und Bekannten m glich wenn sie die n tige Infrastruktur daf r besitzen End User Ein Zotac Minicomputer wird als zentrale Einheit am Fernseher angeschlossen Neben einer Webcam f r die Videotelefonie und dem Panic Button f r ein Notfalls Szenario steht au erdem die Mikrofon L sung abh ngig vom Anwendungsfall zur Verf gung Am Computer muss simon f r die Spracherkennung mit dem f r den Probanden optimalen Sprachmodell installiert sein sowie dem Plug in f r die Dialogsteuerung Das Plug in f r die Steuerung des Roboterarms wurde auf der bersicht zwar dargestellt wird aber im ersten Schritt der Integration keine Rolle spielen Text to Speech f r die Sprachausgabe bei der Dialogsteuerung ist ebenso ein wichtiger Bestandteil Genaus
230. und f hren Sie die erwarteten Vorteile sowie die bisherigen Erfahrungen bei der Kombination der erw hnten Disziplinen an Wie komplement r sind etwaige Partner im Hinblick auf technische sowie ethische Aspekte ausgew hlt Stellen Sie dar ob und wie die Endanwenderinnen und Endanwender in das Projekt einbezogen werden Falls passend f hren Sie auch internationale Beispiele an Im Sinne einer intensiven Orientierung an den Zielen angewandter Forschung wurde in diesem Rahmen ein sehr hoher Grad der Interdisziplinarit t und ein hoher Grad der Integration der End User und Institutionen als die wirklichen Experten angestrebt Bereits ersichtlich durch die Auswahl und Verteilung der Projektpartner die bis zu einem bestimmten Grad nicht k nstlich konstruiert sondern deren inhaltliche Kooperation bereits bisher nat rlich gewachsen ist ist eine strukturierte interdisziplin re sich erg nzende Verteilung geschaffen worden und wird eine effiziente befruchtende Projektumsetzung gew hrleistet Gerade die Sprache als zentrales Element der Kommunikation und Steuerung in Verbindung mit dem Thema lterer Menschen und Ihrer Bed rfnisse erfordert die Zusammenarbeit folgender der hier in diesem Projekt vereinten Disziplinen o Sozialp dagogik Rehabilitation Pflege EDV amp Organisation Automatisierung Sprachwissenschaften Signalverarbeitung und Sprachkommunikation D oO oO E Q Zus tzlich zu den Disziplinen wurde in diesem Projekt ebenfalls vers
231. ung von Sprachaufnahmen durch 20 HTL Sch ler mit m glichst vielen Senioren zur Erstellung eines generalisierbaren Sprachpaketes Einzelpersonen Bewohner des Altersheimes wechselnde Senioren der REHA Klinik Maria Theresia und mindestens weitere 200 bis 300 Senioren aus einer selektierten regionalen Verteilung Phase 5 Installation und Einschulung der EndUser und Betreuer in die Verwendung EndUserbeteiligung quantitativ 194 von 489 5 Arbeitstagen finden mit EndUserbeteiligung statt 40 des Arbeitsprozesses Gesch tzte Anzahl der mittel und unmittelbar beteiligten EndUser Minimum 250 Personen 13 6 3 1 2 Ethische Aspekte Welche und in welcher Form werden ethische Ziele z B Datenschutz usw durch das Projekt unterst tzt Im Rahmen dieses Projektes werden alle erforderlichen ethischen Kriterien eingehalten Parallel zur Einreichung wird um eine Stellungnahme der Ethikkommission des Landes Steiermark angesucht Grunds tzlich werden pers nliche Daten und Sprachdaten der End User nur nach pers nlicher Aufkl rung Information und schriftlicher Einverst ndniserkl rung erhoben und f r Forschungszwecke in anonymisierter Form verwendet Der entstehende unmittelbar erkennbare Nutzen f r die End User durch dieses Projekt erleichtert es der Zielgruppe selbst den Sinn dieser Ma nahmen zu verstehen 183 Programm benefit 13 6 3 1 3 Verbesserung des Forschungsumfelds In welchem Ausma ist eine Verbesserung des Forschungsumfe
232. ungen und wir hatten keine M glichkeit es zu pr fen 4 4 5 1 3 Die T BONE Funkmikrofon System mit dem T BONE LC97 TWS Mikrofon In diesem Fall verwendeten wir andere Tests Aufgrund der Tatsache dass das ein Funkmikrofon ist wo das Mikrofon auf dem Hemd befestigt wird pr ften wir nicht die Entfernungen sondern wir pr ften verschiedene Bereiche konzentrierten uns auf unterschiedliche Anzahl der W nde zwischen Absender und Empf nger Durchschnittliche Erkennungsrate insgesamter Durchschnitt Entfernungen 2 W nde 3 W nde 4 4 6 Ausgeschlossene Mikrofone e Sony ECM MS907 e Acoustic Magie 4 4 7 Einsetzbare Mikrofone f r die Spracherkennung Zonen der Signalverarbeitung Bequemlichkeitszone Nachrichtenzone Telefonzone THE T BONE TB312S gooseneck microphone 0 M M M Sony ECM CZ10 M M SAMSON CM12C hanging microphone M M Sennheiser PC 36 USB Headset M Samson UB1 M M Samson Q1U M Mi THE T BONE wireless microphone system M M M 35 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 5 Sprach Modell f r Senioren 5 1 Sammlung der Sprachdaten 5 11 SSC Daten der Spracherhebung Das Paket beinhaltet Sprachaufnahmen von 43 Klienten der Rehabilitationsklinik Maria Theresia Bad Radkersburg 22 Klienten der Kids Chance Bad Radkersburg und einem Klienten von simon listens Die Aufnahmen wurden durchgehend mit SSC aufgenommen al
233. unktioniert es und oft nicht Sie hat bisher vor allem Filme und Zeitungen verwendet und das Telefonieren w rde Sie besonders interessieren wenn es nur funktionieren w rde Bedauerte dass Sie bisher nicht dazu in der Lage war die Filme vom Sommerfest anzusehen Sie bekundet gro es Interesse daran falls es ein Folgeprojekt g be daran intensiv weiter mitzuarbeiten 9 3 3 2 Individuelle Station probandO2 Humanitas 9 3 3 2 1 Hardware Im Zimmer der Probandin 02 war ein Flachbildfernseher der Marke LCD TV Modell 32 02 jedoch ohne Full HD e Zotac Mag Mini GIANT Net Top PC e Panic Button e Alesis 1O 2 Express Soundkarte e SAMSON CM12C Kondensator H ngemikrofon e Logitech C 310 Webcam e Hauppauge Win TV HVR 1900 e 10 Wandschrank e Yess USB Internetadapter e Diverse Kabel 9 3 3 2 2 Individuelle Konfiguration Im Falle der Probandin 02 wurden alle erforderlichen Inhalte auf Ihre Interessen hin abgestimmt und ge ndert wie Fotos Videos Fernsehprogramme RSS Feeds und Internetseiten Die Anpassung der Skype Kontakte erfolgte auf Basis der gelieferten Informationen Zus tzlich zu den anderen Konfigurationen verwendet Sie noch ein externes DVD Laufwerk zum Abspielen von Filmen Die Probandin versorgt uns aktiv mit viel Foto und Videomaterial aus pers nlichen Best nden und ist sehr interessiert daran ebenfalls das DVD Laufwerk zu verwenden um Filme zu sehen 9 3 3 2 3 Implementierung und Integration Die Prob
234. utekommt Durch die Implementierung in einer Bibliothek nimmt nun nicht nur SSC mit mehreren Mikrofonen auf sondern auch simon Weiters unterst tzt simon jetzt auch die Spracherkennung mit mehr als einem Mikrofon gleichzeitig 6 3 2 speechcal speechcal ist eine kleine sprachgesteuerte Kalenderapplikation mit der der Benutzer mit nur drei Sprachbefehlen seinen Kalender durchbl ttern kann Sunday 10 July 2011 10 30 11 30 Ged chtnistraining Control Next day Previous Day Close Jeder Tag nimmt dabei eine Ansicht in Anspruch Durch Rauf und Runter wird zwischen den Tagen gewechselt wobei der aktuelle Tag beim Start automatisch ausgew hlt wird 6 3 3 simonoid Um den Aufnahmepegel grafisch darzustellen wurde ein kleines Tool namens simonoid entwickelt Es zeigt den durchschnittlichen Pegel aller angesteckten Mikrofone an 6 3 4 afaras Damit fehlerhafte oder qualitativ minderwertige Aufnahmen aus Datensets die mit ssc gesammelt wurden effizient entfernt werden k nnen wurde ein weiteres kleines Tool entwickelt das diesen Prozess erleichtern soll 50 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 CO afaras ei x File Settings Help Input prompts IT 3 Path prefix b i Output blacklist ke Sam build log optional gt Mit afaras automatically find and remove amiss samples k nnen schlechte Aufnahmen mit einem einzelnen Tastendruck als so
235. vertretern Politikern und Vertretern der Seniorenverb nde e Wenn m glich in Wien ansonsten zumindest auf steirischer Ebene c Anbieten von Projektpr sentationen bei Seniorenverb nden Altersheimen Institutionen f r Pflegedienstleistungen nationalen und internationalen Konferenzen z B AAL Forum IKT Forum ICCHP d Erstellung und zur Verf gung stellen eines Projektfolders e Anbieten von Workshops zur Integration von simon in den Alltag 189
236. von IKT Anwendungen f r Senioren Projektnr 825883 2 3 5 2 Fragestellungen 2 3 5 2 1 Videotelefonate zwischen Klienten und Familie und Freunden Organisierte ber die Erinnerungsfunktion Wie sinnvoll w ren Videotelefonate mit aktivierte regelm ige Videotelefonate k nnten 5 Kindern Verwandten Freunden die Kommunikation zwischen Kindern und Nicht gen gend sonstigen Bezugspersonen verbessern und 15 ebenfalls den Bezugspersonen einen optischen Schr gut Eindruck von der Verfassung der Bewohner Spa regelm ig vermitteln was ebenfalls vom er en gen Pflegepersonal als positiv eingesch tzt wird m Nicht gen gend 2 3 5 2 2 Videotelefonate zwischen Klienten und Betreuern Sehr gut 0 Wie sinnvollw re Videotelefonie mit t Gut 1 Betreuern Befriedigend 4 sehr gut Gen gend 3 Nicht gen gend 5 m Sehr gut Gut Befnodigen Videotelefonie zwischen Betreuern und Klienten Ge gt u Nicht gen gend werden eher nicht positiv wahrgenommen 2 3 5 2 3 Kamera berwachung Sehr gut 5 Wie hilfreich w re eine Kamara berwachung Gut 2 Befriedigend 2 Gen gend Gen gend 1 8 E Schr gut B Gut Nicht gen gend 3 BBekisdisend E Genigend Die Fragestellung bez glich Nicht gen gend Kamera berwachung wird vom Pflegepersonal eher positiv wahrgenommen und sollte im Rahmen dieses Projektes zwar nicht ge
237. wendungen f r Senioren Projektnr 825883 gro ist ist es wahrscheinlich dass das Pruning beim Forced Alignment diese Probleme verursacht hat Mit h heren Werten w re unbedingt zu experimentieren 5 3 Zusammenfassung In Zusammenarbeit mit der TU Graz wurde die Methodik der Modellgenerierung erweitert So werden jetzt nach Erstellen eines Modells eine frei w hlbare Anzahl an Gaussian Mixture Models GMM generiert um sprecherunabh ngige Modelle zu verbessern Au erdem verwenden von simon generierte Modelle nun 39 anstatt von bisher 25 Features MFCC_D_N_Z O auf MFCC_D_A_0 Die nderung wurde mit Hilfe von bei der Kids Chance aufgenommenen Daten getestet und ergab eine Erh hung der Erkennungsrate in Korpus von 64 auf 95 siehe Details Mit der neuen Methodik wurden getrennte Modelle f r REHA Klinik Maria Theresia 43 Sprecher und REHA Klinik Kids Chance 23 Sprecher erstellt und Out Of Corpus getestet Durchgehende Erkenntnis der Tests sind dass mit den Aufnahmen der REHA Klinik Maria Theresia durchaus ein generelles Sprachmodell im Bereich des M glichen ist Bei REHA Kids Chance macht aufgrund der starken sprachlichen Beeintr chtigungen der Testpersonen ein allgemeines Sprachmodell aufgrund der Testergebnisse weniger Sinn ein adaptiertes Sprachmodell k nnte aber zu den gew nschten Resultaten f hren Diesbez glich w ren noch weitere Tests erforderlich Aus dem aktuellen deutschen Voxforge Corpus Stand 04 03 2010 wurd
238. wurden 4 individuelle Stationen 3 individuelle Stationen an der Seniorenresidenz Humanitas in Graz und 1 individuelle Station bei Proband 02 in Leutschach mit extrem schlechten Voraussetzungen in Bezug auf Motorik und Sprache unter Verwendung von teilweise angepassten Sprachmodellen und angepassten Szenarien und teilweise individuelle Konfigurationen in Betrieb genommen 3 der 4 Probanden verwenden aufgrund der schlechten Motorik H ngemikrofone und steuern so dieses Center vom Bett aus 1 der 4 Probanden verwendet einen Full HD Beamer und der Rest Full HD Fernseher 1 Probandin verwendet ebenfalls die Funktion des DVD Laufwerkes f r das Abspielen von DVDs Die gro e Motivation der Senioren hat uns in der Verfolgung dieses Ansatzes gro en Auftrieb gegeben auch wenn die Systemintegration der L sung vor allem in der Installation der Peripherieger te und Funktionen als auch seitens der vorhandenen institutionellen Infrastruktur und IT Verantwortlichen sich als gro e Schwierigkeiten erwiesen haben 105 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 12 1 Technisch wissenschaftliche Beschreibung der Arbeit Anmerkung die jeweiligen Arbeitspakete AP finden Sie im Anhang 16 2 12 1 1 Ergebnisse und Meilensteine Bed rfniserhebung AP_01 Die Bed rfniserhebung wurde erstellt siehe 1 Zwischenbericht und zus tzlich noch mit einer optometrischen berpr fung des Designs und der Farbkonsta
239. ze uwelcamei o Commands C Start Browser E Calculator 5 Browser SC ust Mozilla Firefox web Description Mozila F Executable jusr binfirefox Working directory Tragen lt Manage plugins A New Comman d Ee X Delete Connected but Deactivated Fnished A a 7 1 14 8 Erinnerungsfunktion F r die Erinnerungsfunktion definieren Sie einfach entsprechende Erinnerungen im Kalender der verwendeten Groupwarel sung Achten Sie darauf einen Alarm auf den entsprechenden Event zu setzen In der Regel wird dieser Alarm etwa 15 Minuten vor dem tats chlichen Ereignis ausgel st konfigurierbar Die Erinnerung in simon wird ebenfalls zu diesem konfigurierten Alarmzeitpunkt ausgel st nicht zum Startzeitpunkt des Kalendereintrages selbst 86 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Ca Manage actions simon EY Akonadi Ae Selected collection Peter Grasch v Execute Akonadi based command requests Dialo Command prefix simon command 2 X Display alarms Akonadi Dialog design Bound values Template options Avatars Output Texti Event 1 2 3 Location 4 UMMA Time 4 Location Avatar Display avatar Options v Close and do not show again Ok _ Close and show again Snooze After 5 Minutes v Beim Erreichen des Alarmzeitpunktes wird ein Dialog ausgel st Das Erscheinungsbild der angezeigte Text die Optionen
240. zifikationen Erg nzungen R Muhr 6 6 4 1 Erinnerungsfunktionen mit Best tigungsanforderungen Legende Turn Dialogzyklus DP Dialogpartner User Spracheingabe Sys Sprachausgabe Syn Sprachsynthese a Aufstehen Dialog Weckfunktion K rperhygiene und Ankleiden morgens Kommunikationsdefinition Fr hlich animierend motivierend Stimme Denkbar weiblich eventuell Stimme bekannter Betreuerin Optische Aufl sung Bild von beliebter Pflegerin Turn DP Text Zusatzversionen 1 Sys Guten Morgen hier ist simon V1 Ich frage dich hast Du dich schon gewaschen ode Syn Individualisierung geduscht Hast du dich Es ist Syn 08 00 UHR schon angezogen 70 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Ich m chte Dich fragen hast Du dich sch V2 Hast Du dich heute schon gewaschen gewaschen oder oder geduscht Und bist du schon geduscht und f r den Tag angezogen sch n angezogen Bitte sage ja oder nein User la Sys Das freut mich Du schaust V2 Das ist gut Ich bin sicher du schaust heute wieder besonders nett heute sehr nett aus aus V3 Sehr gut Ich hoffe der Tag hat gut angefangen 2 User nein Sys Soll Dir jemand helfen V2 Willst du dass dir Bitte sag ja oder nein jemand hilft V3 M chtest du Hilfe User la Sys Ich rufe jetzt Syn Individualisierung eine Pflegerin 3 User nein Sys Ich werde
241. zur Erkennung verwendet wurden mit den erkannten Erkennungsergebnissen zu annotieren und aufzubewahren ber eine ebenfalls neu entwickelte Funktion in sam k nnen diese dann wieder zum Modelltraining verwendet werden So kann das Sprachmodell im laufenden Betrieb automatisch verbessert werden 6 3 Simon Benefit Neuentwicklung F r die Umsetzung der Funktionalit ten des Benefit Projektes wurden einige Softwareentwicklungen von Grund auf neu entwickelt 6 3 1 Mehrmikrofonl sungen Eine Anforderung die sich durch die wissenschaftliche Begleitung ergeben hat war die Unterst tzung der gleichzeitigen Aufnahme mit mehreren Aufnahmeger ten 49 BENEFIT simon Sprachsteuerung von IKT Anwendungen f r Senioren Projektnr 825883 Da einige der geplanten Szenarien sich nicht mit Headsets abdecken lassen und stattdessen andere Mikrofone Schwanenhals Mikrofone Ansteckmikrofone etc zum Einsatz kommen werden muss die Erkennung auch mit diesen funktionieren Sprachmodelle decken aber am besten die Situation ab mit der sie trainiert wurden So erh ht sich die Erkennungsrate substantiell wenn diese Modelle auch mit Schwanenhals bzw Ansteckmikrofonen trainiert werden Damit sich die notwendige Zeit zur Aufnahme nicht verdreifacht wurde ein System entwickelt das mit mehreren Mikrofonen gleichzeitig aufnimmt Diese Mehrmikrofonarchitektur wurde so umgesetzt dass sie allen Applikationen im simon Verbund ssc simon sam zug

Sachbericht

Contents

Download Pdf Manuals

Related Search

Related Contents