Home

PG 568 TabScript - Eldorado

Contents

1. D110 Listenelemente Die einzelnen Listeneintrage o Name Beschreibung der Aufgabe o Aufgabenld eindeutig o Status des Listeneintrags checked unchecked o Zeitstempel Datum o F lligkeitsdatum optional Datum D120 Listen Die Daten die zu den einzelnen Listen geh ren o Listenname o Listenld eindeutig Oo Listentag optional O Zeitstempel Datum o Listeneintr ge 12 7 Produktleistungen Als wesentlicher Bestandteil des Produkts muss die Handschrifterkennung einer gewissen Erkennungsrate geniigen SchlieBlich soll der Benutzer seine native Schreibart nicht grund legend ndern um erfolgreich mit dem Programm arbeiten zu k nnen Bei internet basierten Synchronisierungsschritten transferiert das Programm nicht erheblich mehr Datenvolumen als die eigentliche Traglast der Daten erfordert Zus tzlich geschieht dies auch nur zu definierten Zeitpunkten damit der Nutzer explizit Kontrolle ber seine Daten beh lt Das ausgelieferte Programm selbst gen gt stets der Anforderung einer interaktiven Benutz barkeit es treten bei rechenbedingten Leistungsengp ssen entsprechende Hinweise wie Fort schrittsanzeigen auf damit der Nutzer ber den Status seiner Anwendung informiert ist Die nutzergenerierten Inhalte der Anwendung bleiben stets konsistent Die Ver nderung von Nutzerinhalten durch das Programm z B L schen Verschieben von Listenpositionen wer den entweder durch den Nutzer initiiert oder
2. 2 Anhand der im vorangegangenen Schritt identifizierten Minima wird mittels der Methode der kleinsten Quadrate eine lineare Regressionsgerade berechnet 3 Die Steigung a der Regressionsgerade wird als die Steigung des Schriftzuges an genommen Daher wird die Trajektorie um diesen Winkel um den Ursprung ge dreht Jeder Punkt x y der Trajektorie wird dabei auf einen neuen Punkt x y mit x Xmin T cos a x SCH Geier sin i y B Ymin y Ymin sin amp x Xmin cos a Y Ymin projiziert Dabei sind Sein und Y min die Koordinaten des linkesten unteren Punk tes der Trajektorie In Abbildung 4 3 ist ein Beispiel einer Steigungskorrektur anhand des Wortes glo bal visualisiert 4 1 3 Gr ennormalisierung Eine Normalisierung der Gr e ist erforderlich da die Schrittweite der Neuabtas tung direkt von der H he der Trajektorie abh ngt Zwei Ans tze zur Normalisierung wurden f r TabScript umgesetzt Zum einen kann die Bounding Box der Trajektorie berechnet und auf eine feste H he skaliert werden Die Bounding Box ist durch die vier maximalen Eck Koordinaten der Trajektorie bestimmt Minimum und Maximum 25 Kapitel 4 4 1 Verfahren in x und y Richtung In TabScript ist eine Gr ennormalisierung implementiert die die Trajektorie auf eine Hohe von 40000 skaliert Der Nachteil dieser Methode ist aller dings die Abh ngigkeit von Ascendern und Descendern siehe Abschnitt 3 1 E
3. OD o P Bf On On On On 3 1 Anwendungsbereiche 2 2 2 2 2 run nn nn 3 2 lettre esa Be ee ee he eS 3 3 Betriebsbedingungem s a socre we eee oe ee EE de doe d 4 Produktumgebung A bewege amp a coer a Bk ee ee a ee a a Ak 42 Hardware u cs aaa Mok Wee ch Ge a ae RR a a 43 Orgware 2 a ade er ne he 5 Produktfunktionen 5 1 Aufgabeneintrag 5 2 Aufgabenliste EEN 5 3 bersichtsmenl EEN a a OE A G E s lt s r a Ar EN e a eet Ae 6 Produktdaten 7 Produktleistungen 8 Benutzungsoberfl che 81 Dialoestruktur E as a A as A E er 81 1 Hauptseite s oo soi marsa te oe ee et 8 1 2 Aufgabenliste is soe esta nn 8 1 3 Handschrift Ansicht 9 Qualitatszielbestimmungen 10 Globale Testszenarien und Testf lle 10 1 Aufgabeneintrag 10 2 Aufgabenliste Co oo oo 10 3 bersichtsmen INA OPONEN d a E ee 13 14 14 14 15 16 11 Entwicklungsumgebung 11 1 Software 11 2 Hardware 11 3 Orgware 12 Erg nzungen 12 1 Sprachmodul 13 Evaluation 21 21 21 21 22 22 23 1 Einleitung Die zu entwickelnde Software soll eine ToDo Anwendung f r Tablets realisieren die das Er stellen und Planen von zu erledigenden Aufgaben mittels Listen erm glicht Die Aufgaben k nnen dabei mit einem Erf llungstermin versehen nach Tags Auszeichnungen gegliedert oder als erledigt markiert werden Durch die immer gr ere Verbreitung von Tablets und ihren mobilen Einsatz hat die Ent wicklung table
4. aktiviert so wird die Handschrift Trajektorie mit einem Unsch rfe Effekt versehen Au erdem l sst sich unter Abtastpunk te ausw hlen ob die Trajektorienpunkte in der Schreib Ansicht angezeigt wer den sollen 5 2 Benachrichtigungen Abbildung 5 3 gibt einen berblick ber die m glichen Einstellungen zu den Aufgaben Benachrichtigungen der Anwendung ber den Eintrag Benach richtigungen l sst sich einstellen ob die Funktion der Benachrichtigungen berhaupt genutzt werden sollen Dies geschieht durch einen Klick auf das zu geh rige K stchen am rechten Bildschirmrand 30 5 2 Benachrichtigungen A Einstellungen Abbildung 5 3 Konfigurationsm glichkeiten fiir die Benachrichtigungen bei Falligkeitszeitpunkt von Aufgaben Durch Klick auf den Eintrag Benachrichtigungszeit vor F lligkeitsdatum ffnet sich ein Auswahlfenster in dem sich w hlen l sst wie viele Minuten vor dem F lligkeitszeitpunkt einer Aufgabe eine Erinnerung erscheinen soll siehe Abbildung 5 4 Benachrichtigungszeit vor F lligkeitsdatum 0 Minuten 15 Minuten 30 Minuten 45 Minuten 1 Stunde Abbildung 5 4 Einstellung des Erinnerungszeitpunktes f r Aufgaben mit F lligkeitszeitpunkt Der Ion f r die Erinnerung kann unter dem Eintrag Benachrichtigungston 31 5 Einstellungen durch einen Klick auf den jeweiligen Ton und eine anschlie ende Best tigung mit dem Button OK festgelegt werden
5. Abbildung 3 1 Die Aufgabentibersicht der Anwendung TabScript Mittels Menti Button 1 kann der Listenname einer ausgew hlten Liste editiert werden Der Button 2 dient zum Zuweisen eines Tags zu einer Aufgabenlis te Diese Funktionalit t wird in Kapitel 4 genauer erl utert Die Sortierung der Aufgaben innerhalb einer Liste kann mittels Button 3 durchgef hrt werden 15 3 Verwaltung von Aufgaben Uber Button 4 l sst sich das Men zum Erstellen einer neuen Aufgabe aufrufen Button 5 dient zum Aufrufen des L schmodus f r eine oder mehrere Aufgaben Die folgenden Abschnitte erl utern wie sich die Aufgaben und die Zusatzin formationen einer Aufgabe anzeigen lassen 3 1 1 Anzeigen von Aufgaben einer Liste Ein einfacher Klick auf eine Aufgabenliste f hrt dazu dass in der Aufgaben bersicht alle Namen der enthaltenen Aufgaben dieser Liste angezeigt werden Abbildung 3 2 gibt einen berblick ber diese Ansicht Enth lt eine Liste noch keine Aufgaben so erscheint eine leere Aufgaben bersicht A TabScript sten bersicht Activities Z Shopping Abbildung 3 2 Anzeigen der Aufgaben die zu einer Liste geh ren in der Aufgaben bersicht Links neben dem Namen einer Aufgabe wird ein K stchen angezeigt welches zun chst leer ist Ein solches leeres K stchen neben dem Aufgabentitel symbo lisiert dass eine Aufgabe noch nicht erledigt wurde Um diese als erledigt zu markieren ist ein Klick auf das K stchen erf
6. Beispiel fiir ein Alignment eines Wortes oben durch die Beschriftung mit den zugeh rigen Merkmalsvektoren unten e Beim sogenannten Flatstart wird davon ausgegangen dass noch keine Infor mationen zur Komplexit t der einzelnen Buchstaben und damit zur ben tigten Zustandsanzahl jedes Buchstabenmodells vorliegen Jedes Buchstabenmodell be steht hier aus vier Zust nden F r jeden Zustand liegen ebenfalls noch keine In formationen zur Emissionsverteilung vor weshalb f r die Mischverteilungsge wichte die Gleichverteilung angenommen wird e Wurde bereits ein Modell erstellt so besteht die M glichkeit die verwendeten Trainingsdaten zu beschriften engl labeln Hierbei wird f r jedes Trainingsda tum und somit f r jedes Wort ein sogenanntes Alignment gesucht dass jedem Buchstaben des Wortes die wahrscheinlichste Teil Sequenz von Merkmalsvek toren zuordnet Betrachtet man beispielsweise die in Abbildung 6 8 dargestellte Beschriftung f r das Wort Schrift so wurden f r den ersten Buchstaben S vier Merkmalsvektoren zugeordnet die in dem Modell mit hoher Wahrschein lichkeit von vier Zust nden ausgegeben wurden Wird ein Modell mithilfe dieser Beschriftung erstellt so orientieren sich die Zustandsanzahlen jedes Buchstabens an den Beschriftungen der Trainingsdaten Die initiale Emissionsverteilung der Zust nde wird hier ebenfalls anhand der Alignments gesch tzt Die Parameter des HMM Zustands bergangswahrsc
7. Expertenmodus ale wessen O 32 1 bersicht Die Notiz Applikation TabScript kann Aufgabenlisten mit jeweils mehreren Aufgaben verwalten Zu diesem Zweck ist es dem Benutzer m glich mit Hilfe der graphischen Oberflache eine neue Aufgabenliste auch Taskliste genannt zu erstellen Der Name dieser Taskliste kann dabei handschriftlich in einer speziel len Schreib Ansicht eingegeben werden Diese Eingabe wird schlie lich erkannt und in Maschinenschrift abgespeichert Das vorliegende Benutzerhandbuch gibt zun chst einen berblick ber die Anwendung TabScript und stellt anschlie end die graphische Oberfl che so wie alle Funktionalit ten im Detail vor Abbildung 1 1 zeigt die Startansicht der Anwendung A isteniibersicht Activities Abbildung 1 1 Startansicht der Android Anwendung TabScript Eine weitere zentrale Funktion der Anwendung ist die Verwendung sogenann ter Tags fiir Aufgabenlisten Tags sind bestimmte Auszeichner die einer Auf gabenliste zugewiesen werden k nnen und weitere Informationen enthalten Derselbe Tag l sst sich mehreren Listen zuordnen Es besteht dann die M g lichkeit nach einem bestimmten Tag zu filtern und sich damit nur genau die jenigen Aufgabenliste anzeigen zu lassen welche mit dem entsprechenden Tag versehen sind 1 Ubersicht Der Aufbau des Handbuches ist gem den drei zentralen Funktionen der Anwendung TabScript gestaltet Verwaltung von Listen Aufgaben und Tag
8. bersicht ber alle angelegten Listen der so genannten ListActivity Die Hauptseite erscheint beim Neustart der Anwendung und solange noch keine Liste durch den Benutzer angelegt worden ist Die Hauptseite umfasst im unteren Bereich eine Auflistung der Namen aller ge speicherten Listen Standardm ig wird beim ersten Programmstart auf der Hauptseite eine leere Liste angezeigt Die zugeh rige Men leiste befindet sich am oberen Bildschirmrand und erstreckt sich ber die gesamte Bildschirmbreite Activity Bar Die Men leiste beinhaltet von links nach rechts betrachtet folgende Elemente ein Symbol f r das Programm Men Liste 14 x den Fenstertitel Listen x ein Symbol f r den Aufruf des L schmen s Papierkorb ein Symbol f r den Aufruf des Men s zum Erstellen einer neuen Liste Plus Zeichen Arbeit Einkauf Sport Privat Rezept Kaffeekochen Ballett Ideen f r Spieleabend Abbildung 2 Hauptseite der Anwendung 8 1 2 Aufgabenliste B02 Aufgabenliste siehe Abbildung 3 Wurde vom Benutzer bereits mindestens eine Liste angelegt und die Anwendung nicht erst neugestartet so erscheint beim Weiterverwenden der Anwendung stets die Aufgabenliste ItemActivity Die Aufgabenliste zeigt die zuletzt verwendete Liste zusammen mit ihren Ein tr gen untereinander angeordnet F r jeden Listeneintrag ist in der gleichen Zeile auch eine zugeh rige Checkbox vor
9. nem Vermerk f r die Weiterverarbeitung JMW0O0 4 2 Verwendete Vorverarbeitungsschritte Von den im vorangegangenen Abschnitt vorgestellten Vorverarbeitungsschritten werden die folgenden in der finalen Applikation eingesetzt e Gl ttung e Skalierung e Steigungskorrektur e Neigungskorrektur und e Neuabtastung F r die Skalierung wird die anhand der Bounding Box berechnete H he der Trajekto rie benutzt Die Zielh he betr gt 40000 Pixel Zur Steigungskorrektur wird die Baseline auf Grundlage der lokalen Minima der Trajektorie extrahiert und anschlie end iterativ rotiert Die oben genannten Methoden haben sich in der beschriebenen Reihenfolge als am erfolgreichsten im Hinblick auf das Erkennungsergebnis erwiesen In Abschnitt 7 2 wird diese Entscheidung im Detail beleuchtet 29 5 Merkmalsberechnung Die Merkmalsberechnung ist fiir die erfolgreiche Handschrifterkennung ein essen tieller Bestandteil der bei der semantischen Unterscheidung unterschiedlicher Hand schriftdaten hilft Die berechneten Merkmale bilden dabei eine Komponente die es er m glicht effizient Schrift klassifizieren zu k nnen Die handgeschriebene Trajektorie bekommt erst durch die Merkmalsberechnung Werte zugewiesen die der Klassifikator verarbeiten kann Eine Einordnung der Merkmalsberechnung in die Verarbeitungspi peline ist in Abbildung 5 1 gegeben 5 1 Ziel der Merkmalsberechnung Ein Merkmal ist ein charakteristisches unterscheiden
10. stellungsdatum oder Anzahl 2 5 2 Manuelle Sortierung Als Alternative zur automatischen Sortierung steht die manuelle Sortierung zur Verf gung Dabei lassen sich einzelne Listen an eine andere Stelle in der Listen bersicht schieben Zu diesem Zweck wird der Listenname der zu verschieben den Liste angeklickt und der Klick gehalten Nun l sst sich das Element an eine andere Position in der Liste ziehen Abbildung 2 16 und rastet dort ein Die M glichkeiten zum Sortieren werden in derselben Form ebenfalls zum Sortieren von Aufgaben und Tags verwendet was in Kapitel 3 bzw 4 beschrie ben wird 12 2 5 Sortierung von Listen Abbildung 2 16 Manuelle Sortierung in der Listen bersicht 13 3 Verwaltung von Aufgaben Sobald eine Aufgabenliste erstellt wurde l sst sich diese mit zugeh rigen Auf gaben f llen In diesem Kapitel werden die Funktionalit ten zum Erstellen An zeigen Sortieren und L schen solcher Listen Eintr ge vorgestellt 3 1 Anzeigen von Aufgaben In der Startansicht der Anwendung TabScript befindet sich auf der rechten Bild schirmh lfte die Aufgaben bersicht siehe Abbildung 3 1 Diese Ansicht zeigt in der Titelleiste den Namen der ausgew hlten Liste an Am rechten Rand die ser Leiste befinden sich vier Men Buttons In der Abbildung sind diese in rot nummeriert um sie im Text besser referenzieren zu k nnen A TabScript sten bersict enUbersicht Activities
11. Aufgaben k nnen auf unterschiedliche Weise entfernt werden o Klicken des x Symbols eines Aufgaben Items in einer Aufgabenliste auf der rech ten Seite bei eingeschaltetem L schmodus F110S entfernt den gew hlten Eintrag o Das L schen einer Aufgabenliste F250 l scht gleichzeitig alle Aufgaben inner halb der Liste F130 Aufgabe ndern Eine Aufgabe kann ber eine entsprechende Optionstaste durch Neueintragung der Aufgabe ge ndert werden F140 Aufgabe als erledigt markieren Der Benutzer kann eine Aufgabe als erledigt markieren indem er das Auswahlk stchen an der linken Seite eines Aufgaben Elements anklickt F150 Markierung von als erledigt markierten Aufgaben aufheben Der Benutzer kann die markierung einer Aufgabe aufheben indem er das Auswahlk stchen an der linken Seite eines Aufgaben Elements anklickt F160S Aufgabenliste sortieren Die Sortierfunktion f r Aufgaben kann in jeder Aufga benliste ber das Kontextmen gew hlt werden F170 Aufgabenliste manuell sortieren Die Aufgaben Elemente einer Aufgabenliste k nnen manuell per Drag and Drop innerhalb der Liste verschoben werden F180S Aufgabenliste taggen Der Aufgabenliste kann ber ein Kontextmen erreichbar ber das Men an der oberen Leiste ein Tag zugewiesen werden F200S Zwischen Listen wechseln Der Benutzer kann zwischen Listen wechseln indem er mit einer horizontalen Wischbewegung nach links oder rechts eine Liste au
12. Der Men Button 1 erm glicht das Hinzuf gen eines neuen Tags mit Hilfe der Schreib Ansicht deren Bedienung in Abschnitt 2 3 beschrieben wird Button 2 23 4 Verwaltung von Tags aktiviert den L schmodus zum L schen von einem oder mehreren Tags Mit Hilfe des Buttons 3 k nnen die Tags sortiert werden 4 Tags verwalten Hnzur sen ji L schen sortieren Abbildung 4 2 Die Tag Ansicht gibt einen berblick ber alle bereits erstellten Tags Da noch keine Tags erstellt wurden ist sie zun chst leer 4 2 Hinzuf gen von Tags ber die Bet tigung des Buttons 1 l sst sich in der Tag bersicht ein neuer Tag hinzuf gen ber die Auswahl dieses Buttons wird die Schreib Ansicht ge ff net welche in Abschnitt 2 3 genauer erl utert wird In dieser l sst sich nun der Name des neu zu erstellenden Tags eingeben und best tigen Anschlie end wird der Name dieses Tags zusammen mit den anderen Tags in der bersicht angezeigt siehe Abbildung 4 3 24 4 3 Sortierung von Tags A Tags verwalten wmmien Gj L schen SORTIEREN Abbildung 4 3 Tag Ansicht nachdem drei Beispiel Tags hinzugef gt wurden 4 3 Sortierung von Tags Um eine Sortierung aller bereits erstellten Tags vorzunehmen muss in der Tag bersicht der Button 3 bet tigt werden Nun erscheint eine Auswahlm glich keit die anbietet entweder nach Name oder nach Erstellungsdatum zu sor tieren siehe Abbildung 4 4 Durch einen Klick auf den jewe
13. Literaturverzeichnis Literaturverzeichnis MRWO1 MWO00 LB05a LBO5b Man98 MBS99 McQ67 MS02 MZ97 Nie83 Ots79 PF09 J GER Stefan MANKE Stefan REICHERT J rgen WAIBEL Alex Online handwriting recognition the NPen recognizer In International Journal on Document Analysis and Recognition 3 2001 Nr 3 S 169 180 J GER Stefan MANKE Stefan WAIBEL Alex Npen An On Line Handwriting Recognition System In Proceedings of the 7th International Workshop on Frontiers in Handwriting Recognition 2000 S 249 260 LIWICKI Marcus BUNKE Horst Handwriting Recognition of Whiteboard Notes In Proceedings of the 12th Conference of the International Graphonomics Society 2005 S 118 122 LIWICKI Marcus BUNKE Horst TAM OnDB an On Line English Sen tence Database Acquired from Handwritten Text on a Whiteboard In Proceedings of the 8th International Conference on Document Analysis and Re cognition 2005 S 956 961 MANKE Stefan On line Erkennung kursiver Handschrift bei gro en Vokabula ren Karlsruhe Institute of Technology Diss 1998 MILETZKI Udo BAYER Thomas SCH FER Hartmut Continuous Lear ning Systems Postal Address Readers with Built In Learning Capability In Proceedings of the 5th Conference on Document Analysis and Recognition 1999 S 329 332 MCQUEEN J Some Methods for Classification and Analysis of Multiva riate Observations In
14. Testpersonen 7 5 3 Erkennungsrate 7 5 4 Benutzerzufriedenheit 7 5 5 Verbesserungsvorschl ge 8 Zusammenfassung Literaturverzeichnis A Handbuch B Fragebogen C Pflichtenheft 111 82 120 128 1 Einleitung Mobile Rechnersysteme etwa Smartphones und Tablet Computer sind ein wesent licher Bestandteil unseres Lebens geworden Im privaten Bereich werden sie vor allem zur Unterhaltung eingesetzt ein Einsatz als Arbeitsger t ist aber ebenso m glich So bietet es sich beispielsweise an Tablet Computer als Notizblock zu verwenden da die se den Benutzer im Gegensatz zu einem Laptop nicht verdecken und so eine bessere Kommunikation mit Gespr chspartnern erm glichen Ein gro er Nachteil ist aber die M glichkeit zur Texteingabe Tablets verf gen in der Regel nur ber ein sogenanntes Soft Keyboard also eine Tastatur auf dem Bildschirm Durch diese gestaltet sich die Texteingabe weniger nat rlich als mit Stift und Papier da sie beim Dr cken einer Taste nicht die gleiche haptische R ckmeldung an den Benutzer liefert wie eine physikali sche Tastatur Die Projektgruppe befasst sich aus diesem Grund mit einer Applikation die eine nat rlichere Art der Interaktion unterst tzt Handschrift Abbildung 1 1 zeigt eine Situation in der eine Texteingabe ohne Bildschirmtastatur get tigt wurde Die ur spr ngliche Form des Schreibens soll nicht durch das Tippen einzelner Tasten verhin dert sondern vielmehr die typische
15. ber einen Abbrechen Button l sst sich die urspr ngliche Auswahl beibehalten siehe Abbildung 5 5 ber den Eintrag Vibration bei Benachrichtigung l sst sich festlegen ob mit dem Erscheinen einer Benachrichtigung auch ein kurzer Vibrationsalarm aus gef hrt werden soll Durch Klick auf das nebenstehende K stchen am rechten Bildschirmrand l sst sich diese Funktionalit t sowohl aktivieren Default ringtone Silent Beat Box Android Caffeinated Rattlesnake Highwire Abbildung 5 5 Auswahl des Benachrichtigungstones f r Aufgaben mit F lligkeitszeitpunkt Weiterhin l sst sich einstellen dass beim Erscheinen einer Benachrichtigung auch die eingebaute LED eines Tablets leuchtet Aktiviert wird diese Funktion ber einen Klick auf das nebenstehende K stchen am rechten Bildschirmrand Ist diese Funktion aktiv so erscheint ein neuer Eintrag mit dem Titel LED Farbe Per Klick auf diesen ffnet sich ein Auswahlfenster in dem sich die gew nschte Farbe der leuchtenden LED festlegen l sst Der Abbrechen Button dient dazu die zuletzt getroffene Auswahl zu erhalten 5 3 Expertenmodus Im Expertenmodus k nnen Einstellungen vorgenommen werden die nur f r erfahrene Benutzer sinnvoll sind die sich mit dem Thema Handschrifterken nung auskennen Der Modus wird durch einen Klick auf das K stchen neben dem Eintrag Expertenmodus aktiviert 32 5 3 Expertenmodus Eine weitere Funktionalit t die im Expertenmodu
16. gesetzten Handschrifterkennung Ein Beispiel f r ein HMM mit nur einem Merkmal dessen Verteilungsdichte eine Mischverteilung aus drei Normalverteilungen ist ist in Abbildung 6 3 dargestellt F r den allgemeinen Fall von mehreren Merkmalen werden die Dichten durch Mittelwertvektoren und Kovarianzmatrizen beschrieben um Ab h ngigkeiten zwischen den Merkmalen zu erfassen Die Generierung von Daten durch das HMM erfolgt anhand von zwei stochastischen Prozessen der Folge von Zust nden die von den bergangswahrscheinlichkeiten der einzelnen Zust nde abh ngt und der Folge von Emissionen die von den Emissions dichten jedes Zustands abh ngt Besonders zu beachten ist hierbei jedoch das lediglich die Emissionsfolge beobachtbar ist die Zustandsfolge hingegen nicht versteckt engl hidden Aus dieser Eigenschaft folgt dass es zu einer Emissionsfolge keine eindeuti ge Folge von Zust nden gibt die diese erzeugt haben sondern mehrere Zustandsfol gen hierf r infrage kommen Wie trotz dieser Schwierigkeit die richtige Zustandsfol ge bestimmt wird erl utert Unterabschnitt 6 1 1 Das Aufdecken der versteckten Zu standsfolge ist der Erkennungsprozess und wird auch als Dekodierung bezeichnet 6 1 1 Dekodierung Die Dekodierung eines Hidden Markov Modells bezeichnet die Bestimmung der wahrscheinlichsten Zustandsfolge f r eine gegebene Folge von Beobachtungen Merkmalsvektoren Wie in Abschnitt 5 4 beschrieben wird die durch das Tab
17. r sorgen dass das Wort aus der Leiste mit den er kannten W rtern entfernt wird 2 Verwaltung von Listen A Neue Aufgabenliste anlegen x FERTIG X L SCHEN things things Thomas Chinese Editieren L schen thog Abbildung 2 4 Auswahlmen f r weitere Wortvorschl ge bei der Eingabe ei nes neuen Wortes A Neue Aufgabenliste anlegen x FERTIG L SCHEN things 4 to 4 do 4 at a school 4 school chose er Loschen sok Abbildung 2 5 Editieren eines Wortes in der Schreib Ansicht 2 3 3 Zur cksetzen der gesamten Schreib Ansicht Als weitere Option stellt TabScript dem Benutzer eine M glichkeit zur Verf gung alle bereits erkannten W rter und Eingaben zu l schen In Abbildung 2 8 wird demonstriert wie dies mittels des Men Eintrages L schen in der obe ren Men leiste durchgef hrt werden kann 2 3 Die Schreib Ansicht A Neue Aufgabenliste anlegen A FERTIG X L SCHEN things 4 to 4 do 4 at a school 4 sok Abbildung 2 6 Das zu editierende Wort wird rot hinterlegt A Neue Aufgabenliste anlegen A FERTIG X L SCHEN things 4 to 4 do a at 4 school 4 school chose billion Editieren sch Abbildung 2 7 L schen eines einzelnen Wortes in der Schreib Ansicht 2 3 4 Ausklappbare Seitenansicht Um das Anlegen von neuen Listen Aufgaben oder Tags zu vereinfachen l sst sich ber den Pfeil am rechten Bildschirmrand der Schreib Ansicht eine Seiten ansicht
18. Abwandlungen vorstellbar beispiels weise eine Variation der Gr e oder eine nicht waagerecht ausgerichtete Schrift Die Vorverarbeitung wird eingesetzt um die unterschiedlichsten Trajektorien so zu pr pa rieren dass sie ein uniformes Erscheinungsbild aufweisen Dadurch ist die Variation in den im Anschluss berechneten Merkmalen geringer und die Klassifikation wird er leichtert 4 1 Verfahren Die Vorverarbeitung beginnt zun chst mit einer Gl ttung der aufgezeichneten Tra jektorie Anschlie end wird eine Korrektur der Schriftsteigung slope und eine Nor e Segmentierung und Trajektorie Merkmalsextraktion Klassifikation Abbildung 4 1 Verarbeitungschritte der Trajektorie vgl Nie83 23 Kapitel 4 4 1 Verfahren Upper Line Ascender Corpusline Corpus Baseline Descender Lower Line Abbildung 4 2 Die verschiedenen Linien anhand des Wortes global visualisiert vgl JMW00 malisierung der Schriftgr e durchgef hrt Um sp ter eine korrekte Segmentierung und Merkmalsextraktion zu gew hrleisten wird eine Trajektorie mit quidistanden Abtastpunkten ben tigt Zu diesem Zweck wird die aufgenommene Trajektorie nach der Normalisierung der Schriftgr e neu abgetastet Zuletzt erfolgt die Berechnung der sogenannten Base und Corpusline welche wie in Abbildung 4 2 dargestellt den Kern des Wortes von seinen Ober bzw Unterl ngen abgrenzen Diese Linien werden ebenfalls f r die sp ter
19. E 12 2 11 Unterst tze Android Versionen 2 2 2 m mm nenn 17 3 Online Handschrifterkennung 18 dilo sGr ndbestitie u es 2a e ARA A rich 18 3 2 Einf hrung in die Handschrifterkennung 19 3 2 1 Handschrifterkennung Offline vs Online 19 3 2 2 Anwendungsgebiete debate tt al Sse Dez 20 3 3 Aufbau von Online Handschrifterkennungssystemen 20 3 3 1 Verarbeitungs Pipelme Li d 21 3 3 2 Tram nasdaten A O a a 22 4 Vorverarbeitung 23 Alo Verf hren 226 2 2 8 ie an or ans ts Se eek Seah RR 23 4 1 1 Gl ttung der Trajektorie essen see erlernt 24 4 1 2 Korrektur der Steigung sd e e 25 4 1 3 Gr ennormalisierung ose 3 2 A 25 Inhaltsverzeichnis Inhaltsverzeichnis 4 1 4 Netablastung s s isem Ode ante ee E ENE axe ome 26 4 1 5 Berechnung von Base und Corpusline 26 4 1 6 Neigungskorrektur 2 eu EE Ste ERBE 28 4 1 7 Entfernen von Delayed Strokes ru 0024 20 Ce amp ORES eS 28 4 2 Verwendete Vorverarbeitungsschritte 2 2 22 22222 29 5 Merkmalsberechnung 30 5 1 Ziel der Merkmalsberechnune d Abee ee ee 30 5 2 Merkmalsrepr sentation ku ass ds er Ge wee EEE 31 5 2 1 Diskriminativit t 0 0 00 0 000000 00 eee eee 31 522s Rob stheit 8 22 2 a ae aa 32 9 2 3 BKompaktheit sore ee Mis atte wrk SA Sate aha 32 5 3 Merkmalsextraktion E e e aE E EE ES 33 EIERE e AE E E te Si 34 5 5 Merkmale a 25 dad Gok Ale
20. Ergebnisse zur Auswahl angibt Abschnitt 2 8 wird hierbei auch beachtet an welcher Stelle das Geschriebene erkannt wird In Unterabschnitt 7 5 3 wird bei der Erkennungsrate ber die Erkennung nur an erster Stelle an den ersten beiden und an allen dreien zusammen gesprochen Somit k nnen Fehler teilweise ab gefangen werden die von der Erkennung gemacht wird weil die Testperson mit einer schwer lesbaren oder stark von der Norm abweichenden Handschrift schreibt Der dritte Teil des Fragebogens soll die Zufriedenheit der Benutzer mit einzelnen Be reichen der Applikation Unterabschnitt 7 5 4 erfassen Vor dem Erstellen der genauen Fragen ist er rtert worden zu welchen Dingen sich die Probanden u ern sollen Hier bei ist eine Dreiteilung in die Funktionalit t die Bedienung und die Optik vorgenom men worden Die Testpersonen bewerten die Funktionalit t mit Noten von 1 sehr gut bis 5 gar nicht gut die Optik von 1 bersichtlich bis 5 un bersichtlich und die Bedienung bzw Benutzerfreundlichkeit von 1 sehr intuitiv bis 5 gar nicht intuitiv Im vierten Teil des Fragebogens werden Verbesserungsvorschl ge und Anmerkun gen der Testpersonen er rtert Hierbei werden drei Fragen gestellt Zuerst wird der Proband gefragt ob ihm Fehler in der Applikation aufgefallen sind die behoben wer den m ssen danach ob ihm bestimmte Funktionen oder Men s verbesserungsw rdig vorkommen Neben diesen Verbe
21. Grenzen dar Buchstaben stehen f r die Merkmalsauspr gungen Unter schiedliche Buchstaben in verschiedenen Schriftarten verdeutlichen die Gemeinsamkeiten bzw die Unterschiede der Merkmalsauspr gungen a Alle Klassen sind strikt voneinander getrennt Diskriminativit t b Merkmale unterschiedlicher Klassen sind teilweise sehr hnlich keine Diskriminativit t licht verlangt die Diskriminativit t also dass sich Merkmalsauspr gungen der selben Klasse wenig Merkmalsauspr gungen unterschiedlicher Klassen hingegen stark un terscheiden wodurch eine bessere Zuordnung zu den einzelnen Klassen im sp teren Verlauf erm glicht wird Wie03 5 2 2 Robustheit Ein gew hltes Merkmal soll m glichst robust sein Bei einer zugeh rigen Klasse sind geringe Schwankungen der Merkmalsauspr gung erlaubt bevor die Auspr gung nicht mehr zu dieser Klasse geh rt Wie03 Abbildung 5 3 zeigt beispielhaft die Ver nderun gen einer Merkmalsauspr gung anhand des Buchstabens a in einer robusten Klasse Abbildung 5 3 Geringe Ver nderung des Merkmals hier am Buchstaben a verdeut licht sind erlaubt ohne dass die Klasse blauer Kreis verlassen wird 5 2 3 Kompaktheit Zus tzlich zur Diskriminativit t und Robustheit eines Merkmals ist die Kompakt heit der Eingangsdaten wichtig Wie03 Da die Online Handschrifterkennung m g 32 Kapitel 5 5 3 Merkmalsextraktion lichst schnell erfolgen soll ist die Verarbeitung
22. Handhaltung und der Gebrauch eines Stiftes bzw Fingers zum Schreiben unterst tzt werden Abbildung 1 1 Tabscript verk rpert Handschrift als intuitive Eingabemethode auf dem Tablet Bildschirm statt gew hnlicher Bedienung ber eine Bildschirmtas tatur Kapitel 1 1 1 Historie der Handschrifterkennung 1 1 Historie der Handschrifterkennung Der folgende Abschnitt stellt verschiedene Hardware sowie Konzepte vor die in der Vergangenheit ma geblich dazu beigetragen haben die Evolution der Handschrifter kennung voranzutreiben Manche der nachfolgenden Mechanismen bedienen sich an derer Konzepte als der heute verbreiteten Verarbeitungsschritte doch zeigen sie auf welche unterschiedlichen Verfahren im Laufe der Zeit gesetzt wurden und welche sich letztendlich durchgesetzt haben Bevor die maschinelle Erkennung von Handschrift erforscht wurde war der Markt des mobile computing bereits sehr belebt Tragbare Rechner setzten anfangs auf Hardware Tastaturen oder Stifteingaben auf dem Display was sich jedoch auf simple Auswahl und Zeichenaufgaben beschr nkte MS02 Echte Handschrifterkennung auf einem mobilen Ger t dass eine gewisse Aufmerksamkeit erregte und dadurch den Markt f r seine Nachfolger quasi er ffnete fand 1993 mit der Vorstellung des Apple Newton Apple MessagePad statt Einen ersten kommerziellen Erfolg konnte die Firma Palm 1996 mit dem Palm Pilot feiern Das Ger t vermied in vielerlei Hinsicht Fehler und Unzu
23. Initialisierung des Modells auf einem Buchstabenmodell basierte so ben tigt das Training bei Wort basierten Daten die Defi nition der Wort Modelle Das hei t es wird eine Datei ben tigt die angibt aus welchen Buchstaben Modellen die W rter bestehen vgl Abbildung 6 5 oben Das Training das auf dem Baum Welch Algorithmus aufbaut vgl Fin08 Kap 5 7 erzeugt neben dem aktualisiertem Zustandsmodell mit den bergangswahrscheinlichkeiten auch ein aktualisiertes Codebuch Durch wiederholtes Trainieren auf den aktualisierten Daten kann das Modell verbessert werden 52 Kapitel 6 6 2 Esmeralda 6 2 4 Dekodierung Der letzte Schritt besteht aus der Dekodierung des Modells die auf dem Viterbi Algorithmus beruht vgl Unterabschnitt 6 1 1 Zur Dekodierung werden die Testdaten in Form von Merkmalsvektoren verwendet Hinzu kommt das Codebuch sowie das Zustandsmodell mit den Ubergangswahrscheinlichkeiten Als weitere Parameter wer den die Definitionen des Modells sowie Parameter zur Gr e des Suchraums auch Beambreite genannt innerhalb des HMM angegeben Auch kann eine Wortstrafe ange geben werden die die Entscheidung mit beeinflusst indem kurze oder lange W rter bzw Buchstaben bei der Erkennung bevorzugt werden vgl ST95 S 266 Das Ergeb nis der Dekodierung ist eine Segmentierung der Daten aus der das erkannte Datum herausgelesen werden kann 6 2 5 Konfiguration Die Konfiguration von ESMERALDA und somit des Hidd
24. Model Estimation and Recognition on Arbitrary Linear Data Arrays enth lt Tools die das Trainie ren und Evaluieren eines Hidden Markov Modells mit der zugeh rigen Dekodierung und Klassifikation erm glichen ESMERALDA urspr nglich in C geschrieben wurde f r TabScript das auf Java basiert mithilfe des Java Native Interface eingebunden Zuvor musste der C Code f r die ARM Prozessorarchitektur angepasst werden was mithilfe des Android NDK realisiert wurde Im Folgenden werden die wichtigsten Bestand teile von ESMERALDA beschrieben sowie eine bersicht ber die Verwendung in der Applikation gegeben nttp sourceforge net projects esmeralda zuletzt abgerufen am 12 03 2013 n here Informationen unter http www kandroid org ndk docs STANDALONE TOOLCHAIN html zu letzt abgerufen am 09 03 2013 51 Kapitel 6 6 2 Esmeralda 6 2 1 Datenstruktur ESMERALDA verwendet zur Konfiguration und Speicherung von Modellen eine Mi schung aus Klartext und Bin rdateien F r die Initialisierung und das Training eines Modells werden Merkmalsvektoren ben tigt welche als Bin rdateien vorliegen m s sen Deshalb werden die generierten Merkmalsvektoren einer Trajektorie in sogenann ten UFV Dateien kurz f r Unified Feature Vector gespeichert Werte der Merkmale wer den dabei bin r hintereinander in die Datei geschrieben Alle weiteren Dateien wie zum Beispiel die Trainingsdaten Zuweisung oder Konfigurationsdateien werden als Klartex
25. Trajektorie auf ein normiertes Ma skaliert Normalizing Size Die Interpolation fehlender Punkte ist in unserer Implementierung eine Unterfunktion der Neuabtastung und verschiebt sich somit bei Betrachtung von Abbildung 7 3 in den Schritt Resampling Die Gl t tung der Trajektorie hier Smoothing rangiert in unserer Kette an erster Stelle was wir aus dem Esmeralda Werkzeug bernommen haben Die Schritte der Neigungskor rektur und Neuabtastung kommen bei der Tabscript Applikation ebenso zum Einsatz hingegen wird keine Entfernung von Delayed Strokes vorgenommen da deren zuver l ssige Detektion sich nicht unter angemessenem Zeitaufwand bewerkstelligen lies 58 Kapitel 7 7 2 Vorverarbeitung Zusammenfassend ist die angepasste Verarbeitungskette der Tabscript Anwendung in Abbildung 7 4 zu sehen Skalierung Neigungskorrektur Steigungskorrektur Abbildung 7 4 Die schematische Darstellung der Tabscript Vorverarbeitung zeigt die Reihenfolge der einzelnen implementierten Methoden Der genutzte Unipen Datensatz ist in einigen Belangen von den beteiligten Institu ten w hrend der Aufnahme der Schriftproben bearbeitet worden bevor er zur Nut zung freigegeben wurde So wurden zum Beispiel schr g eingegebene Schriftproben so korrigiert dass sie anschlie end horizontal ausgerichtet in der Datenbank verzeichnet waren Bei der Mehrheit der Aufnahmeger te waren dar ber hinaus auch Hilfslinien als Orientie
26. a Eet daa dae e 34 Sais gt Schreibticht nge s g Se 5 22 Sy ER Bia ee oes e RY Bos 35 De ASUMA 0 sing oder eae o a a AP essen dee me oe Ae aes eae ES 36 55 3 Stiftdruck sessa Sate Ceo ad ele So ee ee ee ea A 37 8 94 Aspect RANG e cg fa ws Ye Gee A i d an ika 37 ech Ablenkung u a a Sw Les ox 39 556s Line rit t gt ea e unra a a ey ce ele ak ne 39 99 25 CAMS HER mu nee kat be esses A Maite oh inte eek deed EE 40 5 5 8 Ascenders und Descenders 2 22 2 2 2 2 mn a 40 5 5 9 Dynamische Merkmale oe se aces ieee Bh Bae Bee eee A 41 5 6 Verwendete Merkmale 42 6 Erkennung 43 6 1 Hidden Markov Modelle 2 22 2 2 Cm mm 0 0 00 000000000048 44 6 1 13 Dekodieruns EE EE 45 6 12 PAINE Ss ne ee at 48 6 2 Esmeralda souk bee ee el ee ale en 51 6 2 1 Datenstruktur ee u a a a a a a 52 6 2 2 IMSS 2 Au naar En ee Eu 52 Ooo AMM a oss eee a Puma EE 52 6 24 Dekodier ng esoe apuce areren a Haren ei 53 6 2 5 Konfig ratioN s sses A Re etek AAA 53 7 Evaluierung 54 Zl Applikation EE 54 724 VorverarbeitUng Aen wo 2 ya see ey a ra EEE 56 7 3 Merkmale esos 232 A Bun Ba a A Bu heed 60 TA Erkennung 2 872 AA Mr ae ir ir 64 7 4 1 Modelltraining mit der St dtedemo 64 7 4 2 Modelltraining mit Unipen Daten 65 ii Inhaltsverzeichnis Inhaltsverzeichnis 7 4 3 W rterb cher 7 4 4 Erkennung von mehreren W rtern 7 5 Umfrage 75 1 Aufbau 7 0 2
27. auch vereinzelt Probanden ihre Ideen Unterabschnitt 7 5 5 als m glich aber nicht unbedingt notwendig angesehen Die Optik der Applikation ist wie in Unterabschnitt 7 5 1 beschrieben in drei unter schiedliche Fragen aufgeteilt Dabei beurteilen die Probanden das erst das gesamte Er scheinungsbild der GUI Abbildung 7 15 a dann die Anbringung der Buttons sowie die Intuitivit t dieser Abbildung 7 15 b und zuletzt die Teilung des Startbildschirms in Listen und Aufgaben Abbildung 7 15 c Die graphische Oberfl che schneidet bei der Umfrage mit einem Notenschnitt von 1 8 gut ab Die ber 80 guten Bewertungen sowie die nicht mal 5 schlechten best tigen den guten Eindruck den die Optik der Applikation bei den Probanden hinterlassen hat Bei dieser Frage haben einige Testpersonen die Farbwahl kritisiert und w nschen sich weitere Themes Unterabschnitt 2 7 1 als die von uns gew hlten Jedoch best ti gen auch viele die Meinung unserer Entwicklergruppe dass eine Notiz App auch auf Notizzettel farbenem Hintergrund geschrieben werden sollte Auch die Teilung des Bildschirms und die Anbringung der Buttons wird von den Probanden gut angenommen Das Splitten der Applikation in Listen und den dazu geh rigen Aufgaben ist im Schnitt mit einer 1 7 bewertet w hrend die Intuitivit t der Buttons mit einer 1 3 die beste Durchschnittsnote aller Fragen aufweist Beide Fragen sind wie die allgemeine graphische Oberfl che von weit ber 80 der T
28. bersicht Das Android Men der Anwendung hier obere Men leiste ganz rechts bietet die M glichkeit Tags zu verwalten Durch einen Klick auf diese Option gelangt der Be nutzer in die Tag Ansicht siehe Abbildung 2 5 wo alle bereits erstellten Tags aufge listet werden In der Men leiste dieser Ansicht gibt es die M glichkeiten einen neuen Tag hinzuzuf gen sowie einen oder mehrere Tags gleichzeitig zu l schen Au erdem kann an dieser Stelle eine Sortierung nach Name oder Erstellungsdatum durchge f hrt werden Manuell verschoben werden einzelne Tags auch hier wieder durch einen Longklick mit anschlie endem Ziehen an eine andere Position in der Ansicht Um nach einem Tag zu filtern also ausschlie lich Listen in der bersicht anzuzeigen die mit einem bestimmten Tag versehen worden sind gen gt ein Klick auf den jewei ligen Tag nach dem gefiltert werden soll Diese Auswahl kann anschlie end durch Klicken auf die Schaltfl che Filter l schen wieder r ckg ngig gemacht werden 2 7 Einstellungen Die Einstellungen der Anwendung sind mittels des Men Eintrages Einstellungen im Android Men der Anwendung zug nglich Dort gibt es verschiedene Optionen zum Ver ndern des u eren Erscheinungsbildes der Anwendung zur Anpassung von Kapitel 2 2 7 Einstellungen A Tags verwalten wmmien jj L schen SORTIEREN Abbildung 2 5 Die Tag Ubersicht der Anwendung und ihre Men Felder Benachrichti
29. dem ein neues Wort unter Verwendung der Software Tastatur von Android eingegeben werden kann siehe Abbil 2 Verwaltung von Listen dung 2 12 Das Wort wird in das interne Worterbuch von TabScript aufge nommen und durch die Best tigung mit dem Button Hinzuftigen auch in der W rter Leiste der Schreib Ansicht als letzte Eingabe angezeigt Abbrechen l sst sich der Vorgang durch einen Klick auf den gleichnamigen Button Mit Hilfe dieser Funktionalit t ist es m glich auch W rter aufzunehmen die wiederholt nicht von der Handschrift Erkennung erkannt wurden Neues Wort zum W rterbuch hinzuf gen Housework Abbrechen Housework GE ES ES ES EE 17 EE EE Ee Ee Ee Ee Es E ee pat state pot rites my Px fic ESES In Im py Abbildung 2 12 Hinzuf gen von W rtern zum W rterbuch der Anwendung ber die Software Tastatur von Android 2 4 L schen von Listen Um eine oder mehrere Aufgabenlisten gleichzeitig zu entfernen muss der Men Button 3 angeklickt werden Auf diese Weise wird der L schmodus aktiv Nun lassen sich per Klick auf die jeweiligen Listennamen alle Listen ausw h len die gel scht werden sollen Durch das Anklicken werden die Listennamen rot hinterlegt siehe Abbildung 2 13 Die Best tigung des L schvorganges erfolgt dann ber die Auswahl des Ein trages L schen in der oberen Men leiste siehe Abbildung 2 14 Um den Vor gang ohne das L schen von Listen abzubrechen und den L schmodus zu v
30. ein Objekt der Klas se TrajectorySurfaceView In der TrajectorySurfaceView wird die vom Benutzer auf dem Tablet geschriebene Trajektorie aufgenommen und gespeichert Des Weite ren berpr ft die Klasse die Zeit in der nicht geschrieben wird berschreitet die ge messene Zeit einen definierten Grenzwert st t die TrajectorySurfaceView die Er kennung in der WriteActivity an Die tats chliche Erkennung findet ber die Klas se HandwritingController statt Sie bildet die Schnittstelle zur Erkennung Abbil dung 2 10 stellt die Zusammenh nge der zuvor vorgestellten Klassen dar Wie in Abschnitt 2 9 beschrieben werden bei verschiedenen Displaygr en unter schiedliche GUI Varianten genutzt Daher m ssen mehrere Layouts bereitgestellt wer den und f r diese Layouts unterschiedliches Verhalten implementiert sein Das Bereit stellen verschiedener Layouts wird durch die Android Architektur stark vereinfacht Beim Erstellen einer Activity wird der Activity eine XML Datei zugewiesen in der die graphische Oberfl che definiert wird Anda Diese Datei befindet sich normalerwei se im Ordner res layout Zus tzlich kann eine alternative Datei mit gleichen Namen in anderen Ordnern z B res layout large abgelegt werden Andb Anhand des Ordnernamens z B layout large oder layout entscheidet Android beim Erzeugen der Activity welches Layout genutzt wird Bei gro en Displays wird zuerst versucht die Layoutdefinition in layout large zu nutzen Wenn
31. einem diskreten Gau Filter der in Abschnitt 4 1 erl utert wird ei ne Verbesserung von 0 65 Eine initiale Rotation der Trajektorie per Steigungskorrek tur erzielte eine um 4 26 h here Wortgenauigkeit w hrend die Bearbeitung kursiver Schriftelemente durch Neigungskorrektur eine um 3 63 erh hte Wortgenauigkeit hat te Das Konfidenzintervall von 1 5 zeigt dass die Gl ttung der Irajektorie keinen signifikanten Effekt besitzt da der gemessene Effekt von 0 65 vom Konfidenzinter vall dominiert wird Bei der Steigungs und Neigungskorrektur ist unter Beachtung des Konfidenzintervalls von 1 6 indessen eine positive Wirkung auf die Erkennungs leistung nachzuweisen Nachdem die einzelnen Effekte der Variation in der Vorverarbeitung auf die Gesamt leistung der Handschrifterkennung auf dem Evaluierungsdatensatz betrachtet wurden schlie t sich nachfolgend eine Betrachtung der Anordnung der benannten Schritte in der Vorverarbeitungskette an Zum Vergleich dient die Verarbeitungsreihenfolge des NPen Erkenners JJMW00 JMRW01 die in Abbildung 7 3 veranschaulicht ist Abbildung 7 3 Die Vorverarbeitungsreihenfolge des NPen Systems zeigt g ngige Me chanismen auf vgl JMRW01 Die Manipulation der Trajektorie beginnt in der NPen Pipeline mit der Steigungs korrektur Normalizing Rotation die auf Basis einer zuvor extrahierten Grundlinie Computing Baselines vorgenommen wird Anschlie end wird die
32. essentieller Bestandteil bei der Entwicklung einer Handschrifterkennung ist ein annotierter Datensatz von Schriftproben der zum Trainieren des Hidden Markov Mo del herangezogen wird Dieser Schritt ist notwendig um dem Klassifikator Kenntnisse uber Eigenschaften der in der Anwendung zu erwartenden Schriftzeichen zu geben Da die Handschrifterkennung aus den zu Grunde liegenden Trainingsdaten heraus er stellt wird ist sie f r Muster geeignet die den Trainingsdaten hneln Ein mit arabi schen Schriftzeichen und Wortern trainiertes Modell ware beispielsweise nicht in der Lage in der Praxis auf dem lateinischen Alphabet erfolgreich arbeiten zu konnen Auch der Umfang der Trainingsdatenbank ist ein einflussreicher Faktor bez glich der Er kennungsleistung LBO5b Da auf einem Tablet sowohl kursive Handschrift als auch Blockschrift erwartet werden k nnen m ssen beide Schriftstile in der ausgew hlten Datenbank vertreten sein dem wird durch die Nutzung der Unipen Datenbank Rech nung getragen Das Unipen Konsortium stellt einen Zusammenschluss von 40 Firmen und Institu ten dar die sich unter dem Konzept eines vereinheitlichten Datenbankformats das Ziel gesetzt haben eine umfangreichere Datenansammlung zu etablieren als ffentlich zu g ngliche Datenbanken sonst bieten Uni Das Ergebnis ist eine seit 2011 frei erh ltliche Datenbank von Online Handschriftdaten bestehend aus vielen Beitr gen der invol vierten Institutionen die sich zu
33. in Abbildung 3 1 einen Descender 3 2 Einf hrung in die Handschrifterkennung Die Idee einen von Hand geschriebenen Text durch ein automatisches Erkennungs system in eine digitale Repr sentation umzuwandeln ist ein viel behandeltes Thema in der Mustererkennung Das elektronische Lesen bzw Durchsuchen von handschrift lichen Texten beschleunigt Prozessabl ufe in vielen Anwendungsgebieten wie etwa das automatische Einlesen von Adresszeilen auf Briefumschl gen Es folgt eine Pr zi sierung des Begriffs der Handschrifterkennung und eine Beleuchtung ihrer Einsatzge biete 3 2 1 Handschrifterkennung Offline vs Online Man unterscheidet in der Handschrifterkennung grundlegend zwischen der Offline und der Online Erkennung Beim Offline Konzept liegt in der Regel eine Bilddatei ei nes Textes vor Dabei k nnte es sich z B um einen maschinell einzulesenden ber weisungsschein oder Briefumschlag handeln MBS99 Ein essentieller Schritt ist den Text vom Hintergrund zu unterscheiden da anfangs lediglich Bilddaten vorliegen die keinerlei Informationen zur Position der Textbausteine bereitstellen Zur sequentiellen Verarbeitung wird der identifizierte Text nachfolgend in einzelne Zeilen unterteilt und durchl uft anschlie end die in Abschnitt 3 3 vorgestellte Verarbeitungsschritte PF09 Die Online Handschrifterkennung bietet hingegen eine zeitliche Komponente die die Unterscheidung von Text und Hintergrund in einer Bilddatei unn tig ma
34. in Unterabschnitt 7 4 1 und Unterabschnitt 7 4 2 eingegangen wird In Unterabschnitt 7 4 3 wird die Verwendung von W rterb chern f r die Erken nung erl utert Anhand des finalen Modells wurde neben der Erkennung von einzel nen W rtern die Leistung bei der Erkennung von Wortfolgen evaluiert Die Auswer tung dieses Versuchs wird in Unterabschnitt 7 4 4 pr sentiert 7 4 1 Modelltraining mit der St dtedemo F r erste Experimente bei der Erstellung des Schriftmodells f r TabScript erschien die Benutzung eines Datensatzes sinnvoll f r den aus vorheriger Anwendung des Lehrstuhls gute Ergebnisse erzielt wurden Dieser Datensatz enthielt 201 verschiede ne deutsche St dtenamen deren handschriftliche Version jeweils von 13 Schreibern aufgenommen wurde Zu Evaluationszwecken wurde dieser Datensatz in Trainingsset 11 Schreiber 85 und Testset 2 Schreiber 15 aufgeteilt Auf dem definierten Testset wurden dabei mit sp teren Versionen der Software Er kennungsergebnisse von bis zu 93 erreicht was sich mit den Ergebnissen des Lehr stuhls deckt Der Einsatz einer Kreuzvalidierung erschien f r den gegebenen Stand der Erkennung und dem nicht finalen Datensatz aufgrund von Aufwand und Berech nungszeit nicht sinnvoll Ein zus tzlicher Test der Erkennung wurde jedoch durch einen Versuch in Verbindung mit der zu entwickelnden Applikation durchgef hrt in dem von zwei Personen jeweils 100 W rter geschrieben wurden und die jeweils wahr sc
35. nachher zu berpr fen ob sie tats chlich gel scht wurden T310 Expertenmodus Die Testperson berpr ft im Optionsmen ob durch Wahl des normalen Benutzers bzw des Expertenmodus Parameter ver ndert werden k nnen 20 11 Entwicklungsumgebung 11 1 Software O O Entwicklungssystem Windows Linux Mac OSX Versionskontrolle Git Programmiersprache Java C C Verwendete Bibliotheken Android SDK OpenCV Android NDK ESMERALDA IAM On Datenbank IDE Eclipse Diagramme Dokumenterstellung LaTeX 11 2 Hardware O Tablet mit Android OS ab 3 0 API 11 11 3 Orgware Oo O O Internet Redmine Pflichtenheft 21 12 Erg nzungen 12 1 Sprachmodul Das System verf gt ber ein austauschbares Sprachmodul indem alle Texte zum Dialog mit den Benutzern vorliegen und jeweils ber eine Identifikationsnummer angesprochen werden Um das System um eine Sprache erweitern zu k nnen muss das Sprachmodul mit der neuen Sprache analog zum bereits existierenen Sprachmodul erstellt werden 22 13 Evaluation Dieses Kapitel beschreibt das geplante Vorgehen bei der Evaluation der zu entwickelnden Applikation Diese soll anhand einer repr sentativen Kontrollgruppe erfolgen welche die Qualitat der Anwendung im Rahmen einer schriftlichen Befragung beurteilt Ziel der Evaluation ist es insbesondere die Giite der Handschrifterkennung zu bewerten und in wiefern diese den Anforderungen des Benutzers entsp
36. sie dort nicht existiert wird die Datei aus layout genutzt Bei kleinen Displays wird direkt die Datei aus layout 15 Kapitel 2 2 10 Technische Realisierung slidingMenu SlidingMenu TrajectorySurfaceView extends SurfaceView C AAA AAA startDetection void WriteActivity extends Activity A processTrajectory String writingArea HandwritingController processTrajectory trajectory Trajectory String Abbildung 2 10 Klassendiagramm f r die handschriftliche Benutzereingabe verwendet Dieses Verfahren nutzt die App indem fiir die TaskListActivity zwei Layout Dateien existieren Zum Einen gibt es f r gro e Displays ein Layout das in zwei Spalten ein TaskListFragment und ein TaskFragment anzeigt Zum Anderen gibt es f r kleinere Displays ein Layout dass nur ein TaskFragment enth lt vgl Abbil dung 2 1 und Abbildung 2 7 Layout aus layout large nutzen gro es Display TaskListActivity starten o Layout aus layout nutzen kleines Display TaskFragment existiert TaskFragment aktualisieren Aufgabenliste in TaskListFragement angeklickt ID der Liste an TaskListActivity senden TaskActivity starten sonst Abbildung 2 11 Aktivit tsdiagramm zur Erzeugung der TaskListActivity und Verhalten beim Ausw hlen einer TaskList in Bezug auf die Unterst tzung von ver schiedenen Displaygr en Unter U
37. true true false false false alse alse 85 82 3 4 true true true false true false alse alse 85 32 3 5 true true alse false true false true alse 85 07 3 5 true true true true true false true alse 84 83 3 5 true true true true false true alse true 84 58 3 5 false true true false true false alse true 84 33 3 6 true true true false true false true alse 84 33 3 6 true true false false false false true alse 84 08 3 6 true true false false true false alse true 84 08 3 6 false true true false false false alse true 83 83 3 6 true true true false false false true alse 83 83 3 6 false true false false true false true alse 83 33 3 6 true true false true true false false true 83 33 3 6 true false false false false false alse true 83 08 3 7 alse true true true true false true alse 82 59 3 7 true true true true false false alse true 82 59 3 7 true true true false true false alse true 82 34 3 7 alse true false true true false true alse 82 09 3 7 alse true true false true false false alse 82 09 3 7 true false false false true false alse true 82 09 3 7 false true true false true false true alse 80 85 3 8 alse true alse false false false true true 80 35 3 9 true true alse true false false alse true 80 35 3 9 true false alse false true false alse alse 80 1 3 9 true false false true false false alse true 79 85 3 9 false true alse false true false true true 79 6 3 9 true false true false false false true alse 79 6 3 9
38. werden Anzeige der aktuellen Liste bei Eingabe einer Aufgabe Ihttp sourceforge net projects esmeralda 2 4 Erstellungs und F lligkeitsdatum von Aufgaben L sch Modus zum gleichzeitigen L schen mehrerer Aufgaben Optionales Einschalten des Bildschirmtastatur Kannkriterien Eine Liste die alle Aufgaben anzeigt In dieser Liste sollen keine Aufgaben erstellt werden k nnen Benachrichtigung Erinnerung an F lligkeitsdatum bei aktiver Anwendung bzw beim Start der Anwendung Synchronisation mit Google Account Google Tasks Verbesserung Erweiterung der Handschrifterkennung durch Hinzunahme von Web Kontexten Abgrenzungskriterien Die Trajektorie der Handschrift wird nach der Worterkennung nicht mehr angezeigt Kein Abhaken ganzer Listen Keine Verwendung von Multimedia Daten in Aufgaben bspw Fotos Keine Erinnerungsfunktion die einen Hintergrund Prozess der Anwendung vorausset zen w rde z B durch die Kalenderfunktion von Android Keine Bereitstellung eines Widgets f r den Homescreen Kein Mehrbenutzer Betrieb 3 Produkteinsatz Das folgende Kapitel beschreibt die n heren Bedingungen und Umst nde unter denen die Anwendung zum Einsatz kommt 3 1 Anwendungsbereiche Nutzer verwenden die Anwendung zum Verwalten von Listen von Aufgaben Besonders soll hierbei auf die Verwendung der Bildschirmtastatur verzichtet werden und mit der Hand schrifterkennung eine alternative Eingabemethode eingef hrt werden Ei
39. wurde erkannt an Markieren Sie nur ein Oval _ erster Stelle C zweiter Stelle dritter Stelle _ keiner Stelle 12 F nftes geschriebenes Wort 13 Das f nfte Wort wurde erkannt an Markieren Sie nur ein Oval C erster Stelle __ Zweiter Stelle dritter Stelle _ keiner Stelle 14 Sechstes geschriebenes Wort 15 Das sechste Wort wurde erkannt an Markieren Sie nur ein Oval gt erster Stelle zweiter Stelle C3 dritter Stelle C keiner Stelle 16 Siebtes geschriebenes Wort 17 Das siebte Wort wurde erkannt an Markieren Sie nur ein Oval erster Stelle zweiter Stelle 3 dritter Stelle __ keiner Stelle 18 Achtes geschriebenes Wort 19 Das achte Wort wurde erkannt an Markieren Sie nur ein Oval erster Stelle zweiter Stelle C dritter Stelle gt keiner Stelle 20 Neuntes geschriebenes Wort 21 Das neunte Wort wurde erkannt an Markieren Sie nur ein Oval _ erster Stelle C zweiter Stelle dritter Stelle _ keiner Stelle 22 Zehntes geschriebenes Wort 23 Das zehnte Wort wurde erkannt an Markieren Sie nur ein Oval C erster Stelle __ zweiter Stelle dritter Stelle _ keiner Stelle 24 Die Handschrifterkennungs Funktion der Anwendung funktioniert Markieren Sie nur ein Oval sehrgut C C C CD CD garnicht Optik 25 Die grafische Oberfl che der gesamten Startansicht bewerte ich zusammenfasse
40. zus tzlich von der L nge des geschriebenen Wortes der Menge der abgetasteten Punkte und der Leistung des benutzten Android Ger tes ab Die gew hlte W rterbuchgr e war auf allen getesteten Ger ten praxistauglich lEs gibt beispielsweise kaum kursive oder schr g geschriebene Wortbeispiele 66 Kapitel 7 7 4 Erkennung Neben der Gr e des W rterbuchs musste auch die Auswahl der Sprache festgelegt werden F r den allgemeinen Gebrauch enth lt TabScript zwei W rterb cher mit h u figen Begriffen der deutschen und englischen Sprache F r Pr sentationszwecke und die Anwendung der Applikation in der durchgef hrten Umfrage siehe Abschnitt 7 5 wurde ein weiteres W rterbuch mit Lebensmitteln aufgenommen um einen themati schen Rahmen beim Anlegen von Listen vorzugeben z B Rezepte Einkaufslisten etc 7 4 4 Erkennung von mehreren W rtern Im Hinblick auf die Nutzbarkeit der Notizapp wurde die M glichkeit mehrere W r ter hintereinander weg zu schreiben und diese im Anschluss gemeinsam zu erkennen getestet Dies sollte die Eingabe nat rlicher gestalten da der Benutzer nicht nach jedem Wort warten muss bis die Erkennung startet Zur Evaluierung haben jeweils neun Probanden je f nf englische und deutsche S tze geschrieben Es wurden 171 deutsche und 225 englische W rter geschrieben insgesamt also 396 W rter Ausgewertet wurde zum einen wie oft der komplette Satz vollst ndig richtig erkannt unter den ersten
41. 28 36 4 4 false false false false true true false true 22 89 4 1 true true true false true true false false 21 64 4 false false false false false true false true 18 91 3 8 true true true false false true false false 18 16 3 8 false false false false true false false false 9 7 2 9 false false false false true true false false 8 46 2 7 false false false false false true false false 7 46 2 6 Tabelle 7 4 Vergleich der Erkennungsrate induziert durch die Merkmale Ablenkung und Linearit t Der Informationsgewinn durch die dynamischen Merkmale wird nicht sofort durch die besten Ergebnissen der Evaluierung deutlich Obwohl das beste Erkennungsergeb nis dynamische Merkmale generiert werden diese in den besten 10 Ergebnissen ledig lich ein weiteres Mal erzeugt Nichtsdestotrotz sind Verbesserungen der Klassifikation durch dynamische Merkmale mithilfe von Tabelle 7 5 zu belegen Verglichen zu Tabel le 7 3 sind die Ergebnisse signifikant besser geworden weshalb sie auch in der finalen Implementierung verwendet werden Die Evaluation der Merkmale mithilfe der St dtedemo hat geholfen eine Auswahl von Merkmalen zu finden die eine gute Erkennung auf den Unipen Daten liefern k nnte Die berpr fung der Werte auf der Unipen Datenbank war dennoch notwen dig da dies die verwendete Trainingsbasis der Handschrifterkennung von TabScript ist Auf Grundlage der Datenbank wurde eine beste Erkennungsrate von 79 erzielt und die hier angegebenen Me
42. Bedienungsfreundlichkeit ist eine deutlich bessere Be wertung zu erkennen als bei der Benotung der Erkennung da sowohl die Anzahl an schlechten Noten niedriger insgesamt 4 4 als auch die der guten insgesamt 80 deutlich h her ist Somit ist es nicht verwunderlich dass der Notenschnitt mit 1 9 etwas besser ist Die Bedienungsfreundlichkeit ist f r die meisten Testpersonen angenehm da die Applikation keine unn tigen Funktionen besitzt sondern auf den Kern fokus siert ist So sind auch die meisten Verbesserungsvorschl ge eher als Zusatz gedacht 74 Kapitel 7 7 5 Umfrage 1 00 00 90 00 80 00 70 00 60 00 50 00 40 00 30 00 20 00 10 00 0 00 51 11 28 89 45 56 2 22 2 22 U x 1 2 3 4 5 Abbildung 7 14 Umfrageergebnisse zur Bedienungsfreundlichkeit 100 00 90 00 100 00 80 00 70 00 60 00 50 00 40 00 30 00 20 00 10 00 0 00 40 00 3333 30 00 20 00 1111 2 gt 40 00 6 67 6 67 WM mm Oo m oo 3 4 90 00 70 00 u 5333 a b 100 00 90 00 80 00 70 00 60 00 50 00 40 00 30 00 26 67 20 00 bows 22 22 0 00 0 00 e c Abbildung 7 15 Umfrageergebnisse zum Aussehen der TabScript Applikation a Be wertung der Benutzeroberfl che insgesamt b Bewertung der Buttons und ihrer Anbringung c Bewertung der Teilung des Bildschirms in Listen und Aufgaben 75 Kapitel 7 7 5 Umfrage Dementsprechend haben
43. Eingabefenster und best tigt den Eintrag ber die H kchen Plus Taste Anschlie Bend wird der Test T030 durchgef hrt T050 Eintrag abbrechen Die Testperson schreibt einen Eintrag ins Aufgabenfenster und bricht den Eintrag ab Anschlie end vergewissert sich die Testperson dass keine neue Aufgabe in die Aufgabenliste eingetragen wurde T060S Aufgabenf lligkeitsdatum eintragen Der Tester tr gt das F lligkeitsdatum f r die Aufgabe ber das Kontextmen ein und berpr ft ob die Aufgabe daraufhin mit diesem F lligkeitsdatum versehen ist T070S Aufgabenliste einblenden Die Testperson blendet die Aufgabenliste ber die Einblende Taste an der linken Seite auf und berpr ft diese auf Richtigkeit Sie ber pr ft ob auf dem Schreibfeld weiterhin geschrieben werden kann T080S Aufgabenliste ausblenden Die Testperson blendet die ausgeklappte Aufgabenliste wieder aus und schreibt eine Aufgabe in die Liste T 090S Bildschirmtastatur einblenden Der Tester w hlt ber das Kontextmen die Bild schirmtastatur und tr gt so eine Aufgabe in die Aufgabenliste ein 10 2 Aufgabenliste T100 Aufgabe hinzuf gen Der Tester klickt auf das Symbol um das Eingabefenster zu ffnen T110S L schmodus aktivieren deaktivieren Der Testnutzer aktiviert bzw deaktiviert den L schmodus ber das zugeh rige Symbol in der Men leiste 18 T120 Aufgaben entfernen Die Testperson klickt auf das x Symbol eines Aufgabe
44. Fifth Berkeley Symposium on Mathematical Statistics and Probability 1967 S 281 296 MACKENZIE Scott SOUKOREFF R W Text Entry for Mobile Computing Models and Methods Theory and Practice In Human Computer Interaction 17 2002 S 147 198 MACKENZIE Scott ZHANG Shawn X The immediate usability of Graffit In Proceedings of Graphics Interface 1997 S 129 137 NIEMANN Heinrich Klassifikation von Mustern Springer Verlag 1983 OTSU Nobuyuki A Threshold Selection Method from Gray Level Histo grams In IEEE Transactions on Systems Man and Cybernetics 9 1979 Nr 1 S 62 66 PL TZ Thomas FINK Gernot A Markov models for offline handwriting recognition a survey In International Journal on Document Analysis and Recognition IJDAR 12 2009 S 269 298 Pri12 PRITZEL Monika H ndigkeit In Kognitive Neurowissenschaften Springer Berlin Heidelberg 2012 Springer Lehrbuch S 705 710 80 Literaturverzeichnis Literaturverzeichnis Rah09 RAHMANN Sven Einf hrung in die Angewandte Bioinformatik Protein sequenz Datenbanken http 1s11 www cs uni dortmund de people rahmann teaching ss2009 angebio ProteinsequenzDB pdf zuletzt ab gerufen am 23 10 2013 2009 Rah13 RAHMANN Sven Algorithmen der Bioinformatik https docs google com viewer a sv amp pid sites amp srcid ZGVmYXVsdGRvbWFpbnxyYWhtYW5ubGFifGd40 jMZMGY2MDEwNmUwODk1YWQ zuletzt abgerufen am 31 10 2013 2013 Sca SCACCO R
45. Ihttp photos pcpro co uk blogs wp content uploads 2011 09 DSC02184 JPG zuletzt abgerufen am 21 10 2013 Kapitel 1 1 2 Projektziel wurde das Display gr er als bei blichen Mobiltelefonen gestaltet wie Abbildung 1 3 zeigt 1 2 Projektziel Ziel der Projektgruppe ist es eine Software zu entwickeln mit der nat rliche menschliche Handschrift zur Eingabe auf einem Android basierten Tablet Computer genutzt werden kann Dabei haben wir uns dazu entschieden eine Notiz Applikation zu schreiben die es dem Benutzer erm glicht mehrere Listen mit Aufgaben zu verwal ten Die einzelnen Aufgaben k nnen dabei handschriftlich vom Benutzer eingegeben werden um ihm das Eintragen zu erleichtern Diese handschriftlichen Eingaben wer den dann automatisch in Maschinenschrift bersetzt F r die Handschrifterkennung wurde das Toolkit ESMERALDA verwendet Dieses bietet verschiedene Funktionalit ten zur Entwicklung einer Erkennungssystem f r sequentielle Daten wie Handschrift 1 3 Inhalts bersicht Dieser Endbericht gliedert sich im Wesentlichen in drei Bereiche In Kapitel 2 wird zun chst die Applikation mit ihren Funktionalit ten im Detail vorgestellt Der zweite Teil widmet sich der Handschrifterkennung Dort werden in Kapitel 3 einige Grund lagen vorgestellt Dann werden die einzelnen Schritte der Handschrifterkennung im Detail vorgestellt von der Vorverarbeitung in Kapitel 4 ber die Segmentierung und die Merkmalsberechnung in Kapi
46. Umfrage 13 33 11 11 10 00 EN 8 89 6 67 om MM ME wem 4 5 1 2 3 Abbildung 7 13 Umfrageergebnisse zur Handschrifterkennung 7 5 4 Benutzerzufriedenheit Die Benutzerzufriedenheit ist in insgesamt f nf Fragen zu drei bergeordneten Themen der Applikation erfasst worden Diese Bereiche sind die Erkennung Abbil dung 7 13 sowie die Bedienungsfreundlichkeit Abbildung 7 14 und die Optik Ab bildung 7 15 der TabScript Applikation Alle Bereiche werden mit Noten von 1 bis 5 bewertet Wie in Abbildung 7 13 zu sehen ist ist dieser die Handschrifterkennung der Appli kation besonders oft mit gut beantwortet worden 60 Insgesamt ist der Anteil an guten Noten Noten 1 und 2 mit 71 11 sehr erfreulich Diese Frage ist jedoch auch gleichzeitig die mit den meisten negativen Bewertungen Noten 4 und A insgesamt 15 56 Hierbei ist aber zu beachten dass die Beur teilung der Handschrifterkennung eine sehr subjektive ist So vergeben Testpersonen deren geschriebene W rter nur selten erkannt wurden schlechtere Noten als jene die eine berdurchschnittliche Erkennungsrate aufweisen So hat nur eine der Testperso nen die eine dieser beiden Noten vergeben haben bei der eigenen Handschrift eine durchschnittliche Erkennungsrate erzielt w hrend die anderen darunter liegen Daher ist hier der Notenschnitt mit 2 1 zwar ein guter aber im Vergleich zu den anderen eher schlecht Bei der zweiten Frage zur
47. X 5 9 Ay max Y min Y 5 10 _ 2Ay er 5 11 38 Kapitel 5 5 5 Merkmale 5 5 5 Ablenkung Das Ablenkungsmerkmal s Abbildung 5 11 wird durch den Vergleich der eukli dischen L nge L des Trajektoriepfades eines Segments vgl Gleichung 5 12 mit der gr ten L nge des umgebenden Rahmens berechnet wie in Gleichung 5 13 definiert und gibt an inwieweit das Segment sich zu einer der beiden Seiten gekr mmt wird Ax und Ay ergeben sich dabei durch Gleichungen 5 9 und 5 10 Ay Abbildung 5 11 Visualisierung der Berechnung eines Ablenkungsmerkmals an einem Trajektorienabschnitt vgl MW00 L Y t ti 1 2 A y ti 1 5 12 5 13 5 5 6 Linearit t Das Linearit tsmerkmal dient der approximativen Ermittlung der Geradlinigkeit ei nes Schriftabschnittes s Abbildung 5 12 Dazu werden die aufsummierten und gemit telten Abst nde der Trajektorienpunkte zu einer Mittelgeraden errechnet s Gleichung 5 14 N gilt dabei als Anzahl der Punkte des Trajektorienabschnitts und d als k rzeste euklidische Distanz eines Punktes zur Geraden zwischen dem ersten und letzten Punkt in dem Segment JMW00 IN Ed 5 14 39 Kapitel 5 5 5 Merkmale Ay Abbildung 5 12 Visualisierung der Berechnung eines Linearit tsmerkmals an einem Tra jektorienabschnitt vgl JMWO0 5 5 7 Anstieg Das Merkmal des Anstiegs ergibt sich aus dem Winkel zwischen der horizont
48. abtastung u erst schlechte Erkennungsraten von unter einem Prozent lieferten Schwankende Schriftgr en im Evaluierungsdatensatz sorgten daf r dass die Merkmalsrepr sentationen f r einzelne Buchstaben zu undifferenziert waren Die Skalierung erm glichte zusammen mit der als notwendig erachteten Neuabtastung auf dem Evaluierungsdatensatz eine Wortgenauigkeit von 72 17 Neuabtastung und Skalierung stellen somit eine funktionst chtige Konfiguration dar sodass die Erkennungsleistung auf dem Evaluierungsdatensatz als Referenzwert f r die weiteren Vorverarbeitungsmethoden verwendet wird Vorverarbeitung Wortakkuratheit Verbesserung Konfidenzintervall Skalierung Neuabtastung 72 17 Referenz 1 5 Gau Gl ttung 72 82 0 65 1 5 Steigungskorrektur 76 43 4 26 1 6 Neigungskorrektur 75 80 3 63 1 6 Tabelle 7 1 Die Vorverarbeitungsschritte der Gl ttung Steigungskorrektur und Nei gungskorrektur wurden jeweils einzeln zu den essentiellen Schritten der Ska lierung und Neuabtastung hinzugef gt und evaluiert Wie in Tabelle 7 1 dargestellt wurden zu den zum Erkennungsbetrieb ben tigten Schritten die Implementierungen von Gau Gl ttung Steigungskorrektur bzw Nei gungskorrektur hinzugef gt um den individuellen Effekt auf die Erkennungsleistung am Ende der Erkennungspipeline feststellen zu k nnen Dabei erzielte die Gl ttung 57 Kapitel 7 7 2 Vorverarbeitung der Trajektorie mit
49. alen Linie und der Geraden die den ersten und den letzten Punkt eines Segments mitein ander verbindet s Abbildung 5 13 und kann als eine weitere M glichkeit der Schrei brichtungsermittlung angesehen werden JMWO00 Ay Ax Abbildung 5 13 Veranschaulichung eines Anstiegmerkmals vgl JMWO0 5 5 8 Ascenders und Descenders Die Merkmale Ascenders und Descenders werden berechnet indem die Anzahl der Punkte aufsummiert wird die sich oberhalb der Corpusline bzw unterhalb der Base line innerhalb eines Segments befinden Punkte die sich innerhalb eines Toleranzbe reichs b tiber bzw unter den Linien befinden werden nicht einbezogen Damit werden 40 Kapitel 5 5 5 Merkmale Buchstaben erfasst die ber den Mittelbereich nach oben oder unten hinausgehen wie t oder g Kleine Abweichungen im Schriftbild werden durch den Schwellwert b nicht erfasst JMW0O0 ya Ascenders Corpusline Mittelbereich Baseline 2 Descenders Abbildung 5 14 Veranschaulichung der Ascender und Descender Merkmale vgl MWO00 5 5 9 Dynamische Merkmale Neben den bereits vorgestellten Merkmalen bieten sich dynamische Merkmale an um weitere Information aus den berechneten Gr en zu gewinnen Die bisherigen Merkmale wurden jeweils f r ein Segment berechnet und sind daher im Bereich der Low Level Merkmale anzusiedeln Die Idee dynamischer Merkmale ist den Kontext ei nes Segments mit in den Merkm
50. alsvektor einzubeziehen Dabei basiert ein dynami sches Merkmal auf der Berechnung eines anderen zuvor definierten und berechneten Merkmals sowohl auf Segment S als auch S _ und S 1 wobei t der Index der nach einanderfolgenden Segmente einer Trajektorie ist vgl ST95 Die berechneten dyna mischen Merkmale stellen somit die diskreten Ableitungen der jeweiligen Merkmale dar Die detaillierte Berechnung ist in Gleichung 5 15 aufgef hrt und in Abbildung 5 15 illustriert D S bezeichnet hierbei das dynamische Merkmal zu Merkmal i und Seg ment S M S liefert die Auspr gung des Merkmals i von Segment S Zus tzlich be zeichnet Sy das erste und S das letzte Segment der Trajektorie In Abbildung 5 15 sind in der obersten Zeile die Segmente S aufgelistet Pro Seg ment werden Merkmalsvektoren mit den Merkmalen Mo bis Mm berechnet die in der Abbildung mittig beschrieben werden Die diskreten Ableitungen in der Abbildung unten werden durch die zu den jeweiligen Merkmalen quivalenten dynamischen Merkmalen Do bis Dm repr sentiert Sie errechnen sich als jeweiliges Mittel der zeitlich vorherigen und nachfolgenden Merkmale durch Pfeile illustriert D S 1 falls St So Dj S DS 1 falls St Sn 5 15 Mi St41 gt MS Bauer 41 Kapitel 5 5 6 Verwendete Merkmale 5 1 1 1 1 1 Sr I 1 Sia I S 1 Zi 1 1 1 1 1 1 1 1 1 1 1 1 1 1 Ol I l l l i i Mo S 1 Mo S 2 i y MS a MS 1 1 I 1 I
51. ationDate Date changePerformed dueDate Date updateDatabase Abbildung 2 8 Klassendiagramm f r Model und Controller der App TaskListTagAssociationController der der Tags zu den jeweiligen Tasklisten zu ordnet Abbildung 2 9 zeigt die Klassen die zur View geh ren Zum Anzeigen der verschie denen Daten gibt es pro Datentyp ein eigenes Fragment in dem die Daten in einer Liste dargestellt werden Ein Fragment beschreibt Aussehen und Verhalten eines Teils der Benutzeroberfl che Diese Fragments k nnen in mehreren Activities genutzt wer den Dadurch wird zus tzlich das Anzeigen der Listen in der Write Activity vereinfacht Au erdem k nnen dadurch die Listen bersicht und die ausgew hlte Aufgabenliste auf gro en Displays nebeneinander dargestellt werden aber auf kleinen Displays auf zwei verschiedenen Ansichten verteilt werden Zum Anzeigen der Daten im Fragment verwenden wir die Klasse DragSortListView Diese Klasse wird von der gleichnamigen Bibliotheken Bau bereitgestellt Die Klasse DragSortListView erbt von der Android eigenen Klasse ListView und bietet zus tzlich noch die M glichkeit Elemente per Drag and Drop zu verschieben Um die ListViews mit den Daten zu f llen werden verschiedene Adapterklassen genutzt Diese erzeugen aus den vorhandenen Daten Views f r die einzelnen Elemente die in den Listen angezeigt werden F r die drei Modelklassen Task TaskList und Tag existiert jeweils ein eigener Adapter Die Adapt
52. auch die Schreibrichtung Unterabschnitt 5 5 1 wird die Kr mmung mithilfe der zeitlich umliegenden Punkten errechnet und durch einen Winkel und dessen Sinus bzw Kosinus reprasentiert der angibt wie weit die Trajektorie lokal gekriimmt ist Die Idee des Informationsgehalts der Kriimmung kann durch die unterschiedlichen For men der Buchstaben plausibel erkl rt werden Ein Buchstabe wie o beispielsweise hat einen global hnlichen Kr mmungsverlauf w hrend der Buchstabe z zwei besonders stark gekr mmte Stellen hat Unter Zuhilfenahme der Gleichungen 5 2 und 5 3 kann die Kr mmung durch die Gleichungen 5 7 und 5 8 berechnet werden Abbildung 5 8 36 Kapitel 5 5 5 Merkmale beschreibt dieses Prinzip Die Normierung ber die Segmentpunkte ergibt wiederum das zugeh rige Kr mmungsmerkmal f r ein Segment Abbildung 5 8 Visualisierung der Berechnung eines Kr mmungsmerkmals an einem Trajektorienabschnitt vgl JMW00 cos t cosa t 1 cosa t 1 sina t 1 sina t 1 5 7 sin B t cos a t 1 sina t 1 sina t 1 cosa t 1 5 8 5 5 3 Stiftdruck Das Stiftdruck Merkmal gibt an ob sich der Stift zu einem Zeitpunkt t auf dem Ta blet bzw auf der Schreibunterlage befunden hat pen down oder nicht pen up und gibt somit einen m glicherweise wichtigen Hinweis auf die Bedeutung des Segment abschnitts f r die Erkennung F r den Fall dass Trajektorienpunkte zwischen zwei Pen down Phasen also wahrend de
53. auf dem Bildschirm zu positionieren 7 3 Merkmale Die aus den Trajektorien erstellten Merkmale dienen in der Online Handschrifter kennung als Bindeglied zwischen Trajektorie und Klassifikator Vor der Verwendung der Merkmale in der finalen Version der Applikation wurden daher die Erkennungs raten unterschiedlicher Konfigurationen von Merkmalen ausgewertet Von den in Ka pitel 5 vorgestellten Merkmalen wurden die folgenden implementiert und evaluiert e Kosinus und Sinus der Schreibrichtung e Kosinus und Sinus der Kr mmung e Aspect Ratio 60 Kapitel 7 7 3 Merkmale e Stiftdruck e Ablenkung e Linearitat e Steigung e Ascender und Descender Zu diesen 11 Merkmalen kommen noch jeweils die dynamischen Merkmale sodass insgesamt 22 verschiedene Merkmale zur Verfiigung stehen Durch Evaluieren auf Grundlage der Erkennungsraten auf einem Testdatensatz haben sich nur die ersten 5 Merkmale als beste Kombination herausgestellt Insgesamt werden daher unter Hinzu nahme von dynamischen Merkmalen 10 Merkmale verwendet die bei der Erstellung des finalen Schriftmodells und in der Applikation eingesetzt werden Im Folgenden wird der Evaluierungsprozess der Merkmale aufgezeigt Zum Evaluieren der Merkmale wurden zu Beginn der Entwicklung Daten der Stad tedemo vgl Unterabschnitt 7 4 1 verwendet Mithilfe dieser Trainingsdaten wurden lineare HMMs fiir alle Kombinationen der ersten 9 Merkmale inklusive dynamischer Merkmale erze
54. auf kompakten Daten wiinschenswert und f rdert Geschwindigkeit und Effizienz des Erkenners Zum einen soll die Merk malsauspr gung sich in einem definiertem Bereich befinden und zum anderen ist ein Merkmalsvektor mit einer niedrigeren Dimension w nschenswert 5 3 Merkmalsextraktion Die Merkmalsextraktion bei der Handschrifterkennung besch ftigt sich mit der Be rechnung von Merkmalen aus Schriftbildern Bei den Merkmalen kann zwischen zwei Arten unterschieden werden vgl Wie03 den sogenannten High Level und den Low Level Merkmalen Die High Level Merkmale k nnen nur berechnet werden indem ein gr erer Teil des Schriftbilds analysiert wird und spezifische Eigenschaften zu einem Merkmal vereint werden Zu den High Level Merkmalen z hlen unter anderem Schlei fen s Abbildung 5 4 a Dabei werden Schleifen sprich Teile eines Schriftzugs die am gleichen Punkt anfangen und enden ohne zwischenzeitliche Unterbrechungen z B der obere Teil eines kursiv geschriebenen h innerhalb des Schriftbilds gez hlt und zu einem Merkmal aufaddiert Ein weiteres High Level Merkmal kann berechnet wer den indem Kreuzungspunkte innerhalb eines Schriftbilds gez hlt werden s Abbil dung 5 4 b Ein High Level Merkmal bilden auch die Cusps die Bereiche im Schrift bild markieren die gro e Kr mmungen aufweisen s Abbildung 5 4 c Zus tzlich kann bei der Online Handschrifterkennung die Schreibgeschwindigkeit und insbeson dere deren Mini
55. ausklappen die je nach Kontext entweder alle bereits erstellten Listen Aufgaben einer Liste oder Tags anzeigt siehe Abbildung 2 9 Zun chst wird auf den Pfeil geklickt und dieser Klick gehalten Nun l sst sich die Randleiste mit gehaltenem Klick nach links ziehen bis sie einrastet siehe 2 Verwaltung von Listen HA Neue Aufgabenliste anlegen FER E H things 4 to a do 4 at 4 school 4 SE Abbildung 2 8 Zurticksetzen des gesamten Schreib Ansicht A Neue Aufgabenliste anlegen FERTIG X L SCHEN Shopping Abbildung 2 9 ber den Pfeil am rechten Bildschirmrand l sst sich die Seiten ansicht ausfahren Abbildung 2 10 Um diese Ansicht wieder einzuklappen wird der Vorgang auf die gleiche Weise in die andere Richtung durchgef hrt siehe Abbildung 2 11 2 3 Die Schreib Ansicht A Neue Aufgabenliste anlegen A FERTIG X L SCHEN E z Activities v OP puna Abbildung 2 10 Die Seitenansicht zeigt je nach Kontext alle bereits erstellten Listen Aufgaben oder Tags an Neue Aufgabenliste anlegen A FERTIG X L SCHEN hopping Abbildung 2 11 Um die Seitenansicht wieder einzufahren wird der nach rechts zeigende Pfeil verwendet 2 3 5 Hinzufiigen von Wortern zum internen Worterbuch Uber das Android Men l sst sich innerhalb der Schreib Ansicht der Ein trag Neues Wort zum W rterbuch hinzuf gen ausw hlen Ein Klick auf diesen Button ffnet ein Fenster in
56. best tigt und somit in die zuvor ge ffnete Liste eingetragen werden woraufhin die Aufgabenliste aufgerufen wird F040 Eintrag best tigen und n chsten eintragen Ein Eintrag kann ber die Hakchen Taste best tigt und somit in die zuvor ge ffnete Liste eingetragen werden woraufhin ein neues Aufgabe Eintragen Fenster f r das Eintragen einer weiteren Aufgabe ge ffnet wird F050 Eintrag abbrechen Ein Eintrag kann ber die Zur ck Taste des Systems widerrufen werden woraufhin das Eingabefenster geschlossen und die ge ffnete Aufgabenliste wie der angezeigt wird Ebenso kann der Eintrag ber die Abbruch Taste gel scht werden ohne das Eingabefenster zu verlassen F060S Aufgabenf lligkeitsdatum eintragen Das F lligkeitsdatum f r die Aufgabe kann ber das Kontextmen mithilfe eines Datum Auswahl Fensters eingetragen werden F070S Aufgabenliste einblenden Die ge ffnete Aufgabenliste kann ber eine Einblende Taste an der linken Seite ausgeklappt werden W hrenddessen ist ein Bearbeiten der Aufgabe nicht m glich F080S Aufgabenliste ausblenden Bei aufgeklappter Aufgabenliste wird diese wieder ber die Einklapp Taste an der rechten Seite der Liste eingeklappt F090S Bildschirmtastatur einblenden Zum Eintragen ber eine Tastatur kann die Bild schirmtastatur ber das Kontextmen eingeblendet werden Die Handschrifterkennung wird dabei deaktiviert reg Sec lt lt include gt gt Zu l sche l sc
57. cht 7 2 Vorverarbeitung Zur Bewertung der implementierten Vorverarbeitungsmethoden ist es notwendig sich nicht allein auf das subjektiv verbesserte Erscheinungsbild der Trajektorie zu fokussieren Die Aufbereitung der Eingabedaten in die statistische Auswertung ver langt vielmehr eine Begutachtung des gesamten Klassifikationssystems Nie83 Folg lich l sst sich die Sachdienlichkeit von verschiedenen Eingriffen in die Trajektorie unter anderem mit Verbesserungen in der Erkennungsleistung feststellen Die in diesem Ab schnitt evaluierten Implementierungen der in Kapitel 4 erl uterten Vorverarbeitungs schritte sind e Gl ttung e Skalierung Steigungskorrektur Neigungskorrektur und e Neuabtastung Grundlage der Evaluierung ist ein Datensatz von rund 19000 Schriftproben aus der Unipen Datenbank mit dessen Hilfe diverse Kombinationen von Vorverarbeitungs techniken analysiert wurden Der Evaluierungsdatensatz bietet Druck und Schreib schrift sowie gemischte Schreibtypen in ausgewogenem Verh ltnis womit dem brei ten Spektrum an real existierenden Erscheinungsformen von Handschrift Rechnung getragen wird Bei der Bewertung einzelner Vorverarbeitungsschritte wurde aus dem 56 Kapitel 7 7 2 Vorverarbeitung vorgestellten Datensatz ein Referenzwert fiir die Erkennungsleistung nur mit essenti ell ben tigter Vorverarbeitung ermittelt Anschlie end gaben Experimente mit hinzu geschalteten Methoden Aufschluss dar ber
58. cht W h rend des Schreibvorgangs werden diskrete Punktdaten extrahiert die den Verlauf des Stiftes in digitaler Form repr sentieren PF09 Dies geschieht z B bei der Nutzung ei nes Tablet Computers mit kapazitivem Display Ebenso k nnen Tafelanschriften mithil 19 Kapitel 3 3 3 Aufbau von Online Handschrifterkennungssystemen fe eines tracking device zusatzlich digital erfasst werden Damit ist der Schreibverlauf im Gegensatz zur Offline Erkennung explizit gegeben Eine Herausforderung der Online Handschrifterkennung besteht bei der Verwendung von Tablet Computern darin dem Nutzer einen hohen Interaktivit tsgrad zu bieten damit seine Stifteingaben m glichst unverz glich und korrekt interpretiert werden 3 2 2 Anwendungsgebiete Die Offline Handschrifterkennung erleichtert Prozessabl ufe wie z B das Einlesen von Adressen auf Briefumschl gen und hnlichen standardisierten Dokumenttypen berweisungen Schecks usw Dar ber hinaus werden heute auch Abbilder von Schriften offline verarbeitet z B Videoaufnahmen von Whiteboard Texten LB05a Die Einsatzgebiete der Echtzeit Handschrifterkennung konzentrieren sich auf mobi le Ger te wie Smartphones Tablet Computer und hnliche Hardware berall dort wo der Nutzer Stifteingaben t tigt die nicht einfach als Bild gespeichert sondern als Trajektorie erfasst werden geschieht im Hintergrund einer Anwendung Online Handschrifterkennung 3 3 Aufbau von Online Handsch
59. chwierigkeiten bereitet Zudem erschie 65 Kapitel 7 7 4 Erkennung 20 Br o ul Berechnungszeit in Sekunden ul 0 2000 4000 6000 8000 10000 12000 14000 W rterbuchgr e Abbildung 7 6 Laufzeit der Erkennung in Abh ngigkeit der W rterbuchgr e nen die Trajektorien der Unipen Datenbank bereits an einigen Stellen vorverarbeitet Es kann also vermutet werden dass die Trainingsdaten das Schriftbild welches allge mein erwartet wird etwas verf lschen indem typische Schrift Fehler gar nicht erst auftreten Da also die Erkennung von einzelnen Zeichen aufgrund der Trainingsdaten nicht m glich ist werden W rterb cher verwendet die jedes von der Applikation erkennba re Wort aus den Buchstabenmodellen vgl Unterabschnitt 6 1 1 definieren Ein Nach teil dieser Methode ist die Laufzeit der Erkennung welche mit steigender Gr e des verwendeten W rterbuchs zunimmt Zur Bestimmung einer in der Praxis nutzbaren W rterbuchgr e wurden die Laufzeiten der Erkennung in Abh ngigkeit verschiede ner W rterbuchgr en gemessen Abbildung 7 6 zeigt das Ergebnis dieser Messungen wobei zwischen gemessenen Datenpunkten linear interpoliert wird Es ist offensicht lich dass die Laufzeit stark mit wachsender W rterbuchgr e zunimmt Die finale Ver sion der Applikation verwendet eine Anzahl von 2500 W rtern die zu einer Laufzeit zwischen 1 3 Sekunden pro Wort f hrt Die tats chliche Laufzeit h ngt
60. dem Betrachten und L schen von Aufgaben ist es auch m glich Aufgaben als erledigt zu markieren Des Weiteren lassen sich Listen mit einem sogenannten Tag versehen Mit Hilfe dieser Markierung kann der Benutzer aus einer Menge von Listen bestimmte Listen herausfiltern um nur diese anzeigen zu lassen Sowohl Listen als auch die Aufgaben einer Liste k nnen mit TabScript nach bestimmten Kriterien sortiert werden Die Startansicht der Applikation zeigt dem Benutzer bereits alle erstellten Listen an Vielen Dank dass Sie uns durch Ihre Teilnahme bei der Auswertung von TabScript unterst tzen Angaben zum Benutzer 1 Alter 2 Geschlecht W hlen Sie alle zutreffenden Antworten aus weiblich m nnlich 3 Zum Schreiben verwendete Hand W hlen Sie alle zutreffenden Antworten aus linke Hand rechte Hand Erkennung 4 Erstes geschriebenes Wort 5 Das erste Wort wurde erkannt an Markieren Sie nur ein Oval gt erster Stelle zweiter Stelle C3 dritter Stelle keiner Stelle 6 Zweites geschriebenes Wort 7 Das zweite Wort wurde erkannt an Markieren Sie nur ein Oval erster Stelle gt zweiter Stelle C dritter Stelle __ keiner Stelle 8 Drittes geschriebenes Wort 9 Das dritte Wort wurde erkannt an Markieren Sie nur ein Oval erster Stelle zweiter Stelle C dritter Stelle gt keiner Stelle 10 Viertes geschriebenes Wort 11 Das vierte Wort
61. den k nnen vgl ST95 Diese werden in Unterabschnitt 5 5 9 erl utert Abbildung 5 5 Segmente einer offline Handschrifterkennung aus Wie03 5 4 Segmentierung Wie im vorhergehenden Abschnitt erl utert basieren die Merkmale die in dieser Ap plikation berechnet werden vgl Abschnitt 5 5 auf Segmenten der Trajektorie Um eine Zerlegung der Trajektorie vorzunehmen auch Segmentierung genannt gibt es verschie dene M glichkeiten Eine Variante ist beispielsweise die Segmentierung anhand lokaler Minima und Maxima Die in der Applikation implementierte Segmentierung teilt die Trajektorie an Punkten maximaler lokaler Kr mmung auf vgl Abbildung 5 6 Dabei wird auf eine Mindestl nge der Trajektoriensegmente geachtet damit die extrahierten Segmente f r die Berechnung von Merkmalen geeignet sind Um m glichst alle Infor mationen der Trajektorie zu erfassen sowie den bergang von Segment zu Segment zu gl tten werden zus tzliche Segmente erstellt die jeweils 50 zweier aufeinander folgender Segmente vereinen vgl Wie03 So gehen auch die lokalen Kr mmungen nach denen zuvor geteilt wurde in die Merkmalsberechnung ein 5 5 Merkmale Die in dieser Applikation berechneten Merkmale sind mithilfe heuristischer Ver fahren erzeugt worden Solche Verfahren der Merkmalsberechnung basieren auf Plausibilit ts berlegungen und berechnen Merkmale die sinnvoll erscheinen Wie03 So k nnen sie zur L sung der Handschrifterkenn
62. des Zeichen an dem eine be stimmte Person Gruppe oder Sache auch ein Zustand erkennbar wird Dud Im Zu sammenhang mit der Handschrifterkennung werden Merkmale benutzt um Gemein samkeiten und Unterschiede innerhalb der Handschrift zu finden Wenn zwei geschriebene Worte miteinander verglichen werden so kann ein Leser diese sehr schnell unterscheiden oder Gemeinsamkeiten finden Zwei ausgeschriebene Worte mit dem Inhalt Schrift werden so in den Zusammenhang gebracht dass sie als gleich betrachtet werden da sie die gleiche Semantik sprich die gleiche Bedeutung haben Sind die Schreiber der beiden W rter unterschiedlich so ist es wahrscheinlich dass die ausgeschriebenen Worte Schrift ein abweichendes Erscheinungsbild haben F r den Leser bleiben die Bedeutungen der W rter gleich doch er ist ebenso in der Lage die Unterschiede und Gemeinsamkeiten in den Schriftbildern auszumachen Die Unterschiede k nnen darin bestehen dass einzelne Buchstaben unterschiedlich aus geschrieben werden indem beispielsweise Kurvenz ge geschwungener oder spitzer Trajektorie Vorverarbeitung Klassifikation Abbildung 5 1 Verarbeitungschritte der Trajektorie Nie83 30 Kapitel 5 5 2 Merkmalsrepr sentation sind Dennoch sind die Unterschiede h ufig gering genug sodass zwei Buchstaben mit unterschiedlichem Schreibstil die gleiche Semantik zugeordnet werden kann In diesem Kontext geht es in der Merkmalsberechnung um d
63. die Trajektorie auf zurichten werden zun chst alle Winkel zwischen jeweils zwei aufeinanderfolgenden Punkten berechnet Die Winkel werden dabei mit dem Abstand zwischen den beiden Punkten gewichtet und in Schritten von jeweils zehn Grad zusammengefasst Der am h ufigsten vorkommende Winkel wird als die Neigung des Schriftzuges angenommen und die gesamte Trajektorie wird um ihn geschert In Abbildung 4 7 ist das Wort glo bal mit starker Neigung und mit korrigierter Neigung zu sehen 4 1 7 Entfernen von Delayed Strokes Ein weiterer Bestandteil der Vorverarbeitung ist die Behandlung von delayed strokes welche zeitlich verz gerte Stifteingaben an einem Zeichen darstellen etwa der Punkt ber i oder der horizontale Strich durch t Man kann schlecht voraussagen wann ein solches nachtr gliches Korrekturereignis auftritt wie es H rst Yang und Waibel be zeichnen HYW98 Da im Allgemeinen aber kontinuierliche Schreibvorg nge erwartet 28 Kapitel 4 4 2 Verwendete Vorverarbeitungsschritte Neigungskorrektur gt Abbildung 4 7 Die Steigungskorrektur anhand des Wortes global Im Anschluss sind alle Buchstaben sichtbar mehr aufgerichtet vgl JMW00 werden sind solche lokalen R ckspr nge ein Bruch mit der Annahme dass die gele sene Trajektorie unver ndert bleibt Verschiedene Ans tze bedienen sich der Offline Handschrifterkennung Man98 oder l schen delayed strokes aus der Trajektorie mit ei
64. die be reits vorhandenen Listen Aufgaben oder Tags an 2 9 Abh ngigkeit der GUI vom mobilen Endger t Die Anwendung soll auf verschiedenen mobilen Endger ten die in ihrer Gr e vari ieren verwendet werden k nnen Zu diesem Zweck unterscheidet sich die Version f r gro e Bildschirme wie etwa von Tablet Computern von der f r Ger te mit kleineren Bildschirmen Bei der Version f r Tablets welche in Abbildung 2 1 dargestellt ist wird die Liste aller Aufgabenlisten im linken Bereich des Bildschirms angezeigt wenn eine Aufgabenliste angew hlt wurde Da auf kleineren Bildschirmen weniger Platz vorhan den ist wird in der Version f r Smartphones die Liste von Aufgabenlisten nicht ange zeigt wenn eine Aufgabenliste ausgew hlt wurde Abbildung 2 7 Stattdessen kann zwischen den Ansichten von Aufgabenliste und der Liste aller Inhalte hierarchisch na vigiert werden 2 10 Technische Realisierung In diesem Abschnitt gehen wir auf die technische Realisierung der Applikation ein soweit es die Darstellung und Verwaltung der Aufgaben listen betrifft Bei der Umset zung wurde nach dem Model View Controller Entwurfsmuster GHJV95 vorgegangen In Abbildung 2 8 sind die Model und Controllerklassen dargestellt Zu den Mo delklassen geh ren die Klassen Task und TaskList sowie die Klasse Tag Mit den Tags sollen die Listen kategorisiert werden Task und TaskList beinhalten die Da ten der Aufgaben resp Aufgabenlisten Alle Modelklasse
65. drei Erkennungsergebnissen war Zus tzlich wurde der Anteil der insgesamt erkannten W rter ermittelt Englisch Anteil vollst ndig erkannte S tze Anteil erkannte W rter W rter je Satz Satz 1 5 9 27 36 4 Satz 2 3 9 24 36 4 Satz 2 0 13 36 4 Satz 3 3 9 24 36 4 Satz 4 1 9 11 27 3 Gesamt 12 45 26 67 99 1712 57 89 Englisch Anteil vollst ndig erkannte S tze Anteil erkannte W rter W rter je Satz Satz 1 0 9 12 54 6 Satz 2 1 9 25 54 6 Satz 3 1 9 13 36 4 Satz 4 0 9 12 36 4 Satz 5 0 9 24 45 5 Gesamt 2 45 4 44 86 225 38 22 Deutsch amp Englisch Anteil vollst ndig erkannte S tze Anteil erkannte W rter alle S tze 14 90 15 56 185 396 46 71 Tabelle 7 6 Die Erkennungsrate bei mehreren geschriebenen englischen bzw deutschen S tzen Jeder Satz wurde von neun verschiedenen Schreiben geschrieben Es wird die Anzahl der erkannten S tze bzw W rter in Abh ngigkeit von der Gesamtanzahl S tze resp W rtern angegeben 67 Kapitel 7 7 5 Umfrage Tabelle 7 6 stellt die Ergebnisse in Tabellenform dar Insgesamt 99 von 171 eng lischen Wortern wurden unter den besten Erkennungsergebnissen erkannt das ent spricht 57 9 Betrachtet man jedoch wie haufig jeweils der gesamte Satz vollstandig unter den ersten drei Erkennungsergebnissen war liegt die Quote nur bei 12 von 45 S tzen Es wurden also nur 26 67 der S tze komplett erkannt Be
66. droid 4 2 API Level 17 der zur Zeit der Entwicklung aktuellen Android Version 17 3 Online Handschrifterkennung Dieses Kapitel dient der Einf hrung in die Handschrifterkennung mit deren Hil fe ein ntitzliches Werkzeug fiir Textaufgaben in Android Anwendungen entworfen wurde Mittels handschriftlicher Texteingabe kann dem Benutzer das Tippen einzelner Buchstabentasten bei der Benutzung eines Soft Keyboards abgenommen werden Dazu m ssen Methoden genutzt werden die Handschrifteingaben transkribieren k nnen 3 1 Grundbegriffe Nachfolgend sind einige grundlegende Bezeichnungen erkl rt um visuelle Elemente der Handschrift pr zise benennen zu k nnen Abbildung 3 1 dient dabei als anschau liches Beispiel und die folgenden Abschnitte beziehen sich jeweils auf die dort einge f hrten Begriffe Upper Line Ascender Corpusline Corpus Baseline Descender Lower Line Abbildung 3 1 Der Schriftzug global ist eingebettet in Linien die beispielsweise in Schreibheften der Grundschule Einsatz finden JMWO0 Trajektorie Die Trajektorie beschreibt den Stiftverlauf auf der Oberfl che des Tablets Der sichtbare Teil der Trajektorie pen down ist als digitale Tinte auf dem Tablet zu erkennen Wird der Stift nach einer Eingabe angehoben bezeichnet man die nachfol genden Datenpunkte als pen up Nicht alle Ger te unterst tzen ein sogenanntes pen up tracking also die Verfolgung des ber dem Tablet erhobenen Stiftes In Abb
67. e Merkmalsberechnung ben tigt siehe Kapitel 5 4 1 1 Gl ttung der Trajektorie Vor Anwendung aller anderen Vorverarbeitungsschritte wird die Trajektorie gegl t tet Die Gl ttung engl Smoothing dient der Beseitigung von Zittern im Trajektorien verlauf JMW00 beispielsweise verursacht durch eine zitterende Hand bei der Hand schrifteingabe oder ein zu grobes Raster bei der Punkterfassung durch die Hardware Um die Trajektorie zu gl tten wird ein Tiefpassfilter angewendet bei dem jeder Punkt x t y durch einen neuen Punkt x t y t mit den Koordinaten x t F t TEE 1 1 1 y de EMA KEE A ersetzt wird Dies entspricht der Ersetzung eines Punktes durch den gewichteten Mit telwert seiner jeweiligen Nachbarn diskreter Gau Filter Der erste und der letzte Punkt der Trajektorie werden nicht gegl ttet sondern unver ndert bernommen 24 Kapitel 4 4 1 Verfahren Steigungskorrektur 1 Abbildung 4 3 Die Steigungskorrektur am Beispiel des Wortes global vgl JMWO0 4 1 2 Korrektur der Steigung Nach erfolgter Gl ttung der Trajektorie wird eine Korrektur der Schriftsteigung slope durchgef hrt Ziel dieses Schrittes ist es den Schriftzug horizontal auszurich ten Das Verfahren kann in mehrere Schritte unterteilt werden 1 Zun chst werden alle lokalen Extremstellen der Trajektorie berechnet Die Loka lit t ist durch eine Nachbarschaft von 18 Punkten definiert
68. ebrauchs die generierten Nutzerinhalte auf dem lokalen Speichermedium des zugrunde liegenden Ger ts 4 3 Orgware Der eigentliche Betrieb des Produkts ist ohne eine Internetanbindung m glich Im Falle ei ner optionalen Synchronisation mit einer Online Datenbank ist jedoch ein Internetzugang erforderlich Konkret wird gegen die Google Tasks API implementiert Der Abgleich mit Online Daten erfolgt automatisch bei aufrechter Internetverbindung sodass keine perma nente Internetverbindung n tig ist 2z B Samsung Galaxy Tab 10 1 1 3https developers google com google apps tasks v1 reference hl de 5 Produktfunktionen F weiBt einer Produktfuntion eine Nummer zu Bei einem Zusatz S bzw K wird dabei auf die Soll bzw Kann Kriterien aus den Zielbestimmungen verwiesen Ohne Zusatz beschreiben die Funktionen ein Musskriterium 5 1 Aufgabeneintrag Der Benutzer kann im Eingabefenster seine Aufgabe handschriftlich verfassen F010 Aufgabe eintragen Eine neue Aufgabe wird in dem Eingabefenster erstellt Der Benutzer tragt seine Aufgabe in dem dafiir vorgesehenen Feld mittels eines Fingers oder Stifts als Handschrift ein Das System erkennt diese und zeigt eine m gliche Interpretation der Handschrift als Maschinenschrift an F020 Eintrag korrigieren Der interpretierte Eintrag kann durch Auswahl von Alternativen im Ausklappmen editiert werden F030 Eintrag best tigen Ein Eintrag kann ber die H kchen Taste
69. ebssystems sodass dies die Mindestanforderung darstellt 4 2 Hardware Unerl sslich f r die Bedienbarkeit des Produkts ist eine ber hrungssensitive Anzeige des mobilen Ger ts die GUI Navigation sowie die Schrifteingabe ist per Finger oder zugeh ri gem Stift zu f hren Da eine gro e Vielfalt von Hardwarekonfigurationen mit dem Android Betriebssystem ausgeliefert wird erfolgt eine Formulierung der Mindestanforderungen an Prozessor und Arbeitsspeicher eines vorliegenden Tablet Computers Die CPU weist eine Taktrate von mindestens 1 GHz auf und das Ger t verf gt ber 1 GB RAM Ziel der Imple mentierung ist es an dieser Stelle die Performanz auf einem Referenzger t zu optimieren welches die Mindesthardwareanforderungen genau erf llt Der gr te Rechenaufwand in Form der Handschrifterkennung wird das zugrunde liegende Ger t nur soweit auslasten dass die interaktive Benutzbarkeit aufrecht erhalten bleibt Zur Gew hrleistung einer gut benutzba ren Schreibfl che ist ein Ger t mit ausreichend gro er Bilddiagonale empfehlenswert um die Eingabe von mehreren l ngeren W rtern in einer Textzeile zu erm glichen Kleinere An zeigen erm glichen zwar grunds tzlich die Benutzung des Produkts verhindern jedoch eine komfortable Schriftf hrung Optimale Benutzbarkeit gew hrt ein Bildschirm ab 20 cm Dia gonale was in etwa der Benutzung eines DIN A5 Blattes ca 25 cm Diagonale entspricht Das Programm speichert im Verlauf des Produktg
70. egangen Trajektorie Vorverarbeitung a Stichprobe Abbildung 6 1 Einordnung des Erkennungsschrittes in die Verarbeitungspipeline vgl Nie83 Wie Abbildung 6 1 zeigt ist die Erkennung bzw Klassifikation der letzte und ent scheidende Schritt der Verarbeitungspipeline Sie dient als Schnittstelle zwischen sta tistischem Modell und der Benutzeroberfl che auf der das Erkennungsergebnis ange zeigt wird Das Modell wird dabei mit Hilfe einer Stichprobe trainiert auf deren Daten 43 Kapitel 6 6 1 Hidden Markov Modelle Abbildung 6 2 Beispiel eines diskreten Hidden Markov Modells f r den Fall der DNA Modellierung Jeder Zustand hat eine Wahrscheinlichkeitsverteilung ber alle Emissionen A C G T die gleichen Folge von Operationen Vorverarbeitung Segmentierung und Merkmals extraktion angewendet wird 6 1 Hidden Markov Modelle Hidden Markov Modelle HMM werden zur Modellierung von sequenziellen Da ten verwendet vgl Fin08 Ihren Ursprung haben sie in der Modellierung von Sprach signalen zum Beispiel Sequenzen von Phonemen Ein weiteres Einsatzgebiet ist die Darstellung von Gesetzm igkeiten beim Bau von DNA Rah09 Ein Hidden Markov Modell ist im Wesentlichen ein endlicher Automat mit Ausga ben im Folgenden auch Emissionen der sich zu jedem Zeitpunkt t in einem Zustand q befindet Aus der endlichen Menge Q an Zust nden ist eine Teilmenge Qo E Q zu dem als Menge von Startzust nden gek
71. eilnehmer mit einer 1 oder 2 beantwortet worden wobei die Buttons sogar ber 90 1 und 2 erhalten haben Allgemein kann gesagt werden dass alle Teilbereiche der Applikation ein gutes Feedback erhalten haben Sowohl die Funktionalit t der Handschrifterkennung als auch die Bedienungsfreundlichkeit und die Optik wurden mehrheitlich positiv bewer tet Jedoch zeigt Unterabschnitt 7 5 5 dass immer noch Verbesserungspotenzial in der Applikation steckt 7 5 5 Verbesserungsvorschl ge Am Ende der Umfrage wurde den Nutzern die M glichkeit gegeben Kommentare in Form von Lob und Kritik bzw Verbesserungsvorschl gen abzugeben Die Ergebnisse werden in den folgenden Abschnitten vorgestellt Verbesserungsvorschl ge Ein gro er Teil der Befragten 36 kritisierte eine zu kurze Schreibdauer Dabei kam es zu einem vorzeitigen Starten der Erkennung noch bevor das Wort vollst ndig auf geschrieben wurde Das zur ckgelieferte Ergebnis war somit meistens fehlerhaft Ins besondere vor dem Setzen von i Punkten trat dieses Fehlverhalten geh uft auf Bei nachfolgenden Eingaben konnte es jedoch leicht umgangen werden da die Zeit bis zum Starten der Erkennung flexibel eingestellt werden kann Des Weiteren wurde das Design der Applikation bem ngelt Vor allem die Farbauswahl welche sich an dem typischen Gelbton einer Haftnotitz orientiert erschien vielen Nutzern eher unsch n Es wurde der Wunsch nach einer moderneren Oberfl che mi
72. einer Gesamtheit von ber 80 000 annotierten Wort Stichproben von ber 2200 verschiedenen Probanden zusammenf gen Des weiteren sind auch St dtenamen und Adresszeilen integriert Da das gew hlte Unipen Format keine Restriktionen bez glich der Aufnahme Hardware stellt sind die enthaltenen Tra jektorien qualitativ unterschiedlich zu bewerten Die im Vergleich zu anderen Handschrift Datenbanken immense Gr e bedeutet im Fall der Unipen Datenbank auch dass verschiedene Hardware zur Aufzeichnung der Schriftz ge eingesetzt wurde Letztendlich ist das Unipen Projekt eine Sammlung ver schiedener urspr nglich vertraulicher Datens tze die im Zeitraum von 1990 bis 1996 erstellt und unter einem vereinbarten Standard schlie lich publik gemacht wurden Mehrheitlich mit 52 fanden die zeitgen ssischen Modelle der Firma Wacom unter Anderem Wacom PL 100V Wacom SD xxx und Wacom HD xxx ihren Einsatz zur Di gitalisierung der Handschriften Bei 10 der Daten ist der Tablet PC NCR 3125 genutzt worden der verbleibende Rest von 38 der Trajektorien wurde auf Eigenbauten Ver suchsger ten oder weniger verbreiteten kommerziellen Ger ten produziert Auf Grundlage dieser Beobachtung haben wir die zur Verf gung stehenden Daten s tze gefiltert und jene aussortiert die auf Ger ten mit zu geringer Aufl sung zu gerin ger Abtastrate oder bei unbekanntem Versuchsaufbau angelegt worden sind Dabei gab es Konfigurationen mit Pixeldichten von 80 ppi Pixel pe
73. eiter PDA Marktanteil von 63 erreicht Sca Die augenscheinliche Erfolgsgarantie von zeichen basierten Erkennungssystemen rief weitere Wettbewerber dazu auf den Markt mit eigenen Produkten zu bereichern So bot das von Microsoft 1996 ver ffentlichte Be triebssystem Windows CE in einer sp teren Version das JOT Alphabet welches das Graffiti Grundger st um mehrere hnliche Gesten pro Buchstabe erweiterte MS02 Damit fand die Zeichenerkennung Einzug auf einer gro en Auswahl an Ger ten die mit diesem Betriebssystem ausgeliefert wurden Abbildung 1 3 Die Mixtur aus Tablet Computer und Mobiltelefon zeichnet das Samsung Galaxy Note aus und erkl rt seine recht ungew hnliche Dimensionie i rung Unterdessen wurde seitens der Forschung Fortschritte bei der Erkennung ganzer handgeschriebener W rter und Texte erzielt Im Jahr 2000 f hrten Jaeger Manke und Waibel den NPen Handschrifterkenner ein der die heute g ngige Verarbeitungspi peline aufweist und damit eine kontinuierliche Stifteingabe erm glicht JMWO00 Ein aktueller Vertreter f r mobile Ger te mit Handschrifterkennung ist das Samsung Ga laxy Note welches 2011 auf den Markt gebracht wurde In Zusammenarbeit mit dem Grafiktablet Hersteller Wacom entstand mit dem Galaxy Note eine Komposition aus Smartphone und Tablet Computer die damit handschriftliche Stifteingaben von Texten in der Familie der Smartphones forcierte Durch die Benutzung des beigef gten Stiftes
74. elches durch Ihren technischen Schwerpunkt einen er h hten Anteil m nnlicher Personen aufweist Die Verteilung der H ndigkeit Rechts h nder 91 Linksh nder 9 entsprach der Verteilung in der Normalbev lkerung Pri12 vgl Abbildung 7 8 b ah o 9 8 7 6 g 5 2 4 3 2 NI HI l 1 192021 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 Abbildung 7 7 Altersverteilung der Umfrageteilnehmer 100 400 o o e 388 Anteil Anteil 83838 gt o 70 60 50 40 30 20 10 o as m nnlich weiblich rechts liks o a b Abbildung 7 8 a Geschlecht und b H ndigkeit der Umfrageteilnehmer 7 5 3 Erkennungsrate Die Auswertung der Umfrage ergab eine Gesamterkennungsrate von 68 44 Inner halb dieser Erkennungsrate lassen sich die Werte Top 1 Top 2 und Top 3 differenzieren Top 1 gibt den Prozentsatz der W rter wieder welche an erster Stelle erkannt wurden Top 2 und Top 3 entsprechend die W rter welche unter den ersten beiden bzw den 70 Kapitel 7 7 5 Umfrage ersten drei Vorschl gen aufgelistet wurden Abbildung 7 9 stellt die Werte Top 1 3 f r die Gesamtzahl aller in der Umfrage erfassten W rter n 450 dar W hrend Top 1 bereits einen Wert von 60 aufweist unterscheidet sich Top 2 nur um 6 44 von diesem w hrend die Differenz zwischen Top 2 und Top 3 mit 2 noch geringer ausf llt Hieraus folgt dass in den Top 3 erkannte W rter
75. en Weitere Anderungen sind nicht m glich 10 5 4 Optionen F290K Aufgabenliste mit Googletasks synchronisieren Der Benutzer kann seine Auf gabenliste mit Google Tasks ber die Option im Optionsmen synchronisieren und einrichten F300S Listentags verwalten Der Benutzer kann neue Tags erstellen und bestehende Tags l schen Beim L schen der Tags verlieren die entsprechenden Aufgabenlisten lediglich diese Tags bleiben ansonsten jedoch unver ndert F310 Expertenmodus Der Benutzer kann im Optionsmen zwischen Expertenmodus und normalem Benutzer w hlen 5 1 o normaler Benutzer Im Modus normaler Benutzer befinden sich alle Parame ter und Modellstrukturen im Urzustand o Experte Im Modus Experte werden Optionsm glichkeiten angezeigt Para meter und Modellstrukturen zu modifizieren Die Ver nderungen der Parameter im Expertenmodus ver ndern die Arbeitsweise des Programms und k nnen die Effektivit t unter Umst nden enorm beeintr chtigen Der Expertenmodus sollte daher nur von einem fortgeschrittenem Nutzer verwendet werden 11 6 Produktdaten Jeder Punkt D stellt einen Datensatz dar D010 Benutzerdaten f r Google Tasks F r die Anbindung an Google Tasks m ssen Anmeldeinformationen fiir Google Tasks sowie Synchronisation gespeichert werden o Kennung Benutzername eindeutig Passwort verschl sselt o Sonstige Daten letzte Synchronisation Datum o letzte nderung Datum
76. en Markov Modells ist der letzte Schritt zur Auswertung der Handschrifterkennung Eine falsche Konfiguration kann das Ergebnis stark beeinflussen weshalb verschiedene Einstellungen evaluiert werden mussten um ein f r die Anwendung passendes Modell zu erstellen Das f r die Applikation verwendete Modell wurde mithilfe der Unipen Datenbank erzeugt vgl Unterabschnitt 3 3 2 Die Erstellung erfolgte im Batch Betrieb Daf r wur den die Daten der Unipen Datenbank eingelesen und mit den in den vorherigen Kapi teln vorgestellten Methoden verarbeitet Dadurch wurde gew hrleistet dass sowohl Traingsdaten der Datenbank als auch Trajektorien bzw Merkmalsdaten die auf dem Tablet erzeugt werden vergleichbar bleiben F r das HMM wurden im ersten Initialisierungsschritt Buchstabenmodelle erzeugt Flatstart Aufbauend darauf wurden im weiteren Verlauf Wortmodelle generiert mit denen auch die Applikation arbeitet F r die Bestimmung weiterer Parameter mussten mehrere Evaluierungsschritte vollzogen werden die in Unterabschnitt 7 4 2 beschrie ben werden Als praxistauglich erwiesen haben sich folgende Meta Parameter e Anzahl der Dichten 1400 e Dichtefunktion Gau e Modelltopologie Linear e Modelll nge 4 e Angenommenes Auftreten pro Modell 100 e Modellart Wortmodelle auf Buchstabenmodellen aufbauend e Training Iterationen 18 e Beambreite 75 e Wortstrafe 15 53 7 Evaluierung Allen umgesetzten Softwarekomponenten lagen ge
77. en dann in der Listen bersicht direkt unter dem Listennamen angezeigt Alle Men Buttons dieser Ansicht werden erst nach einem Klick auf eine Liste aus der Listen bersicht sichtbar 2 3 Listen bersicht In der Listen bersicht wird rechts neben dem Listennamen jeweils angezeigt wie viele Aufgaben in einer Liste aktuell enthalten sind Links neben dem Listennamen wird dem Benutzer ein K stchen angezeigt welches gegebenenfalls abgehakt ist Dies ist der Fall wenn s mtliche Aufgaben dieser Liste als erledigt markiert wurden siehe Abschnitt 2 4 M chte der Benutzer nun die Listen der Listen bersicht sortieren so w hlt er dazu den Button 1 siehe Abbildung 2 2 aus Es erscheint ein Pop Up Menii in dem er aus suchen kann ob die Listen nach ihrem Namen dem Erstellungsdatum oder der Anzahl ihrer Aufgaben sortiert werden sollen Durch einen sogenannten Longklick also dem l ngeren Klicken auf einen Listennamen und anschlie endem Ziehen an eine andere Position in der bersicht kann der Benutzer einzelne Listen auch manuell verschieben Kapitel 2 2 4 Aufgaben bersicht A Neue Aufgabenliste anlegen FERTIG X L SCHEN hings things Thomas Chinese Editieren L schen Abbildung 2 4 Die Schreib Ansicht der Anwendung Zur Erstellung einer neuen Liste aktiviert der Benutzer den mittleren Button dieser Ansicht 2 und wird in die Schreib Ansicht weitergeleitet In dieser Ansicht kann der Name den die neue Liste er
78. en erreichen A TabScript Abbildung 2 1 bersicht ber die graphische Oberfl che der Anwendung TabScript Benutzereingaben erfolgen stets handschriftlich werden durch die Anwendung er kannt sowie in Maschinenschrift angezeigt und gespeichert F r Listen Aufgaben und Kapitel 2 2 2 Startbildschirm Tags stehen neben den oben erw hnten M glichkeiten noch eine Reihe von weiteren Verwaltungs Optionen zur Verf gung ber die in den folgenden Abschnitten ein ber blick gegeben wird Ein detailliertes Handbuch findet sich in Anhang A 2 2 Startbildschirm Die Anwendung zeigt beim Start auf der linken Bildschirmseite eine bersicht ber die bereits vorhandenen Listen an die im folgenden als Listen bersicht bezeichnet wird Sollte noch keine Liste erstellt worden sein so ist diese bersicht zun chst leer Die rechte Bildschirmh lfte zeigt durch Anklicken f r eine ausgew hlte Liste der Listen bersicht alle enthaltenen Aufgaben Abbildung 2 1 zeigt eine Listen bersicht mit zwei Listen Die Aufgabenliste Activities wurde ausgew hlt und die enthaltenen Aufga ben sind auf der rechten Bildschirmh lfte dargestellt Das standardm ig integrierte Android Men der Anwendung hier obere Men leiste ganz rechts bietet Optionen mit denen es m glich ist Tags zu verwalten oder Einstellungen an der App vorzunehmen Weiterhin kann der Benutzer sich dort zus tz liche Informationen ber die Anwend
79. enachrichtigungs Symbol ffnet TabScript und dort insbesondere die Informationen der jeweiligen Aufgabe 21 3 Verwaltung von Aufgaben Zu l schende Elemente ausw hlen A L SOHEN X ABBRECHEN Listen bersicht _ Shopping Abbildung 3 10 L schen von einer oder mehrerer Aufgaben aus der Aufgaben bersicht Lei 1 Aufgabe f llig Abbildung 3 11 Symbol f r den F lligkeitszeitpunkt einer Aufgabe in der Be nachrichtigungsleiste von Android 22 4 Verwaltung von Tags In TabScript ist es m glich bestehende Aufgabenlisten auszuzeichnen und sie somit mit bestimmten Zusatzinformationen zu versehen sogenannten Tags Wie solche Tags erstellt sortiert oder gel scht werden wird in den folgenden Ab schnitten erl utert Zudem wird erkl rt wie die Auszeichnung von einer Lis te mit einem Tag erfolgt und die Ansicht nach einem solchen gefiltert werden kann 4 1 Die Tag bersicht Um in die Tag bersicht zu gelangen wird im Android Men der Anwendung der Eintrag Tags verwalten per Klick ausgew hlt siehe Abbildung 4 1 Ab bildung 4 2 zeigt diese bersicht mit den Namen aller bereits erstellten Tags und den drei zugeh rigen Men Buttons in der Titelleiste Diese sind hier zur Vereinfachung der Beschreibung mit roten Zahlen nummeriert A TabScript A Einstellungen ber TabScript Shopping Abbildung 4 1 Aufrufen der Tag Ansicht in TabScript
80. ennzeichnet Aus dieser Menge wird zum Zeit punkt t 0 anhand einer modellabh ngigen Verteilung der Startzustand bestimmt In jedem Zustand q wird gem einer zustandsabh ngigen bergangsverteilung a y ein zuf lliger bergang zum Nachfolgezustand q durchgef hrt Dieser bergang und insb der Folgezustand ist nur vom aktuellen Zustand q abh ngig Es folgt anhand ei ner ebenfalls zustandsabh ngigen Emissionsdichte bei diskreten HMMs Wahrschein lichkeitsverteilung die Generierung einer Ausgabe im jetzt aktuellen Zustand q Ein HMM wird als diskret bezeichnet wenn es Emissionen generiert die aus einem end lichen Ausgabealphabet stammen wie beispielsweise im Fall von DNA gezeigt in Quelle http www biostat wisc edu bmi576 hmm jpg zuletzt abgerufen am 27 11 2013 44 Kapitel 6 6 1 Hidden Markov Modelle DAA Emissions dichte Merkmal Abbildung 6 3 Schematische Darstellung eines kontinuierlichen Hidden Markov Modells mit vier Zust nden f r ein Merkmal Jeder Zustand generiert Emissionen in Abh ngigkeit seiner Emissionsdichten hier Mischvertei lung f r das Merkmal Abbildung 6 2 In diesem Beispiel besteht die Emissionsmenge aus den vier DNA Bausteinen A C G T Jeder Zustand hat eine vollst ndige Wahrscheinlichkeitsvertei lung ber alle Emissionen Kontinuierliche HMMs generieren Ausgaben in Abh ngig keit von Wahrscheinlichkeitsdichten bspw Merkmalsvektoren wie im Fall der um
81. enzo Palm Handheld Computers A Case Study In Innovation Sch04 SCHAMBACH Marc Peter Automatische Modellierung gebundener Hand schrift in einem HMM basierten Erkennungssystem Fakult t f r Informatik der Universit t Ulm Diss 2004 SLTWO96 SIMNER Marvin L Hrsg LEEDHAM C G C G Hrsg THOMASSEN A J W M Hrsg WESTERN ONTARIO International Graphonomics Society C o Hrsg Handwriting and drawing research basic and applied issues Amsterdam Washington DC IOS Press Tokyo Japan 1996 ST95 SCHUKAT TALAMAZZINE Ernst G Automatische Spracherkennung Statis tische Verfahren der Musteranalyse Wiesbaden Vieweg Verlag 1995 SWV06 SCHEIDAT Tobias WOLF Franziska VIELHAUER Claus Analyse biome trischer Handschriftverifikation im Kontext von Metadaten In Sicherheit Bd 77 GI 2006 LNI S 54 65 Uni Webseite der International Unipen Foundation http www unipen org home html zuletzt abgerufen am 15 12 2013 Wie03 WIENECKE Markus Videobasierte Handschrifterkennung Bielefeld Univer sity Diss 2003 81 A Handbuch PG568 TabScript Benutzerhandbuch M Housework car wash cl Soup Autoren Sulejman Begovic Rebecca Doherty Shinazi Faruki Daria Filatova Nina Hesse Dennis Kesper Julian Ktirby Niclas Raabe Johann Strafsburg Christian Wieprecht Inhaltsverzeichnis 1 bersicht 2 Verwaltung von Listen 2 1 Die Listentibersicht 2 2 2 Com mn
82. er lassen l sst sich in der Men leiste der Eintrag Abbrechen w hlen Es ist zu beachten dass beim L schen von ganzen Listen auch alle enthalte nen Aufgaben der ausgew hlten Listen entfernt werden Der L schmodus wird in dieser Form ebenfalls f r das L schen von Aufgaben und Tags verwendet was in Kapitel 3 bzw 4 beschrieben wird 10 2 5 Sortierung von Listen Zu l schende Elemente ausw hlen X ABBRECHEN Listen bersicht Y Activities Aufgaben 7 Shopping Aufgaben iv Iousewa i Abbildung 2 13 Auswahl mehrerer Listen im L schmodus der Anwendung Elemente l schen Es werden 2 Elemente gel scht Abbildung 2 14 Best tigung des L schvorganges der ausgew hlten Listen 2 5 Sortierung von Listen TabScript bietet zwei verschiedene M glichkeiten zur Sortierung von Aufga benlisten in der Listenansicht welche in diesem Abschnitt beschrieben werden 11 2 Verwaltung von Listen 2 5 1 Automatische Sortierung Bei der automatischen Sortierung kann zwischen einer Sortierung nach Na me Erstellungsdatum oder Anzahl gew hlt werden Abbildung 2 15 zeigt wie sich das Sortiermenti ber das Klicken auf den Men Button 1 aufru fen l sst Nun kann der Vorgang durch Klicken auf die gew nschte Sortierrei henfolge ausgef hrt werden Sortieren nach Name Erstellungsdatum Anzahl Abbildung 2 15 Sortieren der Listen in der Listentibersicht nach Name Er
83. er Testnutzer klickt de Taste um eine neue Aufga benliste zu erstellen Er gibt einen Namen f r die Liste und berpr ft ob sie w hlbar ist T230 Aufgabenliste ffnen Der Tester klickt auf eine Aufgabenliste im Auswahlmen um sie zu ffnen T240 Zwischen Aufgabenlisten scrollen Die Testperson scrollt zwischen den Aufgaben listen T250 Aufgabenliste l schen Der Tester l scht eine Aufgabenliste ber das L schkon textmen best tigt dies und berpr ft ob die Liste tats chlich gel scht ist T260W Aufgabenlisten sortieren Die Testperson w hlt die Sortierfunktion im Options men um die Aufgabenlisten zu sortieren Anschlie end berpr ft sie ob die Aufga benlisten richtig sortiert sind 19 T270W Aufgabenlisten nach Tags sortieren Die Testperson w hlt im Kontextmen die Filtern Funktion um nach gew hlten Tags zu filtern Gegebenfalls weist die Testperson mehreren Listen unterschiedliche Tags zu T180S T280K Alle Aufgaben Liste Die Testperson ffnet die Alle Aufgaben Liste berpr ft sie auf Vollst ndigkeit und Editierbarkeit 10 4 Optionen T290K Aufgabenliste mit Googletasks synchronisieren Der Testnutzer synchronisiert sei ne Aufgabenlisten mit Google Tasks und berpr ft online und auf dem Android Ger t ob die Aufgaben synchron sind T300W Listentags verwalten Die Testperson erstellt neue Tags und berpr ft ob sie daraufhin aufrufbar sind Ebenso l scht er Tags um
84. er android com guide practices screens_support html qualifiers zuletzt ab gerufen am 31 10 2013 AzH09 AIDA ZADE Kamil R HASANOV Jamaladdin Z Word base line detecti on in handwritten text recognition systems 3 2009 Nr 4 S 745 750 ISSN 1307 6892 Bau BAUER Carl DragSortList View https github com bauerca drag sort listview zuletzt abgerufen am 31 10 2013 Android Bibliothek Dud Duden http www duden de rechtschreibung Merkmal zuletzt abge rufen am 15 12 2013 Eul06 EULER S Grundkurs Spracherkennung Vom Sprachsignal Zum Dialog Grundlagen und Anwendungen Verstehen Mit Praktischen bungen Vieweg Verlag Friedr amp Sohn Verlagsgesellschaft mbH 2006 Feil FEINSTEIN Jeremy SlidingMenu https github com jfeinstein10 SlidingMenu zuletzt abgerufen am 31 10 2013 Android Bibliothek Fin08 FINK Gernot A Markov Models for Pattern Recognition From Theory to App lications Springer London Limited 2008 SpringerLink Springer e Books GHJV95 GAMMA Erich HELM Richard JOHNSON Ralph VLISSIDES John De sign patterns elements of reusable object oriented software Boston MA USA Addison Wesley Longman Publishing Co Inc 1995 ISBN 0 201 63361 2 HYW98 HUERST Wolfgang YANG Jie WAIBEL Alex Interactive error repair for an online handwriting interface In CHI 98 Conference Summary on Human Factors in Computing Systems 1998 S 353 354 79
85. erklassen erben von der abstrakten Klasse AbstractAdapter die Methoden bereitstellt die in allen Adaptern ben tigt werden Die Klasse AbstractAdapter erweitert die von Android bereitgestellte Klasse BaseAdapter F r die handschriftliche Eingabe des Benutzers ist die Klasse WriteActivity zu st ndig Sie bietet Buttons f r die Nutzerinteraktion wie beispielsweise der Fertig Button Die in Unterabschnitt 2 8 1 beschriebene ausklappbare Seitenansicht wird 14 Kapitel 2 2 10 Technische Realisierung BaseAdapter AbstractAdapter adapter DeleteModeCallback implements ActionMode Callback listView ListView adapter AbstractAdapter AA 1 TaskListAdapter implements Observer taskLists TaskListController AAA TaskAdapter TagAdapter implements Observer implements Observer tags TagList taskList TaskList NE A 1 1 1 TagActivity extends Fragment listView ListView AA 1 TaskFragment extends Fragment listView ListView Cd 1 TaskListFragment extends Fragment listView ListView eegen TaskListActivity TagActivity extends Activity extends Activity Abbildung 2 9 Klassendiagramm f r die View der App durch die Klasse SlidingMenu aus der gleichnamigen Bibliothek Fei bereitgestellt Zum Anzeigen der einzelnen Listen k nnen die oben beschriebenen Fragments wie derverwendet werden Au erdem enth lt die WriteActivity
86. f t rm a Wen Ps l l r gt 0 0 07 Abbildung 6 5 Definition des Wortes Schrift als Kombination von Buchstabenmodel len und das daraus entstehende virtuelle Wortmodell welches aus meh reren kleinen Hidden Markov Modellen besteht hier am Beispiel von r hervorgehoben welche die Wahrscheinlichkeiten aller Pfade maximieren die zum Zeitpunkt t in Zu stand i enden Sch04 Dieser Berechnungsschritt ist schematisch in Abbildung 6 4 dar gestellt Die Hilfsvariable v t wird iterativ durch q t may 1 ag q bq Or HEQ t angel 6 4 berechnet wobei go der Startzustand ist und b O1 die Wahrscheinlichkeit ist in Zu stand q die Emission O zu erzeugen Rah13 Zur Beschreibung des Algorithmus wird hier ein Modell mit diskreten Wahrscheinlichkeitsverteilungen der Ausgaben b an genommen F r den Zeitpunkt T wird abschliessend der letzte Zustand Sy maxv T 6 5 r maxe T 6 5 von s bestimmt Die gesuchte Zustandsfolge s S4 Sr l sst sich ausgehend von Sr durch R ckverfolgung engl Backtracing ermitteln indem zu jedem Zeitpunkt der die Viterbi Variablen maximierende Zustand bestimmt wird Rah13 In Abschnitt 6 1 wurde bereits angedeutet dass das HMM in TabScript lediglich aus Buchstabenmodellen besteht Aus diesen Buchstabenmodellen m ssen w hrend der Dekodierung dynamisch Modelle f r W rter zusammengesetzt werden Dies pas siert anhand von Konzepten Konzepte sind Defi
87. fe Einer dient zur Best tigung dass ein Listeneintrag abgeschlossen ist und vorerst kein weiterer Eintrag erfolgen soll symbolisiert durch einen Haken Der an dere dient ebenfalls zur Best tigung dass ein Listeneintrag abgeschlossen ist erm glicht es jedoch in dieser Ansicht zu bleiben und einen weiteren Eintrag hinzuzuf gen symbolisiert durch einen Haken mit einem Plus Zeichen 16 Cey av omer U Abbildung 4 Handschriftansicht der Anwendung Qualitatszielbestimmungen sehr wichtig wichtig weniger wichtig unwichtig Robustheit x Pr zision x Benutzungsfreundlichkeit x Effizienz x Portierbarkeit x Kompatibilit t x Erweiterbarkeit x Design x 17 10 Globale Testszenarien und Testf lle Jede Produktfunktion F wird anhand von konkreten Testf llen T getestet 10 1 Aufgabeneintrag T010 Aufgabe eintragen Die Testperson schreibt einen Testsatz in das Textfenster und berpr ft den ausgegebenen Satz auf Fleichheit T020 Eintrag korrigieren Die Testperson korrigiert einen Eintrag durch Auswahl eines anderen Textes ber das Ausklappmen T030 Eintrag best tigen Die Testperson schreibt eine Aufgabe ins Eingabefeld und best tigt den Eintrag ber die H kchen Taste Anschlie end wird in der Aufga benliste nach dem soeben erstelltem Eintrag gesucht T040 Eintrag best tigen und n chsten schreiben Die Testperson schreibt eine Aufgabe ins
88. g mehrere M glichkeiten Eine L sung fiir obiges Beispiel ist etwa durch Ist a b c d f Erkennung a c d e e beschrieben In dieser Aufstellung ergeben sich drei Fehler die Auslassung von b das Hinzuf gen von e und die falsche Erkennung von f Die Wortakkuratheit ist nun definiert durch Eul06 _ Nw Nv Ne Na m WA 6 7 Nw beschreibt dabei die L nge der Test Symbolfolge F r das Beispiel ergibt sich WA 3 i Die Evaluierung geschieht anhand einer Kreuzvalidierung bei der die Trainingsda ten in f nf gleichgro e Mengen aufgeteilt werden Auf vier dieser Mengen wird das Modell trainiert und anschliessend auf der verbleibenden Menge getestet Nach allen f nf Durchl ufen jede Menge wird einmal als Test verwendet wird die Erkennungsra te ber alle Tests gemittelt Zur Anwendung wird davon das Modell mit der h chsten Erkennungsrate gew hlt und auf den zu Anfang aussortierten 10 des gesamten Da tensatzes getestet Dieser Test ist zur Bestimmung der Praxistauglichkeit des Modells wichtig da hier auf f r das Modell unbekannten Daten gearbeitet wird Die Auswahl der Meta Parameter des Modells bspw Anzahl der Klassen und der Baum Welch Ite rationen erfolgte vor Beginn des Trainings und wird in Unterabschnitt 6 2 5 erl utert 6 2 Esmeralda F r die Klassifikation sowie das Training der Handschriftdaten wurde das ESMERALDA Toolkit verwendet Das integrated Environment for Statistical
89. g zur TabScript Applikation verwendet siehe Abschnitt 7 5 7 4 3 W rterb cher Die ideale L sung f r eine Android Applikation mit Handschrifterkennung bein haltet die M glichkeit zur Erkennung beliebiger W rter Dies ist aus mehreren Gr n den in TabScript nicht m glich Beim Modelltraining mithilfe der St dtedemo Unter abschnitt 7 4 1 und der Unipen Datenbank Unterabschnitt 7 4 2 wurden wie in den jeweiligen Abschnitten beschrieben gute Erkennungsergebnisse auf Testdaten erzielt Diese Testdaten bestehen aus ganzen W rtern die vom Modell klassifiziert werden m ssen Um beliebige W rter erkennen zu k nnen muss die Erkennungsleistung des Modells so gut sein dass es nicht mehr auf Konzepte zur Wortdefinition angewiesen ist um W rter zusammenzusetzen In diesem Fall w re die Erkennungsleistung auf einzelnen Buchstaben ebenso gut Dieses Ergebnis wurde mit den verschiedenen Mo dellen in TabScript nicht erreicht Hierf r lassen sich mehrere Gr nde angeben welche haupts chlich aber nicht aussschliesslich daf r verantwortlich sind Zum einen um fasst der Datensatz welcher zum Training des finalen Modells verwendet wurde zwar in etwa 40000 W rter allerdings sind Klein und Gro buchstaben nicht in der selben Gr enordnung vertreten da es sich um einen englischen Wortsatz handelt Daraus ergibt sich ein Defizit f r das Training von Gro buchstaben das insbesonders bei der sp teren Erkennung von deutschen W rtern S
90. gungen f r Aufgaben und au erdem die M glichkeit einen Expertenmo dus zu aktivieren Dort ist es auch m glich einzustellen welches W rterbuch bei der Erkennung genutzt werden soll Zur Verf gung stehen drei verschiedene W rterb cher Jeweils eins mit h ufig genutzten deutschen und englischen W rtern sowie ein W rterbuch das die Namen von Lebensmitteln enth lt 2 7 1 Erscheinungsbild Unter dem Eintrag Theme lassen sich verschiedene Farbschemen f r die Anwen dung ausw hlen F r die einklappbare Seitenansicht der Schreib Ansicht welche in Unterabschnitt 2 8 1 beschrieben wird kann zwischen zwei verschiedenen berg ngen gew hlt werden Weiterhin kann der Benutzer unter den gleichnamigen Men eintr gen die Schreib farbe Stiftdicke und den Sch rfegrad des Schriftbildes ver ndern Unter Abtastpunk te l sst sich einstellen ob die Abtastpunkte der Trajektorie in der Schreib Ansicht an gezeigt werden sollen 2 7 2 Benachrichtigungen Der Men punkt Benachrichtigungen kann vom Benutzer aktiviert werden falls f r Aufgaben mit F lligkeitsdatum eine Mitteilung gew nscht wird Ist diese Funktio nalit t aktiviert so erscheinen weitere Eintr ge zur genaueren Konfiguration In den Einstellungen l sst sich der Benachrichtigungszeitpunkt vor dem F lligkeits datum ausw hlen Die Zeitspanne mit den Wahlm glichkeiten reicht von 0 bis 60 Mi nuten Auch f r den Benachrichtigungston gibt es eine Vielzah
91. h tzung von HMM ist unter anderem in Fin08 zu finden Das Training wird mit den gew hlten Daten der Unipen Datenbank siehe Unterabschnitt 3 3 2 durchgef hrt Diese Daten liegen jeweils als Folge von Merkmalsvektoren vor die wie in Kapitel 5 erl utert berechnet wurden Der gesamte Datensatz wird vor Beginn des Trainings aufgeteilt in ein Trainingsset das ungef hr 90 der Daten beinhaltet und ein Testset restliche 10 welches zur sp teren Evaluierung des erstellten Modells dient Die Parameter des Modells werden aussschliesslich mit den Trainingsdaten gesch tzt Als erstes wird auf den gegebenen Daten der k means Algorithmus angewendet vgl Fin08 Dieser sch tzt Mischverteilungen im Merkmalsraum jeweils durch Mittelwert und Kovarianz Matrix definiert um H ufungsgebiete und die allgemeinen Auspr gungen der Merkmale zu erfassen Die Mischverteilungen werden zur weiteren Ver wendung im sogenannten Codebuch gespeichert Die Bestimmung einer Verteilung ist schematisch in Abbildung 6 7 dargestellt f r die rot dargestellten Auspr gungen zwei er generischer Merkmale wurde eine Mischverteilung bestehend aus zwei Normalver teilungen gesch tzt die durch die schwarzen Ellipsen angedeutet wird Aufgrund die 48 Kapitel 6 6 1 Hidden Markov Modelle Merkmal 2 Merkmal 1 Abbildung 6 7 Beispiel f r durch k means gesch tzte Normalverteilungen schwarz fiir eine Menge bekannter Auspr gungen von zwei Merkmalen ro
92. h Klick auf das K st chen des Eintrages Erledigt wie zuvor beschrieben ver ndert werden Ist ein F lligkeitsdatum f r eine Aufgabe gew nscht so l sst sich das K stchen ne ben dem gleichnamigen Eintrag durch einen Klick anw hlen Es erscheint die Datums und Uhrzeit Auswahl aus Abbildung 3 5 Der gew nschte Termin f r die Aufgabe kann hier eingestellt werden Entfernt wird das F lligkeitsdatum ebenfalls wieder mit einem Klick auf das zugeh rige K stchen Um die Informations Ansicht einer Aufgabe zu verlassen und nderungen zu speichern wird der Vorgang mit einem Klick auf den Button OK best tigt Sollen die nderungen verworfen werden so wird dies mit einem Klick auf den Button Abbrechen erreicht 3 2 Umbenennen von Listen Das ndern des Namens einer bereits erstellten Liste ist ebenfalls ber die Men Buttons der Listen bersicht m glich Hierzu muss die entsprechende Liste zun chst ausgew hlt werden und anschlie end der Men Button 1 aus Abbildung 3 7 bet tigt werden In der Schreib Ansicht die sich daraufhin ffnet kann nun der gew nschte neue Listenname eingegeben werden Ab schnitt 2 3 beschreibt den Prozess der Handschrifteingabe 18 3 3 Hinzuf gen von Aufgaben zu einer Liste Abbildung 3 6 Men Button zum Hinzuf gen einer neuen Aufgabe zu einer Liste Abbildung 3 7 Umbenennen von Listen 3 3 Hinzuf gen von Aufgaben zu einer Liste Um eine neue Aufgabe z
93. h dabei mithilfe des Parameters Ay einstellen Je gr fer die Trajektorie ist desto gr er sollte auch Ay gew hlt werden F r Texte in Latei nischer Schrift wird der Wert Ay 0 1 Atam empfohlen AzHO09 Im n chsten Schritt wird mithilfe des Otsu Verfahrens Ots79 ein Schwellwert t 0 Kiam berechnet Dann wird das Maximum des Dichtehistogramms bestimmt und die Menge der Schnittpunkte zwischen Dichtehistogramm und Schwellwert ermittelt M h 0 tam h t 4 2 27 Kapitel 4 4 1 Verfahren Aus der Menge M werden anschlie end zwei Punkte hy hz mit hy lt Mmax und hz gt Nmax so gew hlt dass sie den geringsten Abstand zum Maximum des Dichte histogramms Amay aufweisen d h Wm Mi hm lt h mit M he M 0 lt h lt hmax und 4 3 Wan Ma hma gt ba mit Mz h M hmax lt h lt ham 4 4 Base und Corpusline werden so bestimmt dass sie parallel zur h y Achse des Dich tehistogramms bzw zur Schreibrichtung der Trajektorie verlaufen und die Punkte h bzw hz schneiden vgl Abbildung 4 6 b Corpusline Corpusline bart JL Baseline Baseline hly 0 t hy a Base und Corpusline b vertikales Dichtehistogramm Abbildung 4 6 Base Corpusline Berechnung nach AzH09 4 1 6 Neigungskorrektur Unter der Neigung der Trajektorie versteht man wie kursiv die einzelnen Buch staben geschrieben werden Um die Neigung zu korrigieren also
94. halten soll festgelegt werden Die Schreib Ansicht ist in Abbildung 2 4 dargestellt Weitere Informationen zu ihrem Aufbau finden sich in Ab schnitt 2 8 Um eine oder auch mehreren Listen auf einmal zu l schen muss der Benutzer Button 3 dr cken Anschlie end w hlt er durch Anklicken der Reihe nach alle Listen aus die gel scht werden sollen Angew hlte Listen werden bei diesem Vorgang rot hinterlegt Um den geplanten L schvorgang auszuf hren muss der Nutzer zur Best tigung auf den Button mit dem Haken und der Aufschrift L schen klicken der in der oberen Men leiste erscheint Es ist zu beachten dass mit dem L schen einer Liste auch immer alle ihre Aufgaben gel scht werden 2 4 Aufgaben bersicht Ist in der Listen bersicht eine konkrete Liste ausgew hlt so erscheint der zugeh rige Listen Titel in der Kopfleiste der Aufgaben bersicht Die enthaltenen Aufgaben sind darunter aufgelistet und k nnen durch einen Klick auf die Box links neben ihrem Namen als erledigt markiert werden Die Men leiste der Aufgaben bersicht bietet hnlich wie die Listen bersicht im Be zug auf komplette Listen Optionen zum Sortieren Hinzuf gen und L schen von Auf gaben einer Liste All diese Optionen funktionieren auf analoge Weise zu den entspre chenden M glichkeiten der Listen bersicht Auch hier kann der Benutzer einzelne Auf gaben durch einen Longklick mit anschlie endem Verschieben in der Ansicht manuell an eine andere P
95. handen Die zugeh rige Men leiste befindet sich am oberen Bildschirmrand und erstreckt sich ber die gesamte Bildschirmbreite Activity Bar o Di e Men leiste beinhaltet von links nach rechts betrachtet folgende Elemente ein Symbol f r das Programm Men Liste den Fenstertitel lt Listenname gt ein Symbol f r den Aufruf des L schmen s Papierkorb x ein Symbol f r den Aufruf des Men s zum Erstellen eines neuen Listenein trags Plus Zeichen 15 Mustererkennung lemen Anmelden der BSB Pr fung O Gernot anrufen Ubungszettel bearbeiten Abbildung 3 Aufgabenliste der Anwendung 8 1 3 Handschrift Ansicht B03 Handschrift Ansicht siehe Abbildung 4 o Der untere Bereich dieser Ansicht dient als M glichkeit zur Worteingabe per Handschrift Der Hintergrund dieser Ansicht soll mit horizontalen Linien hinterlegt sein In der rechten oberen Ecke des Bereiches befindet sich eine x Taste zum zur ck setzen des Handschrift Bereiches In der Leiste ber dem Handschrift Bereich werden pro geschriebenem Wort die wahrscheinlichsten Wortvorschl ge in Form eines Ausklapp Men s angezeigt Die wahrscheinlichsten W rter sind dabei automatisch ausgew hlt Am linken Rand des Handschrift Bereiches befindet sich eine ein und ausklapp bare Liste die alle bisherigen Listeneintr ge der jeweiligen Liste zeigt In der rechten unteren Ecke des Handschrift Bereiches befinden sich zwei Kn p
96. heinlichkeiten und Emissions dichten werden mithilfe der erzeugten Verteilungen unter Anwendung des Baum Welch Algorithmus statistisch gesch tzt und verbessert Dies geschieht in mehreren Ite rationen durch die Optimierung der Produktionswahrscheinlichkeit f r ein Modell A und eine Emissionsfolge O gilt mit einem verbesserten Modell P OJA gt P O A 6 6 wobei P die Produktionswahrscheinlichkeit bezeichnet Die Anzahl der Iterationen ist dabei im Grunde frei w hlbar eine Terminierung wenn die erreichte Verbesserung un ter einen gew hlten Schwellwert f llt ist allerdings vorteilhaft Eine genauere Beschrei bung des Baum Welch Algorithmus ist in Fin08 zu finden Das erstellte Modell wird im Anschluss an das Training evaluiert Das Kriterium f r die Qualit t des Modells was f r TabScript hierbei angewendet wird ist die Wortakku ratheit im Folgenden auch vereinfacht Erkennungsrate genannt Die Wortakkuratheit gewichtet die Anzahl von Verwechslungen Ny Einf gungen Nr und Auslassungen Na von Symbolen Eul06 und soll anhand eines Beispiels nach Eul06 erl utert werden Sei durch Test a b d f Erkennung a c e e c d 50 Kapitel 6 6 2 Esmeralda ein Test des Erkenners f r die Symbolfolge abcdf gegeben Das HMM erkennt die Symbolfolge acdee Zur Bestimmung der Wortakkuratheit wird nun eine Ausrich tung beider Symbolfolgen gesucht die den erzeugten Fehler minimiert Dazu gibt es h ufi
97. heinlichsten drei Hypothesen ausgegeben wurden Dabei stimmte in 73 der F lle 64 Kapitel 7 7 4 Erkennung das richtige Ergebnis mit der wahrscheinlichsten Hypothese berein in 84 der F l le war das richtige Erkennungsergebnis zumindest unter den ersten drei Hypothesen Die Abweichung der Ergebnisse von Testset und manuellem Test ist vor allem auf die relativ geringe Gr e des Datensatzes und damit auf die kleine Auswahl an unter schiedlichen Schriftstilen zur ckzuf hren 7 4 2 Modelltraining mit Unipen Daten F r das Erstellen des Schriftmodells welches letztendlich in TabScript Anwen dung fand war ein Datensatz erforderlich der eine ausreichende Verteilung von Kleinbuchstaben und Gro buchstaben enthielt Hierf r wurde ein Ausschnitt der Unipen Datenbank als geeignet angesehen siehe dazu auch Unterabschnitt 3 3 2 Mithilfe dieser Auswahl an Daten die in etwa 40000 annotierte Trajektorien um fasst wurde das finale Modell erstellt und die Parameter der Dekodierung vgl Abschnitt 6 2 eingestellt Im Gegensatz zur St dtedemo siehe Unterabschnitt 7 4 1 wurden hier jedoch lediglich 10 der Daten als Testset deklariert um m glichst viele Daten f r das Training nutzen zu k nnen F r die finale Kombination von Merkmalen und Vorverarbeitungsschritten wurde mit diesen Trainingsdaten ein Modell erstellt dass eine Erkennungsrate von 79 auf den Testdaten erreichte Dieses Modell wurde auch f r die durchgef hrte Befragun
98. hende N C i oon CNeue Liste erstellen C schfunktion gt gt Listen markie eren ren C Listen sortieren er o Normaler Listen sortieren _ entfemen Eintrag best tigen Benutzer WSW 2 DN bersichtenliste Y ia N ffnen Y pe A CAbbrechen 1 ee Schreiben intrag best tigen a Aufgabenliste EN T Und Ee en ffnen u EDER BR Handschriterkennung gt nn a sst gt 3d i ee Interpretation N YA j Interpretation N N 5 aussuchen__4 N_angeben__2 _ rn lt lt extend gt gt eege REES e EE SC Zu gege c S e Neue Aufgabe erstellen gt CL schfunktion gt ee markieren T Parameter gt ie Modelistruktur N Experte e einstellen pet e einstellen Abbildung 1 Use Case Diagramm des Programms Der normale Benutzer hat Zugang zu allen Funktionen die die Aufgabenverwaltung betreffen Zus tzlich hat der Experte die M glich keit Parameter und Modellstruktur einzustellen die ihm erm glichen die Funktionen der Handschrifterkennung direkt zu beeinflussen 5 2 Aufgabenliste Die Aufgabenliste bietet M glichkeiten zur bersicht und Verwaltung von Aufgaben F100 Aufgabe hinzuf gen Das Aufgabe Erstellen Fenster wird ber die Taste in einer Aufgabenliste ge ffnet F110S L schmodus aktivieren deaktivieren Der L schmodus kann ber das zugeh rige Papierkorb Symbol in der oberen Leiste aktiviert bzw deaktiviert werden F120 Aufgaben entfernen
99. i den deutschen S t zen ergab sich eine Worterkennungsrate von 38 22 Es wurden nur 2 S tze zur G nze erkannt also 4 44 Insgesamt wurden also 185 von 396 W rtern korrekt erkannt wobei jeweils das Er kennungsergebnis betrachtet wurde was dem tats chlichen Satz am hnlichsten ist Von den S tzen wurden 14 von 90 zur G nze erfasst Zusammenfassend l sst sich sagen dass der Ansatz mehrere W rter gleichzeitig zu erkennen nicht zu einer besseren Benutzbarkeit f hrt da diese Methode mit einem hohen Korrekturaufwand seitens des Nutzers verbunden ist 7 5 Umfrage Die Projektgruppe hat eine Umfrage erstellt um die Meinung von Nutzern zur Ap plikation zusammenzustellen Dabei handelt es sich um eine Nutzerstudie die im Fol genden beschrieben wird In diesem Kapitel werden der Aufbau Unterabschnitt 7 5 1 und die Ergebnisse der Umfrage zur TabScript Applikation vorgestellt Dabei sind die Ergebnisse unterteilt in die Beschreibung der Testpersonen Unterabschnitt 7 5 2 die erzielte Erkennungsrate Unterabschnitt 7 5 3 die Benutzerzufriedenheit Unterab schnitt 7 5 4 und die Verbesserungsvorschl ge Unterabschnitt 7 5 5 welche von den Testpersonen gemacht worden sind 7 5 1 Aufbau F r die Erstellung der Umfrage zu TabScript fiel das Augenmerk besonders auf zwei Kernbereiche die Qualit t der Handschrifterkennung und die Benutzerfreundlichkeit Diese Ergebnisse wurden mit Informationen zu der jeweiligen Testperson erwei
100. ichtungsmerk mal werden ber 75 der Testdaten richtig erkannt was eine 25 bessere Worterken nungsrate als das Kr mmungsmerkmal an zweiter Stelle darstellt Der Vergleich von Linearit t und Ablenkung ist ebenfalls von besonderem Interesse Wie in Tabelle 7 3 zu sehen beinhalten beide Merkmale zwar eher weniger Informa tionen denoch wird Ablenkung verglichen zur Linearit t sehr oft in den besten Merk malskombinationen verwendet Beim Betrachten der unterschiedlichen Erkennungsra ten in Tabelle 7 4 wird deutlich dass Ablenkung die etwas besseren Ergebnisse liefert 61 Kapitel 7 7 3 Merkmale Schreibrichtung Kr mmung Aspect Ratio Stiftdruck Ablenkung Linearit t Steigung Dyn M Erkennung Konf Int true true true false false false alse true 90 05 2 9 true true alse true false false alse alse 89 55 3 true true alse false false false alse alse 89 05 3 1 true true true true false false true alse 89 05 3 1 true true alse true true false false alse 88 31 3 1 true true true true false false alse alse 87 56 3 2 true true true true true false alse alse 87 56 3 2 true true alse true false false true alse 87 31 3 3 true true alse false true false false alse 86 82 3 3 true true alse false false false alse true 85 82 3 4 true true alse true true false true alse 85 82 3 4 true
101. ie Android Men Leiste und dort ber den Button Einstellungen erreicht werden siehe Abbildung 5 1 Die folgen den Abschnitte geben einen berblick ber die m glichen Einstellungen von TabScript A TabScript sten bersicht Activities Abbildung 5 1 Um in das Einstellungs Men der Anwendung zu gelangen muss der Button Einstellungen der Android Menti Leiste be t tigt werden 5 1 Erscheinungsbild Die Einstellungen zum Aussehen der Anwendung enthalten den Eintrag The me unter dem sich per Klick zwei verschiedene Motive f r die Anwendung 29 5 Einstellungen ausw hlen lassen siehe Abbildung 5 2 Beibehalten werden kann das ur spr ngliche Motiv entweder durch die Bet tigung des Abbrechen Buttons oder durch erneuten Klick auf diese Auswahl Standard SchwarzGelb Abbildung 5 2 Auswahl der verschiedenen Themes f r die Anwendung Weiterhin kann der Animations bergang f r die ausklappbare Seitenansicht die sich aus der Schreib Ansicht siehe Abschnitt 2 3 aufrufen l sst eingestellt werden Standardm ig ist bergang 1 ausgew hlt Um zwischen den bei den zur Verf gung stehenden berg ngen zu wechseln wird das nebenstehen de Options K stchen angeklickt Der Eintrag Schreibfarbe dient zur Auswahl der Trajektorien Farbe in der Schreib Ansicht Auch die Dicke des Stiftes kann unter Stiftdicke eingestellt werden Ist die Option Stiftblur
102. ie Berechnung von Merkmalen auf Schriftbildern die es sp ter erm glichen soll Schriftabschnitte mit einander vergleichen und diesen Abschnitten Semantiken zuordnen zu k nnen F r das Auge mag bereits ein ganzes Wort ein Merkmal sein das einer Seman tik zugeordnet und mit anderen W rtern verglichen werden kann Bei der Online Handschrifterkennung jedoch ist ein ganzes Wort zu komplex Zwei geschriebene W r ter mit der gleichen Bedeutung k nnen sich in ihrem Schriftbild soweit unterscheiden dass es schwer ist durch Vergleich beider W rter von der Semantik des ersten Wortes auf die Bedeutung des zweiten Wortes zu schlie en Daher wird in der Handschrifter kennung die Schrift weiter unterteilt und die Merkmale auf Teilabschnitten berechnet Die Unterteilung auch Segmentierung genannt geht in der Regel auch eine Stufe tiefer als die Buchstabenebene da diese ebenfalls noch zu komplex ist sodass Buchstaben meist in mehrere Abschnitte unterteilt werden Auf diesen segmentierten Trajektorien Abschnitten lassen sich so Merkmale sinnvoll berechnen Weiterhin ist die Merkmalsberechnung f r ein Segment nicht auf ein Merkmal be schr nkt sondern besch ftigt sich mit mehreren Merkmalen die als ein Merkmals vektor zusammengefasst werden Zur Veranschaulichung kann ein gro es P und ein kleines p betrachtet werden Nimmt man die Form des Buchstaben als Merkmal so unterscheiden sich beide Buchstaben in diesem Merkmal kaum voneinande
103. ildung 3 1 ist der pen down Teil der Trajektorie des Wortes global sichtbar Vor und nach dem Buchstaben b ist der Stift bzw Finger abgesetzt worden und pen ups sind dort ent standen 18 Kapitel 3 3 2 Einf hrung in die Handschrifterkennung Baseline Als Baseline Grundlinie bezeichnet man die Linie auf der das Wort glo bal in Abbildung 3 1 aufsetzt Gro e Druckbuchstaben setzen prinzipiell auf dieser Grundlinie auf Corpusline Sie begrenzt die meisten Kleinbuchstaben nach oben hin In Abbil dung 3 1 betrifft dies die Buchstaben g o und a Hilfreich ist die Corpusline vor allem bei der Unterscheidung von Klein und Gro buchstaben die in beiden F llen das gleiche Erscheinungsbild haben wie zum Beispiel bei x und X Corpus Der Corpus bildet genau den Bereich zwischen Baseline und Corpusline wie Abbildung 3 1 zeigt Die Distanz zwischen beiden Orientierungslinien ist als Corpus Height definiert Ascender und Descender Die in Abbildung 3 1 dargestellten Geraden Upper Line und Lower Line begrenzen s mtliche Buchstaben und Ziffern nach oben bzw unten Der resultierende Oberl ngenbereich zwischen Corpusline und Upper Line Ascender umfasst Bereiche von Buchstaben die ber die Corpusline hinaus ragen etwa ein St ck vom l in Abbildung 3 1 Analog beschreiben Unterl ngen bzw Descender den Be reich zwischen Baseline und Lower Line Der schwungvolle Fu des g bildet folglich
104. iligen Button kann die Auswahl best tigt werden Die Sortierung erfolgt analog zu dem Verfahren das in Abschnitt 2 5 1 f r Aufgabenlisten beschrieben wird Auch eine manuelle Sortierung ist f r Tags m glich Diese erfolgt ebenfalls analog zu dem Verfahren f r Listen aus Abschnitt 2 5 2 4 4 L schen von Tags Zum L schen von einem oder mehreren Tags wird in der Tag bersicht der Button 2 angeklickt und auf diese Weise der bereits aus Abschnitt 2 4 bekannte L schmodus aktiviert Die zu l schenden Tags k nnen nun per Klick ausge w hlt werden siehe Abbildung 4 5 Schlie lich kann der L schvorgang mit einem Klick auf den Button L schen best tigt werden 25 4 Verwaltung von Tags Sortieren nach Name Erstellungsdatum Abbildung 4 4 Sortierung von Tags nach Name oder nach Erstellungsda tum in der Tag Ansicht Zu l schende Elemente ausw hlen Important Work Private CC ECC OQ Monday 20000000000 Abbildung 4 5 L schen von einem oder mehreren Tags mit dem L schmodus von TabScript 4 5 Versehen von Listen mit Tags Um eine Liste mit einem bestimmten Tag zu versehen muss die Aufgabenliste zun chst in der Listen bersicht durch einen Klick markiert werden Nun l sst sich der Men Button 1 in der Titelleiste der Aufgaben bersicht ausw hlen und 26 4 6 Listentibersicht nach einem Tag filtern es Offnet sich eine Dialogbox siehe Abbildung 4 6 Diese zeigt bereits erstellte Tags an u
105. in 88 der F lle an erster Stelle gelistet werden Dies hat f r die Bedienung der Applikation einen ho hen praktischen Nutzen da direkt erkannte W rter automatisch bernommen werden und nicht erst manuell aus der Liste aller vorgeschlagenen W rter ausgew hlt werden m ssen Als n chstes werden die Top 3 Ergebnisse f r die einzelnen Umfrageteilnehmer be trachtet Abbildung 7 10 zeigt diese Werte absteigend sortiert Es f llt auf dass die Teil nehmer insgesamt sehr differente Erkennungsraten aufweisen Diese reichen von 10 100 Eine genauere Analyse zeigt dass die Gesamterkennungsrate f r den Gro teil der Befragten 91 im Bereich zwischen 40 und 100 liegt Lediglich vier Personen weisen eine minimale Erkennungsrate von 10 auf Gr nde hierf r k nnen vielf l tig sein Ein Vergleich mit dem Rest der Befragten z B durch Analyse der H ndigkeit und des Altersdurchschnitts ist in diesem Fall nicht indiziert da eine Gruppe von vier Personen zu klein ist um repr sentative Aussagen treffen zu k nnen Weitere Fakto ren welche nicht durch den Fragebogen erfasst wurden k nnen kulturelle Aspekte darstellen so z B die Muttersprache des Nutzers das Herkunftsland sowie erwor bene Fremdsprachen Denn Unterschiede von Sprachen und Schriften verschiedener ethnischer Gruppen k nnen gegebenenfalls auch Einfluss auf die Handschrift nehmen SWV06 Ebenso verh lt es sich mit subjektiven Zust nden des Nutzers wie z B Stress und M dig
106. ines Merkmals ber dem Segment vorgenommen wird geschieht dies durch 1 M S is A Matt 5 1 teS wobei M S das Merkmal f r ein ganzes Segment und M t das Merkmal zum Zeit punkt t bezeichnet Die Wahl der Merkmale wird im anschlie enden Abschnitt erl u tert 5 5 1 Schreibrichtung Die Schreibrichtung ist ein Merkmal das mithilfe der zeitlich umliegenden Punkte er rechnet wird und die Schreibrichtung in Form eines Winkels repr sentiert Dabei wer den zwei Merkmale durch den Sinus und Kosinus des Winkels erzeugt Die Schreibrich tung kann wie in Abbildung 5 7 visualisiert durch Berechnungen der Gleichungen 5 2 5 3 5 4 5 5 und 5 6 bestimmt werden JMW00 Der Kosinus und Sinus f r die Richtung kann aus den Gleichungen 5 2 und 5 3 berechnet werden Dabei werden der x Gleichung 5 5 bzw y Abstand Gleichung 5 6 der umliegenden Punkte p _ und Pt 1 sowie die euklidische Lange des Vektors As t zum Punkt p Gleichung 5 4 zu 35 Kapitel 5 5 5 Merkmale hilfe genommen F r die Berechnung der Schreibrichtung ber einem Segment werden die Schreibrichtungen ber die Anzahl der Punkte im Segment normiert 2 cos a D Abbildung 5 7 Visualisierung des Schreibrichtungsmerkmals an einem Trajektorienab schnitt vgl JJMW00 cos a t 5 2 sina t Zi 5 3 As t Ax2 t Ay t 5 4 Ax t x t 1 x t 1 5 5 Ay t y t 1 y t 1 5 6 5 5 2 Kr mmung Wie
107. inwiefern diese einen feststellbaren Effekt auf die Handschrifterkennung hatten In den Testl ufen wurden folgende Merkmalsbe rechnungen genutzt Schreibrichtung Sinus und Cosinus Kr mmung Sinus und Co sinus Seitenverh ltnis Stiftdruck sowie die dynamischen Varianten s Abschnitt 5 5 Als Schriftmodell wurde ein Hidden Markov Model mit linearen Buchstabenmodellen eingesetzt welches ber 15 Iterationen trainiert wurde s Kapitel 6 Bei der Erprobung diverser Implementierungen zeigte sich gerade vor dem Hinter grund der Android Plattform und der benutzten Unipen Datenbank dass die Vorver arbeitungsschritte der Skalierung auf eine Zielgr e und der Neuabtastung notwendig waren um die Transkription berhaupt betreiben zu k nnen Ein initialer Versuch ohne jegliche Vorverarbeitung f hrte zu einem vorzeitigen Abbruch der Erkennung Die zur Verf gung stehenden Evaluierungsdaten aus der Unipen Datenbank boten teilweise eine nicht ausreichende Trajektorienpunktemenge und dichte sodass die Segmentierung anhand maximaler lokaler Kr mmung siehe Abschnitt 5 4 gro e Teil mengen von Trajektorienabschnitten g nzlich verwarf da auf den extrahierten Seg menten keinerlei verbleibende Datenpunkte existierten Die sp rliche Datenmenge musste demnach durch Neuabtastung aufbereitet werden um Klassifikation durchf h ren zu k nnen Weiterhin erwies sich die Notwendigkeit einer Skalierung da einige Experimente mit ausschlie licher Neu
108. ist sie zun chst leer A TabScript Abbildung 2 1 Die Listentibersicht der Anwendung TabScript Die Menti Buttons dieser Ansicht sind hier in rot nummeriert um sie im Text besser referenzieren zu k nnen Der in der Abbildung rot markierte Button 1 dient zur Sortierung der Aufgabenlisten Mittels Button 2 kann das Men zum 2 Verwaltung von Listen Erstellen einer neuen Aufgabenliste aufgerufen werden siehe Abschnitt 2 2 Button 3 dient zum Aufrufen des L schmodus f r eine oder mehrere Listen 4H Neue Aufgabenliste anlegen VV FERTIG X LOSCHEN E Abbildung 2 2 Schreib Ansicht fiir Listen 2 2 Hinzufiigen neuer Listen In diesem Abschnitt geht es um das Hinzufiigen einer neuen Liste zur Lis ten bersicht Dazu ffnet sich nach Bet tigung des Men Buttons 2 aus Ab bildung 2 1 die Schreib Ansicht der Applikation siehe Abbildung 2 2 Eine genaue Beschreibung dieser Ansicht findet sich in Abschnitt 2 3 Dort kann der gew nschte Listenname nun per Handschrift eingegeben und anschlie end mit dem Men eintrag Fertig best tigt werden Neben dem Listennamen er scheint die Anzahl der Aufgaben die in einer Liste enthalten sind siehe Abbil dung 2 3 2 3 Die Schreib Ansicht Die Schreib Ansicht ist in Abbildung 2 2 im Kontext der Listenerzeugung dar gestellt Die gleiche Ansicht wird von der Applikation aber auch bei der Erstel lung neuer Aufgaben vergleiche Kapitel 3 oder Tags vergleiche Kapitel 4 ver wende
109. keit SLTWO96 Abbildung 7 11 zeigt das Verh ltnis zwischen Top 3 und dem Anteil nicht erkannter W rter in Abh ngigkeit zu der Wortl nge Bei dieser Auswertung wurden nur W r ter mit 3 16 Zeichen ber cksichtigt da andere L ngen mit weniger als f nf W rtern keine ausreichend gro en Stichproben lieferten vgl Abbildung 7 12 Bei Betrachtung der Abbildung f llt auf dass W rter umso besser erkannt werden je mehr Zeichen sie aufweisen 71 7 5 Umfrage Kapitel 7 Top 3 Top 2 S8e8RB82R88 2 Top 1 450 SS SE SS SS SS W ares s6unuuay3 Abbildung 7 9 Top 1 3 f r die Gesamtzahl aller in der Umfrage erfassten W rter n 4 ais Dunuuen Nutzer ID 12345 67 8 910111213 141516171819 20 21 22232425 26 27 282930 31 32 33 34 3536 37 38 394041424344 45 72 Abbildung 7 10 Top 3 Ergebnisse der einzelnen Umfrageteilnehmer Kapitel 7 7 5 Umfrage 100 90 pal u 70 ES g 60 E 2 50 E 2 40 E 2 30 w 20 10 D T T T T T T A e T T T T T T q 1 2 3 4 5 6 7 8 9 10 11 12 13 14 W rtl nge Abbildung 7 11 Erkennungsrate in Abh ngigkeit von der Wortl nge e Ih q i i i i i oni eee 23 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 22 26 Anzahl RS S 88 Wortlange Abbildung 7 12 Anzahl aller W rter der Stichprobe einer bestimmten L nge 73 Kapitel 7 7 5
110. l nglichkeiten die dem Newton einen durchschlagenden Erfolg verw hrten Dem recht unerkundeten Feld der Handschrifterkennung begegnete Palm mit der Einf hrung des Graffiti Alphabets ei nem buchstabenbasierten Erkennungssystem MS02 Dem Nutzer fiel dabei die Auf gabe zu seinen Text Zeichen f r Zeichen anhand von Gesten einzugeben gem den in Abbildung 1 2 dargestellten Stiftgesten Die verschiedenen Gesten beginnen stets an ABeDbEFERTISLMA a b i j UTOPIA Abbildung 1 2 Das Graffiti Alphabet mit seinen zeichenspezifischen Gesten MS02 Je der Buchstabe weist eine eindeutige Stiftbewegung auf dem hervorgehobenen Punkt Bei Buchstaben mit grofser Ahnlichkeit wie zum Beispiel u und v steigt die Differenzierbarkeit durch jeweilige Startpunkte der Gesten auf den sich gegen berliegenden Seiten Mit dieser Vorgehensweise entledigte Palm sich dem unzureichend gel sten Pro blem ganze W rter oder kursive Handschrift verarbeiten zu m ssen Gleichzeitig bl hte auch ein reger Diskurs ber die methodische Messbarkeit der Erkennungsg te auf Faktoren wie Schreibstil Anwendungsabh ngigkeit und Trainingseffekte wur den als Ursachen f r verschiedene Messergebnisse identifiziert MZ97 Zweifellos war Kapitel 1 1 1 Historie der Handschrifterkennung der Palm Pilot jedoch in seiner Ara der popularste Vertreter seiner Art Bis Ende des Jahres 1999 wurden ber f nf Millionen Einheiten abgesetzt und ein weltw
111. l von Optionen Akti viert der Benutzer die Einstellung Vibration bei Benachrichtigung so wird zum Be 10 Kapitel 2 2 8 Schreib Ansicht nachrichtigungszeitpunkt einer Aufgabe zus tzlich der Vibrationsalarm des mobilen Endger tes aktiv Ist weiterhin LED benutzen ausgew hlt so leuchtet au erdem die Benachrichtigungs LED des Ger tes falls vorhanden in der jeweiligen Farbe die unter LED Farbe ausgew hlt wurde 2 7 3 Expertenmodus Der Expertenmodus kann unter dem gleichnamigen Eintrag aktiviert bzw deakti viert werden Ist diese Einstellung aktiv so l sst sich unter Concept ausw hlen ob die Erkennung auf Wort oder Zeichenebene durchgef hrt werden soll Zudem kann der Bentutzer hier die gesamte Datenbank der Anwendung zur cksetzen 2 8 Schreib Ansicht Um die Benutzerfreundlichkeit zu erh hen wird f r jede Benutzereingabe ob sie nun zur Eingabe einer Aufgabe oder zur Eingabe eines Listen oder Tag Namens dient die gleiche Schreib Ansicht verwendet die in Abbildung 2 4 dargestellt ist Die Ansicht ist einer Seite aus einem Notizblock nachempfunden und bietet Linien zur besseren Orientierung Die interne Bezeichnung dieser Benutzerschnittstelle ist WriteActivity F r jedes Wort das der Benutzer in der Schreib Ansicht in handschriftlicher Form eingibt um beispielsweise eine neue Liste zu erstellen erscheint am oberen Rand dieser Ansicht bei Klick auf die erkannte Maschinendarstellung des Worte
112. let 45 Kapitel 6 6 1 Hidden Markov Modelle Zustand O t 1 t Zeit Abbildung 6 4 Schematische Darstellung der Bestimmung einer Viterbi Variablen vgl Fin08 erfasste Trajektorie in Segmente aufgeteilt und f r jedes dieser Segmente ein Merk malsvektor berechnet Es wird nun die wichtige Annahme getroffen dass diese Fol ge von Merkmalsvektoren durch ein vorliegendes Hidden Markov Modell A als Folge von Emissionen O erzeugt wurde Wenn von dieser Annahme ausgegangen wird dann identifiziert die Zustandsfolge s argmax P s O A 6 1 S das Wort das am wahrscheinlichsten geschrieben wurde P s O A ist die bedingte Wahrscheinlichkeit daf r dass gegeben das Modell A die Zustandsfolge s die beob achtete Emissionsfolge O generiert hat Naiv kann diese die Produktionswahrschein lichkeit maximierende Zustandsfolge bestimmt werden indem die Wahrscheinlichkeit aller m glichen Zustandsfolgen des vorliegenden Modells berechnet werden Dies ist jedoch besonders bei gr eren Modellen und auf leistungsschw cherer Hardware nicht praktikabel Eine effiziente Alternative zur Berechnung stellt der sogenannte Viterbi Algorithmus dar vgl Fin08 Die die Berechnung maximierenden Zustandsfolge erfolgt hierbei durch die Definition von Hilfsvariablen den Viterbi Variablen Rah13 Dalt ss max Bi Us Bitte St GA 6 2 S1 82 St 1 46 Kapitel 6 6 1 Hidden Markov Modelle Schrift S c h r 1
113. m Gegensatz hierzu beschreibt die Corpusline eine Gerade welche die H he der Kleinbuchstaben ohne Oberl nge hier S O ja anzeigt 26 Kapitel 4 4 1 Verfahren Neuabtastung Abbildung 4 5 Erneute Abtastung der Trajektorie zur Erzeugung quidistanter Punkt daten eliminiert Einfl sse wie Schreibgeschwindigkeit Abtastrate usw Eine M glichkeit zur Berechnung der Baseline ist zun chst die lokalen Minima der Trajektorie zu ermitteln Anhand dieser Punkte wird anschlie end nach der Methode der kleinsten Quadrate eine lineare Regressionsgerade errechnet Analog wird die Cor pusline durch Berechnung der lokalen Maxima bestimmt Eine weitere M glichkeit ist die Berechnung der Base und Corpusline mithilfe eines vertikalen Dichtehistogramms der Trajektorie siehe AzH09 Das Verfahren kann in folgende Schritte unterteilt werden 1 Berechnung eines vertikalen Dichtehistogramms 2 Anwendung eines Schwellwertverfahrens 3 Festlegung der Base und Corpusline Im ersten Schritt wird ein vertikales Dichtehistogramm ho y berechnet mit y 0 tam wobei htam die H he der Trajektorie beschreibt Wie in Abbildung 4 6 a dar gestellt gibt das Dichtehistogramm f r jeden Wert der y Achse die Anzahl der Abtast punkte der Trajektorie wieder welche selbigen y Wert aufweisen Anschlie end wird das Dichtehistogramm gegl ttet i Ay soly Y holy i 4 1 i Ay Der Grad der Gl ttung l sst sic
114. ma oder Maxima ein High Level Merkmal darstellen Wie03 Su A Sehe Schleifen b Kreuzungspunkte c Cusps Bereiche der hohen Kr mmung Abbildung 5 4 Beispiele f r High Level Merkmale aus Wie03 Im Gegensatz zu den High Level Merkmalen stehen die Low Level Merkmale Diese werden lokal berechnet und ben tigen somit nicht das gesamte Schriftbild sondern le diglich einen Abschnitt In der Offline Handschrifterkennung werden diese Abschnit te bzw Segmenten erzeugt indem das Schriftbild in mehrere Fenster unterteilt wird s Abbildung 5 5 Diese Fenster sind in der Regel kleiner als ein einzelner Buchsta be und k nnen sich berlappen Bei der Online Handschrifterkennung werden Seg mente direkt ber der Trajektorie errechnet Diese bestehen dann aus einer bestimmten Anzahl von Trajektorienpunkten die zeitlich hintereinander erzeugt wurden vgl Ab schnitt 5 4 Die Berechnung der Merkmale bei TabScript beschr nkt sich aufgrund des se quenziell gegebenem Schriftbilds haupts chlich auf die Berechnung von Low Level Merkmalen Die berechneten Merkmale wie Schreibrichtung oder Kr mmung werden in 33 Kapitel 5 5 4 Segmentierung Abschnitt 5 5 n her betrachtet Um zus tzliche Information aus der Umgebung eines Segments in die Auswertung der Schrift zu erhalten werden mithilfe der errechneten Low Level Merkmale sogenannte dynamische Merkmale erzeugt die durch diskrete Ab leitungen berechnet wer
115. mst nden m ssen sich unterschiedliche Layouts unterschiedlich verhal ten Beim Anklicken einer Aufgabenliste um die darin enthaltenen Aufgaben an zuzeigen muss zum Beispiel das Verhalten angepasst werden Bei gro en Dis plays muss das TaskFragment aktualisiert werden w hrend bei kleinen Displays die TaskActivity gestartet werden muss Abbildung 2 11 zeigt den Ablauf ei 16 Kapitel 2 2 11 Unterst tze Android Versionen nes solchen Prozesses Nachdem eine Aufgabenliste angeklickt wurde meldet das TaskListFragment der TaskListActivity mit Hilfe der ID welche Liste angeklickt wurde Die TaskListActivity berpr ft nun ob das gro e oder das Standard Layout geladen wurde Dies geschieht indem getestet wird ob die TaskListActivity ein TaskFragment beinhaltet Ist dies der Fall kann das TaskFragment aktualisiert wer den Ist kein TaskFragment vorhanden handelt es sich um ein kleines Display und die TaskListActivity startet eine neue TaskActivity um die Aufgabenliste anzuzeigen 2 11 Unterstiitze Android Versionen Die App ist kompatibel zu Android Versionen ab Android 3 0 API Level 11 Ei ner der Griinde hierfiir liegt darin dass diese Version ein Update speziell fiir Tablets ist Auch wurden mit Android 3 0 einige wichtige GUI Elemente z B Fragments und ActionBar eingef hrt Mit einer angepassten GUI sollte die App auch auf Endger ten mit Android 2 x funktionieren Entwickelt und getestet wurde sie haupts chlich auf An
116. n Elements in einer Aufgabenliste bei eingeschaltetem ausgeschaltetem L schmodus und berpr ft ob die Aufgabe daraufhin noch verf gbar ist T130 Aufgabe ndern Der Testnutzer klickt auf die Option zum ndern einer Aufgabe und ersetzt diese durch einen neuen Eintrag T140 Aufgabe als erledigt markieren Die Testperson klickt in der Aufgabenliste auf das Auswahlk stchen einer Aufgabe um sie als erledigt zu markieren T150 Markierung von als erledigt markierten Aufgaben aufheben Der Testnutzer hebt die Markierung einer zuvor als erledigt markierten Aufgabe auf indem er auf das entsprechende Auswahlk stchen klickt T160S Aufgabenliste sortieren Der Tester w hlt die Sortierfunktion im Optionsmen um die Aufgabenliste zu sortieren Anschlie end berpr ft er ob die Aufgaben richtig sor tiert sind T170 Aufgabenliste manuell sortieren Der Tester sortiert die Liste neu durch das Ziehen der gew hlten Aufgaben Elemente an gew nschte Positionen T180S Aufgabenliste taggen Die Testperson weist einer Liste einen Tag ber das Kon textmen zu T190 Durch Listen scrollen Der Tester scrollt durch die Aufgabenliste T200S Zwischen Listen wechseln Der Testnutzer wischt durch die Aufgabenlisten T210S F lligkeitsdatum f r Aufgaben eintragen Der Tester ndert das F lligkeitsdatum einer Aufgabe ber das Aufgaben Element Optionsmen 10 3 bersichtsmen T220 Aufgabenliste anlegen D
117. n Hauptziel der An wendung ist somit die Evaluierung von Online Handschrifterkennung auf Android Ger ten 3 2 Zielgruppen Die Zielgruppe ist charakterisiert durch private Endnutzer die Aufgaben Listen in ihrem Ta blet verwalten wollen und dar ber hinaus die Texteingabe per Handschrift der herk mmlichen Eingabe per Bildschirmtastatur bevorzugen 3 3 Betriebsbedingungen Das System soll unter allt glichen Android Ger t Umgebungseigenschaften arbeiten Die Be seitigung m glicher u erer St rfaktoren z B durch Sonneneinstrahlung liegt dabei in der Verantwortung des Benutzers Weiterhin ist die t gliche Betriebszeit variabel und h ngt von der Aktivit t des Benutzers ab Passive Funktionen die nicht explizit vom Nutzer an gestossen werden sind lediglich das ger teinterne Speichern der Aufgabenlisten sowie die Synchronisierung der Daten mit dem verbundenen Google Account bei Internet Verf gbar keit 4 Produktumgebung Das Produkt stellt einige Anforderungen an die Umgebung in der es ausgefiihrt wird Im Folgenden werden Bedingungen an ben tigte Software Installationen definiert die zu benut zende Hardware spezifiziert und bedingte Kommunikationsm glichkeiten des Produkts mit ausgelagerten Diensten beschrieben 4 1 Software Das Produkt ist f r den Einsatz auf mobilen Ger ten vorgesehen die das Android Betriebssystem aufweisen Einige GUI Funktionalitaten wie die Action Bar erfordern die Version 3 0 des Android Betri
118. n Merkmale die jeweiligen Schriftabschnitte Gebr uchliche Merkmale f r Handschrifterkennung werden in Kapitel 5 beschrieben Im letzten Schritt geschieht bei der Klassifikation die Zuordnung der gelesenen Eingabe zu einer Klasse von Schrift zeichen bzw deren Bestandteilen Dazu kann unter anderem ein Hidden Markov Mo del siehe Kapitel 6 genutzt werden welches vor seinem Gebrauch Merkmalsrepr sentationen der Zeichen anhand einer annotierten Stichprobe erlernt Die dargestellten Schritte basieren auf der allgemeinen Darstellung f r Klassifikationsaufgaben Nie83 Trajektorie Vorverarbeitung en Klassifikation Abbildung 3 2 Die gel ufigen Schritte in der Verarbeitung von Trajektorie sind Auf nahme der Trajektorie diverse Vorverarbeitungsma nahmen Segmen tierung in einzelne St cke zur Merkmals Extraktion und Klassifikation auf Basis einer erlernten Stichprobe vgl Nie83 Das Ziel dieser Projektgruppe ist die Erkennung von Handschrift auf mobilen Rech nersystemen somit beruht das Softwaregr st auf dem in Abbildung 3 2 dargestellten Schema f r Online Handschrifterkennung Um dem Nutzer m glichst gro en Frei raum beim Schreiben zu lassen soll die Nutzereingabe per Schrift weitgehend restrik tionslos sein lediglich eine horizontale Grundlinie soll dem Anwender zu einem m g lichst geraden Schriftbild verhelfen 21 Kapitel 3 3 3 Aufbau von Online Handschrifterkennungssystemen 3 3 2 Trainingsdaten Ein
119. n erben von der Oberklasse AbstractElement die f r alle Klassen den Namen die ID und die Position bereitstellt Gespeichert werden die Daten in einer SQLite Datenbank Die Verwaltung der SQLite Datenbank bernimmt die Klasse Database die von der Android Klasse 12 Kapitel 2 2 10 Technische Realisierung A Aufgabenliste Activities a TabScript Listen bersicht tr a Aufgabenlisten b Aufgaben Abbildung 2 7 Bei kleinen Displays werden Aufgaben und Aufgabenlisten in einzelnen Activities dargestellt SQLiteOpenHelper erbt Die Klasse ist daf r zust ndig die Modelklassen in Tabellen zu speichern zu aktualisieren und zu l schen F r jede Modelklasse existiert jeweils eine Tabelle Alle Tabellen besitzen Spalten f r eine ID einen Namen und ein Position die angibt an welcher Stelle der Objekte das Objekt einsortiert ist Dies spielt besonders dann eine Rolle wenn der Nutzer manuell die Objekte ber die App sortiert Die Tabel le f r die Tasklisten enth lt zus tzlich noch eine Spalte die f r jede Reihe angibt wann sie das letzte Mal aktualisiert worden ist Tasks ben tigen ber die allgemeinen Infor mationen hinaus Spalten f r die zugeh rige Tasklisten ID ein F lligkeitsdatum das Datum der letzten Aktualisierung sowie die Information ob der Task erledigt wurde oder nicht Die Tabelle f r die Tags ben tigt nur die allgemeinen Informationen Na me ID und Position Des Weiteren existie
120. n gespeichert werden welche sich nicht in schriftlicher Form festhalten lassen Beispielsweise k nnen so Anfahrtsskizzen angefer tigt werden Weitere Verbesserungsvorschl ge wurden nur vereinzelt ge u ert so z B ein direktes Aufschreiben ohne zus tzliches ffnen der Schreibansicht das Einf hren eines Weiter Buttons zur Eingabe mehrerer Aufgaben das Einf hren von Mengen angaben sowie gr ere und zum Teil aussagekr ftigere berschriften Lob Auff llig h ufig wurde im Rahmen der Umfrage die Handschrifterkennung ge lobt was f r die Befragten sowohl die Erkennungsrate als auch die Erkennungsge schwindigkeit umfasste Die Idee die Texteingabe ber eine Handschrifterkennung zu realisieren erschien vielen Umfrageteilnehmern n tzlich und die Umsetzung als ToDo Anwendung von besonderem praktischen Interesse Weiterhin wurden die bersicht lichkeit der Startansicht die klare Aufteilung der Bereiche f r Listen und Aufgaben so wie die schnelle Verst ndlichkeit der Sort Hinzuf gen und Entfernen Buttons genannt Das Klappmen der Schreibansicht war f r einige Benutzer eine wichtige Hilfestellung Es zeigt bereits erstellte Listen bzw Aufgaben und vermeidet somit ein unn tiges Zur ckkehren zur Startansicht falls der Nutzer diese nochmals betrachten m chte Die Benutzung von Tags siehe Kapitel 2 wurde als sinnvoll erachtet da sie ein Kategorisieren von Listen erm glichen Auch fiel das standardkonf
121. nd als Markieren Sie nur ein Oval e bersichtich C C C undbersichtlich 26 Die Anbringung der einzelnen Buttons bewerte ich zusammenfassend als Markieren Sie nur ein Oval iibersichtlich C C un bersichtlich 27 Die Teilung der grafischen Oberfl che bewerte ich zusammenfassend als Markieren Sie nur ein Oval bersichtich C C C C un bersichtlich Bedienung 28 Die Bedienung der Applikation bewerte ich als Markieren Sie nur ein Oval ION sehr intuitiv C C C C garnicht intuitiv Anmerkungen und Verbesserungsvorschl ge 29 Folgende Fehler habe ich in der Anwendung feststellen k nnen 30 Die Umsetzung der folgenden Option des folgenden Men s erscheint mir besonders verbesserungsw rdig 31 Die Umsetzung der folgenden Option des folgenden Men s erscheint mir besonders gut Bereitgestellt von Google D C Pflichtenheft 128 PROJEKTGRUPPE TABSCRIPT Pflichtenheft TU DORTMUND Sulejman Begovic Dennis Kesper Rebecca Doherty Julian Kirby Shinazi Faruki Niclas Raabe Daria Filatova Johann StraBburg Nina Hesse Christian Wieprecht 1 November 2013 Inhaltsverzeichnis 1 Einleitung 2 Zielbestimmungen 2 1 Musskriterien e obeso er da Ar A OE a 2 Sallktitenien unsre o ie ews eee Ara Grea 23 Kaninkriterien gt s sesa aoee ch ae ee e 24 Aberenzungskritenien lt lt bw 44 W404 wa Sr Oe oe ET Brise 3 Produkteinsatz
122. nd bietet die M glichkeit einen oder mehrere Tags durch Klick auf die nebenstehenden K stchen anzuw hlen Weisen Sie der Aufgabenliste Activities Tags zu Important Work Abbildung 4 6 Versehen einer bestimmten Liste mit einem oder mehreren Tags Im unteren Bereich des Dialog Fensters befinden sich Buttons zum Abbrechen des Vorgangs zum Hinzuf gen neuer Tags und zur Best tigung der getroffenen Auswahl an Tags 4 6 Listen bersicht nach einem Tag filtern Um sich in der Listen bersicht ausschlie lich diejenigen Listen anzeigen zu las sen die mit einem bestimmten Tag versehen sind muss in der Tag bersicht auf den Namen des entsprechenden Tags geklickt werden Dann erscheint die Listen bersicht aus der Startansicht in einer gefilterten Variante Die Android Men Leiste der Anwendung zeigt dann einen Button mit der Aufschrift Filter l schen an ber die der Filtervorgang wieder aufgehoben werden kann Das bedeutet dass beim Klick auf diesen Button in der Listen bersicht wieder alle erstellten Listen angezeigt werden und nicht nur solche denen ein bestimmter Tag zugewiesen wurde 27 5 Einstellungen Die Anwendung TabScript l sst sich in einigen Bereichen an die Benutzerw n sche anpassen Hierzu geh ren das u ere Erscheinungsbild der Anwendung Einstellungen f r Benachrichtigungen bei F lligkeit eines Tasks sowie Optionen zur Handschrifterkennung f r Experten Das Einstellungs Men kann ber d
123. ndschrift sorgte f r einen Abfall der korrekten Ersterkennung auf die H lfte aller W rter Unter Einbe zug der zweiten Hypothese erreichte das System 66 Wortgenauigkeit und unter den 59 Kapitel 7 7 3 Merkmale 4 100 80 82 a 80 76 74 66 66 66 60 50 52 40 20 Top1 Top2 Top3 Topl Top2 Top3 Topl Top2 Top3 normal kursiv schr g Abbildung 7 5 Die Erkennungsraten der internen Evaluierung bei normaler links kur siver Mitte bzw schr ger rechts Schreibweise der Probanden ersten drei Hypothesen befanden sich bei kursiver Schreibweise insgesamt 76 aller W rter Bei Missachtung der Hilfslinien der Tabscript Schreibansicht in Form von quer ber den Bildschirm gezeichneter Trajektorie wurden zun chst 52 der W rter in ers ter Instanz korrekt eingeordnet 66 bzw 74 Erkennungsleistung ergaben sich durch Inklusion des zweiten bzw dritten Wortvorschlags Es zeigt sich dass die Erkennungspr zision unter dem Einfluss von kursiver bzw schr ger Handschrift um mehr als 10 schwindet jedoch sind immer noch rund drei Viertel aller W rter sp testens an dritter Stelle korrekt entschl sselt worden Mit einem Rotationswinkel von zirka 30 Grad um die vorgegebenen Hilfslinien stellte die schr ge Schreibweise zudem einen extremen H rtefall dar da somit auch Schreibfl che auf dem Tablet verloren ging und es sich bei den Probanden als schwierig erwies lange W rter ad quat
124. nen 2 2 Hinzuf gen neuer Listen 4 4 ads Rei Keen 237 Die Schreib Ansteht rar fase oe Ss E A A A A la 2 3 1 2 3 2 2 3 3 2 3 4 2 3 5 Eingabe mit Hilfe der Schreib Ansicht Korrektur und L schen von W rtern Zur cksetzen der gesamten Schreib Ansicht Ausklappbare Seitenansicht ue tt EN Hinzuf gen von W rtern zum internen W rterbuch 2 4 L schen von Listen 0 000 eee eee ee 2 5 Sortierung von Listen 424 41 2A dd da a 2 5 1 2 5 2 Automatische Sortierung ecc id a Manuelle Sortierung sumen a aa 3 Verwaltung von Aufgaben 3 1 Anzeigen von Aufgaben E zu bate sera 3 1 1 3 1 2 Anzeigen von Aufgaben einer Liste Anzeigen der Informationen einer Aufgabe 3 2 Umbenennen von Listen 3 3 Hinzuf gen von Aufgaben zu einer Liste 3 4 Sortierung von Aufgaben 24 24 0246 ces 3 5 L schen von Aufgaben 224 8222 22a Se eh ee Soha es 3 6 Benachrichtigungen f r Aufgaben 4 Verwaltung von Tags 4 1 Die Tag bersicht ee ee EE 4 2 Hinzuf gen von Tags 4 2 2 EE Ru Ri 4 3 Sortierung von Tags oka eka wha eh ORI AN 44 L schen von E EE 4 5 Versehen von Listen mit Tags ar a ata a a 4 6 Listen bersicht nach einem Tag filtern Inhaltsverzeichnis 5 Einstellungen 29 CL Erscheinungsbild 4 23 22 022 Sad 20 Lo zu Ba hd 29 5 2 DBenachtichl zungen pies ass naeh Se nego 30 5 3
125. nitionen und Regeln f r das dynami sche Erstellen von komplexeren virtuellen Modellen aus einfachen Modellen In Ab bildung 6 5 ist die Verwendung von Konzepten in der TabScript Applikation verdeut licht Das zu erkennende Wort Schrift wird als Folge von Buchstabenmodellen defi niert Anhand dieser Definition wird bei der Dekodierung dynamisch das dargestellte Schrift Modell erstellt f r das anschliessend mit dem Viterbi Algorithmus die Pro duktionswahrscheinlichkeit f r eine gegebene Folge von Merkmalsvektoren berechnet werden kann Zuvor werden alle Wortmodelle zu einem sogenannten Lexikonbaum zusammengef gt welcher ein gro es HMM ist auf dem der Viterbi Algorithmus ar beitet Der schematische Aufbau dieses Baums ist in Abbildung 6 6 dargestellt Jede 47 Kapitel 6 6 1 Hidden Markov Modelle Abbildung 6 6 Aufbau eines Lexikonbaums bei der Dekodierung Jede Zeile entspricht einem Wortmodell siehe Abbildung 6 5 Die einzelnen Wortmodelle werden durch die Pseudozust nde Start und Schluss zu einem gr eren HMM zusammengef gt Zeile besteht aus einem Wortmodell das wiederum wie zuvor erl utert aus mehreren Buchstabenmodellen besteht Die Wortmodelle werden durch zwei Pseudoknoten am Anfang und Ende verbunden 6 1 2 Training Im Folgenden wird das Training des HMM skizziert welches f r das Hidden Markov Modell in TabScript zum Einsatz kommt Eine allgemeinere Betrachtung der Parametersc
126. nth lt die Trajektorie beispielsweise ein g mit gro er Unterl nge so dominiert diese die Gr enskalierung Ist die Unterl nge kleiner so nimmt der Textcorpus mehr Raum der skalierten Trajektorie ein Alternativ kann die Gr ennormalisierung durch Skalierung der Corpush he erfolgen d h dem Abstand zwischen Base und Corpusline dies ist in Abbildung 4 4 dargestellt Gr ennormalisierung Abbildung 4 4 Die Gr ennormalisierung anhand der Corpush he am Beispiel des Wortes global 4 1 4 Neuabtastung Da die Punkte der Trajektorie bei der Aufnahme durch das Tablet zeitlich konstant er fasst werden unterscheidet sich der Punktabstand je nach Schreibgeschwindigkeit Bei der Neuabtastung wird die Trajektorie so abgetastet dass die neuen Punkte r umlich quidistant sind Auf diese Weise werden die Einfl sse von Schreibgeschwindigkeit des Schreibers und Abtastrate der Hardware in der Trajektorie eliminiert J MW00 Als neuer Abstand werden in TabScript 300 Pixel verwendet Abbildung 4 5 veranschau licht an einem Beispiel wie der schwankende Abstand zwischen den von der Hardwa re gelieferten Punkten durch eine Abtastung mit festem Abstandsma behoben wird 4 1 5 Berechnung von Base und Corpusline Wie bereits genannt zeigt Abbildung 4 2 die Base und Corpusline eines beispielhaf ten Schriftzuges Dabei markiert die Baseline die Standlinie der Buchstaben bzw die Grundlinie auf der das Wort geschrieben wurde I
127. oI 1 Mm S 1 1 Mm Sn 1 1 Be Woo te we 1 et 1 l CL l A 1 I 1 oy i Bap a es ov I 5 1 va e i A we A Ar 1 A A i e i ebe WI 1 ZS Do So 1 Do S 1 Do S I r JDoS Do S 1 25 D4 So D4 S l D1 S2 i i D1 S D1 S i d A S E E S Er i i 1 i 1 351 Dm So Dm S1 Dm S2 f Dm Sn 1 f Dm Sn 1 1 1 1 1 1 1 1 1 1 1 1 1 1 Abbildung 5 15 Visualisierung der Berechnung dynamischer Merkmale Dynamische Merkmale werden durch Kombination von bereits berechneten Merk malen der umliegenden Segmente berechnet 5 6 Verwendete Merkmale Die berechneten Merkmale einer Trajektorie werden f r den weiteren Verlauf der Handschrifterkennung an den Klassifizierer weitergeleitet in dem das zu erkennende Wort statistisch berechnet werden soll vgl Kapitel 6 Die zuvor erl uterten Merkmale wurden aufgrund ihrer intuitiven Herleitung durch Plausibilit ts berlegungen sowie ihrer praktischen Relevanz vgl Wie03 und JMWO0 in der Applikation implemen tiert Anschlie end wurden mithilfe einer Evaluation an einem Test und Trainingsda tensatz unterschiedliche Kombinationsm glichkeiten von implementierten Merkmalen ausgewertet Aufgrund der in Abschnitt 7 3 n her betrachteten Auswertung wurden die folgenden Merkmale f r die Handschrifterkennung verwendet e Schreibrichtung e Kr mmung Aspect Ratio Dynamische Merkmale 42 6 Erkennung Zum Zeitpunkt an dem die E
128. on TabScript vermieden Alle erstellten Listen sind somit st ndig im Blickfeld des Nutzers und auch die Inhalte verschiedener Listen lassen sich wesentlich schneller anzeigen 55 Kapitel 7 7 2 Vorverarbeitung Des Weiteren wurden ein paar kleinere Modifikationen am Erscheinungsbild und der Funktion der Oberflache vorgenommen Abbildung 7 2 zeigt dass deutlich mehr Men Buttons in die Ansicht hereingenommen wurden als dies urspr nglich geplant war Neben den Buttons zum L schen und Hinzuf gen von Aufgaben welche bereits in Abbildung 7 1 zu sehen sind enth lt die finale Version auch Buttons zum Sortieren von Listen und Aufgaben nach verschiedenen Kriterien Hinzugekommen sind au er dem ein Button zum Bearbeiten des Listennamens der ausgew hlten Liste sowie ein Button ber den eine Liste mit einem Tag versehen werden kann In der Listen ber sicht wurde weiterhin eine Anzeige mit der Anzahl der enthaltenden Aufgaben der jeweiligen Liste hinzugef gt Beibehalten wurde zum einen der generelle Aufbau der Listen und Aufgabenansicht mit einer oberen Men leiste und den Eintr gen in Form einer Auflistung darunter Zum anderen wurde auch die Option zur Kennzeichnen von Aufgaben als erledigt ber nommen Erg nzt wurde jedoch eine Anzeige die auch f r ganze Listen angibt ob sie abgearbeitet sind Die Namen der beiden Ansichten f r Listen und Aufgaben wurden leicht abgewandelt in Listen bersicht und Aufgabentibersi
129. orderlich Anschlie end erscheint ein Haken in dem K stchen wie in Abbildung 3 3 dargestellt ist Aufheben l sst sich die Markierung durch einen weiteren Klick auf das K stchen 3 1 2 Anzeigen der Informationen einer Aufgabe Um sich zus tzliche Informationen die pro Aufgabe von der Anwendung ge speichert werden anzeigen zu lassen wird der Name der konkreten Aufgabe 16 3 1 Anzeigen von Aufgaben Z TabSeri pt Listen bersicht d Z Shopping Abbildung 3 3 Markieren einer Aufgabe als erledigt in der Aufgaben bersicht angeklickt Abbildung 3 4 gibt einen berblick ber das bersichts Fenster mit den Informationen f r eine Beispiel Aufgabe wel ches dann angezeigt wird Jogging Aufgabenliste Activities 29 09 2013 20 22 F lligkeitsdatum Abbrechen Abbildung 3 4 Zusatzinformationen einer Aufgabe anzeigen lassen Wie Abbildung 3 4 visualisiert wird in diesem Ubersichts Fenster fiir jede Auf gabe die zugeh rige Aufgabenliste und das Erstellungsdatum der Aufgabe ge speichert Weiterhin wird der Status einer Aufgabe erledigt oder nicht erle digt sowie ein eventuell ausgew hltes F lligkeitsdatum angezeigt 17 3 Verwaltung von Aufgaben Jogging Aufgabenliste Activities Erstellungsdatum 29 09 2013 20 22 Erledigt Falligkeitsdatum Abbildung 3 5 Einstellen eines Falligkeitsdatums fiir eine Aufgabe In dieser bersicht kann der Status einer Aufgabe durc
130. orme Einstel lungsmen auf Insbesondere Android erfahrene Nutzer empfanden die Bedienung als gewohnt einfach 77 8 Zusammenfassung Mit TabScript wurde eine Applikation entwickelt die es dem Benutzer erm glicht verschiedene Aufgaben und Notizen handschriftlich einzugeben und in Listen zu ver walten Benutzereingaben werden dabei mit Hilfe von Hidden Markov Modellen klas sifiziert und in Maschinenschrift umgewandelt Die Verwendung von Handschrift soll eine intuitive Alternative zur tiblichen Eingabe mittels Soft Keyboard darstellen TabScript bef higt den Benutzer Aufgabenlisten anzulegen zu l schen oder anzu ordnen Diesen Aufgabenlisten k nnen Aufgaben hinzugef gt werden oder aus ihnen entfernt werden Aufgaben k nnen wahlweise als erledigt oder unerledigt markiert werden Des Weiteren ist es m glich Listen mit Tags zu versehen und sie auf diese Weise zu sortieren Die Applikation wurde f r die Android Plattform ab Version 3 0 entwickelt Sie unterst tzt sowohl Portrait als auch Landscapemodus Wird eine handschriftliche Eingabe durch den Benutzer get tigt startet die Erken nung automatisch Nach Abschluss der Erkennung werden dem Benutzer die drei wahrscheinlichsten W rter angezeigt Das Erkennungssystem wurde mit Hilfe des ES MERALDA Toolkits realisiert Es wird ein Schriftmodell auf Buchstabenebene verwen det mit dem ganze W rter durch zus tzliche Anwendung von W rterb chern erkannt werden k nnen vgl Kapi
131. osition versetzen Kapitel 2 2 5 Aufgaben Informationen In der Aufgabentibersicht gibt es zudem zwei weitere Optionen Zum einen kann der Benutzer tiber Button 1 den Namen der aktuell aktivierten Aufgabenliste in der Schreib Ansicht bearbeiten Des Weiteren bietet die Funktionalitat hinter Button 2 eine M glichkeit die ausgew hlte Liste mit einem Tag zu versehen Bei Bet tigung des Buttons werden dem Nutzer alle bereits erstellten Tags zur Aus wahl angeboten und die M glichkeit seine Wahl zu best tigen Anschlie end k nnen Listen nach zugewiesenen Tags gefiltert angezeigt werden Wie diese Funktionalit t aufgerufen werden kann wird in Abschnitt 2 6 erl utert 2 5 Aufgaben Informationen Durch einen Klick auf eine Aufgabe der aktuell ausgew hlten Liste ffnet sich in der Aufgaben bersicht ein Fenster das Zusatzinformationen zu der entsprechenden Aufgabe anzeigt An dieser Stelle wird noch einmal der Titel der Aufgabenliste zu der die Aufga be geh rt angezeigt Au erdem kann der Benutzer hier den Erstellungszeitpunkt und den Status der Aufgabe einsehen Die Aufgabe kann auch in dieser Ansicht als er ledigt markiert werden Weiterhin l sst sich unter F lligkeitsdatum ein Zeitpunkt ausw hlen zu dem die Aufgabe erledigt werden soll In den Einstellungen siehe Un terabschnitt 2 7 2 l sst sich festlegen wie der Benutzer ber das Eintreten des F llig keitszeitpunktes informiert werden soll 2 6 Tag
132. r Anwendung ber deren Umsetzung jedoch erst im Laufe der Entwicklung entschieden wird Abgrenzungskriterien beschreiben Funktionen die von der Anwendung nicht zu erf llen sind und die somit eine Abgrenzung zu hnlichen Anwendungen darstellen 2 1 O O O Oo Oo Oo Oo 2 2 O O O Musskriterien Listen von Aufgaben anlegen l schen anordnen Aufgaben in einer Liste hinzuf gen l schen anordnen und als unerledigt erledigt mar kieren Listen l schen einschlie lich Aufgaben jede Aufgabe wird per Handschrift eingegeben die Trajektorie wird durch ein Hand schrifterkennungssystem in Maschinenschrift umgewandelt Handschrifterkennung per Schrift und Sprachmodell Nutzung von Hidden Markov Modellen und n Gram Modellen Modellbildung und training mit Hilfe des ESMERALDA Toolkits Korrektur von ganzen Worten durch Neueingabe ebenfalls per Handschrift geeignete Abw gung zwischen ben tigtem Speicherplatz des Modells und Erkennungsg te des Handschrift Erkenners bei Eingabe einer Aufgabe werden Wortvorschl ge angezeigt Markierung einer Liste als erledigt falls alle Aufgaben erledigt sind Unterst tzung von Portrait Landscape au er nach Beginn des Schreibvorgangs Sollkriterien Aufgaben k nnen sortiert werden etwa Alphabetisch oder nach Datum Listen k nnen Tags gegeben werden Tags sind Kategorien die vom Nutzer verwaltet werden k nnen Die Anzeige der Listen kann nach Tags gefiltert
133. r Listenansicht zur Aufgabenansicht f r eine kon krete Liste war geplant dass dieser durch einen Klick auf eine Liste in der Listenansicht ausgel st werden sollte W hrend des Entwicklungsprozesses der Anwendung haben sich als Folge von wie derholten Benutzertests einige nderungen an der graphischen Oberfl che wie sie zu n chst im Pflichtenheft siehe Anhang C geplant war ergeben Die finale Version dieser ist in Abbildung 7 2 dargestellt Ein zentraler Unterschied zum alten Design aus dem Pflichtenheft besteht darin dass die neue Version der Oberfl che auf Endger ten mit gro em Display aus einer zwei spaltigen Ansicht besteht welche sowohl die Listen als auch die Aufgaben einer kon kreten Liste anzeigen kann Diese Ansicht ersetzt beide Bildschirm Ansichten aus dem urspr nglichen Entwurf Der Grund f r das Vornehmen dieser nderung liegt in der besseren bersichtlichkeit des neuen Designs Dadurch dass sich Listen und Aufgaben in einer Ansicht befinden wird das st ndige Wechseln zwischen den beiden Ansichten 54 Kapitel 7 7 1 Applikation usten WE vn Mr Uni DM Folien vorbereiten lernen Sprachkurs anmelden bungszettel bearbeiten Mustererkennungsskript ausdrucken Ideen f r Spieleabend Rezept Pfefferpotthast Cocktailliste Abbildung 7 1 Urspr nglicher Entwurf der graphischen Oberfl che der Anwendung A TabScript Abbildung 7 2 berblick ber die graphische Oberfl che v
134. r Pen up Phase interpoliert werden vgl Abbildung 5 9 l sst sich dieses Merkmal nicht mehr aus dem Schriftbild herauslesen vgl Interpo lation in Kapitel 4 und muss daher zuvor gespeichert werden In genau diesem Fall k nnte es wichtig sein zu wissen ob der Stift auf dem Tablet war oder nicht JMWO0 Jeder Trajektorienpunkt erh lt je nach Stiftstatus einen negativen Pen Down Phase oder positiven Pen Up Phase Wert Durch Summierung und Normierung dieser Wer te erzeugt man so ein gemitteltes Stiftdruck Merkmal f r das Segment 5 5 4 Aspect Ratio Das Aspect Ratio Merkmal s Abbildung 5 10 errechnet sich durch Gleichung 5 11 aus dem Verh ltnis eines umgebenden Rahmens um ein Segment von Punkten wobei 37 Kapitel 5 5 5 Merkmale Abbildung 5 9 Visualisierung des Stiftdruck Merkmals Unterbrechungen in der Trajek torie beispielsweise durch Absetzen des Stiftes werden interpoliert hier blau dargestellt und markiert Der Stiftdruck ergibt sich durch Einbezie hen der Stiftposition in der dritten Dimension sich Ax und Ay mithilfe der Punkte im Segment aus Gleichung 5 9 und Gleichung 5 10 ergeben JMW00 Von gr erer Bedeutung k nnte das Merkmal bei l nglichen Seg menten z B Ausschnitte des Buchstaben t im Vergleich zu eher kompakten Daten wie z B der Buchstabe o Abbildung 5 10 Visualisierung eines Aspekt Ratio Merkmals an einem Trajektorienab schnitt vgl JMW00 Ax max X min
135. r inch bei einem unbekann ten Versuchsaufbau bis hin zu 1000 ppi auf dem Wacom 420 L Grafiktablet Weiterhin musste die Ausgewogenheit verschiedener Schriftstile wie Druckschrift Kursivschrift etc aufrecht erhalten werden Insgesamt reduzierte sich das verwendete Trajektorien Volumen auf etwa 40 000 annotierte Wort Stichproben was einem Anteil von 51 9 der Gesamtdaten entspricht 22 4 Vorverarbeitung Die zu erwartenden Eingaben auf einem Tablet Computer unterliegen gewissen St r effekten denen mit einigen Vorverarbeitungsschritten bereits vor der eigentlichen Klas sifikation entgegengewirkt werden kann Abbildung 4 1 stellt diese Schritte schema tisch in den Zusammenhang der gesamten Verarbeitungsreihenfolge Dieses Kapitel erkl rt die angewandten Methoden der Vorverarbeitung Da zum Teil in der Testphase verschiedene Ans tze erprobt wurden werden diese ebenfalls erkl rt In Abschnitt 4 2 wird darauf eingegangen welche Methoden tats chlich in TabScript zum Einsatz kom men Das Ziel der Vorverarbeitung ist die aufgenommene Trajektorie geeignet aufzube reiten um im Anschluss verschiedene Merkmale zu berechnen In der Regel werden die Trajektorien unterschiedlicher Schreiber stark in ihrem Erscheinungsbild variieren Je nachdem mit welcher Hand geschrieben wurde ist die Schrift mehr nach links oder rechts geneigt Die Anzahl und der Abstand der Abtastpunkte h ngt stark von der Schreibgeschwindigkeit ab Es sind noch weitere
136. r und doch sind sie verschieden Erst ein Merkmal dass die H he bestimmt k nnte auf diese Wei se den Unterschied herausstellen Eine ebenfalls hnliche Form haben die Buchstaben q und d Eine Unterteilung dieser in Halbkreis und Strich w rde zur Klassifikati on nicht ausreichen Auch hier ist eine Positionierung der Teilbereiche eine zus tzliche M glichkeit zur Unterscheidung beider Buchstaben 5 2 Merkmalsrepr sentation Bei der Merkmalsberechnung spielt eine gute Repr sentation der Merkmale eine gro e Rolle Eine solche Repr sentation erm glicht ein einfacheres Vergleichen und Unterscheiden der Merkmale Drei Eigenschaften f r eine gute und somit bedeutungs unterscheidende Repr sentation wie in Wie03 erl utert werden im Folgenden n her betrachtet 5 2 1 Diskriminativit t Beim Vergleich von zwei Merkmalsauspr gungen unterschiedlicher Segmente kommt die Diskriminativit t zum Tragen Bei Zugeh rigkeit zur selben Klasse sprich bei starker hnlichkeit beider Segmente fordert die Eigenschaft der Diskriminativit t dass die Merkmalsauspr gungen sich nicht sonderlich unterscheiden sollen Im umge kehrten Fall wenn zwei Merkmalsauspr gungen nicht zur selben Klasse geh ren sol len sie sich besonders stark voneinander unterscheiden Wie in Abbildung 5 2 verdeut 31 Kapitel 5 5 2 Merkmalsrepr sentation Abbildung 5 2 Veranschaulichung der Diskriminativit t Kreise stellen Klassen und ihre
137. richt Ferner soll die Bedienung der Anwendung beurteilt werden Die Qualit tsbeurteilung soll anhand folgender Kriterien erfolgen 1 Erkennungsg te Der geschriebene Text wird von der Anwendung weitesgehend kor rekt erkannt Einzelne falsch erkannte W rter lassen sich leicht verbessern 2 Vorteile gegen ber einer Bildschirmtastatur Eine Eingabe durch Handschrift erleich tert die Benutzbarkeit gegen ber der Verwendung einer Bildschirmtastatur 3 Bedienkomfort Die Bedienung der Applikation sollte intuitiv verst ndlich sein Der Benutzer findet sich schnell zurecht und empfindet die Bedienung als angenehm 4 Fehler Das System arbeitet berwiegend fehlerfrei Auftretende Fehler f hren nicht zum Systemabsturtz Schwere Fehler treten nicht auf Die Befragung der Kontrollgruppe erfolgt mittels eines Fragebogens Hierzu wird der Be nutzer gebeten eine beliebige Anzahl an Tasks und ToDo Listen zu erstellen und seine Zufriedenheit anschlie end in einer berreichten Checkliste zu vermerken 23
138. rifterkennungssystemen Zum grunds tzlichen Design eines Handschrifterkennungssystems z hlt im Vorfeld der Programmierung die Analyse der Problemdom ne Da man Muster aus der rea len Welt erkennen m chte ist es ratsam die Auswahl an Mustern die man erwartet m glichst genau zu beschreiben Ein Mustererkennungssystem kann auf unpassenden Daten versagen da es schlicht nicht f r den Einsatz in einem anderen Problemkreis konzipiert ist Pl tz und Fink betrachten etwa das Problem der optischen Zeichenerken nung die zum Beispiel in der automatischen Post Sortierung beim Lesen von Adress daten zum Einsatz kommt als weitgehend gel st w hrend tiefergreifende Technologie wie das automatische Lesen von kursiver Handschrift an ihre Grenzen st t PF09 Ein zeichenbasierter Entwurf w rde also nicht f hig sein seine Leistungsf higkeit bei Blockschrift auf zusammenh ngende Handschrift zu bertragen Je detaillierter und zahlreicher die Beschreibung der erwarteten Muster ausf llt und je passender diese auf die sp ter betrachteten Eingaben zutrifft desto besser ist die Ausgangssituation f r die Erkennungsaufgabe ganz im Sinne von Bob Mercer There is no data like more data Bez glich der zugrunde liegenden Thematik der Handschrifterkennung sind An gaben ber die gew hlte Schriftfamilie dementsprechend unerl sslich Ob lateinische arabische oder asiatische Schriftzeichen Entw rfe eines Schrifterkenners f r die ei ne Schrif
139. rkennung in TabScript gestartet wird wurde eine auf genommene Trajektorie vorverarbeitet segmentiert und fiir jedes der enstandenen Seg mente wurde ein Merkmalsvektor berechnet vgl Kapitel 4 und Kapitel 5 Ein Wort liegt somit als Sequenz von Merkmalsvektoren vor F r die Erkennung wird nun die Annahme getroffen dass ein statistisches Modell bestehend aus mehreren Zust nden existiert welches diese Sequenz generiert hat Wird die Sequenz als Ausgabe des Mo dells interpretiert kann im Folgenden die Wahrscheinlichkeit bestimmt werden mit der dieses Modell die Sequenz erzeugt hat und welche der Zust nde dabei durchlau fen wurden Dieser Schritt wird als Erkennung bezeichnet In der TabScript Applikation werden Hidden Markov Modelle verwendet um Hand schrift zu modellieren Der Aufbau und die Funktionsweise von Hidden Markov Modellen werden in Abschnitt 6 1 erl utert Die zuvor beschrieben Erkennung auch Dekodierung genannt ist in Unterabschnitt 6 1 1 beschrieben Bevor das Modell aller dings eingesetzt werden kann muss es durch bereits vorhandene Daten trainiert wer den indem die Parameter des Modells statistisch gesch tzt werden Dieses Training wird in Unterabschnitt 6 1 2 erkl rt F r den Einsatz von Hidden Markov Modellen wurde der Projektgruppe das ESMERALDA Toolkit zur Verf gung gestellt welches in Abschnitt 6 2 vorgestellt wird Hier wird zudem auf die Parameterkonfiguration f r den Einsatz von Esmeralda in TabScript eing
140. rkmale Schreibrichtung Kr mmung Aspect Ratio und dynamische Merkmale daher in die finale Konfiguration aufgenommen vgl Unterab schnitt 7 4 2 63 Kapitel 7 7 4 Erkennung Schreibrichtung Kr mmung Aspect Ratio Stiftdruck Ablenkung Linearit t Steigung Dyn M Erkennung Konf Int true false false false false false false true 83 08 3 7 false true false false false false false true 61 69 4 7 false false true false false false false true 39 05 4 7 false false false false false false true true 34 33 4 6 false false false false true false false true 28 36 4 4 false false false true false false false true 26 12 4 3 false false false false false true false true 18 91 3 8 Tabelle 7 5 Klassifikationsergebnisse unter Benutzung von isolierten Merkmalen mit zu geh rigen dynamischen Merkmalen Die Merkmale Ascenders und Descenders wurden separat getestet und aufgrund zweier Kriterien abgelehnt Zum einen lieferten die Werte auf den angewendeten Test und Trainingsdaten nicht die gew nschten Verbesserungen Zum anderen war f r die Berechnung der Ascenders und Descenders die Implementierung einer Berechnung der Corpus und Baseline n tig vgl Abschnitt 4 1 die jedoch f r die Verwendung in der Applikation zu langsam war sodass sie die Klassifikation deutlich gebremst h tte 7 4 Erkennung F r die Erstellung des Modells in TabScript wurden zwei Datens tze verwendet auf deren Eigenschaften
141. rt eine Tabelle die die Zuordnung zwischen den Tags und ihren Tasklisten vornimmt Daher hat diese Tabelle Spalten f r die Id des jeweiligen Tags und der jeweiligen Taskliste Die Verwaltung der Modeldaten sowie die Verbindung zu den Viewklas sen bernehmen verschiedene Controllerklassen siehe Abbildung 2 8 Die Klas se Controller ist dabei der eigentliche Controller f r die gesamte App Mit dem TaskListController werden die Tasklisten gesondert verwaltet Die glei che Funktion bernimmt der TagController f r die Tags Au erdem existiert ein 13 Kapitel 2 2 10 Technische Realisierung lt lt Singleton gt gt Controller extends Application taskListController TaskListController tagList TagList database Database TaskListController extends Observable taskLists List lt TaskList gt getTaskListById id long TaskList addNewTaskList name String changePer formed 1__taskListController 1 tagList 1 1 TagController gt extends Observable taskllists tags List lt Tag gt Ce 1 1 Database extends SQLiteOpenHelper El Ech TaskList extends Observable tasks List lt Task gt tags List lt String gt addNewTask name String isListDone boolean getTaskById id Long lists List lt TaskList gt A AbstractElement name String IN or checked boolean sid lond taskList TaskList position int cre
142. rungshilfe vorgegeben Um Reaktionen des Systems auf herausfordernde Tra jektorien au erhalb des Unipen Korpus im Hinblick auf die App Benutzung betrach ten zu k nnen wurden Tests in der Projektgruppe mit selbst geschriebenen W rtern durchgef hrt Die verwendeten Trajektorien wurden betont kursiv bzw schr g ber den Tablet Bildschirm geschrieben um in der Praxis zu erwartende H rtef lle zu si mulieren Als Grundlage dienten zehn W rter unterschiedlicher L nge vier bis 14 Buchsta ben von denen insgesamt 50 Schriftproben innerhalb der Projektgruppe gesammelt wurden Aus Gr nden der Vergleichbarkeit wurde zun chst eine Stichprobe des ge wohnten Schreibstils erhoben um anschlie end den Qualit tsverlust durch kursive oder schr ge Schreibweise desselben Wortes betrachten zu k nnen Dabei wurde die grafische Oberfl che der Tabscript Applikation genutzt die die drei wahrscheinlichs ten Hypothesen ber das eingegebene Wort zur ckliefert in der Vorverarbeitungskette waren alle erl uterten Methoden aus Abbildung 7 3 aktiviert Abbildung 7 5 zeigt die Ergebnisse der internen Evaluierung f r nat rliche Schreib weise links f r absichtlich kursive Handschrift Mitte und f r schr g etwa 30 Grad aufsteigend und absteigend ber den Bildschirm geschriebene Worte rechts Bei na t rlicher Schreibweise der Probanden wurden 66 der Worte direkt erkannt 80 bzw 82 erst an zweiter bzw dritter Stelle Der Einfluss kursiver Ha
143. s Zun chst wird das Anlegen und die Verwaltung von Aufgabenlisten thema tisiert siehe Kapitel 2 Erstellte Aufgabenlisten lassen sich anschlie end mit Aufgaben bef llen deren Verwaltung in Kapitel 3 erl utert wird Au erdem k nnen Aufgabenlisten durch bestimmte Tags ausgezeichnet werden Eine ge naue Beschreibung des Tag Managements findet sich in Kapitel 4 Abschlie end wird das Einstellungs Men der Applikation erkl rt siehe Kapitel 5 Zur Visualisierung der verschiedenen Funktionalit ten der Applikation Tab Script werden im Folgenden h ufig Screenshots verwendet auf denen Buttons mit roten Nummern Bildschirmbereiche mit roten Umrandungen sowie weite re im Beschreibungs Fokus stehende Oberfl chen Elemente mit roten Ellipsen gekennzeichnet sind 2 Verwaltung von Listen Die zentrale Aufgabe der Anwendung TabScript besteht in der Verwaltung von verschiedenen Aufgabenlisten die aus einer Reihe von Aufgaben bestehen k n nen Dieses Kapitel gibt einen berblick ber alle Funktionen die im Zusam menhang mit dem Listen Management stehen 2 1 Die Listen bersicht Abbildung 2 1 zeigt die Ansicht die beim Start der Anwendung erscheint Die hier noch leere Listen bersicht ist dabei rot markiert Im Wesentlichen besteht sie aus vier Men Buttons und einer Anzeige auf der linken Bildschirmh lfte die die Namen aller bereits erstellten Listen zeigt Da beim erstmaligen Start der Anwendung noch keine Liste erstellt wurde
144. s durchgef hrt werden kann ist die automatische Konfiguration der Anwendung mit festgelegten Listen Aufgaben und Tags Diese Option wird vor allem f r die Evaluation von Tab Script verwendet Zus tzlich gibt es auch eine M glichkeit alle vordefinierten Listen Aufgaben und Tags der Anwendung zu l schen 33 B Fragebogen 120 Fragebogen zur Benutzerfreundlichkeit der Android Anwendung TabScript Liebe Teilnehmerin lieber Teilnehmer wir die Projektgruppe TabScript des Fachbereiches Informatik von der TU Dortmund haben im Rahmen einer zwei semestrigen Veranstaltung eine Android Applikation entwickelt welche eine ToDo Liste f r Smartphones und Tablets realisiert Diese Anwendung erm glicht es dem Benutzer Aufgaben per Handschrift auf dem Medium zu erstellen die schlie lich erkannt und als Computerschrift gespeichert werden F r die abschlie ende Evaluation unserer Arbeit w rden wir Ihnen gerne ein paar Fragen zur Benutzerfreundlichkeit der grafischen Oberfl che und zur Erkennung der Handschrift stellen Die gesammelten Daten dienen ausschlie lich universit ren Zwecken und werden vertraulich behandelt Die Beantwortung der Fragen erfolgt selbstverst ndlich anonym Zur Erleichterung der Bedienung wird an dieser Stelle ein kurzer berblick ber die Funktionen der Anwendung gegeben Mit TabScript lassen sich Listen erstellen betrachten und l schen Zu jeder dieser Listen k nnen Aufgaben hinzugef gt werden Neben
145. s ein Drop Down Men Dort kann zwischen den besten drei von der Erkennung gelieferten Wortvor schl gen gew hlt werden vergleiche Abbildung 2 4 Weiterhin ist es m glich das je weilige Wort ber den Eintrag Editieren in der Schreib Ansicht zu bearbeiten oder ber L schen komplett zu entfernen Das Zur cksetzen der gesamten Ansicht kann der Benutzer in der Android Meniileiste ber L schen durchf hren Am rechten Rand der Schreib Ansicht befindet sich ein Pfeil ber den durch das Ziehen an dieser Stelle nach links die ausklappbare Seitenansicht ausgefahren werden kann Diese wird im n chsten Abschnitt genauer vorgestellt 2 8 1 Ausklappbare Seitenansicht Befindet sich der Benutzer in der Schreib Ansicht so kann er sich je nach Kontext Listen Aufgaben oder Tag Erstellung alle anderen bereits erstellten Listen Aufga ben oder Tags anzeigen lassen In Abbildung 2 6 sind beispielsweise die brigen Aufga benlisten dargestellt W hrend die Seitenansicht angezeigt wird kann auf der Schreib fl che nicht geschrieben werden Um die Seitenansicht wieder auszublenden wird sie an der Stelle des angezeigten Pfeiles wieder in Pfeilrichtung nach rechts gezogen Es erscheint wieder die gesamte Schreib Ansicht 11 Kapitel 2 2 9 Abh ngigkeit der GUI vom mobilen Endger t 4 Neue Aufgabenliste anlegen VY FERTIG X L SCHEN Abbildung 2 6 Die ausklappbare Seitenansicht am rechten Bildschirmrand zeigt
146. schen von Aufgaben Das L schen von einer oder mehreren Aufgaben aus einer Liste funktioniert auf folgende Weise Zun chst wird die entsprechende Liste in der Listen bersicht 20 3 6 Benachrichtigungen fiir Aufgaben Sortieren nach Name Erstellungsdatum erledigte Aufgaben F lligkeitsdatum Abbildung 3 9 Sortierung von Aufgaben nach Name Erstellungsda tum erledigte Aufgaben oder F lligkeitsdatum in der Aufgaben bersicht ausgew hlt Nun wird mit Hilfe des Buttons 5 aus der Titelleiste der Aufga ben bersicht der L schmodus aktiviert Die Bedienung erfolgt analog zu der Vorgehensweise bei ganzen Listen die in Abschnitt 2 4 beschrieben wird Die zu l schenden Aufgaben werden per Klick ausgew hlt anschlie end muss der Vorgang mit Klick auf den Button L schen best tigt werden siehe Abbil dung 3 10 3 6 Benachrichtigungen f r Aufgaben In Abschnitt 3 4 wird beschrieben wie einer Aufgabe ein F lligkeitsdatum zu gewiesen werde kann Besitzt eine Aufgabe ein solches Ablaufdatum so er scheint in der Benachrichtigungsleiste von Android das Programm Icon siehe Abbildung 3 11 der Anwendung sobald die Erinnerung f r diese Aufgabe ak tiv wird Dies geschieht auch wenn TabScript zu dem Zeitpunkt gar nicht ge ffnet ist Der Erinnerungszeitpunkt l sst sich in den Einstellungen festlegen Eine genaue Beschreibung dieser Option findet sich in Abschnitt 5 2 Ein Klick auf das B
147. sserungsvorschl gen ist auch positives Feedback er fasst worden so lautet die dritte Frage was der Testperson besonders gut gefallen hat Um den Testpersonen eine angenehme Dauer der Befragung zu gew hren sind viele auf spezielle Dinge bezogene Fragen nicht in den Fragebogen aufgenommen worden Zu diesen geh ren Fragen zur Funktionalit t einzelner Buttons und zu Men funktio nen sowie dem Markieren oder manuellen Verschieben von Aufgaben oder Listen sie he Abschnitt 2 4 und Abschnitt 2 3 Stattdessen ist versucht worden die Fragen allge mein zu halten jedoch keinen Bereich zu vernachl ssigen Da die Erkennung aber der gr te Bereich ist musste hierf r die meiste Zeit genutzt werden 7 5 2 Testpersonen Insgesamt wurden 45 Personen im Alter zwischen 19 und 48 Jahren befragt Der Al tersdurchschnitt lag bei 25 Jahren wobei der Gro teil der Befragten 89 unter 28 Jahre alt war Eine detaillierte Darstellung der Altersverteilung findet sich in Abbildung 7 7 Da die Umfrage an der Technischen Universit t Dortmund durchgef hrt wurde ist unter den Befragten mit einer erh hten Anzahl an Studenten zu rechnen An der Um frage nahmen insgesamt 12 Frauen und 33 M nner teil vgl Abbildung 7 8 a Somit 69 Kapitel 7 7 5 Umfrage war der Anteil m nnlicher Personen mit 73 berrepr sentiert Dies ist vermutlich dadurch zu erkl ren dass die Befragung unter anderem am Institut f r Roboterfor schung durchgef hrt wurde w
148. sw hlt F210S F lligkeitsdatum f r Aufgaben eintragen Das F lligkeitsdatum f r eine Aufgabe kann ber ein Optionsmen an einem Aufgaben Item eingestellt werden 5 3 Ubersichtsmenii Im bersichtsmen k nnen die Aufgabenlisten verwaltet werden F220 Aufgabenliste anlegen Der Benutzer kann im bersichtsmen eine neue Aufgaben Liste mithilfe der Taste erstellen sowie einen Namen handschriftlich vergeben F230 Aufgabenliste ffnen Eine Aufgabenliste kann ber einen Klick auf das Aufgabenlisten Element ge ffnet werden F240 Zwischen Aufgabenlisten scrollen Um zu einer bestimmten Aufgabenliste zu ge langen kann zur gew nschten Aufgabenliste vertikal gescrollt werden F250 Aufgabenliste l schen Eine Aufgabenliste kann vom Benutzer im Listen bersichts men ber ein L schkontextmen gel scht werden Das L schen der Liste muss best tigt werden und bewirkt ein L schen der Liste mitsamt der beinhaltenden Aufgaben F260S Aufgabenlisten sortieren Die Sortierfunktion f r Aufgabenlisten kann ber das Kontextmen erreichbar ber das Men an der oberen Leiste gew hlt werden F270S Aufgabenlisten nach Tags filtern Die Aufgaben k nnen ber das Kontextmen nach ausgew hlten Tags gefiltert werden F280K Alle Aufgaben Liste Die Alle Aufgaben Liste kann im bersichtsmen aufgeru fen werden Sie enth llt alle Aufgaben Aufgaben k nnen gefiltert sortiert und mar kiert demarkiert werd
149. t F r jeden unbekannten Punkt blau kann nun die Wahrscheinlichkeit be stimmt werden mit der dieser Punkt von jeder der Verteilungen erzeugt wurde ser Verteilung kann im weiteren Verlauf des Trainings und der Dekodierung die Wahr scheinlichkeit bestimmt werden mit dem unbekannte Punkte hier in blau zu dieser Verteilung geh ren Jede Mischverteilung ist eine Klasse anhand derer die Zust nde des HMM defi niert werden Jeder Zustand ist ber Mischverteilungsgewichte definiert die die Wahr scheinlichkeit angeben mit der der Zustand Ausgaben mit der jeweiligen Klasse gene riert Zusammengefasst ist die Struktur des HMM also gespeichert als 1 Codebuch dass die Klassen Mischverteilungen enth lt 2 Liste der Zust nde definiert anhand des Codebuchs durch Mischverteilungsge wichte und 3 Definition der Buchstabenmodelle durch Angabe der Zust nde in jedem Modell Wie in Unterabschnitt 3 3 2 beschrieben wird liegen die zum Training verwendeten Trajektorien mit Annotationen auf Wort Basis vor Dennoch besteht das verwendete Modell aus vielen kleineren Modellen f r Buchstaben mit deren Hilfe bei der Dekodie rung dynamisch Wortmodelle erzeugt werden siehe Unterabschnitt 6 1 1 Die Anzahl der Zust nde jedes Buchstabenmodells ist abh ngig von der Art der Initialisierung des HMMs 49 Kapitel 6 6 1 Hidden Markov Modelle S c h r i f t 0 3 4 5 6 8 9 10 11 12 13 16 17 20 Abbildung 6 8
150. t Die Linien in der Ansicht sind Hilfslinien die dazu dienen die hand schriftliche Eingabe zu erleichtern Die Eingabe muss nicht zwingen exakt an den Hilfslinien ausgerichtet sein 2 3 Die Schreib Ansicht A TabScript Y Activities Abbildung 2 3 Die Anzahl der enthaltenden Aufgaben einer Liste befindet sich in der Ubersicht rechts neben ihrem Namen 2 3 1 Eingabe mit Hilfe der Schreib Ansicht Die Text Eingabe kann im gesamten gelben Eingabefenster durchgef hrt wer den Sollen mehrere Begriffe auf einmal geschrieben werden so erfolgt die Ein gabe wortweise Sobald das erste Wort geschrieben wurde erscheint direkt un ter der oberen Men leiste ein Auswahlmen was sich durch einen einfachen Klick ausklappen l sst siehe Abbildung 2 4 Hier werden die drei plausibels ten Erkennungsergebnisse angezeigt Diese k nnen durch Klicken ausgew hlt werden 2 3 2 Korrektur und L schen von W rtern Geschriebene W rter k nnen editiert werden indem auf das Auswahlmen des entsprechenden Wortes geklickt und dort der Eintrag Editieren ausgew hlt wird siehe Abbildung 2 5 Wie in Abbildung 2 6 zu sehen ist wird das ent sprechende Wort dann im Auswahlmen rot hinterlegt Nun kann dieses Wort im gelben Eingabefenster neu geschrieben werden M chte der Nutzer ein Wort komplett l schen so kann er ebenfalls das Aus wahlmen dieses Wortes aufrufen und dort mittels des Eintrages L schen siehe Abbildung 2 7 daf
151. t mehr Sexappeal ge u ert 76 Kapitel 7 7 5 Umfrage Einige Benutzer zeigten Schwierigkeiten aus der Schreibansicht in die Listenansicht zu r ckzugelangen Sie suchten instinktiv einen Zur ck Button neben den anderen But tons der Ansicht Der Wechsel zur Listenansicht gelang jedoch nur ber die Naviga tionsleiste Obwohl dies den offiziellen Android Design Prinzipien ADP entspricht k nnte eine Abweichung von diesen Richtlinien die Benutzerfreundlichkeit steigern Weiterhin wurde der Wunsch ge u ert eine Hilfsfunktion zu integrieren welche den Benutzer bei der Bedienung der Applikation unterst tzt Unter anderem sollen durch diese spezielle Features wie z B Tags oder der Men Button 1 der Aufgabenansicht siehe Kapitel 2 welche nicht durch alle Benutzer sofort verstanden werden geson dert erkl rt werden Einige Benutzer w rden eine Einf hrung von Unteraufgaben als sinnvoll erachten Mit diesen lie en sich bereits erstellte Aufgaben n her spezifizieren z B k nnte die Liste Hausaufgaben die Aufgaben Mathe Deutsch Englisch und Deutsch die Unteraufgaben Zusammenfassung schreiben Bescheinigung nachrei chen Hierbei ist jedoch der Informationsgewinn und eine damit verbundene m g liche Minderung der bersichtlichkeit gegeneinander abzuw gen Des weiteren wur de eine Zeichenfunktion vorgeschlagen mit der sich einfache Grafiken erstellen las sen Auf diese Weise k nnen Informatione
152. tbasierter Applikationen an zunehmender Bedeutung gewonnen Insbesondere die r umliche Flexibilit t stellt f r die geplante Anwendung einen wesentlichen Nutzen dar Auf diese Weise k nnen ToDo Listen jederzeit auch unterwegs z B auf Reisen oder Konfe renzen erstellt und bearbeitet werden In der Regel wird der ber hrungssensitive Bildschirm des Tablets dazu genutzt Texteingaben ber eine virtuelle Tastatur zu realisieren Allerdings hat das Einblenden der Tastatur in den Bildschirm den Nachteil dass dieser teilweise verdeckt wird Wird die Verdeckung minimiert m ssen jedoch auch die Tasten der Bildschirmtastatur kleiner dargestellt werden so dass die Eingabe zunehmend erschwert wird Eine L sung bietet daher die Integration einer Hand schrifterkennung Diese stellt gleichzeitig eine besonders nat rliche Form der Eingabe dar und erm glicht dem Benutzer das schnelle und einfache Schreiben von Texten Zielgruppe der zu entwickelnden Anwendung sind daher Benutzer welche eine besonders intuitive Einga bemethode w nschen Die Handhabung des Tablets soll dann der eines realen Notizblockes hneln 2 Zielbestimmungen Im Folgenden werden die zu erreichenden Ziele durch die Projektgruppe zu entwickelnden Anwendung festgelegt Musskriterien und Sollkriterien sind dabei auf jeden Fall zu errei chen Allerdings sind nur Musskriterien fiir die Funktionsfahigkeit der Anwendung essentiell Kannkriterien sind w nschenswerte Erweiterungen de
153. tdateien erstellt 6 2 2 Initialisierung Die Initialisierung bei ESMERALDA erfolgt in zwei Schritten Zun chst m ssen die Cluster ber den Trainingsdaten erstellt werden Dazu werden zum einen Trainingsda ten herangezogen die in Form von Merkmalsvektordateien UFV Dateien vorliegen Zum anderen wird die Gr e eines Merkmalsvektors ben tigt sowie eine gew nsch te Anzahl an Dichten und die gew nschte Dichtefunktion beispielsweise Gau vertei lung bergeben Die verwendete Methode zur Berechnung der Cluster ist der k means Algorithmus vgl McQ67 Im zweiten Schritt wird auf Grundlage der erstellten Cluster Codebuch das Hidden Markov Modell initialisiert Dazu wird ein gew nschtes Modell inklusive der Topologie z B linear bergeben beispielsweise ein Buchstabenmodell f r die Erken nung von Buchstaben Au erdem werden die gew nschte Anzahl an Zust nden pro Modell festgelegt Daraufhin wird eine Datei mit den Zust nden sowie eine Datei mit den Verweisen der Zust nde zu Modellen beispielsweise zu Buchstabenmodellen er stellt 6 2 3 Training Ist die Initialisierung erfolgt wie im vorherigen Abschnitt erkl rt so kann das Hidden Markov Modell trainiert werden Dazu werden neben den erstellten Daten wiederum Trainingsdaten in Form von bin ren Merkmalsvektor Dateien ben tigt dies mal jedoch inklusive der Beschreibung des durch die Merkmalsvektoren repr sentier ten Symbols z B ein Wort Wenn die bisherige
154. technische universitat dortmund Endbericht PG568 TabScript Handschrifterkennung auf Android basierten Tablets Sulejman Begovic Rebecca Doherty Shinazi Faruki Daria Filatova Nina Hesse Dennis Kesper Julian K rby Niclas Raabe Johann Stra burg Christian Wieprecht 4 Marz 2014 Betreuer Prof Dr Ing Gernot A Fink Dipl Inf Leonard Rothacker M Sc Ren Grzeszick Fakult t f r Informatik Informatik XII Arbeitsgruppe Mustererkennung in eingebetteten Systemen Prof Dr Ing Gernot A Fink Inhaltsverzeichnis 1 Einleitung 1 1 1 Historie der Handschrifterkennung io 2042 Br 242 Bs 2 1 2 Projektziel oorr pk pac a ye a Sere a BE de 4 1 35 Inhalts bersicht a8 22 23 te ar RE ia 4 2 Applikation 5 en Prostammstruktin ye hte wa a PRO NEE ER AR E Su 5 2 2 St rtbildschirm s e 2 2 22 zum GOR as Sata Bar sn Bi ee 6 2 3 Listen bersicht denea a e Ba a ee ne a 7 24 Alfgaben bersicht sste sie ace A BO ak rd 8 2 5 Aufgaben nformationen ee EAS Ss 9 2 6 Tag bersicht Se te ack fe eae aes Cady E E E SAS Nh EE ae A e 9 27a Einstellungen 2 ie Ge EE ne en Sie Se shu Seer ege E 9 2 2 1 ET WEE 10 2 7 2 Benachrichtigungen 2 Sr Sica Be ee ae oe eRe Sem ew SG 10 2 7 92 e 11 2 8 Schreib Ansicht 2 2 eka yea een kie AER eu ERRA 11 2 8 1 Ausklappbare Seitenansicht aoaaa 11 2 9 Abh ngigkeit der GUI vom mobilen Endger t 12 2 10 Technische Realisierung A 3 us Sa ya nee
155. tel 5 bis zur Erkennung in Kapitel 6 Au erdem wird das Training des Modells besprochen Dabei wird darauf eingegangen welche Metho den sich als besonders geeignet herausgestellt haben und welche weniger geeignet waren In Kapitel 7 wird eine Evaluation der einzelnen Bereiche vorgestellt sowie eine ausf hrliche Bewertung der Applikation und der Erkennung Inttp sourceforge net projects esmeralda zuletzt abgerufen am 12 03 2013 2 Applikation In diesem Kapitel wird die graphische Oberflache und die Funktionalitat der Ap plikation vorgestellt Dabei wird vor allem auf die fiir den Nutzer relevanten Funk tionalit ten Bezug genommen Der technischen Umsetzung der Handschrifterkennung widmen sich die n chsten Kapitel 2 1 Programmstruktur Wie bereits in Abschnitt 1 2 erw hnt wurde im Rahmen der Projektgruppe TabScript eine Applikation entwickelt die das Erstellen und Verwalten von Aufgaben mit Hilfe von Listen erm glicht Der Benutzer kann zu diesem Zweck in der graphischen Oberfl che neue Aufgaben listen auch Taskliste genannt sowie neue Aufgaben Tasks innerhalb einer konkreten Liste erstellen Abbildung 2 1 gibt einen berblick ber die Anwendung Aufgaben lassen sich per Klick als erledigt markieren In einer speziellen Ansicht kann der Be nutzer au erdem sogenannte Tags erzeugen und diese anschlie end beliebigen Aufga benlisten zuweisen Auf diese Weise l sst sich eine Kategorisierung der vorhandenen List
156. tel 6 F r das Training und die Sch tzung der Modellpara meter wurde eine Teilmenge der annotierten Trajektorien der Datenbank Unipen ver wendet Der Anwendungskontext der Applikation kann durch verschiedene jeweils ca 2500 W rtern umfassende W rterb cher festgelegt werden Es stehen sowohl zwei W rterb cher mit h ufigen Begriffen in deutscher und englischer Sprache zur Aus wahl als auch ein deutsches W rterbuch zum Thema Lebensmittel Mit dem trainier ten Modell konnte auf Testdaten eine Erkennungsrate von 79 erreicht werden im Zuge einer repr sentativen Benutzerstudie waren 68 der geschriebenen W rter unter den ersten drei Erkennungsergebnissen Der Nutzerstudie lies sich zudem ein positives Feedback ber die Hauptmerkmale von TabScript wie die Integration der Handschrift und das Verwalten von Listen entnehmen Damit wurde das Hauptziel der Projekt gruppe Handschrifteingaben als Alternative zu einem Soft Keyboard zu verwenden erreicht Inttp sourceforge net projects esmeralda zuletzt aufgerufen am 23 10 2013 http unipen nici com n1 zuletzt aufgerufen am 31 10 2013 78 Literaturverzeichnis ADP Android Design Principles http developer android com design get started principles html zuletzt abgerufen am 25 10 2013 Anda ANDROID Layouts http developer android com guide topics ui declaring layout html zuletzt abgerufen am 31 10 2013 Andb ANDROID Supporting Multiple Screens http develop
157. tert Ferner wurden Verbesserungsvorschl gen der Probanden gesammelt um m gliche De fizite in der Applikation aufzudecken Die Umfrage wurde unter Verwendung des Lebensmittel W rterbuchs siehe Un terabschnitt 7 4 3 durchgef hrt Damit k nnen die Probanden einen besseren Bezug zum Nutzen der Applikation entwickeln da ihnen die M glichkeit gegeben wird ein Rezept zu schreiben Die Umfrage wurde mit Hilfe eines Fragebogens siehe Anhang B durchgef hrt der eine klare Aufteilung in die zwei oben genannten Hauptabschnitte Qualit t der Erkennung und Benutzerfreundlichkeit sowie die zwei unterst tzenden Bereiche In formationen zu den Testpersonen und Verbesserungsvorschl ge aufweist Die ersten drei Fragen beziehen sich auf Informationen zu den Testpersonen Dazu geh ren das Alter und das Geschlecht des Probanden sowie dieser Links oder Rechtsh ndler ist 68 Kapitel 7 7 5 Umfrage Diese Informationen sind vor Allem fiir die Beschreibung der Umfrage von Noten Fer ner k nnen f r einen gr eren Datensatz bei der Erkennung oder der Benutzerfreund lichkeit die Ergebnisse zwischen M nnern und Frauen oder Links und Rechtsh ndern verglichen werden Im zweiten Teil wurden die Probanden gebeten zehn W rter ihrer Wahl aus dem Lebensmittel W rterbuchs in die Write Activity zu schreiben Dabei wird darauf ge achtet ob ein geschriebenes Wort erkannt wird Da TabScript bei der Erkennung die drei wahrscheinlichsten
158. tgattung w rden auf einem anderen Schriftkorpus Erkennungseinbu en ver zeichnen etwa bei der Suche nach einer Grundlinie in der Schrift PF09 Hier sind wei terf hrende Fragen ber das Einsatzgebiet des Erkenners hilfreich um eine m glichst ma geschneiderte L sung finden zu k nnen e Muss der Text unmittelbar oder erst zu einem sp teren Zeitpunkt erkannt wer den Charakteristik der Eingabe 20 Kapitel 3 3 3 Aufbau von Online Handschrifterkennungssystemen e Muss das System einer gewissen Fehlerrate gerecht werden Sicherheitsrisiken e Welche Personen treten mit welchen Erwartungen an das System heran Nutzer Akzeptanz Wenn m glichst viele derartiger Fragen formuliert und beantwortet werden k nnen ist eine vielversprechende Grundlage f r eine solide Schrifterkennung gefunden worden 3 3 1 Verarbeitungs Pipeline Aus der historischen Entwicklung der Handschrifterkennung hat sich heute eine Struktur in der Musterverarbeitung heraus kristallisiert die in den meisten der eta blierten Erkennungssysteme Einsatz findet Die in Abbildung 3 2 dargestellte Pipeline zeigt die wesentlichen Schritte die in der Mustererkennung vollzogen werden jedoch spezialisiert auf die Schrifterkennungsaufgabe deren Grundlage der Stiftverlauf auf dem Bildschirm bzw die Trajektorie ist In der Vorverarbeitung werden St reffekte ver mindert siehe Kapitel 4 anschlie end repr sentieren die auf Sequenzen der Trajek torie generierte
159. true true true true true false alse true 79 6 3 9 true true alse true true true alse true 79 35 3 9 Tabelle 7 2 Auswertung der Merkmale mithilfe der Evaluierung der Klassifikation auf der St dtedemo hier die besten 40 Ergebnisse 62 Kapitel 7 7 3 Merkmale Schreibrichtung Kr mmung Aspect Ratio Stiftdruck Ablenkung Linearit t Steigung Dyn M Erkennung Konf Int true false false false false false false false 77 11 4 1 false true false false false false false false 51 49 4 9 false false false false false false true false 19 65 3 9 false false true false false false false false 18 16 3 8 false false false true false false false false 12 44 3 2 false false false false true false false false 9 7 2 9 false false false false false true false false 7 46 2 6 Tabelle 7 3 Klassifikationsergebnisse isolierter Merkmale Schreibrichtung liefert die meisten Informationen Mehr noch verschlechtert die Hinzunahme von Linearit t die Erkennung was gegen die Verwendung dieses Merkmals spricht Schreibrichtung Kr mmung Aspect Ratio Stiftdruck Ablenkung Linearit t Steigung Dyn M Erkennung Konf Int true true true false true false false false 85 32 35 true true false true true false false true 83 33 3 6 true true false true true true false true 79 35 3 9 true true false true false true false true 78 61 4 false false false false true false false true
160. u einer vorhandenen Liste hinzuzuf gen muss die gew nschte Aufgabenliste zun chst in der Listenansicht ausgew hlt werden Anschlie end wird Button 4 aus der Titelleiste der Aufgaben bersicht bet tigt siehe Abbildung 3 6 In der Schreib Ansicht kann nun der Name der neuen 19 3 Verwaltung von Aufgaben Aufgabe eingegeben und bestatigt werden Wie die Handschrifteingabe im De tail durchzuf hren ist wird in Abschnitt 2 3 erkl rt Die neu erzeugte Aufgabe erscheint nun zusammen mit den anderen Aufgaben der Liste in der Aufgaben bersicht siehe Abbildung 3 8 A TabScript sten bersicht Abbildung 3 8 Eine neue Aufgabe wurde zu einer Liste hinzugef gt und er scheint nun auch in der Aufgabenansicht 3 4 Sortierung von Aufgaben Um eine automatische Sortierung aller Aufgaben einer bestimmten Liste vorzu nehmen wird diese zun chst in der Listen bersicht ausgew hlt Im Anschluss muss der Button mit der 3 in der Titelleiste der Aufgaben bersicht bet tigt wer den Nun erscheint das Men aus Abbildung 3 9 und es besteht die M glichkeit eine Sortierung nach Name Erstellungsdatum erledigte Aufgaben oder F lligkeitsdatum durchzuf hren Die Sortierung erfolgt analog zu dem Ver fahren das in Abschnitt 2 5 1 f r Aufgabenlisten beschrieben wird Auch eine manuelle Sortierung ist f r Aufgaben m glich Diese erfolgt ebenfalls analog zu dem Verfahren f r Listen aus Abschnitt 2 5 2 3 5 L
161. ugt welche mit Testdaten aus der Stadtedemo evaluiert wurde Die Merkmale Ascender und Descender wurden gesondert betrachtet und werden weiter unten beschrieben Tabelle 7 2 listet die Erkennungsraten der 40 besten Merkmalskombinationen der Evaluierung auf Die vorletzte Spalte zeigt dabei die Erkennungsrate auf den Testdaten in Prozent Das Konfidenzintervall lasst sich aus der letzten Spalte ermitteln Das beste Ergebnis mit 90 05 2 9 lieferten im Test die verwendeten Merkmale Schreibrich tung Kr mmung Aspect Ratio sowie die zugeh rigen dynamischen Merkmale Beim Vergleich des besten Ergebnisses mit den etwas schlechteren Ergebnissen f llt auf dass sich die Erkennungsrate geringf gig verschlechtert w hrend die benutzten Merkmalskombinationen vereinzelt stark variieren Zugleich werden jedoch Merkmale wie Linearit t meistens nicht verwendet w hrend andere Merkmale wie Schreibrich tung oder Kr mmung in den besten Erkennungsergebnissen h ufig vorkommen Wer den die Ergebnisse f r die einzelnen Merkmale isoliert angeschaut so wird deutlich welche Merkmale einen besonderen Stellenwert haben In Tabelle 7 3 sind die Evalu ierungsergebnisse f r einzelne Merkmale angegeben Das Merkmal mit der irrelevan testen Information scheint Linearit t zu sein mit einer Erkennungsrate von lediglich 7 46 Ablenkung und Stiftdruck sind nur wenig besser Von besonderem Interesse erweisen sich Kr mmung und Schreibrichtung Allein mit dem Schreibr
162. ung sowie die verwendeten externen Bibliothe ken unter dem Eintrag ber TabScript anzeigen zu lassen Es ist zu beachten dass sich das Android Men je nach Ger temodell an unterschiedlichen Stellen befinden kann A TabScript Abbildung 2 2 Die Listentibersicht hier rot markiert mit ihren Men Buttons In der Listen bersicht gibt es drei Men Buttons mit denen die Listen bearbeitet werden k nnen Die Buttons werden hier der Verst ndlichkeit halber mit roten Num mern versehen siehe Abbildung 2 2 Der Sort Button 1 dient dazu die vorhande nen Listen zu sortieren Mit dem Hinzufiigen Button 2 l sst sich eine neue Aufga Kapitel 2 2 3 Listentibersicht benliste erstellen und mit Hilfe des Entfernen Buttons 3 k nnen eine oder mehrere Listen gel scht werden A TabScript Listenubersich Abbildung 2 3 Die Aufgaben bersicht hier rot markiert und ihre Men Buttons Die Aufgabentibersicht besitzt ebenfalls eine Meniileiste welche dieselben Funktio nalit ten f r einzelne Aufgaben zur Verf gung stellt wie die Men leiste der Listen ber sicht f r Listen siehe Abbildung 2 3 Dar ber hinaus enth lt diese Ansicht noch zwei weitere Buttons 1 und 2 Mit Hilfe von Button 1 kann der Name der aktuell ausge w hlten Liste bearbeitet werden Button 2 erm glicht es dem Benutzer die ausgew hlte Liste mit einem oder mehreren Tags zu versehen Die jeweiligen Tags werd
163. ung beitragen m ssen es aber nicht Ein heuristisches Merkmal in diesem Sinne ist beispielsweise die Schreibrichtung Es ist eine plausible Annahme dass die Schreibrichtung viel Information zu einem Zeichen liefern kann Ob dies der Fall ist kann jedoch erst durch die Evaluation der Handschrif terkennung empirisch belegt werden Neben den heuristischen Verfahren werden ana lytische Verfahren eingesetzt die geeignete Merkmale aus dem Merkmalsraum filtern sollen um eine bessere Repr sentation zu erzielen Ein g ngiges Verfahren ist dabei die Hauptkomponentenanalyse auch kurz PCA genannt engl Principal Component Analysis 34 Kapitel 5 5 5 Merkmale Abbildung 5 6 Veranschaulichung der Segmentierung einer Trajektorie Segmente far big hervorgehoben werden durch die maximalen lokalen Kr mmungen in der gesamten Trajektorie begrenzt vgl Nie83 deren Ziel die Dekorrelation von Merkmalen sowie die Dimensionsre duktion ist vgl Wie03 F r weitere Informationen zum Thema analytische Verfahren sei hier auf Nie83 Kapitel 3 1 verwiesen Im Folgenden sind einige g ngige heuristische Merkmale aufgelistet die in der Ap plikation umgesetzt wurden Dabei bezeichnen x t und y t jeweils die Position eines Trajektoriepunktes p auf der x bzw y Achse zum Zeitpunkt t innerhalb eines Seg ments S mit S t1 tn X bildet die Menge der x Werte Y die Menge der y Werte aller Punkte eines Segments Falls eine Normierung e
164. von diesem best tigt beziehungsweise akzep tiert Insbesondere bleiben bei unvorhergesehenen Programmabbr chen Verbindungsst run gen oder Benutzerfehlbedienungen die vor der betreffenden Sitzung auf dem Ger t vorhan denen Daten der Anwendung erhalten sofern der Nutzer nicht explizit von der Anwendung ber deren m glichen Verlust aufmerksam gemacht wurde Auf Eingabe warten Y Eingabe bestatigt Y Trajektorie segmentieren Y Merkmale berechnen A Y HMM Modell erstellen e d Y Erkennen des Textes Y Ausgabe 13 8 Benutzungsoberflache Im Folgenden wird der Aufbau und das Aussehen der Benutzungsoberflache der zu imple mentierenden Handschrifterkennungs Anwendung pr sentiert 8 1 Dialogstruktur Dieser Abschnitt gibt einen berblick ber die grobe Dialogstruktur der zu erstellenden Android Anwendung Die Bedienung der Applikation erfolgt stets mit einem speziellen Tablet Stift oder den Fingern Abbildung 8 1 visualisiert die einzelnen Aktivit ten die bei der Ver wendung der Handschrifterkennungs Anwendung ausgef hrt werden k nnen sowie ihren Ge samtzusammenhang fertig Se Programm starten eege Ubersichtenliste gt Eingabefenster A Zur ck Eintrag l schen Neuen Eintrag Noch ein Liste umbenennen Eintrag Aufgabenliste 8 1 1 Hauptseite B01 Hauptseite siehe Abbildung 2 o Die Hauptseite besteht aus einer
165. wisse Designentscheidungen zu Grunde welche im Folgenden erl utert und evaluiert werden Abschnitt 7 1 beschreibt den Entwicklungsprozess zur Gestaltung der Benutzeroberflache und Funktionalitat von TabScript Die Auswahl der Vorverarbeitungsschritte und Merkmale welche einen gro en Einfluss auf die Erkennungsleistung haben werden in Abschnitt 7 2 und Ab schnitt 7 3 dargelegt In Abschnitt 7 4 werden die Entwicklung der Handschrifterken nung anhand unterschiedlicher Trainingsdaten und finale Ergebnisse zur Erkennungs leistung pr sentiert Den Abschluss des Kapitels bildet die Beschreibung und Auswer tung zur durchgef hrten Nutzerbefragung in Abschnitt 7 5 7 1 Applikation Die ersten Entw rfe der graphischen Oberfl che der Anwendung TabScript sind in Abbildung 7 1 dargestellt Urspr nglich waren zwei getrennte Bildschirm Ansichten f r die Anzeige der Listen und der Aufgaben geplant In einer Men leiste am oberen Bildschirmrand war ein Button f r das Anwendungsmen vorgesehen der Ansichts Name sowie zwei Buttons zum L schen oder Hinzuf gen von Listen bzw Aufgaben Im unteren Bereich der beiden Ansichten sollten dann jeweils die Namen aller er stellten Listen bzw der Aufgaben der aktuell ausgew hlten Liste angezeigt werden F r Aufgaben waren K stchen vorgesehen mit Hilfe dessen sich eine Aufgabe als erle digt markieren lassen sollte Beide Ansichten sollten jeweils den gesamten Bildschirm abdecken F r den bergang von de

Download Pdf Manuals

Related Search

Related Contents

Uniden TRU9485-2 telephone  Getting Started with CX-Supervisor - Support  Le CPS - CHU Hassan II  User Manual TPC-1251T-E3/TPC-1551T-E3 Series TPC-1251H  CM-116W(JP)_130821_waterproof only.indd  「ARCHIVE 3.11 東日本大震災 宮城県国際化協会20か月の軌跡」(PDF    MA-K15BC  

Copyright © All rights reserved. Failed to retrieve file