Java Monitoring und Troubleshooting
Contents
1. Wer macht schon Monitoring f r Java Anwendungen Bei wem basiert HW Kapazitatsplanung auf gemessenen Werten Gilt dies auch fur das Sizing von SW Komponenten Pools etc 2010 kippdata informationstechnologie GmbH 7 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 kippdata J he SOURCE ppoata MONITORING Ze Son CONFERENCE Aufw rmrunde Wer sind Sie Wer wei was ein MBean ist Wer wei was ein Java Thread Dump ist Haben Sie schon ein Problem durch Thread Dumps gelost Wer hat schon einmal zu einem Open Source Projekt beigetragen Patch Doku Problemanalyse Wer ist Projektmitglied bei einem Open Source Projekt 2010 kippdata informationstechnologie GmbH 8 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 Biron SOURCE MONITORING CONFERENCE Aufwarmrunde Wer sind Sie Pa Son Dieser Vortrag Betrifft im wesentlichen Server Anwendungen Bezieht sich fast ausschlie lich auf die Sun JVM Java 5 und 6 2010 kippdata informationstechnologie GmbH 9 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 Beene pS CONFERENCE Br OSMC ON NAGIOS Motivation 2010 kippdata informationstechnologie GmbH 10 Java Monitoring und Troubleshooting Rainer Jung O2. Targets Tomcat Manager JMXProxy Webapp kpdtexplorer 2010 kippdata informationstechnologie GmbH 23 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 OPEN SOURCE kippdata MONITORING CONFERENCE An Son Java Management Extensions Beispiele Tomcat Thread Pools Auslastung Datenbank Pools Auslastung Gesamtlast Requests Verarbeitungsdauer Requests Ableitung Last Durchsatz und mittlere Antwortzeit im letzten Messintervall Anzahl Sessions pro Webapp Aber auch Aktuell in Bearbeitung befindliche URLs und bisherige Verarbeitungsdauer dieser Requests 2010 kippdata informationstechnologie GmbH 24 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 kippdata i OPEN SOURCE ppoata MONITORING CONFERENCE Java Management Extensions gt Son Auswertung Es reicht nicht aus interaktive Beobachtungen durchzuf hren Keine Historie jeder User pollt f r sich ist aber h ufig ein guter Einstieg Also geeignete geeignete Werkzeuge zum pollen und protokollieren ausw hlen Schwellwerte festlegen Auswerteverfahren aufsetzen Visualisierung 2010 kippdata informationstechnologie GmbH 25 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 kippdata J ee SOURCE ppoata MONITORIN
3. 06 amp 07 October 2010 kippdata J he SOURCE ppoata MONITORING CONFERENCE OSMC ON NAGIOS Thread Dumps Ausgabe Deadlock Deadlock found ajp 127 0 0 1 8009 42 Id 486 in BLOCKED on lock java lang Object 1d461d7 at jcifs smb smb smb smb smb smb SmbTree send SmbTree java 64 SmbTree treeDisconnect SmbTree java 168 SmbSession logoff SmbSession java 301 SmbTransport getSmbSession SmbTransport java 138 SmbSession logon SmbSession java 167 SmbSession logon SmbSession java 162 ajp 127 0 0 1 8009 38 Id 460 in BLOCKED on lock jcifs smb SmbTransport 14cfb2c at jcifs smb SmbTree treeConnect SmbTree 7java 130 at jcifs smb SmbSession logon SmbSession java 169 at jcifs smb SmbSession logon SmbSession java 162 2010 kippdata informationstechnologie GmbH 44 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 kj data J he SOURCE ppoata MONITORING CONFERENCE 7 Thread Dumps Konsequenz Deadlock Uber 400 Threads im Stack ajp 127 0 0 1 8009 750 Id 2382 in BLOCKED on lock jcifs smb SmbTransport 14cfb2c owned by ajp 127 0 0 1 8009 42 Id 486 at jcifs util transport Transport connect Transport java 151 at jcifs smb SmbTransport connect SmbTransport 7java 287 at jcifs smb SmbSession getChallenge SmbSession java 146 at jcifs smb SmbSession getChallenge SmbSession java 140 Entstanden i
4. Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 1 em SOURCE MONITORING CONFERENCE Java Management Extensions gt Java Management Extensions JMX Java Standard JMX Version 1 4 Java 6 ohne optionale Connector Teile JSR 3 Standardbestandteil ab Java 5 vorher etwa MX4J JSR 160 Java Management Extensions Remote API JSR 262 Web Services Connector for JMX Agents Java 7 Bislang aber nur echte Web Services zu sehen JSR 255 JMX 2 0 verschoben auf Java 8 2010 kippdata informationstechnologie GmbH 19 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 OPEN SOURCE kippdata MONITORING oe CONFERENCE gt Ne Java Management Extensions Java Management Extensions JMX Bereitstellung der Informationen in Form von MBeans In jeder Java Laufzeitinstanz liegen einige MBeans vor Viele Container bringen weitere MBeans mit Es ist nicht schwierig MBeans selbst bereitzustellen Zentrale Registrierung am MBeanServer die MBeans bekommen eindeutige Namen ObjectName meist nur eine MBeanServer pro JVM Remote Management Connector Adapter 2010 kippdata informationstechnologie GmbH 20 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 J SOURCE kippdata MONITORING CONFERENCE Java Management Extensions gt Zugrif
5. gt erh hte Threadzahl 2010 kippdata informationstechnologie GmbH 49 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 ry OPEN SOURCE kippdata MONITORING rn oe um A CONFERENCE An Ds Thread Dumps Ph nomene die sich meist gut durch Thread Dumps verstehen lassen Fortsetzung Die CPU Auslastung ist zu hoch Was ist auf der CPU Thread Nummer Was macht der Thread Die Anwendung reagiert nicht mehr Deadlock Alle Threads warten auf remote 2010 kippdata informationstechnologie GmbH 50 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 J SOURCE kippdata MONITORING CONFERENCE Thread Dumps gt Son Vorschlag Trauen Sie Sich Thread Dumps in der Produktion zu machen Nat rlich erst im Test bzw Staging Bei wichtigen Anwendungen auch proaktiv und regelm ssig Betrieb und Entwicklung sollten zusammen versuchen die Dumps zu verstehen Insbesondere auch im Gut Fall Lassen Sie Sich nicht von der Gr e abschrecken Skript zum Zusammenfassen gleicher Top N Stacks 2010 kippdata informationstechnologie GmbH 51 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 Beene pS CONFERENCE Br OSMC ON NAGIOS Diskussion 2010 kippdata informationstechnologie GmbH 52 Java Monitoring und
6. Zutallsbeobachtungen auszuschliessen Z B 3 Dumps im Abstand von jeweils 3 Sekunden Thread Dumps sind ein JVM Feature Klappt also f r alle Java Prozesse Thread Dumps gehen sehr schnell Thread Dumps sind OK in Produktion ca ab 1 4 2_ 10 Auch regelm ig alle 10 Minuten nicht Sekunden 2010 kippdata informationstechnologie GmbH 39 Momentaufnahme Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 ry OPEN SOURCE kippdata MONITORING rn oe um A CONFERENCE An Ds Thread Dumps x Tipp Wegschreiben von 3 Thread Dumps ins Stopp Skript aufnehmen Gerade unter Stress wird nicht daran gedacht vor dem Neustart noch Dumps zu machen Wohin geht der Dump Nach STDOUT m Startskript auffangen Zeitstempel hinzuf gen Rotieren 2010 kippdata informationstechnologie GmbH 40 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 ays SOURCE kippdata MONITORING CONFERENCE Thread Dumps gt Son Wie wird ein Dump erzeugt Unix Linux sende QUIT Signal an Prozess Das darf der root User und der Owner des Prozesses Es beendet nicht den Prozess Der Name ist irref hrend Windows send Break Signal an den Prozess Das darf nur ein Prozess der in der gleichen Console Gruppe wie die JVM ist Meist nur auf Entwickler PC oder in speziellen F
7. 0 06 10 2010
8. 06 amp 07 October 2010 OPEN SOURCE kippdata PJ MONITORING a CONFERENCE OSMC ON NAGIOS Java Monitoring und Troubleshooting Rainer Jung Gesch ftsf hrer kippdata informationstechnologie GmbH 2010 kippdata informationstechnologie GmbH 1 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 OPEN SOURCE BB ONI TORING CONFERENCE Pas Agenda Aufw rmrunde Motivation Java Management Extensions JMX JDK Tools Java 5 und 6 Thread Dumps Diskussion 2010 kippdata informationstechnologie GmbH 2 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 kippdata B OPEN SOURCE ppoata MONITORING CONFERENCE In OSMC ON NAGIOS Agenda Aufwarmrunde 2010 kippdata informationstechnologie GmbH 3 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 CONFERENCE Gesch ftsf hrer kippdata informationstechnologie GmbH Grundung 1998 kippdata a SOURCE Ppaata Aufwarmrunde Wer bin ich 25 Mitarbeiter MONITORING lt Oo Wer bin ich Erfahrungshintergrund Schwerpunkt Systemintegration Hinzuf gen von Produktionsqualitaten Performance Ausfallsicherung zu leider meist schon fertigen Anwendungen Troubleshooting durch den ganzen Stack hindurch und auf dieser Basis dann 2010 kippdata information
9. G Ze Son CONFERENCE Java Management Extensions Problembereiche Skalare Attribute versus MXBeans OpenMBeans Es werden zunehmend MBeans verwendet die geschachtelte Daten zur ckliefern MXBeans erlauben es die Struktur der Daten herauszufinden Viele Tools k nnen das aber noch nicht Wird zunehmend zu einem Auswahlkriterium Deshalb soweit sinnvoll bei eigenen MBeans skalare Attribute verwenden 2010 kippdata informationstechnologie GmbH 26 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 OPEN SOURCE kippdata r I ONI ORINE CONFERENCE Java Management Extensions Problembereiche MBeans orientieren sich haufig an der Source Code Struktur Nicht immer optimale Granularitat Viele MBeans des gleichen Typs Dies erhoht enorm die Poll Last Beispiel Webcontainer Verwende kleine Webapp die die gew nschten Datens tze in der richtigen Granularit t liefert Sie liefern nicht immer exakt die Daten die wir sehen wollen sondern die die intern gerade vorliegen Beispiel Maximale Gr e Pool und aktuelle Gr e Pool statt prozentuale Auslastung Einfache Ableitungen von Gr en n tig Quotienten Differenzen Quotienten von Differenzen 2010 kippdata informationstechnologie GmbH 27 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 OPEN SOURCE I ON
10. I ORINE CONFERENCE Java Management Extensions Problembereiche Das richtige Ma halten Es gibt h ufig zu viele MBeans Was bedeuten die einzelnen MBean Attribute Was wollen wir warum sehen Was fangen wir mit den Werten an Gibt es Schwellwerte f r Gut Schlecht Brauchen wir Aufzeichnungen f r Auslastungsbetrachtungen Sizing 2010 kippdata informationstechnologie GmbH 28 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 kippdata ays SOURCE ppoata MONITORING CONFERENCE In OSMC ON NAGIOS JDK Tools Java 5 und 6 2010 kippdata informationstechnologie GmbH 29 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 kippdata i OPEN SOURCE ppoata MONITORING Ze Son CONFERENCE JDK Tools Java 5 und 6 JDK Tools Java 5 und 6 Immer JDK verwenden alle relevanten Tools sind nicht im JRE Die Tools werden mit Patchreleases verbessert ab und zu mal ein JVM Patchupdate ware sch n Tools basieren auf Java bekommen aber JVM Optionen mittels J d64 J mx32m 2010 kippdata informationstechnologie GmbH 30 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 kippdata i OPEN SOURCE ppoata MONITORING CONFERENCE JDK Tools Java 5 und 6 gt Son Tools
11. Java5 jps welche Javaprozesse laufen jstat laufende Textausgabe von Werten aus dem Plattform MBeans iconsole GUI zur Anzeige von MBeans Kurze Demo JConsole erweiterbar mit Plugins Custom Tabs http java sun com javase 6 docs technotes guides management jconsole html gdeje 2010 kippdata informationstechnologie GmbH 31 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 kippdata m SOURCE ppoata MONITORING x lt of CONFERENCE JDK Tools Java 5 und 6 Tools Java 6 zusatzlich iinfo Ausgabe und Manipulation von Flags jstack Ausgabe von Stack Dumps jmap amp jhat Dump and Analyse des Heaps ivisualvm machtiges GUI erweiterbar durch Plugins Kurze Demo JVisualVM erweiterbar mit Plugins https visualvm dev java net Dort auch aktuellere Version verf gbar 2010 kippdata informationstechnologie GmbH 32 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 kippdata u SOURCE ppoata MONITORING CONFERENCE er Ne JDK Tools Java 5 und 6 Diese Tools sind sehr gut um sich einzuarbeiten Welche Daten gibt es Wie verhalten sie sich Wie hangen sie zusammen Was davon interessiert mich und die Kreativit t anzuregen Oder auch um nicht vorbereitete Fragen ad hoc anzugehen Das ist manchmal n tig 2010 kippdata infor
12. SMC 2010 06 10 2010 06 amp 07 October 2010 kippdata i OPEN SOURCE ppoata MONITORING Ze Son CONFERENCE Motivation Monitoring Ziele von Monitoring Fehlererkennung Rot Gr n Ampeln Alarmierung Automatische Erkennung und Meldung kritischer Fehler M glichst keine Fehlalarme M glichst Meldung der Wurzelursache Meist aber nur gut verstandene Basiszust nde und End to End Filesystem voll CPU ausgelastet Anwendungs Login Test Transaktion 2010 kippdata informationstechnologie GmbH 11 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 kippdata i OPEN SOURCE ppoata MONITORING CONFERENCE Motivation Monitoring gt Son Weitere Ziele von Monitoring Kontinuierliche Sammlung von Laufzeitwerten Pollen der Daten Ablage der Daten Verdichtung und Visualisierung Wird ben tigt zur Analyse der Wurzelursache bei wiederkehrenden Problemen f r Kapazit tsmanagement z B Anpassung Sizing 2010 kippdata informationstechnologie GmbH 12 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 OPEN SOURCE kippdata a Motivation Monitoring MONITORING gt Tas Die Betriebssicht CONFERENCE Den Betrieb interessiert meist nur die Meldung von St rungen Incident Management Der Betrieb greift auf die Entwicklung zur
13. Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 ae eme AE CONFERENCE P Diskussion Fragen 2010 kippdata informationstechnologie GmbH 53 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 ae eme AE CONFERENCE P OSMC ON NAGIOS Abspann 2010 kippdata informationstechnologie GmbH 54 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 OPEN SOURCE BB ONI TORING CONFERENCE kippdata Kontakt Wie k nnen wir Ihnen helfen So erreichen Sie uns info kippdata de rainer jung kippdata de www kippdata de 0228 98549 0 2010 kippdata informationstechnologie GmbH 55 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 kippdata SOURCE ppoata MONITORING gt of CONFERENCE Abspann kippdata informationstechnologie GmbH Professioneller Open Source Support Schwerpunkt Apache Tomcat und Apache httpd Betriebskonzepte zu Hochlast und Ausfallsicherung Healthchecks von produktiven JEE Anwendungen Lasttests und Sizing Analyse von Produktionsproblemen Workshops Besuchen Sie uns auf www kippdata de und www kippdata de tomcat 2010 kippdata informationstechnologie GmbH 56 Java Monitoring und Troubleshooting Rainer Jung OSMC 201
14. cess RequestProcessor java 274 at org apache struts action ActionServlet process ActionServlet java 1482 at org apache struts action ActionServlet doPost ActionServlet java 525 Die Thread IDs XXX und YYY wechseln langsam im Laufe der Zeit 2010 kippdata informationstechnologie GmbH 47 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 OPEN SOURCE kippdata MONITORING oe CONFERENCE gt Ne Thread Dumps Dump Auswertung Meist sehen wir uns zunachst nur die obersten 5 10 Methoden des Stacks an Wir wollen alle Threads gruppieren deren Top N Methoden Stack gleich ist Was machen die meisten Threads gerade Hier bietet sich ein Auswerteskript an Bei Ideen was merkw rdig sein k nnte immer die Idee im vollen Dump berpr fen Demo Stack Statistik im kpdtexplorer 2010 kippdata informationstechnologie GmbH 48 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 ays SOURCE kippdata MONITORING CONFERENCE An Thread Dumps Ph nomene die sich meist gut durch Thread Dumps verstehen lassen Die Anwendung ist insgesamt langsam obwohl die CPU Auslastung gering ist Dann wird meistens auf etwas gewartet Remote Calls Middleware DB Webservices Locks Lieblingsformel Durchsatz Antwortzeit Parallelit t Normale Anfragerate erh hte Antwortzeit
15. ck wenn es um die Analyse komplexerer Probleme geht Die Entwicklungssicht Zur erfolgreichen Analyse von Betriebsproblemen ben tigen Sie Auswertungen ber das Zeitverhalten der Systemkomponenten Diese muss der Betrieb bereitstellen 2010 kippdata informationstechnologie GmbH 13 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 Biron SOURCE MONITORING CONFERENCE Motivation Troubleshooting gt Troubleshooting Die h ufigsten technischen Probleme sind Performance Probleme Schlechte Antwortzeiten Schlechter Durchsatz Stabilitats Probleme Die Anwendung reagiert nicht mehr 2010 kippdata informationstechnologie GmbH 14 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 kippdata m SOURCE ppoata MONITORING x lt of CONFERENCE Motivation Troubleshooting Die hautigsten Problemursachen sind Uberlastete Backends Locking Probleme Memory Probleme und schlechte GC Einstellungen Falsches Sizing der eingesetzten Software Komponenten Pools Caches Timeouts Fast nie Engpass CPU Platte oder Netz 2010 kippdata informationstechnologie GmbH 15 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 OPEN SOURCE kippdata MONITORING CONFERENCE An Son Motivation Troubl
16. eshooting Was wollen wir zur Laufzeit herausfinden Mit Monitoring Welche Last wird abgearbeitet wie sind die Antwortzeiten Wie ausgelastet sind die konfigurierten Softwarekomponenten Pools Caches Wie verhalt sich die Garbage Collection Mit Java Thread Dumps Warten wir auf andere Systeme Backend Datenbank Warten wir auf Locks Software Design Loopen wir im Code 2010 kippdata informationstechnologie GmbH 16 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 kippdata i OPEN SOURCE ppaata MONITORING CONFERENCE o OSMC ON NAGIOS Java Management Extensions JMX 2010 kippdata informationstechnologie GmbH 17 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 ays SOURCE kippdata MONITORING CONFERENCE 7 Java Management Extensions Java Management Extensions JMX Sehr gute Moglichkeit interne Applikationszustande von au en abfragbar zu machen Gr en Pools etc Z hler Anfragen Dauern Fehlerzahlen komplexe Datenstrukturen Aber auch Konfigurationseinstellungen Operationen m glich Reset Resizing Loglevel ndern Aktivierung Deaktivierung Notifications Emitter Listener Ereignismeldung z B Schwellwert berwachung 2010 kippdata informationstechnologie GmbH 18 Java Monitoring und Troubleshooting
17. f von au en auf den MBeanServer Seit Java 6 Attach on Demand Lokaler Zugriff ohne Vorbereitung Rechte auf Prozess n tig F r Zugriff ber Netz werden System Properties gesetzt http java sun com javase 6 docs technotes guides management agent html gdevt Dcom sun management jmxremote Dcom sun management jmxremote port 98 76 Wichtig in Produktion bitte mit Zugangsschutz Firewalls nicht unproblematisch RMI macht weitere Ports auf L sung JMXServiceURL und JMXConnectorServer Beispiel JmxRemoteLifecycleListener java seit Tomcat 6 2010 kippdata informationstechnologie GmbH 21 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 1 em SOURCE MONITORING CONFERENCE Java Management Extensions JMX Clients JDK Tools als Beispiele gt Son Zugang ber andere Konnektoren Beispiele f r Zugang via HTTP JMXProxy in Tomcat HTTP Konnektor in MX4J eigenes Servlet imxterm Jmx4Perl Nagios Munin all have JMX plugins 2010 kippdata informationstechnologie GmbH 22 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 OPEN SOURCE BB oN TORING CONFERENCE Java Management Extensions kippdata ppdata p I on Kleine Demo Zugang via JConsole Targets Sleep java JConsole selbst Tomcat Zugang via Browser
18. h her bei Extremen 2010 kippdata informationstechnologie GmbH 36 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 OPEN SOURCE BB oN ORINE CONFERENCE Thread Dumps Performance Probleme bei verteilten Systemen Die Ursache ist nicht meine Komponente A es ist wohl B Die Ursache ist nicht meine Komponente B es ist wohl C Die Datenbank C langweilt sich Dann ist es wohl das Netz Die Erfahrung zeigt meistens nicht 2010 kippdata informationstechnologie GmbH 37 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 kippdata J ee SOURCE ppoata MONITORING CONFERENCE An Son Thread Dumps Inhalt eines Thread Dumps Ein Thread Dump ist eine Momentaufnahme der Code Ausf hrung in der JVM Er enth lt eine Liste aller Threads in der JVM Mit Name und ID sowie Zustand etwa runnable ID meist abbildbar auf die Thread Nummern des OS Mit komplettem Funktionsstack der Java Methoden Mit Informationen bzgl des Wartens auf Locks Mit Ausgabe ob ein Deadlock vorliegt 2010 kippdata informationstechnologie GmbH 38 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 ry OPEN SOURCE kippdata MONITORING Somat ho A CONFERENCE D 04 Thread Dumps Meist muss mehr als ein Thread Dump gemacht werden um
19. llen in Produktion so machbar Start ber DOS Box Demo Tomcat 2010 kippdata informationstechnologie GmbH 41 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 ry OPEN SOURCE kippdata MONITORING Somat ho A CONFERENCE D Se Thread Dumps Was machen wir bei einem Windows Service Hat kein Terminal deshalb klappt Break Signal nicht Ab Java 5 gibt es einen programmatischen Weg aus der Java Anwendung heraus Thread Dumps aufzurufen java lang management ThreadMXBean Der Dump ist etwas weniger aussagekr ftig Weniger Lock Information besser ab Java 6 Weniger IDs zum Thread Keine JVM internen Threads 2010 kippdata informationstechnologie GmbH 42 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 ry OPEN SOURCE kippdata MONITORING rn oe um A CONFERENCE gt Son Thread Dumps JS Aufrufm glichkeiten MBean basierter Thread Dump Aufrufbar Uber JMX Schnittstelle Ab Java 6 ohne vorherige Aktivierung der Schnittstelle Attach on Demand jstack kann aber keine Authentisierung lt JDK_HOME gt demo management FullThreadDump FullThreadDump jar Eigener Client Oder kapseln in HTTP Servlet oder hnlichem Aufrufweg Demo kpdtexplorer 2010 kippdata informationstechnologie GmbH 43 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010
20. mationstechnologie GmbH 33 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 kippdata J eae SOURCE ppoata MONITORING CONFERENCE JDK Tools Java 5 und 6 gt Son Diese Tools sind nicht geeignet f r den dauerhaften Einsatz im Enterprise Umfeld Typische Anforderungen dauerhattes Sammeln von Daten automatisierte Auswertung Schwellwerte Verdichtung Visualisierung Trends Ergebnisse sollen persistent sein zentrales Daten Repository zentrale Konfiguration Anwendungs und Container Typen Farmknoten MBeans 2010 kippdata informationstechnologie GmbH 34 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 Beene Rn CONFERENCE er OSMC ON NAGIOS Thread Dumps 2010 kippdata informationstechnologie GmbH 35 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 kippdata J he SOURCE ppoata MONITORING CONFERENCE Thread Dumps gt Son Problembeschreibung Performanceprobleme Anwendung ist zu langsam einzelne Vorf lle Es bilden sich Staus aus und dann meist als Folge Stabilit tsprobleme Anwendung reagiert nicht mehr Fragen Wo kommen die Performance Probleme her Warten auf Locks Fremdsysteme Intensive Berechnungen Wo kommt ein zu hoher CPU Verbrauc
21. nnerhalb weniger Minuten Keine Neuanmeldung mehr m glich Obwohl nur zwei Threads im Deadlock sind bleiben sehr viele Threads dahinter h ngen 2010 kippdata informationstechnologie GmbH 45 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 J SOURCE kippdata MONITORING CONFERENCE Thread Dumps gt Entwickler Kommentar zu diesem Deadlock I believe the deadlock could only be triggered by a contrived test that creates an excessive number of threads that would never been used in a normal application dict leo org contrived arrangiert erfunden gek nstelt gestellt Hier war es normale Produktion 2010 kippdata informationstechnologie GmbH 46 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 J SOURCE kippdata MONITORING CONFERENCE Thread Dumps Lock Contention Viele Threads im Stack ajp 127 0 0 1 8009 XxXX Id YYY in TIMED WAITING on lock com mybiz myapp webapp handler FormHandler be635d at java lang Object wait Native Method at com mybiz myapp webapp handler FormHandler lock Unknown Source at com mybiz myapp webapp UpdateAction execute Unknown Source at com mybiz myapp webapp ActionBase execute Unknown Source at org apache struts action RequestProcessor processActionPerform RequestProcessor java 484 at org apache struts action RequestProcessor pro
22. stechnologie GmbH 4 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 kippdata J he SOURCE ppoata MONITORING Ze Son CONFERENCE Aufw rmrunde Wer bin ich Open Source Leser Problemanalyse Open Source Contributor Problembehebung Apache Tomcat Committer und PMC Mitglied Apache HTTP Server Committer Apache APR Committer mod_jk Maintainer Member der Apache Software Foundation ASF 2010 kippdata informationstechnologie GmbH 5 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 OPEN SOURCE kippdata r BB oN ORINE gt CONFERENCE Aufwarmrunde Wer sind Sie Wer sind Sie Wer gehort eher zu Entwicklung Betrieb Wer tragt Verantwortung fur Produktionsstabilitat oder Fehleranalyse Wer hat mit 24x7x365 Anwendungen zu tun Wer musste schon Probleme debuggen die erst in der Produktion beobachtet wurden 2010 kippdata informationstechnologie GmbH 6 Java Monitoring und Troubleshooting Rainer Jung OSMC 2010 06 10 2010 06 amp 07 October 2010 J SOURCE kippdata MONITORING CONFERENCE Aufwarmrunde Wer sind Sie gt Son Wer hat in der Produktion Java 1 4 2 Java 5 Java 6 Eine nicht Sun VM Wessen Code l uft nicht Standalone sondern in einer Form von Container Tomcat Application Server
Download Pdf Manuals
Related Search