Home

Manuel d`utilisation de Data Standardizer

1. Manuel d utilisation de Data Standardizer 8 Annexes 8 1 Abr viation des param tres unit s recommand es et alternatives BaroP BFrq CDOM CDOMCR Chl ChIF Cl CO2A Cond CondSp Depth DIN DCO2 DO DO DOC Hail HFIxEv HFIxSn Kd NH4 NNN NO2 NO3 ORP PARP pH PhyF PO4 Ppn RadLWD RadPAR RadSWD RadSWP RadTD RadUV Rain RelH Sal Snow SoilT TKN TmpAir TmpDew TmpLg TmpRef TmpWtr TN TOC TP Tran TranCR TSS Turb VBatLg VBatR VBatS VP VPDef VPSat VSol Wave Ht WavePd WndDir WndDrP WndGst WndSpd WtrLvl WtrVIH WtrVIV Barometric Pressure Bouyancy_ Frequency Colored_ Dissolved_ Organic Matter Colored_Dissolved_ Organic Matter Coefficient _of Range Chlorophyll a Chlorophyll_ Fluorescence Chloride Atmospheric_Carbon_Dioxide Conductivity Specific_Conductance Depth Dissolved_Inorganic_Nitrogen Dissolved_Carbon_Dioxide Dissolved_Oxygen_Concentration Dissolved_Oxygen_ Saturation Dissolved_Organic_Carbon Precipitation_Hail Heat_Flux_Evaporative Heat_Flux_Sensible Light_Attenuation_Coefficient Ammonium Nitrate_ Nitrite Nitrite Nitrate Reduction_Oxidation_Potential Photosynthetically_Active_Radiation_Penetration pH Phycocyanin_Fluorescence Phosphate Precipitation Longwave_Radiation_Downwelling Photosynthetically_Active_Radiation Shortwave_Radiation_Downwelling Shortwave_Light_Penetration Total_ Radiation _Downwelling Ultraviolet_Radiation Precipitation_Rainfall
2. Possibilit de charger un dossier de m tadonn es renseign a l avance l tape 2 3 Cela rempli automatiquement les donn es du site ainsi que les titres 5 Fichiers d exports Lors de l export un dossier se cr e l endroit choisi par exemple le bureau Ce dossier comprend le fichier des donn es et celui des m tadonn es tous deux au format texte Le d limiteur de colonnes est la tabulation 5 1 Fichier de donn es 5 1 1 Nom du fichier Le format de nom des fichiers de sortie est Nom XX AAAAMM AAAAMM xxx Nom Lac ou nom du site XX Code du pays en deux lettres France FR AAAAMM AAAAMM Plage de temps des donn es XxX Extension du fichier normalement txt Exemple Lac d Anterne FR _201301 201312 txt comprend des donn es du Lac d Anterne en France de janvier a d cembre 2013 5 1 2 Colonne s date et heure La premi re colonne du fichier de donn es comprend la date et l heure Le titre de la colonne est Date Time Le format est AAAA MM JJ hh mm exemple 2014 04 16 09 45 pour une mesure enregistr e le 16 avril 2014 9h45 Manuel d utilisation de Data Standardizer Il est galement possible de ne pas fusionner les colonnes de date et heure Les formats date AAAA MM JJ et heure hh mm restent les m me exemple 2014 04 16 09 45 Les titres des colonnes sont Date et Time 5 1 3 Colonne s variable Le format des titres de colonnes est XXXXXX_Lpp UUUV XXXXXX Deux a s
3. Relative Humidity Salinity Precipitation _Snow Soil_ Temperature Total_Kjeldahl Nitrogen Air_Temperature Dewpoint_Temperature Datalogger_Temperature Reference_Temperature Water_Temperature Total_ Nitrogen Total_ Organic Carbon Total_Phosphorus Light_Transmittance Transmittance_Coefficient_of_Range Total_ Suspended_ Solids Turbidity Datalogger_Battery_Voltage Radio_Battery_Voltage Sensor_Battery_Voltage Vapor_Pressure Vapor_Pressure_Deficit Vapor_Pressure_Saturation Solar_Panel_ Voltage Wave_Height Wave_Period Wind_Direction Wind_Direction_at_Peak_Speed Wind_Peak_Speed Wind_Speed Water_Level Water_Velocity_Horizontal Water_Velocity_Vertical 7 hPa ug L ug L RFU mg m 3 ppm mS cm mS cm m mg L mg L sat mg L hits cm 2 W m 2 W m 2 m 1 mg m 3 mg m 3 mg m 3 mg m 3 mV RFU mg m 3 mm W m 2 umol m 2 s W m 2 W m 2 mW cm 2 mmHg mbar kPa RFUB ug L chl g m 3 ppm ppb uS cm uS cm ft ppm ppm ppm g m 3 ppm ppb g m 3 ppm ppb g m 3 ppm ppb g m 3 ppm ppb RFUB cells mL g m 3 ppm ppb TDS degF g m 3 ppm ppb degF degF degF degF degF g m 3 ppm ppb ppm g m 3 ppm ppb RTU NTU mbar kPa mbar kPa mbar kPa ft kt km hr ft cm s cm s Manuel d utilisation de Data Standardizer XN 8 2 Codes non disponibles la s lection invent s pour les donn es de monitoring du lac d Anterne Les codes suivants respectent au maximum le Thesaurus
4. Backward 20120925222 2012 09 25 232 120120926 002 Text to append to filename 20120926 012 20120925022 20120926032 Include empty ines E tidude Data W Metadstafie Y law ue M tadonn es WARNING You have atternpted to delete one or more rows deleting rows is permanent and cannot be undone Are you sure you wish to make this deletion Cogs ae Dutput fie name Lac d Anteme FR _201404 201404 dt 1 Nommer les colonnes s lection dans le menu d roulant de la variable contenue dans la colonne 2 Pour Date et Heure Time gt Standardise date time File Data Time Options About Empty place holder About Standardisedatetime Merge and standardise date time Sort dates da Precipitation total 4 ME Radio Battery Voltage 3 Pour les variables mesne Cabon Dioxide Reduction Oxidation Potential ss Beam Attenuation rad Humidity choisir la grandeur Beam Transmission a tiki niio e Shortwave Radiation Downwelling mesuree puis Sol Tempers i a A GE Specie Conductance renseigner l unit et la G n rempeue Surface Water Level Moturiki Datum sE o Doak a ie position de la sonde Dissolved Organic Carbon Utraviolet Radiation 2012 09 25 17 20 8 527 Dissolved Oxygen Concentration y P Dissolved Oxygen Saturation Vance Atami Deficit tow Volume vera Pressure Saturation Heat Flux Evaporative A Wate
5. As ters Laboratoire ______ Drive EDYTEM a H a ute Sa VO le Environnements Dynamiques et Territoires de la Montagne Avril 2014 Rosalie Bruel Data Standardizer Standardisation des donn es capteur Programme libre d velopp l Universit de Waikato Nouvelle Z lande par Chris Mc Bride Richard Lamont et Sam Shute Il r pond la demande du GLEON concernant la n cessit de standardiser les donn es environnementales acquises dans le cadre de monitoring haute fr quence global lake ecological observatory network TABLE DES MATIERES Ls INTRODUCTION sn ne ne tent sde CARRIE ARI te oem non en nes nn AS net ec nine net te de ont ec decis Ze IMPORT DU FICHIER ES aa a a nec et tie ed ce ee eee 3 STANDARDISATION ARPA o o O 4 EXPOR lia M a S Bs FRIGHIERS D EXPORTS iii DeL FICHIER DE DONNEES todita lctcioa 5 1 1 NOMOU PACINO Nessie haa AS RS ao dd 5 1 2 COME date e heure oiai dd De nd de a On RE dd le Ee R3 Colonne S VOI DNC SR SOS T O PP O E ET E T E ANAA 5 2 FICHIER DE MIETADONNEES rr aceso 5 2 1 Noel sans is de ini 0e re to 5 2 2 CON ECG FIG ON icici kee SR Ac ARS NU tn en re ne ie 6 PROBLEMES EVENTUELLEMENT RENCONTRES anitos een ene ne sn nee en ets cancer esse nescn dns qnnoecsmenen vecu ete gi cados 6 1 SI LES UNITES SONT INDIQUEES POUR CHAQUE MESURE cccsccccceccescccccecesteeccescesccecestecccestesteentestesseestesteessestesueestestecutecssesters 6 2 FORMAT DAT HEU
6. RE a ae II O ta RO eae 6 3 AJOUT RUN NOUVEAU PAR AMERRES SR O Mer REFERENCES RSR RENE I RO CS Se ANNEXES ns Rd cn ele nt ete nl se tarte ea te teste tennis ant ie aE 8 1 ABREVIATION DES PARAMETRES UNITES RECOMMANDEES ET ALTERNATIVES 0cceccecceccescesceeccsccsccsececeeceeceeeseesseeaeeeceesaeeaeseeeeeees 8 2 CODES NON DISPONIBLES A LA SELECTION INVENTES POUR LES DONNEES DE MONITORING DU LAC D ANTERNE occcccnnccccnccnncccnnnonos Manuel d utilisation de Data Standardizer 1 Introduction Data Standardizer est un ex cutable c est a dire un fichier donc une suite de donn es ou octets plac e sur le disque dur comme n importe quel fichier texte ou autre qui permet de standardiser des jeux de donn es Il est particuli rement utile pour standardiser les donn es haute fr quence issues de programmes de monitoring rivi res lacs oc ans Il peut ventuellement tre utilis pour nettoyer un fichier issus de profil de sonde tout en prenant en compte qu en standardisant les param tres de date et heure la r solution de sortie est de 1 minute Il a t d velopp par Chris McBride Richard Lamont et Sam Shute l universit de Waikato Nouvelle Z lande Il est particuli rement int ressant utiliser avant de compiler des donn es de plusieurs capteurs diff rentes ann es sur B3 voir Manuel d utilisation Il utilise notamment le format de representation standard ISO 8601 pour la date et l heure Il perm
7. ct Phone Num ro de t l phone du contact Email Email du contact Param tres mesur s et informations compl mentaires Number of Sensors Nombre de variables sans compter la les colonne s date et heure qui sont comprises dans le jeu de donn es Variable names Nom des diff rentes variables du fichier de donn es Exemple TmpAir_h1 5 degC RelH_h1 5 Etc Data set Notes Texte libre permettant la description du jeu de donn es Ici peuvent figurer La permission d utilisation Des informations pour l assurance et le contr le de qualit Des personnes contacts additionnelles Publications relatives aux donn es N importe quelle autre information sur les donn es Site Notes Texte libre pour la description du site de suivi Ici peuvent figurer Plus d informations sur la position et le fonctionnement des stations de mesures Plus de d tails sur les sondes N importe quelle autre information sur le site 6 Probl mes ventuellement rencontr s Quelques probl mes ont t rencontr s lors de la prise en main de Data Standardizer et puisqu aucun document officiel n existe pour le moment voici un r sum de nos observations 6 1 Si les unit s sont indiqu es pour chaque mesure Les cases comportant les mesures des sondes ne doivent afficher que des nombres et non pas les unit s Les fichiers d export par d faut de Tinytag Explorer comportent par exemple l unit moins de le p
8. est noter que certains logiciels comme R qui permet l analyse de donn es ne reconnaissent que les points Il est possible de choisir l indicateur de donn es manquantes parmi EMPTY NaN na nan N A N A Exemple 3051 42 HN A 23 56 432 9 5 2 Fichier de M tadonn es 5 2 1 Nom du fichier Le format de nom des fichiers de sortie est Nom XX _metadata txt Nom Lac ou nom du site XX Code du pays en deux lettres France FR 5 2 2 Contenu du fichier Plusieurs champs peuvent tre compl t s afin de renseigner au mieux le site Associated data file s Fichiers de donn es associ s a ces m tadonn es Site Name Nom du site complet exemple Station m t o Lac d Anterne Owner Personne ou organisation qui d tient les droits sur les donn es Organisation qui a collect les donn es Latitude Northing Exemple 39 46 Longitude Easting Exemple 62 701733 GPS Grid System Le systeme par d faut est WGS84 en degr s d cimaux facile a visualiser sur Google Earth Elevation masl Altitude du site de monitoring par rapport au niveau de la mer masl est l abr viation de meter above sea level Manuel d utilisation de Data Standardizer Country A s lectionner a partir du menu d roulant Informations du contact pour ce site Name Nom du contact en cas de besoin de plus d informations sur le site le jeu de donn es et la permission d utilisation Organisation Structure qui emploie le conta
9. et galement de standardiser les noms des param tres et dispose d un outil d agr gation des donn es 2 Import du fichier Le format d entr e est un fichier txt Bloc notes ou csv REMARQUE Attention a conserver les chiffres significatifs les d cimales si les donn es sont visualis es au pr alable sur MS Excel celui ci n affiche pas n cessairement toutes les d cimales La marche suivre est la suivante 2 1 Ouvrir Data Standardizer Data Standardizer G je GLEON GSA Dota Standardizer he Nom Date de modificati Type Taulle Dropb de Control Files 1 03 2014 10 36 Dossier de fichiers Headers 21 03 2014 10 35 Dossier de fichiers 5 Aa Data Standardizer 10 10 2013 10 35 Application 297 Ko Odia r cemmeant Data Standardizer exe 30 10 2013 10 35 Fichier MANIFEST 4 Ko R iment Pata Standardirer pdd 20 10 2013 10 35 Fichier POB 190 Ko Put lt 2 2 File gt Open data set 2 3 Charger le jeu de donn es brut en cliquant sur Open data 2 4 S lection du s parateur Select Delimiter Please Select File Delimiter Please Select File Delimiter OR Enter a custom file delimiter European Number Format _ Strip incomplete rows shown Comma Semicolon paos 1 Choix du s parateur Comma virgule Semicolon point virgule Muzelle 2m Space espace Tab Tabulation 2012 09 25 13 2 6 927 gt Il peut y avoir une o
10. ix caracteres qui correspondent l abr viation du param tre voir Annexe 1 8 1 pour la liste fournie par les d veloppeurs de Data Standardizer L Indicateur de la position de la sonde d profondeur sous la surface en m tres h hauteur au dessus de la surface en metres e l vation partir du fond du lac pour les bou es en m tres m altitude par rapport au niveau de la mer en metres ji position d un dispositif d chantillonnage de type tube en m tres remplace pp par pp pp pour indiquer la gamme de profondeur v profondeur variable si un appareil la mesure La colonne peut prendre le nom Depth_v m Pour des dispositifs qui relevent le profil du lac pp n est pas requis n la position de la sonde n est pas une information applicable la situation ou n est pas relevante exemple les variables d riv es comme la Stabilit de Schmidt Pp Profondeur hauteur l vation au dessus du fond du lac altitude de la sonde en m tres UUU Unit des mesures Exemple TmpWtr_d2 degC est la temp rature de l eau en degr Celsius 2 m tres en dessous de la surface L usage des points et des virgules comme s parateurs d cimaux semble tre accept par Data Standardizer Bien que le manuel r dig par les cr ateurs du programme recommande l utilisation des points nous avons remarqu que B3 par exemple ne reconnait que les virgules en tout cas dans la version de novembre 2013 Il
11. n format de date interpr ter 05 07 08 par 8 juillet 2005 au lieu de 5 juillet 2008 Attention donc si vous avez d abord ouvert votre fichier sur Excel qui a tendance a modifier la date Cependant les fichiers de sortie de sonde sont g n ralement bien format s 6 3 Ajouter un nouveau param tre Data Standardizer propose d ajouter de nouveaux param tres ou de nouvelles unit s Barre de menu Options gt Add New Parameter II faut alors renseigner la description du param tre le code choisi l unit recommand Syst me International et ventuellement d autres unit s Cependant un message d erreur apparait il est donc impossible de finir la proc dure Je n ai pas trouv de solution ce jour Il faut donc ajouter manuellement les param tres en double cliquant sur la case de titre comme expliqu dans la remarque du point 3 2 7 R f rences ORE Newer Va Add New Variable x a Une exception non g r e s est produite dans votre application Si X vous cliquez sur Continuer l application va ignorer cette emeur et essayer de continuer Si vous cliquez sur Quitter l application va s arr ter imm diatement La r f rence d objet n est pas d finie une instance d un objet Gonna a McBride C 2013 Draft GLEON Data Standardizer Document non publi obtenu par Marie Elodie Perga INRA lors de la conf rence GLEON organis e en novembre 2013 3p
12. pty Mite faits Date Time v Variable v Soie Lac d Anteme v Water Temperat Ste owner ASTERS h Contact name Carole Birck mias Contact email Carole Birck asters asso fr Organisation ASTERS Elevation mas 2063 GPS Grid System Decimal Degrees DD E GPSlat 45 990917 GPS long 6 798283 Country Code FRANCE FR y Ln 2012 09 25 13 20 00 y 2013 07 10 08 20 00 Ey 2012 09 25 16 20 2012 09 25 1720 8 5271 2012 09 25 18 20 8 5121 2012 09 25 19 20 8 496 1C 2012 09 25 20 20 2012 09 25 21 20 2012 09 25 22 20 2012 09 25 23 20 2012 09 26 00 20 2012 09 26 01 20 2012 09 26 02 20 2012 09 26 03 20 2012 09 26 04 20 201209260520 8 2220C 2012 09 26 06 20 8 1971C 2012 09 26 07 20 2012 09 26 08 20 8 4030 8 374 C 8 326 C 83140 Direction Backward Centered Forward Text to append to filename Aggregation time step Quantity bd tput file name Lac d Anteme FR _201209 201307 bd Include empty lines Include Data Metadata file AH 4 2 Un dossier de fichier est cr l emplacement choisi celui ci contient le fichier de de m tadonn es M tadonn es Titres standardis s Format d heure AAAA MM JJ hh mm Nom sous lequel le fichier est export Export du fichier donn es et un fichier 4 3 Pour tout nouveau fichier recommencer la proc dure
13. r ciser lors de l enregistrement dans Tinytag Explorer enregistrer sous gt Fichier texte s par par une tabulation sans unit txt Il est galement possible de supprimer les unit s dans Bloc notes Barre de menu Edition gt Remplacer gt Dans la case Rechercher mettre l unit dans la case Remplacer par ne rien mettre gt Remplacer tout Manuel d utilisation de Data Standardizer 3 4m tini muzelle 09 07 13 Bloc notes Gle Fichier Edition Format Affichage Horaire 1 A S N 651898 Type TGP 4017 Description Muzelle 4m Propri t Temper atur 1 2012 09 25 13 18 00 6 706 C 2 2012 09 25 14 18 00 112 C 3 2012 09 25 15 18 00 8 653 C 4 2012 09 25 16 18 00 8 646 C gt 2012 09 25 17 18 00 8 620 C 6 2012 09 25 18 18 00 Did 7 2012 09 25 19 18 00 8 2012 09 25 20 18 00 9 2012 09 25 21 18 00 10 2012 09 25 22 18 00 11 2012 09 25 23 18 00 a2 2012 09 26 00 18 00 13 2012 09 26 01 18 00 14 2012 09 26 02 18 00 15 2012 09 26 03 18 00 16 2012 09 26 04 18 00 17 2012 09 26 05 18 00 Re 18 2012 09 26 06 18 00 oo 19 2012 09 26 07 18 00 20 2012 09 26 08 18 00 21 2012 09 26 09 18 00 6 2 Format date heure Attention au format des dates lors de l import sur Data Standardizer le logiciel reconnait un grand nombre de format mais ne reconnaitra pas de date si le mois est crit en lettre par exemple 10 juil 2013 au lieu de 10 07 2013 Parfois MS Excel va galement remplacer u
14. r Column Depth 4 Clic sur les boutons pour rt Light Attenuation Coefficient Water Temperature adi Mai ONA DOON Longwave Radiation Downwelling W ae V ve V aah s renommer les colonnes integrated depth range bri Wave Height M ne NA et eee es Wind Drecton Data Time Options About L Phycocyanin Fluorescence Wind Direction at Peak Speed Strip incomplete rows Raccourci qui permet de Preciptation Hal Header guess Precipitation Snow a renommer automatiquement Set all 5 US E to vale toutes les colonnes REMARQUE Lorsqu une unit n est pas disponible il est possible de double cliquer sur la case contenant le nom du param tre puis de le remplacer manuellement C est la proc dure que j ai suivi a chaque fois qu un param tre n tait pas disponible la s lection J ai alors invent un code pour ce param tre tout en respectant la case choisie par les programmateurs de Data Standardizer voir le paragraphe 5 1 3 qui explique la fa on dont sont cod s les param tres Il faut ce moment veiller bien utiliser le m me code d une ann e l autre Les codes que j ai utilis s pour les param tres sont donn s en Annexe 2 8 2 2 Manuel d utilisation de Data Standardizer 4 Export 4 1 Le fichier ainsi standardis peut tre export en cliquant sur le bouton en bas droite Export ee File Data Time Options About Phone number Empty place holder Set as em
15. u plusieurs lignes US BL 0 49 d information 2012 09 25 15 2 8 592 1C 2012 09 25 16 2 8 5810C PaaS Tee RATE S lection de la ligne qui porte les 2012 09 25 18 2 8 512 1C py eee ee 2012 09 25 19 2 8 4960C 2012 09 25 20 2 18 455 10 2012 09 25 21 2 84400C 2012 09 25 22 2 8 403 1C 2012 09 25 23 2 8 374 1C 2012 09 26 00 2 8 326 1C 1 S N 651893 Type TGP 4017 Description kO g TE Ww N Clic Set Header Row see 4 Clic Accept Cancel Unit Row optional Accept Manuel d utilisation de Data Standardizer 2 5 Si une fen tre No Data column was found s ouvre cliquer sur Ok 3 Standardisation 3 1 Supprimer les colonnes et les lignes inutiles dans cet exemple la premi re colonne peut tre supprim e puisqu elle indique seulement le num ro d enregistrement Emery Possibilit de choisir la fa on Bus dont sont identifi es les ran donn es manquantes Suppression des lignes qui contiennent les informations des sondes s lection des lignes Suppr sur le clavier OU clic droit par ligne puis Delete row 20120925132 20120925 142 2012 09 25 152 2020925 162 20120925 172 20120925 182 8512 2014 04 10 10 1330 2014 04 10 10 13 30 20120925 192 2012082522 Aggregation time step Quant 2012 08 25 21 2 Dveciion
16. utilis par Chris McBride et al lors de la programmation de Data Standardizer Les unit s sont celles issues des capteurs sans conversion oe RAP D er CE SoilM_bareN m3 m3 a Bare Nord ou SoilM_bareS m3 m3 poe aa Sud N V N Soil Moisture ACA ane Vegetated A LR el D SoilM_vegS m3 m3 rre ou Sud 8 Soil SoilT_bareN degC cias Bare Nord ou Temperature SoilT_bareS degC Pa Sud Soil SoilT_vegN degC Ne dc Vegetated Nord Temperature SoilT_vegS degC ou Sud Water eo WatLvl n cm TurbHi_n mv mV Hydro High turbidity DO TurbHi_n FTU Position sans importance code n es TurbLw_n mv mV Low turbidity TurbLw_n FTU waar ee os d Depth below Depth_v m iati W m Solar radiation SolarR_n kW m2 W m Standard peda f dicta 7 SDWnd_n deg deg a the wind boo Meteo Position sans importance code n direction Snow Height BaroP_n mV BaroP_n mbar

Manuel d`utilisation de Data Standardizer

Contents

Download Pdf Manuals

Related Search

Related Contents