Home

- e-Lis

1. P g 18 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica tierra tierras tijerino timo tipo tirando tiro tiros tiroteado titulada titular titulares tlc tobillo tocoron tocor n toda todas todav a todelar todo todos Ost n toma toman tomar tomen tom toneladas tonelaje topaba tormentas torno toro torre torrecilla torrenciales torrentoso torres tor cico total totalidad totalmente town trabaja trabajaban trabajador trabajadores trabajar trabajo trabajos trabaj traca tracas traficantes trafico tragedia tramo tramos tranquilidad tranquilo transbordador transcurso transitaba transportaba transporte transportes tras trasladada trasladado trasladados trasladar trasladarse trasladar traslad trasobares trata trataba tratado tratamiento tratan tratar tratara trataron tratarse trate tratos trat traumatismo trav s trayecto trece tren tres trev n tribunal tribunales tripulaci n tripulantes troncos tropez tropical tr fico tr gica tr gico tr mites tr nsito tt st n stan turismo tuvieron tuviesen tuvo istan tv tver Ost n t cnica t cnicos t rmino t tulo t tulos t nel Observe que se utiliz adicionalmente la opci n f para indicar el nombre de los archivos que contienen el ndice de t
2. Archivos de c digo en java script JS 4 10 6 KB 10 909 bytes Im genes JPEG JPG 175 168 MB 1 772 360 bytes P ginas Web HTML 16 1 42 MB 1 490 262 bytes Hojas de Calculo Excel XLS 20 4 36 MB 4 581 376 bytes Imagenes GIF 53 80 6 KB 82 554 bytes Documentos de Word DOC 143 33 2 MB 34 815 335 bytes Hojas de estilo CSS 3 28 9 KB 29 617 bytes Im genes Mapas de BITS BMP 2 154 MB 1 616 556 bytes Documentos Acrobat Reader PDF 245 128 MB 134 389 154 bytes Parametrizando la colecci n en Swish e De acuerdo a la informaci n que se ha analizado de la colecci n seleccionada adicionalmente al haber estudiado los comandos m s utilizados en Swish e se presenta un modelo del archivo de configuraci n ideal el cual deber a contemplar como m nimo los siguientes aspectos e Los archivos JS CSS pese a contener texto y por tal motivo ser indizables no son documentos que posean informaci n relevante al usuario a menos que se construya una colecci n de c digos fuente sin embargo son muy 7 Colaboradores de Wikipedia MHTML en l nea Wikipedia La enciclopedia libre 2008 fecha de consulta 5 de enero del 2008 Disponible en lt http es wikipedia org w index php title MHT ML amp oldid 14099905 gt Pag 34 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica re
3. Run time 0 011 seconds Pag 25 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica 1000 var www html swish e trabajo1 Coleccion Recursos Electr nicos Carlolll htm Listado a z de recursos electr nicos 21655 Buscando en Varias Colecciones Simult neamente Swish e permite buscar en varias colecciones simult neamente para ello solamente se tiene que incluir en los par metros de b squeda los nombres ubicaci n de los archivos de los ndices asociados a cada colecci n Para esta actividad se han generado dos archivos de configuraci n que se encuentran en la ruta var www html swish e trabajo2 htto bomarzo rec usal es swish e trabajo2 En esta ubicaci n se encuentran dos colecciones CIENCIA y DEPORTES estas colecciones contienen cada una 100 noticias en formato texto plano TXT El archivo de configuraci n de la colecci n CIENCIA es ciencia conf Versi n 1 0 Licencia MPL 1 1 GPL 2 0 LGPL 2 1 Desarrollo del archivo de configuraci n del punto 2 2 Podemos trabajar con m s de un ndice a la vez al realizar una consulta Se deber a acompa ar de los ficheros que den respuesta a esta pregunta y consultas realizadas al sistema Realizado por Laureano Felipe Gomez Due as Universidad de Salamanca 2008 HEHEHEHEH END LICENSE BLOCK HH Inf
4. Versi n 1 0 Licencia MPL 1 1 GPL 2 0 LGPL 2 1 Desarrollo del archivo de configuraci n del punto 2 2 Podemos trabajar con m s de un ndice a la vez al realizar una consulta Se deber a acompa ar de los ficheros que den respuesta a esta pregunta y consultas realizadas al sistema Realizado por Laureano Felipe Gomez Due as Universidad de Salamanca HH HR HHH H Pag 27 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica 2008 END LICENSE BLOCK HH HH Informaci n del Script HH FEA HEHEHE AE HH AEE EE A EE A A AAA IndexName Trabajo2 IndexDescription Este indice corresponde a una colecci n de documentos TXT especialziados en DEPORTES IndexPointer http bomarzo rec usal es swish e trabajo2 IndexAdmin SIB Manager felipe gomez3 gmail com HH Par metros del Sistema HH FARAH AE Tomando los indices en la carpeta donde estan ubicadas las colecciones El indice se llamara indice index index swish e IndexFile var www html swish e trabajo2 deportes index Selecciono los directorios donde se har n las indizaciones de documentos IndexDir var www html swish e trabajo2 DEPORTES Corresponde con los tipos de archivos nicos que debe indizar IndexOnly txt Determino cuales caracteres entidades deben ser transformados esto gene
5. Archiv stica 2 5 libXp 1 0 0 8 1386 100 o s o 2 22 kB 00 00 3 5 xpdf 3 02 4 fc7 i3 100 Baassssssssss S 5 1 1MB 00 00 4 5 tilib 5 1 1 7 fc7 100 oa s ooo o 194 kB 00 00 5 5 poppler utils 0 5 100 a s o 2 75kB 00 00 Running rpm_check_debug Running Transaction Test Finished Transaction Test Transaction Test Succeeded Running Transaction Installing libXp HERRERA 1 5 Installing lesstif FABRA 2 5 Installing t1lib HERRERA 3 5 Installing poppler utils FABRA 4 5 Installing xpdf HEHE 5 5 Installed xpdf i386 1 3 02 4 fc7 Dependency Installed lesstif i386 0 0 95 0 20 fc7 libXp i386 0 1 0 0 8 poppler utils i386 0 0 5 4 8 fc7 t1lib i386 0 5 1 1 7 fc7 Complete e Descomprimimos el archivo descargado de Swish e Para este paso simplemente ejecutamos el siguiente comando en la ruta donde descargamos el archivo con el comando wget Posteriormente nos ubicamos en el directorio creado tar zxvf swish e 2 4 5 tar gz cd swish e 2 4 5 P g 8 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Swish e OX i E rchivo Editar Ver Lugares Ayuda gt swish e 2 4 5 swish e 2 4 5 tar gz E Swish e v 2 elementos espacio libre 118 0 Gib e Compilaci n e instalaci n de Swish e en este paso compilados el c digo f
6. swish cgi o HTML FilllnForm HTML FillinForm Utilizada para manejar plantillas web durante la presentaci n de resultados Para instalar estas librer as solo se requiere ejecutar los siguientes comandos desde una terminal consola de comandos perl MCPAN e install LWP perl MCPAN e install URI perl MCPAN e install Bundle LWP perl MCPAN e install MIME Type perl MCPAN e install Template perl MCPAN e install HTML FilllnForm perl MCPAN e install Test More perl MCPAN e install Spreadsheet ParseExcel perl MCPAN e install HTML Entities Adicionalmente se recomienda instalar las siguientes librer as que incorporar procedimientos especializados para trabajar con documentos indizados con Swish e perl MCPAN e install FswrsH api perl MCPAN e install FswrsH apr More P g 11 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica e Instalando las librer as para PHP El objetivo de utilizar el lenguaje de programaci n PHP para hacer b squedas en los ndices de Swish e est n dados en la facilidad para crear un cat logo muy completo y funcional aprovechando la robustez de este lenguaje de programaci n para instalar las librer as de PHP que permitan interactuar con Swish e ejecute los comandos listados a continuaci n e In
7. 46 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Existen m ltiples alternativas para crear un cat logo Web que permita recuperar los contenidos indizados por Swish e en este caso se han optado por desarrollar dos alternativas de trabajo e Utilizar los Scripts de PERL suministrados por el mismo programa Swish e los cuales se encuentran en la ruta usr local lib swish e los archivos creados para este ejemplo se pueden ver en http bomarzo rec usal es swish e trabajo5 cgi swish e e Utilizar las librer as instaladas de PHP y crear un cat logo a partir de estas los archivos creados para este ejemplo se pueden ver en http bomarzo rec usal es swish e trabajo5 catalogo PHP Para este trabajo se decidi utilizar una colecci n compuesta por 41 documentos que corresponden con p ginas web estas corresponden con las p ginas iniciales portadas de recursos en educaci n principalmente los sitios de los ministerios de educaci n de los pa ses iberoamericanos Los archivos se encuentran ubicados en la ruta var www html swish e trabajo5 Coleccion Estos documentos pueden ser visualizados en Internet mediante la direcci n htto bomarzo rec usal es swish e trabajo5 Colecci n Propiedades de Coleccion B sico Emblemas Permisos Abrir con Notas Nombre Coleccion Tipe carpeta Contenido 41 eleme
8. DOC UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Actualmente la descarga de Catdoc un software libre creado por un inform tico ruso incorpora tambi n la de xls2csv y catppt dirigidos a extraer el texto contenido en los documentos Excel y Powerpoint respectivamente root bomarzo Swish e yum install catdoc i386 Setting up Install Process Parsing package install arguments Resolving Dependencies gt Running transaction check gt Package catdoc i386 0 0 94 2 3 fc7 set to be updated gt Finished Dependency Resolution Dependencies Resolved Package Arch Version Repository Size Installing catdoc i386 0 94 2 3 fc7 updates 120 k Transaction Summary Install 1 Package s Update 0 Package s Remove 0 Package s Total download size 120 k Is this ok y N y Downloading Packages 1 1 catdoc 0 94 2 3 fc 100 120 kB 00 00 Running rpm_check_debug Running Transaction Test Finished Transaction Test Transaction Test Succeeded Running Transaction Installing catdoc FABRA 1 1 Installed catdoc i386 0 0 94 2 3 fc7 Complete Pag 5 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica e Instalamos el programa unrtf UNRTF es un programa que permite convertir ar
9. aachca aactualizar aaplicada aarhus aas aan ab aba abad abajo abandona abandonada abandonadas abandonado abandonados abandonan abandonando abandonar abandoned abandonen abandono abanico abaratar abarbanel abarc abarca abarcadas e B squeda por Frase en este caso se utilizar el operador de frase para buscar un texto especifico en la colecci n B squeda por frase utilizando comillas swish e f indice index w El Presidente de la Republica En esta b squeda se puede observar que se recuperan todo tipo de documentos HTML RTF DOC PDF etc los resultados generados se presentan a continuaci n SWISH format 2 4 5 Search words El Presidente de la Republica Removed stopwords Number of hits 76 Search time 0 020 seconds Run time 0 030 seconds 1000 var www html swish e trabajo3 Coleccion SENTENCIA LEY DE GARANTIAS rtf 1 1593325 889 var www html swish e trabajo3 Coleccion SENTENCIAS CORTE CONSTITUCIONAL CARGOS DE ACCESO doc SENTENCIAS CORTE CONSTITUCIONAL CARGOS DE ACCESO doc 220672 861 var www html swish e trabajo3 Coleccion CONTROL INTERNO NORMAS CONTROL INTERNO Ley 42 de 1993 rtf D O CXXVIII No 40732 enero 27 1993 P 1 65448 852 var www html swish e trabajo3 Coleccion NORMATIVA DE GLP LEY 142 94 CONCORDADA pdf LEY 142 94 CONCORDADA doc 797184 Pag 39 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Info
10. autoridades ambientales consultores beneficiarios de los proyectos y contratistas entre otros se enmarca en el objet http www minambiente gov co prensa publicaciones guias_amb Registro Completo El agua en el desierto planeaci n sustentable y uso racional del agua El Foro explica el consumo del agua en las zonas des rticas del estado de M xico http 148 201 94 3 8991 F 9func direct t_base ITE01 amp doc_numb Generaci n El ctrica con Energ a E lica Presente y Futuro ee Registro An lisis de situaci n y prospectiva de nuevas tecnolog as energ ticas Es el primer libro de 4 Completo una serie que estamos preparando y que recoge las reflexiones surgidas tras la celebraci n de lal Jor Internet Protected Mode Off Los archivos se encuentran ubicados en la ruta var www html swish e trabajo3 Coleccion Estos documentos pueden ser visualizados en Internet mediante la direcci n http bomarzo rec usal es swish e trabajo3 Colecci n P g 31 SEs tore UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Nombre vw Tama o lt www gt cgi bin gt error Y html gt catalis cwis docuwiki ES joomla ocs a swish e Y Coleccion CONSULTAS CONTROL INTERNO dd 77 Y YY documentos gas natural Leyes y Decretos mme NORMATIVA DE GLP Bana paginas co
11. diferentes caracter sticas lo m s recomendable es elaborar un archivo de configuraci n que se adecue a la colecci n y permita optimizar el entorno de trabajo y la posterior recuperaci n de los documentos asociados Un archivo de configuraci n no es m s que un archivo de texto donde se especifican un grupo de par metros al programa Swish e estos par metros generalmente se escriben mediante la expresi n Par metro valor asociado Un listado completo de los par metros de configuraci n de Swish e se pueden encontrar en http swish e org docs swish config html Un ejemplo de un archivo b sico de configuraci n se muestra a continuaci n Rabinowitz Josh How to Index Anything Linux Journal Julio 2003 lt http www linuxjournal com article 6652 gt P g 17 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Ejemplo Basico del archive de configuraci n El indice se llamara prueba1 index IndexFile var www html swish e Varios_Formatos prueba1 index Definir la ruta de los archivos a indizar IndexDir puede contener un directorio o un listado de archivos IndexDir var www html swish e Varios_Formatos Indizar nicamente archivos html IndexOnly html Muestre informaci n b sica del proceso de indizaci n IndexReport 1 En este caso se han utilizado los siguientes par metros e IndexFil
12. gt Anales de Documentaci n Revista de Biblioteconom a y Documentaci n lt title gt lt head gt 3 Colaboradores de Wikipedia Archivo binario en l nea Wikipedia La enciclopedia libre 2008 fecha de consulta 28 de febrero del 2008 Disponible en lt http es wikipedia org w index php title Archivo_binario amp oldid 15467087 gt CALLAN J Passage level evidence in document retrieval Conference on Research and Development in Information Retrieval Dublin 1994 Macleod I Storage an retrieval of structured documents Information Processing and Managements 26 2 1990 SALTON G ALLAN J y BUCKLEY C Approach to passage retrieval in full text information systems Conference on Research and Development in Information Retrieval Pittsburgh 1993 5 Garc a Martinez Ana Maria Definici n y estilo de los objetos de informaci n digitales y metadatos para la descripci n Universidad de Extremadura Bolet n de la Asociaci n Andaluza de Bibliotecarios n 63 Junio 2001 pp 23 47 P g 20 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica e El uso de las meta etiquetas en la cabecera de las paginas web contribuye a mejorar la descripci n del documento por medio del uso de sus metadatos aunque el uso de estas metaetiquetas no es muy extendido en los sitios web cuando se usan generalmente est n nor
13. http bomarzo rec usal es swish e trabajo5 IndexAdmin SIB Manager felipe gomez3 gmail com HH Par metros del Sistema HH FEE A Tomando los indices en la carpeta donde estan ubicadas las colecciones El indice se llamara indice index index swish e IndexFile var www html swish e trabajo5 indice index Selecciono los directorios donde se haran las indizaciones de documentos IndexDir var www html swish e trabajo5 Coleccion Pag 48 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica OJO en la variable swishdocpath quito la ubicacion fisica del doc y solo dejo el nombre del archivo ReplaceRules remove var www html Corresponde con los tipos de archivos nicos Por defecto que debe indizar DefaultContents HTML IndexOnly htm html Seguir enlaces simb licos FollowSymLinks yes Almaceno una peque a parte del documento en el indice los primeros 500 caracteres StoreDescription HTML lt body gt 200 convierto las entidades amp en caracteres indizables ConvertHTMLEntities yes Aplico cuales caracteres entidades deben ser transformados esto generar todos los t rminos en Min sculas ed Sak TranslateCharacters a i6UAEIOUUU aeiouaeiouuu Agrego el listado de palabras vacias IgnoreWords var www html swish e trabajo5 vacias txt Selecciono una t cnica de
14. l var www html swish e Solo_Texto Coleccion Indexing Data Source File System Indexing var www html stan e Solo_Texto Colecci n Removing very common words no words removed Writing main index Sorting words Sorting 5 462 words alphabetically Writing header Writing index entries Writing Ust text Complete Writing Ust hash Complete Writing Ust data Complete 5 462 unique words indexed 4 properties sorted 100 files indexed 158 058 total bytes 24 954 total words Elapsed time 00 00 00 CPU time 00 00 00 Indexing done Un listado completo de los par metros de ejecuci n de Swish e mediante la l nea de comandos se puede encontrar en http swish e org docs swish run html Observe que aparecen dos archivos los cuales contienen todos los t rminos de indizaci n encontrados por defecto el programa Swish e nombra los archivos de ndices como index swish e index swish e prop y los ubica en el directorio P g 16 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica donde fue ejecutado el aplicativo la siguiente figura ilustra el proceso de indizaci n de Swish e con unos archivos HTML y la generaci n de los archivos de ndices asociados SWISH E CONFIG En el caso que la colecci n sea un poco m s compleja y esta maneje m ltiples tipos formatos de archivo con
15. libre de e copiar distribuir y comunicar p blicamente la obra e hacer obras derivadas e hacer un uso comercial de esta obra Bajo las condiciones siguientes BY Reconocimiento Debe reconocer los cr ditos de la obra de la manera especificada por el autor o el licenciador e Al reutilizar o distribuir la obra tiene que dejar bien claro los t rminos de la licencia de esta obra e Alguna de estas condiciones puede no aplicarse si se obtiene el permiso del titular de los derechos de autor Los derechos derivados de usos leg timos u otras limitaciones reconocidas por ley no se ven afectados por lo anterior Esto es un resumen f cilmente legible del texto legal la licencia completa P g 59
16. medio de un archivo de configuraci n se ha optado por utilizar un programa externo llamado HTTrack HTTrack http www httrack com es una aplicaci n inform tica de Software libre con licencia GPL multilenguaje y multiplataforma que act a como un navegador Offline cuyo fin es la captura Web este programa permite descargar p ginas web en el disco duro para luego poder navegar por ellas sin tener que estar conectado a Internet Con HTTrack se puede descargar un sitio entero de Internet esta descarga puede incluir las p ginas HTML im genes directorios y otros archivos P g 41 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica que se encuentren referenciados en las p ginas descargadas HTTrack mantiene la estructura de enlaces del sitio original y permite navegar por el sitio descargado como si del sitio original se tratase Normalmente este tipo de programas distinguen entre enlaces internos enlaces a archivos contenidos en el mismo sitio web de la p gina inicial y externos enlaces a archivos contenidos en otros sitios web Para el trabajo se decidio tomar el sitio de exlibris como pundo de partida de indexador y se ha configurado para que realice busqueda en prufundidad de seis niveles y tome todos los contenidos externos vinculados desde este sitio hasta completar los niveles se alados esto se realiz mediante la si
17. que este texto corresponder a con t rminos especiales en el documento que tienen un mayor significado respecto al texto convencional El documento de configuraci n generado para indicar la colecci n de documentos HTML que se encuentra en var www html swish e trabajo1 http bomarzo rec usal es swish e trabajo1 se presenta a continuaci n Configuraci n Trabajo 1 Indizando archivos de marcas Configuraci n Trabajo 1 Indizando archivos de marcas Pag 22 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Versi n 1 0 Licencia MPL 1 1 GPL 2 0 LGPL 2 1 Desarrollo del archivo de configuraci n del punto 1 1 Ventajas o no de trabajar directamente con ficheros html o de convertir esos ficheros html primero a texto puro y luego trabajar con este texto La respuesta debe ir acompa ada de la soluci n pr ctica con una peque a colecci n de documentos en la que tengamos ambas situaciones y la soluci n de indizaci n planteada Las consultas realizadas deben dejar constancia de las ventajas o no del sistema Realizado por Laureano Felipe Gomez Due as Universidad de Salamanca 2008 END LICENSE BLOCK HH Informaci n del Script FETEEET EE HE THEE TE TTT TE TE TE EET TE TE TE TE TTT TTT TA A
18. rminos f index swish e aunque solo es obligatorio si el nombre del ndice no es el asignado por defecto Para hacer una b squeda en la colecci n que previamente se ha indizado se utiliza la opci n w posteriormente se coloca la expresi n de b squeda swish e f index swish e w talando SWISH format 2 4 5 Search words talando Removed stopwords Number of hits 1 Search time 0 000 seconds Run time 0 011 seconds 1000 var www html swish e Solo_Texto Coleccion 221 txt 221 txt 3423 Indizando distintos formatos de archivos Swish e es netamente un sistema indizador de archivos de texto Los archivos de texto plano en ingl s plain text son aquellos que est n compuestos nicamente por texto sin formato s lo caracteres Estos caracteres se pueden codificar de distintos modos dependiendo de la lengua usada Algunos de los sistemas de codificaci n m s usados son ASCII ISO 8859 1 o Lat n 1 Unicode etc Aunque Swish e indiza archivos de texto el programa provee una gran alternativas de opciones para indizar texto que incluya marcas documentos 2 Colaboradores de Wikipedia Archivo de texto en l nea Wikipedia La enciclopedia libre 2008 fecha de consulta 29 de febrero del 2008 Disponible en lt http es wikipedia org w index php title Archivo_de_texto amp oldid 15484971 gt Pag 19 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sis
19. robots txt to h ttp www usal es robots txt 19 41 49 Warning Redirected link is identical because of URL Hac k option www3 usal es socrates and www usal es socrates 19 41 49 Warning File has moved from www3 usal es socrates to h ttp www usal es socrates El archivo de configuraci n utilizado para realizar la indizaci n de los contenidos antes mencionados trabajo4 config contiene las siguientes instrucciones Versi n 1 0 Licencia MPL 1 1 GPL 2 0 LGPL 2 1 Desarrollo del archivo de configuraci n del punto 3 4 Esta cuesti n es optativa Preparar swish e para poder realizar una recogida de informaci n con el spider Podemos tener la posibilidad de usar el spider de swish e y en este caso debemos P g 43 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica ajustar la configuraci n para poder hacer una buena recogida o bien podemos utilizar un crawler externo descargar las p ginas deseadas y sobre ellas realizar el proceso de indicaci n y consulta Hay que entregar todos los datos utilizados ficheros ndices ficheros de configuraci n consultas realizadas etc Realizado por Laureano Felipe Gomez Due as Universidad de Salamanca 2008 END LICENSE BLOCK Ht Informaci n del Script TIRARON EE RARA AHH
20. so 8 manual pages Build complete Don t forget to run make test running make INSTALL_ROOT var tmp pear build root install swish 0 3 0 install Installing shared extensions var imp pear build root install swish 0 3 0 usr lib php modules running find var tmp pear build root install swish 0 3 0 Is 28377401 8 drwxr xr x 3root root 4096 mar 11 12 30 var tmp pear build root install swish 0 3 0 28377422 8 drwxr xr x 3root root 4096 mar 11 12 30 var tmp pear build root install swish 0 3 0 usr 28377423 8 drwxr xr x 3root root 4096 mar 11 12 30 var tmp pear build root install swish 0 3 0 usr lib 28377424 8 drwxr xr x 3root root 4096 mar 11 12 30 var tmp pear build root install swish 0 3 0 usr lib php 28377425 8 drwxr xr x 2root root 4096 mar 11 12 30 var tmp pear build root install swish 0 3 0 usr lib php modules 28377421 68 rwxr xr x 1 root root 58030 mar 11 12 30 var tmp pear build root install swish 0 3 0 usr lib php modules swish so Build process completed successfully Installing usr lib php modules swish so install ok channel pecl php net swish 0 3 0 configuration option php_ini is not set to php ini location You should add extension swish so to php ini Complete Ahora solo se debe editar el archivo php ini que se encuentra en la ruta etc php ini y agregar la siguiente linea en el apartado de extensiones dinamicas extension swish so Pag 14 Saar oe Dever wi UNIVER
21. swishdocpath returned by swish This is used to make the href link back to the original document Comment out to disable prepend_path gt http bomarzo rec usal es This is the property that is used for the href link back to the original document It s swishdocpath by default Pag 52 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica link_property gt swishdocpath Para ajustar los enlaces a los documentos cuando se presentan los resultados de busqueda en el cat logo se requiere ajustar las variables prepend_path y link_property tal como se muestra en la tabla anterior la primera variable contiene la ruta L gica Web donde se encuentran los documentos mientras que la segunda contiene la ubicaci n de los documentos indizados seg n los par metros dados por el archivo de configuraci n IndexDir y ReplaceRules remove Cat logo en PHP En la p gina http es2 php net manual es ref swish php puede consultar todas las funciones que se pueden incorporar en los scripts web al utilizar la librer a PHP Swish e En este ejemplo se ha trabajado con dos archivos e catalogo html Corresponde a un p gina Web sencilla que contiene un formulario con una caja de b squeda la cual al ser ejecutada invoca a la p gina din mica buscar php P g 53 UNIVERSIDAD DE LA SALLE Educ
22. y etiquetas de nfasis visual negrillas italicas subrayados etc P g 40 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica swish e f indice index tthe w agua En este caso se observa que nicamente recupera archivos HTML los resultados generados se presentan a continuaci n SWISH format 2 4 5 Search words agua Removed stopwords Number of hits 1 Search time 0 000 seconds Run time 0 012 seconds 1000 var www html swish e trabajo3 Coleccion SENTENCIA DEBIDO PROCESO t 270 04 htm t 270 04 htm 934567 Indizando contenido externo Spidering Un Spidering se puede definir como un proceso por el que un aplicativo denominado ara a recopila informaci n de m ltiples sitios en Internet para su almacenamiento hasta que un indizador procesos utiliza esta informaci n recolectada para su posterior b squeda y recuperaci n Para este trabajo los archivos de configuraci n y la colecci n de documentos se encuentra ubicados en la ruta var www html swish e trabajo4 Estos documentos pueden ser visualizados en Internet mediante la direcci n http bomarzo rec usal es swish e trabajo4 Aunque Swish e contiene un m todo para leer directamente documentos de Internet leerlos e indizarlos spidering tal como lo har a un sistema crawler ya sea desde la l nea de comandos 6 por
23. IndexName Trabajo1 IndexDescription Este ndice corresponde a una colecci n de documentos HTML IndexPointer http bomarzo rec usal es swish e trabajo1 IndexAdmin SIB Manager felipe qgomez30 gmail com H HH Par metros del Sistema HH HH RRE ARRERER PERRERA FERRERA AHA EEE AEREA FERRER AEREA Tomando los ndices en la carpeta donde est n ubicadas las colecciones El ndice se llamara indice index index swish e IndexFile var www html swish e trabajo1 indice index Selecciono los directorios donde se har n las indizaciones de documentos IndexDir var www html swish e trabajo1 Coleccion Corresponde con los tipos de archivos nicos que debe indizar IndexOnly htm html P g 23 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Seguir enlaces simb licos FollowSymLinks yes Almaceno una peque a parte del documento en el ndice las primeras 500 letras StoreDescription HTML lt body gt 500 convierto las entidades amp en caracteres indizables ConvertHTMLEntities yes Aplico cuales caracteres entidades deben ser transformados testo generar todos los t rminos en Min sculas TranslateCharacters a ioUAEIOUUU aeiouaeiouuu Agrego el listado de palabras vacias IgnoreWords var www html swish e trabajo1 vacias txt Selecciono una t cnica de an lisis se
24. IndexName Trabajo4 IndexDescription Este indice corresponde a una colecci n creada por el programa HTTRACK IndexPointer http bomarzo rec usal es swish e trabajo4 IndexAdmin SIB Manager felipe gomez3 gmail com Par metros del Sistema H FAA EAA AEH AEA AEE AEA A AE HHRH EA A EE EE A PERRA HHRHH HHHHHHH Tomando los indices en la carpeta donde estan ubicadas las colecciones El indice se llamara indice index index swish e IndexFile var www html swish e trabajo4 httrack index Selecciono los directorios donde se haran las indizaciones de documentos IndexDir var www html swish e trabajo4 httrack Aplico cuales caracteres deben ser transformados esto generar todos los t rminos en Minusculas a TranslateCharacters a i6UAEIOUUU aeiouaeiouuu Agrego el listado de palabras vacias Supercompleto IgnoreWords var www html swish e trabajo4 vacias txt Selecciono cuales son los caracteres indizables WordCharacters ABCDEFGHIJKLMNNOPQRSTUVWXY ZabcdefghijkImn opqrstuvwxyz No Selecciono ninguna t cnica de an lisis sem ntico de t rminos FuzzylndexingMode Stemming_es Pag 44 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Seleccionos los diferentes formatos de archivo que se deben incluir en el indice IndexContents TXT pdf doc xls ppt log IndexContents HTML h
25. Last 90 Days This Month Last Month Select Date Range Apr 1 v 2008 through Apr 1 2008 i 1 Listado a z de recursos electr nicos rank 1000 Tama o Documento 21655 Ultima Fecha Modificaci n 2008 03 13 01 48 53 CET I Ubicaci n del Documento var www html swish e trabajo5 Coleccion Recursos ElectrA nicos CarlolILhtm M 2 Ministerio de EducaciA2n PA blica de la RepA blica de Costa Rica rank 1000 fie Ultima Fecha m aii Modificaci n 2008 03 13 01 48 31 CET Tama o Documento 37923 pS n Jvar www html swish e trabajo5 Coleccion Ministerio de EducaciA n PA blica de la RepA blica de Costa i Ubicaci n del Documento pi hi 3 bsysnet com Weblogs rank 772 m ltima Fecha Modificacion 2008 03 13 01 48 54 CET Tama o Documento 26605 el Ubicaci n del Documento var www html swish e trabajo5 Coleccion recweblogs html 4 Portal de revistas electr nicas de la UCM rank 526 Done E Internet Protected Mode Off E 100 a eal Cuando se desee cambiar la interfaz del cat logo web traducir alguno de sus componentes solamente hay que modificar el archivo swish cgi mediante el uso de un editor de texto para obtener mayor informaci n de los par metros que componen este script se puede consultar la documentaci n que se encuentra en http swish e org docs swish cgi html prepend this path to the filename
26. N var www cgi bin Una vez ubicado el directorio de scripts se debe copiar a este el archivo swish cgi el cual est ubicado en los archivos por defecto de instalaci n del Swish e en este caso se encuentra instalado en la ruta usr local lib swish e Para copiar los archivos simplemente se ejecuta el comando CP asi cp usr local lib swish e swish cgi var www cgi bin Una vez copiado el archivo swish cgi en el directorio de los scripts CGI BIN se puede comprobar la interfaz del buscador proporcionada por el programa para esto hay que dirigirse al siguiente URL http bomarzo rec usal es cgi bin swish cgi Pag 50 Leer wi UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica r Busqueda en Swish e Windows Internet Explorer JJ 3 ele ele X le http bomarzo rec usal es cgi bin swish cgi v 4 X Googie hd p w oe Busqueda en Swish e fer v dah v Page v Tools v gt SWISH E Busqueda en Swish e Search Limit search to Titulo amp Cuerpo Titulo Ubicaci amp oacute n del Documento Sort by Rank Reverse Sort Limit to All Today Yesterday This Week Last Week Last 90 Days This Month Last Month Select Date Range Apr 1 v 2008 v through Apr y 1 y 2008 Powered by Swish e swish e org WSC Inte
27. Portal de revistas electr nicas de la UCM 54136 333 var www html swish e trabajo1 Coleccion La educaciA n en medios_ Webs para universitarios recursos educativos html La educaciA n en medios Webs para universitarios recursos educativos 33448 333 var www html swish e trabajo1 Coleccion Ministerio de EducaciA n y Ciencia htm Ministerio de Educaci n y Ciencia 15220 333 var www html swish e trabajo1 Coleccion ASOCIACIONES ESTUDIANTES HUMANIDADES EDUCACION ESTUDIOS htm ASOCIACIONES ESTUDIANTES HUMANIDADES EDUCACION ESTUDIOS 43190 333 var www html swish e trabajo1 Coleccion Recursos educativos 2 htm Recursos educativos 19112 333 var www html swish e trabajo1 Coleccion ENLACES EDUCATIVOS htm ENLACES EDUCATIVOS 110592 g 333 var www html swish e trabajo1 Coleccion _ SecretarA a de EducaciA n de Honduras _ htm Secretar a de Educaci n de Honduras 59943 333 var www html swish e trabajo1 Coleccion Educasites htm Educasites net Gu a de Recursos Educativos 53577 Sin embargo si aprovechamos las marcas presentes en los documentos HTML XML en concreto sobre las meta etiquetas se puede buscar un documento especializado en cuyo titulo aparezca el t rmino listado solo nos recupera 1 documento root bomarzo trabajo1 swish e f indice index w title listado SWISH format 2 4 5 Search words title listado Removed stopwords Number of hits 1 Search time 0 000 seconds
28. SIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Dynamic Extensions extension swish so Una vez agregada esta l nea se puede observar en la informaci n proporcionada por el PHP que ha agregado informaci n sobre el programa Swish e System Linux bomarzo rec usal es 2 6 23 15 80 fc7 1 SMP Sun Feb 10 17 29 10 EST 2008 i686 Build Date Sep 18 2007 08 52 27 configure build i386 redhat linux gnu host i386 redhat linux gnu target i386 redhat linux gnu program prefix prefix usr exec prefix usr bindir usr bin sbindir usr sbin sysconfdir etc datadir usr share includedir usr include libdir usr lib libexecdir usr libexec localstatedir var sharedstatedir usr com mandir usr share man _ infodir usr share info cache file config cache with libdir lib with config file path etc with config file scan dir etc php d disable debug with pic disable rpath without pear with bz2 with curl with exec dir usr bin with freetype dir usr with png dir usr enable gd native ttf without gdbm with gettext with gmp with iconv with jpeg dir usr with openssl with png with pspell with expat dir usr with pcre regex usr with zlib with layout GNU enable
29. Setting up Install Process Parsing package install arguments Resolving Dependencies gt Running transaction check gt Package xpdf i386 1 3 02 4 fc7 set to be updated gt Processing Dependency libXm so 2 for package xpdf gt Processing Dependency libt1 so 5 for package xpdf gt Processing Dependency poppler utils for package xpdf gt Running transaction check gt Package poppler utils i386 0 0 5 4 8 fc7 set to be updated gt Package t1lib i386 0 5 1 1 7 fc7 set to be updated gt Package lesstif i386 0 0 95 0 20 fc7 set to be updated gt Processing Dependency libXp so 6 for package lesstif gt Running transaction check gt Package libXp i386 0 1 0 0 8 set to be updated gt Finished Dependency Resolution Dependencies Resolved Package Arch Version Repository Size Installing xpdf i386 1 3 02 4 fc7 updates 1 1 M Installing for dependencies lesstif i386 0 95 0 20 fc7 updates 745 k libXp i386 1 0 0 8 fedora 22k poppler utils i386 0 5 4 8 fc7 updates 75k tilib i386 5 1 1 7 fc7 updates 194 k Transaction Summary Install 5 Package s Update 0 Package s Remove 0 Package s Total download size 2 1 M Is this ok y N y Downloading Packages 1 5 lesstif 0 95 0 20 100 745 kB 00 00 Pag 7 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y
30. UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica MEMORIAS DE PR CTICAS EN EL USO DEL INDIZADOR SWISH E SISTEMAS DE INDIZACI N Y RECUPERACI N DE LA INFORMACI N DIGITAL Desarrollado Por Laureano Felipe G mez D felipe gomez3 Wgmail com UNIVERSIDAD DE LA SALLE 2009 P g 1 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Proyecto de Asignatura MEMORIAS DE PR CTICAS DE USO DEL INDIZADOR SWISH E ASIGNATURA RECUPERACI N DE LA INFORMACI N DIGITAL AUTOR ES Laureano Felipe G mez Due as felipe gomez3Wgmail com FECHA DE ELABORACION NOTAS ADICIONALES PALABRAS CLAVES Sistemas de Recuperaci n de la Informaci n Indizadores Software Libre INDICE GENERAL Intro dUCCI Nc di id 3 Qu es MISMO cn a natillas 3 Instalaci n de Swish e en Fedora Core 7 cooocccccccccnccnoncncconnnnnnnnnnnnnnnnanonnnnncnonacinnnnns 3 Comenzando CON SWISH C ccececeeceeeecceecceeecccececnececeeeecnseeeneeeeeeeecneeneneeneeeeneses 16 Indizando distintos formatos de archivos occccocncnccnoncccnonacinnnnnnnnnnoncnononananonaninnns 19 Buscando en Varias Colecciones Simult neamente ooooonccccnnccccccoccncnnncninnnnanananos 26 Utilizando una colecci n m s COM Pl Ope ocre eiii ii 30 Parametrizando la colecc
31. an lisis sem ntico de t rminos FuzzyIndexingMode Stemming_es Ahora especifico las meta etiquetas a incluir en el indice MetaNames author description title swishdocpath swishtitle Por defecto no indizo otras meta etiquetas UndefinedMetaTags ignore N tese que se han agregado un nuevo par metro llamado ReplaceRules remove el cual nos permite modificar los valores de la variable swishdocpath variable de indizaci n asociada a los documentos removiendo algunos texto fijos que contienen datos de la ubicaci n FISICA de los documentos que no son tiles en el momento de visualizarlos LOGICAMENTE v a Web Una vez creado los ndices se proceder a configurar el servidor web n tese que Swish e no incluye un servidor Web este debe estar previamente instalado en el equipo donde se desea configurar el cat logo web se recomienda utilizar el servidor WEB APACHE en este caso en FEDORA viene pre instalado el servidor web la ruta donde se encuentran las p ginas WEB es var www html Pag 49 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Cat logo con Scripts en PERL Para utilizar el sistema de b squeda por defecto de Swish e basado en scripts CGI de PERL se requiere utilizar un directorio que permita la ejecuci n de scripts El directorio por defecto de APACHE donde se encuentran los scripts web es CGI BI
32. ar en cada documento Adicionalmente debido a la complicada estructura sem ntica del castellano considero que esta t cnica no mejora substancialmente la recuperaci n y si aumenta el ruido en los documentos recuperados tal como lo presentan Mari Vallez y Rafael Pedraza Jimenez estos algoritmos presentan el inconveniente de no agrupar en ocasiones palabras que deber an estarlo y viceversa mostrar como iguales palabras que realmente son distintas 8 Mari Vallez y Rafael Pedraza Jimenez El Procesamiento del Lenguaje Natural en la Recuperaci n de Informaci n Textual y reas afines on line Hipertext net n m 5 2007 lt http www hipertext net gt Consulta 21 02 2008 ISSN 1695 5498 P g 35 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica El archivo de configuraci n generado para la colecci n de prueba es el siguiente Versi n 1 0 Licencia MPL 1 1 GPL 2 0 LGPL 2 1 Desarrollo del archivo de configuraci n del punto 3 3 Crear una colecci n documental entorno a unos 100 ficheros con diferentes situaciones documentos pdf doc html txt a lo mejor en diferentes idiomas etc y plantear el fichero de configuraci n ideal para dar adecuada soluci n a la indizaci n Crear diferentes preguntas algunas muy complejas que demuestren que efectivamente se ha dado soluci n a los
33. ar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Te Busqueda en Swish e Windows Internet Explorer Ee E er le http bomarzo rec Se es swish efirabajo cataloge Bea e e we de e Busqueda en Swish e Dr ADO gt v ssp Page v Tools y soris Busqueda en Swish e utilizando PHP D l Search Powered by Laureano Felipe G mez WSC Internet Protected Mode Off R 100 e buscar php Esta p gina recibe un par metro con la expresi n de b squeda y se encarga de abrir los ndices de la colecci n desarrollada y realizar la b squeda sobre los mismos si encuentra resultados los muestra en pantalla en forma de fichas tablas con los siguientes campos T tulo ubicaci n ranking y posici n de b squeda El archivo buscar php contiene las siguientes instrucciones lt php Airaigo variable por GET query _GET query pregunto si viene algo de lo contrario lo envi a catalogo html if IOS query header location http bomarzo rec usal es swish e trabajo5 catalogo_PHP catalogo html defino variables Ivariable del for UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica i 0 variables de resultados result NULL variable d
34. cas pueden ser descargados desde http bomarzo rec usal es swish e a continuaci n encontrar un resumen del contenido de estos directorios Asolo Texto 10 Mar 2008 19 01 Ejemplos de indizaci n b sica archivos Texto Plano TXT Ovarios Formatos 11 Mar 2008 12 51 Ejemplos de indizaci n b sica varis formatos de archivos trabajo1 12 Mar 2008 19 35 kd Corresponde con el primer trabajo en el que se solicita indizar paginas HTML y hacer b squedas sobre su estructura trabajo2 12 Mar 2008 19 46 kd Corresponde con el segundo trabajo en el cual se realiza la b squeda sobre varias colecciones documentales simultaneamente trabajo3 12 Mar 2008 23 55 G3 Corresponde con el tercer trabajo en el cual se crea una colecci n compleja que contiene multiples formatos de archivos con una organizaci n jerarquica trabajo4 13 Mar 2008 01 43 kd Corresponde con el cuarto trabajo en el cual se ha utilizado un SPIDER para indizar contenido externo que luego es indizado por Swish e trabajo5 13 Mar 2008 01 49 kd Corresponde con el quinto trabajo en el cual se solicita realizar un cat logo WEB para consultar los archivos P g 58 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Licencia de este documento Eosreative commons COM ONS D EED Reconocimiento 2 5 Usted es
35. chivos RTF a varios formatos entre ellos HTML root bomarzo trabajo2 yum install unrtf i386 Setting up Install Process Parsing package install arguments Resolving Dependencies gt Running transaction check gt Package unrtf i386 0 0 20 2 2 fc7 set to be updated gt Finished Dependency Resolution Dependencies Resolved Package Arch Version Repository Size Installing unrtf i386 0 20 2 2 fc7 fedora 40 k Transaction Summary Install 1 Package s Update 0 Package s Remove 0 Package s Total download size 40 k Is this ok y N y Downloading Packages 1 1 unrtf 0 20 2 2 fc7 100 40kB 00 00 Running rpm_check_debug Running Transaction Test Finished Transaction Test Transaction Test Succeeded Running Transaction Installing unrtf HHA 1 1 Installed unrtf i386 0 0 20 2 2 fc7 Complete e Instalamos los utilitarios xpdf Xpdf es un visor para el Formato Portable de Documento PDF libre de Adobe que es r pido peque o y viene con algunas utilidades en l nea de comandos El paquete Xpdf contiene xpdf P g 6 Educar para Pensar Decidir y Servir UNIVERSIDAD DE LA SALLE Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica pdftops pdftotext pdftopbm pdffonts pdfimages y pdfinfo algunas de estas utilidades los utilizaremos para extraer el texto de los archivos PDF root bomarzo Swish e yum install xpdf
36. chivos organizados en 58 directorios k Type Location Size Size on disk Contains Created Attributes J Coleccion Properties General Sharing Securty Customize Coleccion File Folder CASWISH E 188 MB 197 808 943 bytes 190 MB 199 315 456 bytes 687 Files 58 Folders Yesterday March 09 2008 10 11 30 PM il Read only Advanced E Hidden e Los archivos ocupan 197 808 943 bytes 188 MB e Contiene diferentes tipos de formatos de archivos con las siguientes caracter sticas Formato Cantidad Peso Documentos de texto enriquecido RFT 8 2 90 MB 8 045 784 bytes Presentaciones en PowerPoint PPT 5 3 50 MB 38 675 648 bytes Imagenes Digitalizadas TIFF 7 9 33 MB 9 792 848 bytes Pag 33 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Archivos de paginas Web complementarias 6 2 38 MB 2 506 540 MHTML MHTML significa MIME HTML bytes Multipurpose Internet Mail Extension HTML o en espa ol protocolo de transferencia de hipertexto Multiuso de la Extensi n del Correo del Internet Es un est ndar para incluir recursos que en paginas HTTP usualmente Ist n enlazados externamente tal como los archivos de im genes y sonido en el mismo archivo como el C digo de Protocolo de Transferencia de Hipertexto
37. cidimos crear una directorio llamado Swish e en el directorio por defecto del usuario root root Swish e para lo cual ejecutamos el siguiente comando en una sesi n de terminal consola de comandos y luego nos ubicamos en este directorio root localhost mkdir root Swish e root localhost cd root Swish e e Descargamos el aplicativo Swish e Para esto vamos a utilizar el comando wget el cual nos provee un mecanismo de interacci n con los sitios web mediante una l nea de comandos wget http swish e org distribution swish e 2 4 5 tar gz El root bomarzo Swish e lie Archivo Editar Wer Terminal Solapas Ayuda root bomarzo mkdir root Swish e root bomarzo cd Swish e root bomarzo Swish e wget http swish e org distribution swish e 2 4 5 tar g z 12 19 26 http swish e org distribution swish e 2 4 5 tar gz gt swish e 2 4 5 tar gz Resolviendo swish e org 70 42 42 162 Connecting to swish e org 70 42 42 162 80 conectado Petici n HTTP enviada esperando respuesta 200 OK Longitud 1 474 881 1 4M application x gzip 100 1 474 881 416 98K s ETA 00 00 12 19 30 416 01 KB s swish e 2 4 5 tar gz saved 1474881 1474881 root bomarzo Swish e J e Instalamos el programa catdoc Catdoc es un programa que lee uno o m s archivos de Microsoft Word y saca el contenido del texto dentro de ellos este programa los utilizaremos para indizar archivos
38. compilar agregar e instalar en nuestro PHP pecl install channel pecl php net swish 0 3 0 root bomarzo pecl install channel pecl php net swish 0 3 0 downloading swish 0 3 0 tgz Starting to download swish 0 3 0 tgz 71 837 bytes a done 71 837 bytes 4 source files building running phpize Configuring for PHP Api Version 20041225 Zend Module Api No 20060613 Zend Extension Api No 220060519 1 Please provide the path to swish config autodetect 1 1 all abort or Enter to continue building in var tmp pear build root swish 0 3 0 Libraries have been installed in var tmp pear build root swish 0 3 0 modules If you ever happen to want to link against installed libraries in a given directory LIBDIR you must either use libtool and P g 13 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica specify the full pathname of the library or use the LLIBDIR flag during linking and do at least one of the following add LIBDIR to the LD_LIBRARY_PATH environment variable during execution add LIBDIR to the LD_RUN_PATH environment variable during linking use the WI rpath WI LIBDIR linker flag have your system administrator add LIBDIR to etc ld so conf See any operating system documentation about shared libraries for more information such as the Id 1 and Id
39. de t rminos FuzzylndexingMode Stemming_es Seleccionos los diferentes formatos de archivo que se deben incluir en el indice IndexContents TXT pdf doc xls ppt log IndexContents HTML htm html shtml rtf IndexContents XML xml No tener en cuenta los siguientes formatos de archivo NoContents jpg gif jpeg png tif omp eps tiff js css Indizar solo los siguientes formatos de archivo IndexOnly htm html txt xls doc ppt pdf shtml rtf Contenidos por Defecto DefaultContents HTML We allow a period and a dash within words but strip them from the beginning or end of a word This is done after WordCharacters above is used to split words IgnoreFirstChar IgnoreLastChar Parametros de aplicaci n de porgramas que transforman documentos binarios en documentos de texto FileFilter paf paftotext p FileFilter doc catdoc s8859 1 d8859 1 p FileFilter xls xls2csv s8859 1 d8859 1 Y p FileFilter ppt catppt s8859 1 d8859 1 p FileFilter rtf unrtf html p P g 37 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica PHARRR THEE TET TE TE TEE TEE TEA AE ETA TATE TTA TA TET TA TT COnfiguracion para archivos HTML Seguir enlaces simbdlicos FollowSymLinks yes Almaceno una pequena parte del documento en el indice las primeras 500 letras StoreDe
40. ditada por el Departamento de Informaci n y Documentaci n y la Facultad de Ciencias de la Documentaci n de la Universidad de Murcia La revista tiene dos ediciones complementarias una edici n impresa que se publica en el mes de abril de cada a o y otra edici n electr nica en la direcci n http www um es fccd anales En esta direcci n est n consultables las normas de publicaci n suscripci n intercambios as como la composici n del Consejo Editor y del Comit de Redacci n gt lt meta name DC publisher content Escuela Universitaria de Biblioteconom a y Documentaci n Servicio de publicaciones Universidad de Murcia gt lt meta name DC date content 2007 12 12 gt lt meta name DC date content Vol 1 1998 gt lt meta name DC type scheme DCTERMS DCMIType content Collection gt lt meta name DC format content text html gt lt meta name DC format content 9860 bytes gt lt meta name DC identifier scheme DCTERMS URI content http www um es fccd anales gt lt meta name DC identifier scheme DCTERMS URI content E ISSN 1697 7904 Anales de Documentaci n Internet edici n web web edition gt P g 21 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica lt link rel DC source href http www um es fccd anales gt lt meta name DC
41. e Indica el nombre de los archivos que componen el indice e IndexDir Indica la ruta donde se encuentra la colecci n que se desea indizar en este caso es el directorio var www html swish e Varios_Formatos e IndexOnly Indica los tipos de formato de archivo que debe tener en cuenta para realizar la indizaci n en este caso nicamente debe tomar archivos con extensi n html e IndexReport Indica el tipo de informaci n que le debe mostrar al usuario que esta ejecutando el proceso de indizaci n Para ver todos los t rminos indizados se puede utilizar la opci n k que permite ver el contenido del archivo de ndices y devuelve todas las palabras que comienzan con la letra proporcionada utilice un si desea ver todo el diccionario de t rminos swish e k t f index swish e SWISH format 2 4 5 index swish e t Ost n tal talando tales talla taller talones tal n Ost n tambi n tampoco tan tanto tarde tareas tasas tass Ost n 00 tecnologia Ust nOnOnO telefoneara telef nica telef nicas Ust n IIn n televisivo televisi n televi n temblores teme temer temperaturas temporal tendido tenemos tener tenga tenido ten a ten an tercer tercera tercero terence teresa terminado terminal terminales terminar n termin terrapl n terremoto terremotos terreno terrestres territorio terrorista terroristas tesorer a testific testigo testigos testimonio tez tg the thomas Ust n Un tibia tiempo tienden tiene tienen
42. eba consistente en 657 archivos organizados en 58 directorios que fueron recolectados en el desarrollo de un estudio de usuarios contratado por la Superintendencia de Servicios P blicos Domiciliarios http http superservicios gov co en el desarrollo de un proyecto para la creaci n de una biblioteca especializada en recursos digitales Gomez Due as Laureano Felipe Manual de ingreso de contenidos Biblioteca Especializada en Recursos Digitales CWIS 2007 lt http cwis superservicios gov co SPT FullRecord php Resourceld 50 gt P g 30 as Dever wie UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Pw E a el http cwis superservicios gov co index php 5 hea X M Parametrizando X ff E Home dr N rhor E Page y Tools y G xpaf pdftotext Buscar co Xpdf 2 00p1 Ww Superintendencia de a Servicios P blicos de Recursos Digitais Presidencia Domiciliarios rd gt BIENVENIDO NUEVOS RECURSOS gt Bienvenido a su nueva Nuevos enlaces en servicios F herramienta en linea p blicos y afines El Crear Usuario E Olvid su Clave Registro Completo Guia Ambiental para la Distrubuci n de Gas Natural Vehicular GNV Objetivos de la Gu a La gu a ambiental que se presenta a consideraci n de las
43. el Path_Archivo Path_Archivo NULL inicio pagina WEB echo lt html gt lt body gt la muestro echo Resultados al buscar por query lt br gt intento ejecutar busqueda try creo una variable del tipo Swish e swish new Swish var www html swish e trabajo5 indice index realizo la busqueda results swish gt query query muestro resultados encontrados echo Encontrados lt strong gt results gt hits lt strong gt resultados n lt BR gt navego por los resultados si los hay for i i lt results gt hits i adelanto en el siguiente resultado result results gt nextResult comienzo una tabla echo lt br gt lt table border 1 gt muestro Identificador echo lt tr gt lt td gt Registro No lt td gt lt td gt result gt swishreccount lt td gt lt tr gt creo el enlace al documento echo lt tr gt lt td gt T amp iacute tulo lt td gt lt td gt lt a href http bomarzo rec usal es result gt swishdocpath gt muestro el titulo echo result gt swishtitle lt a gt lt td gt lt tr gt muestro RANK echo lt tr gt lt td gt Relevancia lt td gt lt td gt result gt swishrank lt td gt lt tr gt muestro RESUMEN echo lt tr gt lt td gt Resumen lt td gt lt td gt result gt swishdescription lt td gt lt tr gt finalizo tabla echo lt table gt lt br gt lt br gt l
44. elementos 10 3 Kib 20 4 Kib 90 7 Kib 105 9 Kib 4 3 Kib carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta Script en Perl Script CGI Script en Perl Script CGI Script en Perl Pag 10 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica e Instalando los m dulos de PERL Seg n el manual de instalaci n del programa Swish e para optimizar el funcionamiento del spider Programa dise ado para recorrer la web siguiendo los enlaces entre p ginas Esta es la forma habitual empleada por los principales buscadores para encontrar las p ginas que posteriormente forman parte de sus bases de datos se requieren instalar las siguientes librer as del lenguaje de programaci n PERL o libwww perl LWP librer a est ndar de PERL para web esta librer a es utilizada por el script spider pl o URI Usada para identificar las URL y decodificarlas o HTML Tagset HTML Tagset Usada por el spider pl para identificar las etiquetas HTML o HTML Parser HTML Parser Usada por el spider pl para identificar el contenido de las p ginas web HTML o MIME Types MIME Types Usada para filtrar documentos por su formato o HTML Template HTML Template Usada para formatear la salida de los scripts CGI de Swish e
45. exif enable ftp enable magic quotes enable sockets enable sysvsem enable sysvshm enable sysvmsg enable track vars enable trans sid enable yp enable wddx with kerberos enable ucd snmp hack with unixODBC shared usr enable memory limit enable shmop enable calendar enable dbx enable dio without mime magic without sqlite with libxml dir usr with xml with apxs2 usr sbin apxs without mysql without gd without odbc disable dom disable dba without unixODBC disable pdo disable xmlreader disable xmlwriter disable json Configuration File Path P g 15 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica swish support Enabled source available from http swish e org Comenzando con Swish e Para utilizar Swish e se debe tener inicialmente una colecci n de documentos estos deber n ser indizados en Swish e previamente a ser consultados La indizaci n se puede realizar de dos maneras distintas si los archivos de la colecci n son muy sencillos y sin ninguna estructura documentos de texto como se presenta en la colecci n que se encuentra ubicada en var www html st n e Solo_Texto Coleccion lo m s r pido sera indizarlos mediante la l nea de comandos utilizando el siguiente comando swish e
46. formation Warnings and Errors reported for this mirror note the hts log txt file and hts cache folder may contain sensitive inform ation such as username password authentication for websites mirrored in this p roject do not share these files folders if you want these information to remain private 19 34 50 Info Note due to exlibris usal es remote robots txt rules inks begining with these path will be forbidden administrator cache comp onents editor help images includes language mambots media modules templates installation see in the options to disable this 19 36 01 Info Note due to www w3 org remote robots txt rules links b egining with these path will be forbidden 2004 ontaria basic Team Project Web Systems History Out Of Date 2002 02 mid mid 2004 08 W3CTalks 2007 11 Talks search People all RDF Validator ARPServlet 2003 03 Transl ations byLanguage 2003 03 Translations by Technology 2005 1 1 Translations Que ry 2003 glossary subglossary 2000 06 webdata xslt 2000 09 webdata xsit 2005 08 online_xslt xsit Bugs Search Mail Public 2006 02 chartergen see in the options to disable this 19 36 23 Warning File has moved from www usal es to http www u sal es web usal 19 41 49 Warning Redirected link is identical because of URL Hac k option www3 usal es robots txt and www usal es robots txt 19 41 49 Warning File has moved from www3 usal es
47. guiente instrucci n httrack http exlibris usal es r6 Los ducumentos recuperados por el indizador se encuentran en la direcci n http bomarzo rec usal es swish e trabajo4 httrack HTTrack Website Copier Windows Intemet Explorer http bomarzo rec usal es swish e trabajo4 httrack X Google Terminal A gt Flight search Swish e INST Swish e SWIS Swish e SWIS Swish e WIS Local index X hr DO E HTTrack Website Copier Open Source offline browser Index of locally available sites Facultad de Traducci n y Documentaci n Presentaci n Mirror and index made by HTTrack Website Copier XR amp C0 2007 Despues de realizar en analisis y descarga de sitio senalado y los sitios asociados proceso que dur tres horas el programa gener un directorio por cada sitio recolectado El total de archivos descargados ocupa 2 7 GB tal como lo presenta el siguiente comando root bomarzo trabajo4 du k c httrack 2 774 276 httrack El archivo LOG del Spider gener la siguiente informaci n root bomarzo httrack cat hts log txt more Pag 42 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica HTTrack3 42 noV6 libhtsjava so 2 launched on Mon 10 Mar 2008 19 34 50 at exlibr is usal es httrack exlibris usal es r6 In
48. i n en SWiSh B oooccconcccnccncccnncnnncncnonacononononcnnnannnnnancnnnnns 34 Indizando contenido externo Spider escri 41 Crear un cat logo Web con Swish secs dee et cccestaus ince ele ici 46 Cat logo con Scripts en PERL usais 50 A irenda aee aiae eea pa iea aa Taa aia 53 Ventajas y Desventajas de SwiSh 8 cccceessscceeeeeeeeesseceeeeeseseeaaaeeeeeeeseneaeeees 57 A ee eet ee re eee 58 Anexo 1 Estructura del trabajo desarrollado ooooocccccninncccccccnnnncnconcccconannnnnnnnos 58 Licencia de este documento siii anar 59 P g 2 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Introducci n El siguiente trabajo corresponde a un compendio de las pr cticas realizadas utilizando el sistema de indizaci n Swish e realizadas en la asignatura recuperaci n de la informaci n digital El material asociado a las pr cticas se pueden descargar del servidor llamado BOMARZO hitp oomarzo rec usal es desde all se puede acceder a todos los archivos generados y las colecciones de prueba utilizadas http bomarzo rec usal es swish e Qu es Swish e Swish e es un peque o programa de indizaci n y b squeda de documentos no estructurados este programa est basado en el sistema de indizaci n SWISH que fue escrito originalmente por Kevin Hughes Swish e no es una soluci n del tipo Llave en Man
49. language scheme DCTERMS ISO639 2 content spa gt lt meta name DC relation content ISSN 1575 2437 Anales de Documentaci n edici n impresa print edition gt lt link rel DC relation href http www um es http eprints rclis org gt lt link rel DC relation href http www erevistas csic es portal gt lt link rel DC relation href http temaria net gt lt meta name DC rights content Facultad de Comunicaci n y Documentaci n http Awww um es f comunicacion gt lt head gt e En HTML se encuentran las etiquetas de encabezados lt h gt esta etiqueta viene acompa ada de un n mero desde el 1 hasta el 6 predefiniendo stos el tama o del encabezado As lt h1 gt ser a el encabezado m s grande mientras que lt h6 gt ser a el m s peque o Generalmente en el contenido los encabezados h1 h2 h3 h4 h5 h6 se encierran entre las etiquetas lt H1 gt lt H2 gt lt H3 gt corresponder an con informaci n que tiene un mayor grado de relevancia respecto al resto de contenidos Los encabezados son lt h1 gt Texto muy grande lt h1 gt lt h2 gt Texto grande lt h2 gt lt h3 gt Texto algo m s grande de lo normal lt h3 gt lt h4 gt Texto normal lt h4 gt lt h5 gt Texto peque o lt h5 gt lt h6 gt Texto muy peque o lt h6 gt e Cuando en una p gina web se encuentra componentes de texto en negrillas resaltado en otro color se puede presumir
50. levantes en el momento de la presentaci n de los resultados para darle mayor fidelidad al documento original e Las im genes GIF BMP TIFF y JPEG que acompa an las p ginas web HTM HTML MHTML ASP PHP JSP etc no son tiles en el momento de la indizaci n aparte que no se podr an indizar propiamente como texto sin embargo son muy relevantes en el momento de la presentaci n de los resultados para darle mayor fidelidad al documento original e El aplicativo unrtf transforma los documentos RTF al formato HTML as que se tomar esta consideraci n al momento de crear el archivo de configuraci n e La colecci n se encuentra en Ingl s castellano y alem n ya que corresponde primordialmente a informaci n recolectada de internet por los empleados de la superintendencia de Servicios P blicos e Se tomar n el archivo de Palabras Vac as STOPWORDS provisto por la herramienta integrando los diversos idiomas existentes en la colecci n e Aunque el uso de t cnicas de stemming permiten representar de un mismo modo las distintas variantes de un t rmino a la vez que reducen el tama o del vocabulario y mejoran en consecuencia la capacidad de almacenamiento de los sistemas y el tiempo de procesamiento de los documentos en el caso de esta colecci n no se aplicaran t cnicas de stemming ya que la colecci n se encuentra en m ltiples idiomas y el sistema Swish e actualmente no puede identificar cual modelo de idioma aplic
51. m ntico de t rminos FuzzylndexingMode Stemming_es Now specify which meta name to include in the index MetaNames author title description No indizar otras meta etiquetas encontradas UndefinedMetaTags ignore Cuando se realiza una b squeda en la colecci n de documentos HTML inicialmente equivaldr a a realizar la b squeda en archivos de texto plano tal como lo demuestra la siguiente b squeda Expresi n listado donde nos recupera 11 documentos que contienen la expresi n listado en cualquier parte del documento root bomarzo trabajo1 swish e f indice index w listado SWISH format 2 4 5 Search words listado Removed stopwords Number of hits 11 Search time 0 000 seconds Run time 0 011 seconds 1000 var www html swish e trabajo1 Coleccion Ministerio de EducaciA n PASblica de la Rep blica de Costa Rica htm Ministerio de EducaciA n PA blica de la Rep blica de Costa Rica 37923 P g 24 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica 1000 var www html swish e trabajo1 Coleccion Recursos Electr nicos Carlolll htm Listado a z de recursos electr nicos 21655 772 Ivariwww html swish e trabajo1 Coleccion recweblogs html bsysnet com Weblogs 26605 526 var www html swish e trabajo1 Coleccion Portal de revistas electr fnicas de la UCM htm
52. malizados usando el est ndar Dublin Core lt html gt lt head gt lt title gt Anales de Documentaci n Revista de Biblioteconom a y Documentaci n lt title gt lt Metadatos en Dublin Core especialmente dise ados para una p gina Web en XHTML gt lt link rel schema DC href http purl org dc elements 1 1 gt lt link rel schema DCTERMS href http purl org dc terms gt lt meta name DC title lang es content Anales de Documentaci n Revista de Biblioteconom a y Documentaci n gt lt meta name DC subject lang es content Documentaci n gt lt meta name DC subject lang es content Archivistica gt lt meta name DC subject lang es content Biblioteconom a gt lt meta name DC subject lang es content Restauraci n Documental gt lt meta name DC subject lang es content Gesti n de Unidades de Informaci n gt lt meta name DC subject lang es content Alfabetizaci n Informacional gt lt meta name DC subject lang es content Estudios de Usuarios gt lt meta name DC subject lang es content Mercado de la Informaci n gt lt meta name DC subject lang es content Planificaci n aplicaci n y evaluaci n de proyectos y servicios de las unidades de informaci n gt lt meta name DC subject lang es content Informaci n cient fica gt lt meta name DC description lang es content Anales de Documentaci n es una revista anual e
53. mplemetarias SENTENCIA DEBIDO PROCESO SENTENCIA RESERVA LEGAL SENTENCIAS E 7 _ SISTEMA GESTION CALIDAD TELECOMUNICACIONES TELECOMUNICACIONES 1 y E i a VW EVI Yv EV Y EY VEN VE VW EM VE V E DEB universidad de california CONVENIO ARCHIVO DE BOG ENLACES JAIME GUERRA doc ESQUEMA PLANTAS GLP pdf INF_SECT_03_06_V1_gestion xls ip a SENTENCIAS CORTE CONSTITU Encuesta ESTUDIO _DE_USUAR 6 elementos 0 elementos 21 elementos 9 elementos 8 elementos 200 elementos 12 elementos 27 elementos 21 elementos 1 elemento 46 elementos 8 elementos 4 elementos 3 elementos 0 elementos 7 elementos 81 elementos 9 elementos 2 elementos 1 elemento 13 elementos 2 elementos 28 elementos 6 elementos 6 elementos 6 elementos 105 5 Kib 39 5 Kib 21 5 Kib 175 1 Kib 161 0 Kib Tipo carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta carpeta Documento de Word Documento de Word Documento de Word Documento PDF Hoja de c lculo de Excel Entre las caracter sticas de esta colecci n de documentos encontramos que P g 32 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica e Contienen 687 ar
54. ndizar cualquier tipo de archivo que contenga texto e Al ser una herramienta con licencia de software libre permite su portabilidad a cualquier sistema operativo para los cuales se encuentran m ltiples versiones en el sitio web de Swish e e Es una herramienta muy r pida en Indizaci n y B squeda e Permite indizar colecciones enormes de documentos sin afectar su funcionalidad Desventajas las principales desventajas al utilizar el programa Swish e se encontraron las siguientes e No es un sistema de Indizaci n llave en mano como si lo es Google Desktop Search e No permite la indizaci n optima de archivos semi estructurados que no manejen las marcas de HTML XML por ejemplo no se podr a indizar archivos del tipo MARC21 e No maneja ning n protocolo de Interoperabilidad para recuperar la informaci n en forma normalizada por ejemplo 239 50 OAI PMH etc e Actualizaci n del software Tal como se puede observar en la p gina de Swish e la ltima versi n 2 5 4 es del 29 de Enero de 2007 Source Packages swish e 2 4 5 tar gz Mon 29 Jan 2007 19 59 04 UTC 1 4M P g 57 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Ap ndices Anexo 1 Estructura del trabajo desarrollado Como el trabajo se realiz directamente sobre un servidor web los archivos de pr cti
55. ntos 1 4 MiB en total Lugar var jwww html swish e trabajosS Volumen Volumen ra z Espacio libre 111 9 Gib Modificado jue 13 mar 2008 0 1 49 02 CET E Ayuda X lt Cerrar P g 47 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica El archivo de configuraci n utilizado para realizar la indizaci n de los contenidos antes mencionados trabajo5 config contiene las siguientes instrucciones Versi n 1 0 Licencia MPL 1 1 GPL 2 0 LGPL 2 1 Desarrollo del archivo de configuraci n del punto 5 5 Esta cuesti n es optativa y solamente se puede completar si tambi n se hace la cuesti n 4 Tenemos que implementar un interfaz web para poder consultar la informaci n indizada con swish e Se puede utilizar el CGI que viene con la propia distribuci n swish e o bien localizar otros sistemas alternativos La mejor forma de poderlo probar es montarlo sobre XAMPP Aqu se debe entregar todo el material que permita valorar la adecuada consecuci n del objetivo Realizado por Laureano Felipe Gomez Due as Universidad de Salamanca 2008 END LICENSE BLOCK HH Informaci n del Script FBR Aa AEA IndexName Trabajo5 IndexDescription Este ndice corresponde a una colecci n de documentos HTML que ser n consultadas v a WEB IndexPointer
56. o que pueda descargar y utilizar cualquier usuario son conocimientos de inform tica este programa fue desarrollado como una soluci n que sirva de BASE para el desarrollo de programas m s avanzados por lo cual necesita un nivel intermedio de conocimientos en inform tica y en alg n lenguaje de programaci n recomendado PERL Para esta pr ctica se ha decidido trabajar con un sistema operativo LINUX FEDORA CORE 7 todo el trabajo realizado s ha documentado mediante ejemplos y figuras para que puedan ser realizados y analizados por cualquier usuario que disponga de un sistema operativo del tipo LINUX Instalaci n de Swish e en Fedora Core 7 Para el desarrollo de estas pr cticas se ha decidido instalar el programa Swish e en un sistema operativo Linux m s concretamente utilizando la distribuci n Fedora Core 7 El motivo principal de esta decisi n est dado en la facilidad de instalaci n la preexistencia del lenguaje PERL instalado y su gran integraci n con el sistema operativo Linux donde fue dise ado originalmente Swish e P g 3 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica A continuaci n se detallan los pasos que se realizaron para la instalaci n del Software Swish e e Creaci n de un directorio de trabajo Este paso consiste en crear un sitio donde se realizar n las pr cticas asociadas para esto de
57. ormaci n del Script HH FETE TETHER THE TTT TEA ATE TE EET ETT TA TE ETAT TET TT TATA IndexName Trabajo2 IndexDescription Este ndice corresponde a una colecci n de documentos TXT especialziados en CIENCIA IndexPointer http bomarzo rec usal es swish e trabajo2 P g 26 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica IndexAdmin SIB Manager felipe gomez3 gmail com HH Par metros del Sistema HH H HHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHH Tomando los ndices en la carpeta donde est n ubicadas las colecciones El indice se llamara indice index index swish e IndexFile var www html swish e trabajo2 ciencia index Selecciono los directorios donde se har n las indizaciones de documentos IndexDir var www html swish e trabajo2 CIENCIA Corresponde con los tipos de archivos Unicos que debe indizar IndexOnly txt Determino cuales caracteres entidades deben ser transformados esto generara todos los t rminos en Minusculas TranslateCharacters a i6UAEIOUUU aeiouaeiouuu Agrego el listado de palabras vacias IgnoreWords var www html swish e trabajo2 vacias txt Selecciono una t cnica de an lisis sem ntico de t rminos FuzzyIndexingMode Stemming_es El archivo de configuraci n de la colecci n DEPORTES es deportes conf
58. ormaci n y Documentaci n Bibliotecolog a y Archiv stica Una vez creados los ndices se realizaron varias b squedas para comprobar la efectividad del proceso realizado y la velocidad de b squeda del programa Swish e las consultas realizadas se muestran a continuaci n http bomarzo rec usal es swish e trabajo4 busquedas sh txt bin sh Script Basico de Busquedas Realizadas Configuraci n Trabajo 4 Utilizando un Spider HtTrack Versi n 0 1 beta Licencia MPL 1 1 GPL 2 0 LGPL 2 1 Contributor s Laureano Felipe Gomez Due as Descripci n Se pretende ejecutar Multiples Busquedas Avanzadas kkkk k VARIABLES kkkkk HH L nea de Comandos Hi JAE AAA EE 1 Desplegar el diccionario de t rminos por la letra t swish e f httrack index kt gt Resultados_Busquedal txt 2 Busqueda por frase utilizando comillas swish e f httrack index w Biblioteca gt Resultados_Busqueda2 txt 3 Busqueda avanzada utilizando operadores swish e f httrack index w biblioteca near1 digital or repositorio or Biblioteca virtual gt Resultados_Busqueda3 txt 4 Buscar Unicamente los t rminos que aparezcan en el titulo cabeceras web y etiquetas de nfasis visual negrillas italicas subrayados etc swish e f httrack index tthe w educacion gt Resultados Busqueda4 txt Crear un catalogo Web con Swish e Pag
59. problemas que pueda tener la colecci n Realizado por Laureano Felipe Gomez Duenas Universidad de Salamanca 2008 END LICENSE BLOCK HH HH Informaci n del Script HH FEA HEHE HEHEHE EH AEE RAR HE EE A A IIA AA HA IndexName Trabajo3 IndexDescription Este ndice corresponde a una colecci n mixta de documentos gt 100 Docs IndexPointer http bomarzo rec usal es swish e trabajo3 IndexAdmin SIB Manager felipe gomez3 gmail com HH Par metros del Sistema HH FARAH AE Tomando los indices en la carpeta donde estan ubicadas Is colecciones El indice se llamara indice index index swish e IndexFile var www html swish e trabajo3 indice index P g 36 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Selecciono los directorios donde se haran las indizaciones de documentos IndexDir var www html swish e trabajo3 Coleccion Aplico cuales catacteres deben ser transformados esto generar todos los t rminos en Minusculas te TranslateCharacters a i6UAEIOUUU aeiouaeiouuu Agrego el listado de palabras vacias Supercompleto IgnoreWords root Swish e colecciones vacias txt Selecciono cuales son los caracteres indizables WordCharacters ABCDEFGHIJKLMNNOPQRSTUVWXYZabcdefghijkimnnoparstuvwxyz No Selecciono ninguna t cnica de analisis semantico
60. rar todos los t rminos en Minusculas TranslateCharacters a i6UAEIOUUU aeiouaeiouuu Agrego el listado de palabras vacias IgnoreWords var www html swish e trabajo2 vacias txt Selecciono una t cnica de an lisis sem ntico de t rminos FuzzylndexingMode Stemming_es Luego al ejecutar el script de indizaci n llamado Crear_Indices sh txt genera la siguiente salida root bomarzo trabajo2 chmod 777 Crear_Indices sh txt Pag 28 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica root bomarzo trabajo2 Crear_Indices sh txt Indexing Data Source File System Indexing var www html swish e trabajo2 CIENCIA Removing very common words no words removed Writing main index Sorting words Sorting 4 580 words alphabetically Writing header Writing index entries Writing word text Complete Writing word hash Complete Writing word data Complete 4 580 unique words indexed 4 properties sorted 100 files indexed 266 929 total bytes 41 407 total words Elapsed time 00 00 00 CPU time 00 00 00 Indexing done Indexing Data Source File System Indexing var www html swish e trabajo2 DEPORTES Removing very common words no words removed Writing main index Sorting words Sorting 4 245 words alphabetically Writing header Writing index entries Writing word te
61. rmaci n y Documentaci n Bibliotecolog a y Archiv stica B squeda utilizando truncamiento operadores Booleanos y de proximidad En este caos se intentar aprovechar varios tipos de operadores de b squeda para delimitar el conjunto de documentos a recuperar B squeda avanzada utilizando operadores swish e f indice index w servicio near1 publi and Acueducto or Alcantarillado not gas En esta b squeda se puede observar que recupera dos archivos un documento DOC y un documento HTML los resultados generados se presentan a continuaci n SWISH format 2 4 5 Search words servicio neari publi and Acueducto or Alcantarillado not gas Removed stopwords Number of hits 2 Search time 0 046 seconds Run time 0 057 seconds 1000 var www html swish e trabajo3 Coleccion SENTENCIAS PROCEDENCIA DE ACCION POPULAR doc PROCEDENCIA DE ACCION POPULAR doc 385536 994 var www html swish e trabajo3 Coleccion paginas complemetarias _Superlntendencia de Servicios PA blicos Domiciliarios SSPD_archivos index htm Superintendencia de Servicios P blicos Domiciliarios SSPD 47519 B squeda en contexto Documentos HTML Es este ejemplo se aprovechar el etiquetado de los documentos HTML indizados para buscar informaci n en su contenido brindando mayor relevancia a algunas etiquetas especificas Buscar nicamente los t rminos que aparezcan en el t tulo cabeceras web
62. rnet Protected Mode Off 100 v Aunque aparezca un formulario no se podra realizar ninguna busqueda hasta que no se le indique al script swish cgi donde ubicar los indices y los archivos que componen la colecci n para esto se requiere crear un archivo de configuraci n swishcgi conf el cual es presentado a continuaci n return title gt Busqueda en Swish e swish_binary gt usr local bin swish e swish_index gt var www html swish e trabajo5 indice index Este archivo de debe crear en la misma ruta donde se encuentre el archivo swish cgi posteriormente al realizar nuevamente la b squeda se puede observar que el cat logo ya permite buscar sobre los ndices anteriormente creados Saar Dense wi UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archivistica 3 11 Results for listado Windows Internet Explorer _ LE juar Ow be le http bomarzo rec usal es cgi bin swish cgi query listado amp metaname v x Googie 2 we oe 12 Results for listado tp 8 El db y ii Page v Gi Tools v a a SWISH E Busqueda en Swish e listado Search Limit search to Titulo amp Cuerpo Titulo Ubicaci amp oacute n del Documento Sort by Rank Reverse Sort Limit to All Today Yesterday This Week Last Week
63. scription HTML lt body gt 500 StoreDescription TXT 500 convierto las entidades amp en caracteres indizables ConvertHTMLEntities yes Ahora especifico las meta etiquetas a incluir en el indice MetaNames author description title Por defecto no indizo otras meta etiquetas UndefinedMetaTags ignore Luego al ejecutar el script de indizaci n llamado trabajo3 sh txt el sistema genera la siguiente salida Sorting words Sorting 50 739 words alphabetically Writing header Writing index entries Writing word text Complete Writing word hash Complete Writing word data Complete 50 739 unique words indexed 5 properties sorted 437 files indexed 182 323 007 total bytes 3 670 178 total words Elapsed time 00 02 26 CPU time 00 00 09 Indexing done Para probar que la indizaci n ha salido correctamente se han optado por realizar las siguientes pruebas e Impresi n de los t rminos indizados Para este caso se aplica la opci n k en el comando de b squeda asi P g 38 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Desplegar el diccionario de t rminos swish e f indice index k All se puede observar una gran cantidad de t rminos sin normalizar los resultados generados se presentan a continuaci n SWISH format 2 4 5 indice index a aa aaa aaaa aaac aac aacero
64. stalar PEAR Este programa incluye los aplicativos necesarios para instalar nuevos m dulos y librer as para PHP yum install php pear root bomarzo yum install php pear 1 1 php pear 1 5 0 3 n 100 401 kB 00 00 Running rpm_check_debug Running Transaction Test Finished Transaction Test Transaction Test Succeeded Running Transaction Installing php pear FEE EH 1 1 Installed php pear noarch 1 1 5 0 3 Complete e Instalar librer as de desarrollo de PHP Estas librer as contienen los archivos necesarios para compilar y agregar nuevas funcionalidades al PHP yum install php devel i386 root bomarzo yum install php devel i386 Transaction Summary Install 1 Package s Update 0 Package s Remove 0 Package s Pag 12 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Total download size 541 k Is this ok y N y Downloading Packages 1 1 php devel 5 2 4 1 100 541 kB 00 04 Running rem_check_debug Running Transaction Test Finished Transaction Test Transaction Test Succeeded Running Transaction Installing php devel FEE AS 1 1 Installed php devel i386 0 5 2 4 1 fc7 Complete e Compilar e Instalar PHP Swish Mediante el programa pecl de PEAR le indicamos a este las nuevas librer as que se deben descargar
65. t hr gt Hin FOR P g 55 SEES rss X UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica catch SwishException e en caso de alg n error echo Error e gt getMessage n fin try catch Termino p gina WEB echo lt body gt lt html gt gt Cuando es ejecutada una b squeda desde la pagina catalogo html la p gina din mica buscar php muestra los siguientes resultados 805 http bomarzo rec usal es swish e trabajo5 catalogo PHP buscai y 3 X Google Py e P a ri P http bo X Swish e sw E PHP swish fit 82 BD thy E Page G Tools Resultados al buscar por listado Encontrados 11 resultados T tulo Relevancia 1000 Titulo Listado a z de recursos electr nicos Relevancia 1000 Registro No 3 Titulo bsysnet com Weblogs Relevancia 772 Internet Protected Mode Off Pag 56 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Ventajas y Desventajas de Swish e Ventajas Entre las principales ventajas al utilizar Swish e encontramos e Como tal el sistema Swish e es una herramienta muy poderosa con la cual se puede i
66. temas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica HTML y XML y otros tipo de documentos almacenados nativamente en formato binario Un Archivo binario es un archivo inform tico que contiene informaci n de cualquier tipo codificada en forma binaria para el prop sito de almacenamiento y procesamiento en ordenadores Por ejemplo los archivos inform ticos que almacenan texto formateado o fotograf as Las pr cticas asociadas a los diferentes formatos de archivo se encuentran en var www html swish e Varios Formatos que se pueden observar en la URL http bomarzo rec usal es swish e Varios Formatos Archivos HTML XML La ventaja al procesar documentos estructurados Texto con marcas de estructura se encuentra en que puede extraer informaci n adicional al contenido textual la cuales se pueden utilizar en la etapa de recuperaci n para facilitar la tarea aumentar las prestaciones y mejorar la relevancia de los documentos recuperados Tal como lo comentan algunos estudios la recuperaci n de informaci n sobre documentos estructurados es mucho m s eficaz que sobre documentos no estructurados Algunos aspectos que se deben tener en cuenta para respaldar estas afirmaciones est n dadas por e La etiqueta lt title gt que se encuentra en la cabecera de las p ginas web generalmente contiene informaci n muy relevante respecto al contenido del documento lt html gt lt head gt lt title
67. tm html shtml rtf IndexContents XML xml No tener en cuenta los siguientes formatos de archivo NoContents jpg gif jpeg png tif omp eps tiff js css Indizar solo los siguientes formatos de archivo IndexOnly htm html txt xls doc ppt pdf shtml rtf Contenidos por Defecto DefaultContents HTML We allow a period and a dash within words but strip them from the beginning or end of a word This is done after WordCharacters above is used to split words IgnoreFirstChar IgnoreLastChar Par metros de aplicaci n de programas que transforman documentos binarios en documentos de texto FileFilter pdf pdftotext p FileFilter doc catdoc s8859 1 d8859 1 p FileFilter xls xls2csv s8859 1 d8859 1 p FileFilter ppt catppt s8859 1 d8859 1 p FileFilter rtf unrtf html p FABRE Aa aa Configuraci n para archivos HTML Seguir enlaces simb licos FollowSymLinks yes Almaceno una peque a parte del documento en el indice las primeras 500 letras StoreDescription HTML lt body gt 500 StoreDescription TXT 500 convierto las entidades amp en caracteres indizables ConvertHTMLEntities yes Ahora especifico las meta etiquetas a incluir en el indice MetaNames author description title Por defecto no indizo otras meta etiquetas UndefinedMetaTags ignore P g 45 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Inf
68. uente descargado para generar los archivos ejecutables aplicativos de Swish e con los que vamos a trabajar y luego hacer la instalaci n autom tica de los archivos creados para esto debemos ejecutar los siguientes comandos configure make install e Verificamos Instalaci n En este paso confirmamos donde quedo instalado el programa Swish e para esto ejecutamos el siguiente comando root bomarzo swish e 2 4 5 whereis swish e swish e usr local bin swish e usr local lib swish e Este comando nos indica que o El programa ejecutable de Swish e se encuentra en usr local bin swish e o Los archivos de configuraci n y otros se encuentran en e usr local lib swish e cc Pag 9 Nombre Educar para Pensar Decidir y Servir Archiv stica vw Tama o UNIVERSIDAD DE LA SALLE Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Tipo d ES we ES ES e ES bin etc games include java kerberos lib libexec local gt EJ bin gt Ey etc games gt include gt EJ koha v EJ lib gt pkgconfig swish e gt EJ perl DirTree pl E search cgi e spider pl swish cgi e swishspider 13 elementos 2570 elementos 0 elementos 0 elementos 420 elementos 1 elemento 4 elementos 2458 elementos 118 elementos 11 elementos 45 elementos 0 elementos 0 elementos 2 elementos 3 elementos 22 elementos 2 elementos 6 elementos 4
69. xt Complete Writing word hash Complete Writing word data Complete 4 245 unique words indexed 4 properties sorted 100 files indexed 181 694 total bytes 28 352 total words Elapsed time 00 00 00 CPU time 00 00 00 Indexing done Ahora para hacer una busqueda en varias colecciones solo tengo que indicarle Swish e los nombres de los archivos de indices a consultar utilizando la opci n f swish e f ciencia index deportes index w listado los resultados se presentan a continuaci n root bomarzo trabajo2 swish e f ciencia index deportes index w listado SWISH format 2 4 5 P g 29 UNIVERSIDAD DE LA SALLE Educar para Pensar Decidir y Servir Programa de Sistemas de Informaci n y Documentaci n Bibliotecolog a y Archiv stica Search words listado Removed stopwords Removed stopwords Number of hits 6 Search time 0 000 seconds Run time 0 021 seconds 1000 var www html swish e trabajo2 CIENCIA 2787 txt 2787 txt 2110 1000 var www html swish e trabajo2 CIENCIA 3227 txt 3227 txt 1470 1000 var www html s wish e trabajo2 DEPORTES 518 txt 518 txt 1308 1000 var www html swish e trabajo2 DEPORTES 191 txt 191 txt 3376 1000 var www html swish e trabajo2 DEPORTES 373 txt 373 txt 5341 1000 var www html swish e trabajo2 DEPORTES 278 txt 278 txt 2612 Utilizando una colecci n m s compleja Para este trabajo se decidi utilizar una colecci n de pru

- e-Lis

Contents

Download Pdf Manuals

Related Search

Related Contents