Día 2

Ayer fue el segundo día full time en la universidad. El trabajo realizado estuvo centrado en parsear los datos de transparencia para los tres ministerios seleccionados, a recordar: educación, justicia y salud. Previamente se almacenó el resultado de crawlear los sitios de transparencia en cada ministerio.

Ver en el update del repositorio los cambios en el código. Entre los problemas encontrados durante el parser están:
  • El Servicio Médico Legal (SML) tiene los links con javascript, por eso el crawler no trajo datos.
  • De un total de 5466 páginas ( 141 educación, 277 justicia, 5048 salud ) en 47 (aprox. un 1%) existió un fallo del parser por errores de sintaxis en el html, a esas páginas se les aplicó tidy para arreglar los problemas, lo que no resultó para 7 de estos documentos.
  • El ministerio de salud, y sus organizaciones, presenta una copia de sus datos para distintos meses del año 2009 (al menos desde marzo).
  • Existen cambios en los esquemas para el año 2009, en especial afecta a las Transferencias, Compras y Dotación.
Al aplicar el parser (proceso automático, que tomó 3 horas) y particionar los datos (proceso manual, que tomó 2 horas), se obtuvieron los siguientes resultados de interés:

Item Data
Auditoría 0,05%
Vínculo 0,12%
Subsidio 0,28%
Participación 0,35%
Remuneración 0,38%
Tramite 1,07%
Compra 3,51%
Normativa 5,03%
Transferencia 10,59%
Dotación 78,62%

Como se puede observar el 80/20 de los datos corresponde a información de dotación. Analizando el número de dotación crawleadas, con respecto a las que se tiene en el estudio de recursos humanos en el sector publico, vemos que los datos corresponden, al menos en el orden de magnitud.


estudio crawler
educación 12k 5k
justicia 19k 22k
salud 85k 80k

Queda por validar que ocurre con el ministerio de educación, donde solo se encontró la mitad de las personas, quizás falta incluir alguna organización dependiente. El detalle de organismos crawleados es el siguiente:

Ministerio Nombre Alias
Justicia Servicio de Registro Civil e Identificación srcei
Justicia Superintendencia de Quiebras squiebras
Justicia Servicio Medico Legal sml
Justicia Servicio Nacional de Menores sename
Justicia Gendarmería de Chile gendarmeria
Justicia Defensoría Penal Pública dpp
Salud Central de Abastecimiento cenabast
Salud Fondo Nacional de Salud fonasa
Salud Instituto de Salud Pública isp
Salud Servicios de Salud Arica SSARICA
Salud Servicios de Salud Iquique SSIQUIQUE
Salud Servicios de Salud Antofagasta SSANTOFAGASTA
Salud Servicios de Salud Atacama SSATACAMA
Salud Servicios de Salud Coquimbo SSCOQ
Salud Servicios de Salud Aconcagua SSACONCAGUA
Salud Servicios de Salud Viña del Mar Quillota SSVQ
Salud Servicios de Salud Valparaíso San Antonio SSVSA
Salud Servicios de Salud Metropolitano Norte SSMETRONORTE
Salud Servicios de Salud Metropolitano Central SSMC.
Salud Servicios de Salud Metropolitano Oriente S.S.M.O.
Salud Servicios de Salud Metropolitano Sur SSMETROSUR
Salud Servicios de Salud Metropolitano Sur Oriente SSMETROSURORIENTE
Salud Servicios de Salud Metropolitano Occidente SALUD OCCIDENTE
Salud Servicios de Salud Libertador B. O'Higgins SSOHIGGINS
Salud Servicios de Salud del Maule SSMAULE
Salud Servicios de Salud Ñuble SSNUBLE
Salud Servicios de Salud Concepción SSC
Salud Servicios de Salud Arauco SSARAUCO
Salud Servicios de Salud Talcahuano SSTALCAHUANO
Salud Servicios de Salud Bio Bio SSBIOBIO
Salud Servicios de Salud Araucanía Norte SSARAUCANIANORTE
Salud Servicios de Salud Araucanía Sur SASS
Salud Servicios de Salud Valdivia SSVALDIVIA
Salud Servicios de Salud Osorno SSOSORNO
Salud Servicios de Salud del Reloncaví SSDELRELONCAVI
Salud Servicios de Salud Chiloé SSCHILOE
Salud Servicios de Salud Aysén SSAYSEN
Salud Servicios de Salud Magallanes SSMagallanes
Salud Seremi de Salud Región de Arica y Parinacota SEREMI15
Salud Seremi de Salud Región de Tarapacá SEREMI1
Salud Seremi de Salud Región de Antofagasta SEREMI2
Salud Seremi de Salud Región de Atacama SEREMI3
Salud Seremi de Salud Región de Coquimbo SEREMI4
Salud Seremi de Salud Región de Valparaíso SEREMI5
Salud Seremi de Salud Región Metropolitana SEREMI13
Salud Seremi de Salud Región de O'Higgins SEREMI6
Salud Seremi de Salud Región del Maule SEREMI7
Salud Seremi de Salud Región del Bio Bio SEREMI8
Salud Seremi de Salud Región de la Araucanía SEREMI9
Salud Seremi de Salud Región de Los Ríos SEREMI14
Salud Seremi de Salud Región de Los Lagos SEREMI10
Salud Seremi de Salud Región de Aisén SEREMI11
Salud Seremi de Salud Región de Magallanes y Antártica Chilena SEREMI12
Salud Establecimiento Experimental Centro de Referencia de Salud de Maipú CRS MAIPU
Salud Establecimiento Experimental CRS Cordillera Oriente CRSCO
Salud Establecimiento Experimental Hospital Padre Hurtado HPADREHURTADO


No hay comentarios: