Ver en el update del repositorio los cambios en el código. Entre los problemas encontrados durante el parser están:
- El Servicio Médico Legal (SML) tiene los links con javascript, por eso el crawler no trajo datos.
- De un total de 5466 páginas ( 141 educación, 277 justicia, 5048 salud ) en 47 (aprox. un 1%) existió un fallo del parser por errores de sintaxis en el html, a esas páginas se les aplicó tidy para arreglar los problemas, lo que no resultó para 7 de estos documentos.
- El ministerio de salud, y sus organizaciones, presenta una copia de sus datos para distintos meses del año 2009 (al menos desde marzo).
- Existen cambios en los esquemas para el año 2009, en especial afecta a las Transferencias, Compras y Dotación.
Al aplicar el parser (proceso automático, que tomó 3 horas) y particionar los datos (proceso manual, que tomó 2 horas), se obtuvieron los siguientes resultados de interés:
Item | Data |
Auditoría | 0,05% |
Vínculo | 0,12% |
Subsidio | 0,28% |
Participación | 0,35% |
Remuneración | 0,38% |
Tramite | 1,07% |
Compra | 3,51% |
Normativa | 5,03% |
Transferencia | 10,59% |
Dotación | 78,62% |
Como se puede observar el 80/20 de los datos corresponde a información de dotación. Analizando el número de dotación crawleadas, con respecto a las que se tiene en el estudio de recursos humanos en el sector publico, vemos que los datos corresponden, al menos en el orden de magnitud.
estudio | crawler | |
educación | 12k | 5k |
justicia | 19k | 22k |
salud | 85k | 80k |
Queda por validar que ocurre con el ministerio de educación, donde solo se encontró la mitad de las personas, quizás falta incluir alguna organización dependiente. El detalle de organismos crawleados es el siguiente:
Ministerio | Nombre | Alias |
Justicia | Servicio de Registro Civil e Identificación | srcei |
Justicia | Superintendencia de Quiebras | squiebras |
Justicia | Servicio Medico Legal | sml |
Justicia | Servicio Nacional de Menores | sename |
Justicia | Gendarmería de Chile | gendarmeria |
Justicia | Defensoría Penal Pública | dpp |
Salud | Central de Abastecimiento | cenabast |
Salud | Fondo Nacional de Salud | fonasa |
Salud | Instituto de Salud Pública | isp |
Salud | Servicios de Salud Arica | SSARICA |
Salud | Servicios de Salud Iquique | SSIQUIQUE |
Salud | Servicios de Salud Antofagasta | SSANTOFAGASTA |
Salud | Servicios de Salud Atacama | SSATACAMA |
Salud | Servicios de Salud Coquimbo | SSCOQ |
Salud | Servicios de Salud Aconcagua | SSACONCAGUA |
Salud | Servicios de Salud Viña del Mar Quillota | SSVQ |
Salud | Servicios de Salud Valparaíso San Antonio | SSVSA |
Salud | Servicios de Salud Metropolitano Norte | SSMETRONORTE |
Salud | Servicios de Salud Metropolitano Central | SSMC. |
Salud | Servicios de Salud Metropolitano Oriente | S.S.M.O. |
Salud | Servicios de Salud Metropolitano Sur | SSMETROSUR |
Salud | Servicios de Salud Metropolitano Sur Oriente | SSMETROSURORIENTE |
Salud | Servicios de Salud Metropolitano Occidente | SALUD OCCIDENTE |
Salud | Servicios de Salud Libertador B. O'Higgins | SSOHIGGINS |
Salud | Servicios de Salud del Maule | SSMAULE |
Salud | Servicios de Salud Ñuble | SSNUBLE |
Salud | Servicios de Salud Concepción | SSC |
Salud | Servicios de Salud Arauco | SSARAUCO |
Salud | Servicios de Salud Talcahuano | SSTALCAHUANO |
Salud | Servicios de Salud Bio Bio | SSBIOBIO |
Salud | Servicios de Salud Araucanía Norte | SSARAUCANIANORTE |
Salud | Servicios de Salud Araucanía Sur | SASS |
Salud | Servicios de Salud Valdivia | SSVALDIVIA |
Salud | Servicios de Salud Osorno | SSOSORNO |
Salud | Servicios de Salud del Reloncaví | SSDELRELONCAVI |
Salud | Servicios de Salud Chiloé | SSCHILOE |
Salud | Servicios de Salud Aysén | SSAYSEN |
Salud | Servicios de Salud Magallanes | SSMagallanes |
Salud | Seremi de Salud Región de Arica y Parinacota | SEREMI15 |
Salud | Seremi de Salud Región de Tarapacá | SEREMI1 |
Salud | Seremi de Salud Región de Antofagasta | SEREMI2 |
Salud | Seremi de Salud Región de Atacama | SEREMI3 |
Salud | Seremi de Salud Región de Coquimbo | SEREMI4 |
Salud | Seremi de Salud Región de Valparaíso | SEREMI5 |
Salud | Seremi de Salud Región Metropolitana | SEREMI13 |
Salud | Seremi de Salud Región de O'Higgins | SEREMI6 |
Salud | Seremi de Salud Región del Maule | SEREMI7 |
Salud | Seremi de Salud Región del Bio Bio | SEREMI8 |
Salud | Seremi de Salud Región de la Araucanía | SEREMI9 |
Salud | Seremi de Salud Región de Los Ríos | SEREMI14 |
Salud | Seremi de Salud Región de Los Lagos | SEREMI10 |
Salud | Seremi de Salud Región de Aisén | SEREMI11 |
Salud | Seremi de Salud Región de Magallanes y Antártica Chilena | SEREMI12 |
Salud | Establecimiento Experimental Centro de Referencia de Salud de Maipú | CRS MAIPU |
Salud | Establecimiento Experimental CRS Cordillera Oriente | CRSCO |
Salud | Establecimiento Experimental Hospital Padre Hurtado | HPADREHURTADO |
No hay comentarios:
Publicar un comentario