Datos de colegios II

Una idea para que el trabajo de recolección de información sea útil, es subir los datos y esquema a Freebase. Por ejemplo una meta puede ser subir todos los colegios de Chile, seria un buen aporte, mas considerando que existe casi 12k colegios y el total de instituciones educacionales en FreeBase es de solo 32k.

Tratando de implementar un screen scraper para InfoEscuela, noto que la implementacion de ese servicio hace muy difícil la automatización de consultas. Los problemas encontrados son:

1. El identificador de la escuela seleccionada es almacenado como un estado de sesión en el servidor, lo típico es que ese id sea parte de una url (al estilo http://pagina.cl/app?id=18 o http://sitio.cl/app/id/18), o se pase por un campo hidden de un formulario o bien se almacene en una variable cookie
2. La data de una escuela esta distribuida en distintas paginas

Por otra parte, y para ayudar a resolver los problemas anteriores, se puede utilizar la información disponible en otro sitio del Ministerio de Educación, se trata del Directorio de Establecimientos donde esta disponible una fuente de datos de todos los establecimientos (es una planilla excel, pero con información de mucho valor).

Como un dato que se repite en los distintos sitios y fuentes de datos del Ministerio de Educación esta el campo llamado RBD, que es un identificador único para cada establecimiento, este datos se puede utilizar para generar la URI de los colegios.

Con la fuente de datos del Directorio de Establecimientos, se puede realizar el siguiente ejercicio para cada registro:

1. Rescatar el valor del campo RBD (XXX)
2. Generar una consulta a la siguiente pagina: http://www.infoescuela.cl/InfoEscuelas/BuscaByRbd?RBD=XXX
3. Rescatar los datos requeridos de esa pagina
4. Generar una consulta a cada una de las subpaginas y rescatar los datos requeridos:
   
   • Escuela:
     
   • http://www.infoescuela.cl/InfoEscuelas/Ciudadanos/nuestra-escuela.jsp
     
   • http://www.infoescuela.cl/InfoEscuelas/Ciudadanos/nuestra-escuela-cobros.jsp
   • http://www.infoescuela.cl/InfoEscuelas/EquipoDirectivoSv
     
   • http://www.infoescuela.cl/InfoEscuelas/Ciudadanos/nuestra-escuela-profesores.jsp
   • http://www.infoescuela.cl/InfoEscuelas/Ciudadanos/nuestra-escuela-participacion.jsp
   • Infraestructura:
     
   • http://www.infoescuela.cl/InfoEscuelas/Ciudadanos/infraestructura-instalaciones.jsp
   • http://www.infoescuela.cl/InfoEscuelas/Apd
   • http://www.infoescuela.cl/InfoEscuelas/Ciudadanos/infraestructura-inversion-jec.jsp
   • Resultados:
     
   • http://www.infoescuela.cl/InfoEscuelas/SimceSv
   • http://www.infoescuela.cl/InfoEscuelas/PsuSv
   • http://www.infoescuela.cl/InfoEscuelas/IndEfSv
   • http://www.infoescuela.cl/InfoEscuelas/LogrosSv
   • http://www.infoescuela.cl/InfoEscuelas/PApoyoSv
     
   • Beneficios:
   • http://www.infoescuela.cl/InfoEscuelas/AyEstSv
   • http://www.infoescuela.cl/InfoEscuelas/AFCSv
   • Financiamiento:
   • http://www.infoescuela.cl/InfoEscuelas/FinanSv