El flujo de la información, estructura organizativa a nivel externo

Dentro de las administraciones locales, un factor a considerar es "de dónde viene la información". Muchos de los datos son generados externamente por otros compañeros en otras áreas. Mantener una versión original del dato puede ser importante y si además existen versiones (actualizaciones periódicas), también debemos llevar un control. Sí, lo ideal sería una única infraestructura de datos común y centralizada, pero eso no siempre pasa, especialmente en ayuntamientos grandes y fragmentados con diferentes áreas de trabajo. En cualquier caso, conocer los responsables que generan la información, el sistema utilizado así como otro tipo de metadatos es crítico para saber cómo podemos manejarlos. Pero más importante aún, es poder defender los resultados obtenidos a partir de ellos en análisis y evaluaciones.

Una estructura de almacenamiento que nos permita organizar la llegada de estos datos debe estar pensada desde el punto de vista del emisor, o sea, lo más simple posible para facilitar el intercambio, por ejemplo:

AREA-TRABAJO (Una administración local dispone de muchas áreas que generan datos, no todos ellos tienen carácter espacial, pero muchos tienen el potencial de serlo mediante cruces con otras capas ya georeferenciadas)

TEMATICA (Una misma área puede disponer de distintas capas que varían temáticamente, lo que implica una mejor organización por niveles para albergar los datos de llegada). En este nivel es ideal tener algún archivo que almacene los principales metadatos, es algo que puede completarse entre todos.

En líneas generales, este espacio no está construido desde el punto de vista del receptor de la información, sino del emisor, lo que buscamos es facilitar, en la medida de lo posible, el intercambio de datos. Que el emisor pueda localizar fácilmente el lugar donde almacenar, versiones de sus propios datos e, igualmente, encontrar los datos compartidos, a su vez, por otras personas. 

Al igual que veremos a bajo, es importante respetar nombres de directorios simples, sin espacios y con caracteres estándar. Si, se que cuesta no poner tildes y "ñ" a diestro y siniestro pero mira el lado bueno, si tenemos faltas de ortografía, aquí al menos las podemos justificar.

El flujo de la información, estructura organizativa a nivel interno

Cada grupo puede definir el suyo, lo importante es que, como hemos indicado, de forma intuitiva pueda llevarte fácilmente al archivo buscado. Si tienes que pensar demasiado es que no es muy intuitiva y tampoco vale eso de... !en mi pc yo me aclaro! Si un grupo quiere trabajar el temas de riesgo o dar apoyo a las autoridades en toma de decisiones, hay que trabajar de forma organizada, dado que muchas veces el tiempo de respuesta es muy corto. El esquema de directorios que yo uso para las capas vectoriales y raster iniciales es el siguiente:

SIG (carpeta principal y única donde se guarda toda la información cartográfica o alfanumérica georeferenciable)

PAIS (en mi caso tengo de distintas zonas del mundo, líos en los que se mete uno...)

ZONA (las capas cartográficas a veces solo cubren una parte, por ejemplo, una provincia, por contraposición a las que cubren todo el país, este nivel me permite determinar el área representada por la información)

RASTER (solo capas en formato raster como modelos digitales del terreno (MDT), ortofotos, etc)

PROYECCION GEOGRÁFICA (en mi caso prefiero organizarlas según la proyección, así evito confusiones en el uso, dado que para el procesado todas deben estar en la misma)

TEMA (Según el tema de la capa, MDT, ortofotos, etc)

SUBTEMA (puede variar según tipo de capa, por ejemplo por entidad u origen de la capa, fecha si se tienen versiones, etc)

VECTOR (solo capas en formato vectorial como shapefile, kml, etc)

PROYECCION GEOGRAFICA

TEMA (Según la temática de la capa, administración, infraestructura, edificaciones, población, etc)

SUBTEMA (puede variar según tipo de capa, por ejemplo por entidad u origen de la capa, fecha si se tienen versiones, etc)

Un ejemplo real en mi disco para llegar a la capa administrativa que representa los barrios del Distrito Metropolitano de Quito sería: /home/usuario/SIG/ECUADOR/QUITO/VECTOR/UTM17S/ADMIN/dmq_barrios-2020-fin_pl.shp (Ojo que trabajo en Linux, así que las rutas son algo distintas a Windows).

En el ejemplo vemos que no existen espacios en los nombres de los archivos ni del fichero. Los nombres utilizados, aunque sean cortos, relejan claramente lo que se está buscando. Este criterio también se aplica al nombre del archivo. Otro aspecto, para la ZONA, una capa nacional repetiría el nombre del país (ECUADOR/ECUADOR), mientras que si fuera parcial sería (ECUADOR/QUITO).

También es importante que toda la cartografía se encuentre en un solo directorio principal, en el ejemplo SIG, evitando las dispersiones asociadas a proyectos, entregas, etc. Los que manejan SIGs y usan geodatabases ya se han olvidado de esta cuestión, pero sigue siendo fundamental al usar capas individuales. Si estas en Windows, dicho directorio tiene que estar fuera del famoso "Mis Documentos", dado que ya introduce espacios.

El flujo de la información, estructura organizativa para procesar datos

En la versión de 2022 este aspecto se ha modificado (espero que sea más fácil su uso!).

Esta estructura está pensada cuando se tienen desarrollos propios y depende en cierta forma de cómo funcionan las aplicaciones desarrolladas. En nuestro caso hemos optado por, en vez de especificar la ruta de cada archivo en la configuración de entrada, indicamos la carpeta donde se encuentran todos los de un mismo tipo y, en un listado a parte, se listan solo los nombres. Así, en la fase actual, dependen de una carpeta general donde se almacenan distintos tipos de datos comunes entre si por su funcionalidad y formato. Por otra parte, el ejemplo que proporciono a continuación es opcional, podría ser más sencillo, en realidad lo único importante es saber donde están los datos para establecer las rutas adecuadamente en los archivos de configuración que veremos más adelante.

PROGRAMACION (carpeta general donde se guarda todo el desarrollo).

DATOS (Carpeta general que almacena los datos de entrada y de salida de los aplicativos, que son los que realmente ocupan espacio).

LUGAR (Dado que pueden trabajarse en distintos países).

DATA_IN (estructura de datos de entrada).

DATA_OUT (estructura de datos de salida.

APLICACIÓN (Los datos de salida se organizan según la aplicación que los genera).

SOFTWARE (carpeta general donde se guardan los aplicativos desarrollados)

NOMBRE_APLICATIVO (Contiene la aplicación principal o ejecutable y el resto de subcarpetas)

MODULOS (Cada algoritmo de cálculo se organiza en un archivo independiente que es llamado por la aplicación principal)

CONFIG (Cada aproximación tiene sus archivo de configuración)

ESTRUCTURAS (Archivos donde se definen las estructuras de datos que servirán para almacenar la información y que es común).

El motivo de separar los datos de entrada y salida del software es facilitar las copias de seguridad de este último. Al ocupar poco espacio es fácil manejarlo en la nube, archivos de seguridad, etc. Una capa siempre puede recuperarse o sustituirse por una versión más reciente, sin embargo, perder el software puede implicar muchas horas de trabajo. Además, si bien aquí solo trabajaremos con un conjunto de aplicaciones, en mi pc tengo muchas más, de ahí el orden.

La principal modificación realizada está en la organización de los datos de entrada. En vez de usar varias carpetas, como hacíamos antes (ver abajo), ahora se usan menos y se combinan con los nombres que se les asignan a los archivos. La estructura quedaría de la siguiente forma:

DATA_IN

RASTER (archivos raster que representan Unidades Espaciales de Análisis (UAE) o valores espaciales)

CAT (Archivos *.csv donde se almacenan las tipologías o categorías de datos raster que funcionan como diccionarios de los archivos que representan valores, por oposición a los que representan un ID)

CSV (Archivo que contiene los atributos mínimos necesarios de una capa UAE sobre la que se adicionan los valores obtenidos tras el análisis espacial)

CSV-VR (Variante de la anterior a la que se añade el nombre de la UAE, por ejemplo para aquellas que tienen un caracter administrativo)

GRD (Archivos raster, para los nombres se utilizan una siglas que indican la extensión de la capa y un siguiente grupo que las organiza temáticamente).

ORIGINALES (donde se guardan archivos intermedios hasta que se obtiene la capa final que servirá para el procesado)

VECTOR (archivos vectoriales en formato *.csv que pueden servir para caracterizar una UAE o bien ser caracterizados)

CAT (Archivos *.csv donde se almacenan las tipologías o categorías de datos vectoriales y funcionan como diccionarios).

CSV (Archivo que contiene los atributos mínimos necesarios de cada capa geográfica sobre la que se adicionan los valores obtenidos tras el análisis espacial)

CSV-OTROS (Contiene otras capas vectoriales que siguen un formato distinto, por ejemplo la capa de vias-linea)

ORIGINALES (donde se guardan archivos intermedios hasta que se obtiene la capa final que servirá para el procesado)

Como ves, la organización de los datos no es un tema menor, es algo en lo que hay que pensar y que además está en continua mejora, especialmente si modificas el software del que es dependiente.