Auditoría de carácter especial sobre la plataforma tecnológica implementada para gestionar el Bono Proteger

AUD-282 #ReporteCGR 2



22 de octubre de 2020

15 minutos de lectura

Plataforma Bono Proteger: gestión de controles automatizados

Generalidades

Objetivo

El objetivo de la auditoría es determinar si la gestión de los controles aplicados en la plataforma tecnológica y la seguridad sobre la información almacenada, utilizada para la puesta en marcha del Bono Proteger impulsado por el Ministerio de Trabajo y Seguridad Social (MTSS) y el Instituto Mixto de Ayuda Social (IMAS), se ajusta al marco normativo, jurídico y técnico aplicable.

Asimismo, el objetivo de este reporte es informar oportunidades de mejora en la gestión administrativa realizada por el MTSS para los procesos de diseño, definición de requerimientos, programación y pruebas de calidad de los controles implementados en la plataforma tecnológica del Bono Proteger y su congruencia con el marco normativo, jurídico y técnico aplicable.

Figura N° 1.

Controles del proceso de desarrollo de sistemas y la plataforma tecnológica Bono Proteger

Fuente: Elaboración propia, con base en la Norma 3.2, inciso b de las Normas técnicas para la gestión y control de tecnologías de información N-2-2007-CO-DFOE y el Decreto Ejecutivo N° 42305-MTSS-MDHIS.

Alcance y período



El presente reporte abarca los aspectos relacionados con la gestión administrativa del MTSS en cuanto al diseño y la definición de los requerimientos[1] planteados a la empresa donante de la plataforma que soporta el Bono Proteger, para la programación[2] de los procesos de selección y priorización de beneficiarios, previo a la generación de las planillas de pago; y al proceso de pruebas realizadas por el Ministerio para verificar que el producto recibido cumpliera con los requerimientos solicitados.

Se evaluó la información obtenida a través de entrevistas y solicitudes de información escritas al MTSS, así como sesiones de trabajo llevadas a cabo con funcionarios del Ministerio y de la empresa desarrolladora, en el período comprendido entre el 15 de marzo y el 22 de septiembre de 2020. Este es el segundo reporte de la auditoría en ejecución; posteriormente se emitirá un informe final.

Relevancia



El desarrollo de la plataforma tecnológica para la gestión del Bono Proteger, implica para la administración pública, el despliegue de mecanismos y actividades para asegurar que las actividades de recepción de solicitudes, validación y selección de beneficiarios, así como la priorización de las entregas, se realicen de conformidad con las condiciones establecidas para el otorgamiento del subsidio, de manera que se satisfaga el objetivo para el cual se creó y se contribuya con la protección social de las personas cuya condición laboral y de ingresos fue afectada como consecuencia de la emergencia nacional.

Marco contextual



El Gobierno de la República diseñó el programa de ayudas económicas denominado Programa Proteger[3], el cual contempla la entrega temporal de un subsidio económico, denominado Bono Proteger, a personas trabajadoras que han tenido una afectación en su condición laboral y, en consecuencia, una reducción de ingresos, a raíz de la emergencia nacional debido a la enfermedad COVID-19.

Para la gestión del Bono, se implementó una plataforma tecnológica por parte de una empresa privada, en el marco de una donación ofrecida a la administración pública[4]. Esta plataforma tecnológica está conformada por la página web a través de la cual las personas solicitan este subsidio, así como la herramienta que permite a las autoridades responsables determinar el cumplimiento de las condiciones de los solicitantes y asignar la prioridad con la que deben entregarse los bonos. La plataforma fue lanzada el 9 de abril de 2020 y al 8 de septiembre ha recibido alrededor de 1 millón de solicitudes y, por medio de ella, la administración ha informado sobre el otorgamiento del Bono a más 680 mil personas[5].

Áreas de mejora identificadas

A partir de la revisión efectuada sobre la gestión de los controles administrativos de la plataforma por parte del MTSS, se identificó que la definición de los requerimientos para su desarrollo e implementación se desarrollaron a partir de sesiones de trabajo con la empresa, en el marco de lo establecido en el Decreto Ejecutivo N° 42305-MTSS-MDHIS y sus reformas. Asimismo, se determinó, que la programación realizada en la plataforma, en cuanto a los criterios de priorización sobre las variables de rango de ingresos, jefatura de hogar y discapacidad, se encuentra alineada con el Decreto Ejecutivo mencionado.

No obstante, se determinaron áreas de mejora relevantes en materia de controles respecto del marco normativo, jurídico y técnico aplicable, las cuales resulta oportuno informar, con el fin de propiciar las acciones correctivas que correspondan en el marco de los objetivos que se persiguen.

Diferencias en la programación de los controles automatizados referidos a la priorización y validación de documentos de los beneficiarios en la plataforma, con respecto a lo establecido en el Decreto Ejecutivo

El Decreto Ejecutivo N.º 42305-MTSS-MDHIS, es el documento de referencia utilizado por el MTSS y la empresa que desarrolla la plataforma, para la programación de los controles relativos a la selección y priorización de beneficiarios, así como para la recopilación y validación de datos. Dicho Decreto establece los lineamientos generales para la solicitud y asignación de los beneficios del Bono Proteger; los criterios de priorización en la asignación de los beneficios y mecanismos de validación, control, seguimiento, rendición de cuentas y resguardo de la información.

En cuanto a los criterios para la priorización en la asignación de los bonos, la programación realizada en la plataforma con respecto a las variables denominadas b)Rango de ingresos, d)Jefatura de Hogar y h)Discapacidad, se determinó por parte de esta Contraloría General que dichas variables se encuentran alineadas con lo que establece el artículo 19 del Decreto Ejecutivo N° 42305-MTSS-MDHIS; sin embargo, la programación de las demás variables[6], , a saber: a) Condición de empleo, c) Condición de pobreza, e) Sexo de la jefatura de hogar, f) Cantidad de dependientes y g) Edad, presenta diferencias con lo establecido en el citado Decreto, según se muestra con detalle en la siguiente figura.

Figura N.º 2

Variables del algoritmo de priorización con diferencias entre lo establecido en el Decreto y la programación de la plataforma

Fuente: Elaboración propia con base en el Decreto Ejecutivo N.° 42305-MTSS-MDHIS y el código de programación “Versión 1.2a Algoritmo cálculo de referencia para prioritarización de asignación de bonos”

Dentro de este contexto, y a mayor abundamiento de seguido se amplía sobre las situaciones identificadas:

i. Con respecto al criterio a) Condición de empleo, en la programación de la plataforma se asigna el mismo puntaje para todos aquellos beneficiarios que reportan una reducción de jornada, independientemente del porcentaje de reducción, a pesar de que el Decreto Ejecutivo establece una categoría para reducción superior al 50% y otra para reducción igual o inferior a 50%, tal como fue informado por la Administración en junio y agosto[7].

ii. En cuanto al criterio c) Condición de pobreza, según el Decreto, este se divide en cinco categorías: Pobreza extrema, Pobreza básica, En vulnerabilidad, No pobre y No registra; sin embargo, la programación de la plataforma contempla solamente tres categorías, Pobreza extrema, Pobreza básica y las demás condiciones socioeconómicas las agrupa en una misma categoría que incluye a los vulnerables, no pobres y no registrados.

iii. En relación con el criterio e) Sexo de la Jefatura de Hogar, el Decreto indica que la variable debe seleccionarse del SINIRUBE; sin embargo, en la programación se utiliza el dato “Sexo” brindado por el solicitante a la hora de llenar el formulario, el cual no necesariamente corresponde a la jefatura de hogar, sino al sexo de la persona solicitante, ello a pesar de que la variable “Sexo Jefatura de hogar” existe dentro de la base de datos, producto de la validación realizada con la base de datos SINIRUBE.

iv. Asimismo, el criterio f) Cantidad de dependientes, según el Decreto, se divide en tres categorías: 4 o más miembros, 3 a 2 miembros y 1 miembro; no obstante, en la programación de la plataforma se definieron intervalos distintos a los indicados en el Decreto: 5 o más miembros, 4 a 3 miembros y 2 a 1 miembro, asignando dos, uno y cero puntos respectivamente.

v. Finalmente, en cuanto al criterio g) Edad, el citado Decreto indica que esta se determina a partir de la información del Tribunal Supremo de Elecciones (TSE); sin embargo, en la programación de la plataforma se toma la diferencia entre el año de nacimiento y el año actual, es decir, calcula la edad que la persona cumple este año, independientemente de si, para la fecha de solicitud, no la ha cumplido, pese a que la plataforma tiene acceso al dato “Edad” de la base de datos del Registro Civil del TSE.

Lo indicado anteriormente podría provocar problemas de focalización, en el sentido de que se asigne el bono a personas que no tengan las condiciones requeridas o se excluya a personas con mayor afectación.

Si bien la Administración tiene potestad para ajustar los parámetros aplicados a los criterios de priorización, para focalizar y brindar mayor grado de prioridad a las personas con mayor incidencia de vulnerabilidad[8], estos parámetros deben estar documentados en un procedimiento[9], y las modificaciones que se realicen deben ser oficializadas y registradas con su respectiva justificación. Al respecto, se determinó que se carece de documentación formal donde se evidencie el análisis técnico que ha dado origen tanto a la definición inicial de los parámetros de priorización como a las modificaciones realizadas.

Por otra parte, para la validación de la documentación de soporte que las personas adjuntan a su solicitud, tales como la cédula de identidad, la declaración jurada y, si corresponde, carta del patrono donde confirma el cambio en la situación laboral del solicitante, no se cuenta con controles, ni automatizados ni manuales, que permitan verificar la cantidad, el tipo y contenido de los documentos enviados junto con cada solicitud. Adicionalmente, se carece de un mecanismo de asociación de tales documentos con la solicitud correspondiente.

Finalmente, se determinó que el MTSS carece de un control de versiones de la programación, lo cual impide verificar los cambios que han sido implementados a partir de una fecha determinada, así como detectar eventuales casos de solicitudes de Bono gestionadas erróneamente, o con parámetros distintos a los actuales, previo a la implementación de alguna mejora en el código o a la modificación de los parámetros aplicados a los criterios de priorización. Al respecto, la Administración indicó que el puntaje máximo asignado por la plataforma es de 20 puntos[10] y actualmente se asigna ese puntaje máximo; sin embargo, en mayo anterior, la plataforma contemplaba puntajes de referencia de hasta 30 puntos[11].

Debilidades en la calidad de la información de la base de datos del Bono Proteger debido a la carencia de pruebas de calidad de la programación de los controles de la plataforma tecnológica

El marco metodológico para guiar las implementaciones de tecnologías de información contempla la definición de pruebas que permitan dar por aceptados los productos entregables, así como evaluaciones post-implantación para verificar la satisfacción de los requerimientos de los usuarios y el efectivo soporte a los procesos que se pretende automatizar[12], y se puedan ejecutar en forma organizada las actividades de obtener, procesar, generar y comunicar en forma eficaz y eficiente la información necesaria para la consecución de los objetivos[13].

Así las cosas, en lo que respecta al desarrollo de la plataforma tecnológica implementada para gestionar el Bono Proteger, el MTSS indicó a esta Contraloría General lo siguiente[14] : “Los resultados de los requerimientos hechos a la empresa se ajustan a cabalidad con los solicitado (sic) por el MTSS, lamentablemente estos resultados, de las pruebas que permitieron determinar la implementación satisfactoria de los criterios, no están documentados. Si se hace énfasis que la constatación operativa y funcional de los mismos son verificables en una revisión de la plataforma y su programación.” (el destacado no es del original).

Según indicó el MTSS, este desarrollo se realizó mediante una metodología ágil, caracterizada por dar mayor preponderancia a la solución funcional que a la documentación detallada[15]; sin embargo, su uso no exime de contar con un mínimo de documentación del proceso, incluyendo aquella que permita constatar las pruebas realizadas y sus resultados.

Bajo este contexto, en vista de que las pruebas realizadas por el MTSS no fueron documentadas, este Órgano Contralor procedió a realizar verificaciones de calidad a partir de la información almacenada en la base de datos de la plataforma, producto de las cuales se identificaron las siguientes situaciones:

i. La validación de la variable “Fallecido” se realiza en la base de datos del SINIRUBE; no obstante, en los casos de personas no registradas en dicha base de datos, el sistema asume que no están fallecidas; asimismo, se identificó personas registradas en SINIRUBE, a las cuales no se había actualizado su defunción. Si bien la actualización de las bases de datos externas escapa del control de las partes involucradas en la plataforma tecnológica para la gestión del Bono Proteger, esta cuenta con conexión a la base de datos del Registro Civil del TSE, la cual es la fuente primaria que provee ese dato más actualizado[16].

ii. Asimismo, en el caso de solicitantes extranjeros, en la base de datos se almacenan varios registros, referentes a una misma persona en los cuales uno de los registros contiene el número de DIMEX[17] completo, es decir 12 dígitos, y otro, truncado en el noveno o décimo dígito, lo cual produce distorsiones en la contabilización de registros, además de aumentar el riesgo de duplicar el beneficio a una misma persona. Al respecto, la Administración indicó que se debe a dos posibles razones: los días iniciales del lanzamiento del formulario de solicitud del Bono, se permitía el ingreso manual de una serie de datos que actualmente se obtienen de manera automática; y la planilla de pagos realizados por el Ministerio de Hacienda indica únicamente 10 dígitos del documento de identificación, independientemente de si es DIMEX o nacional.

iii. Finalmente, la base de datos almacena solicitudes de personas cuya edad calculada por la plataforma es menor a cero e incluso hasta 120 años. Al validar la edad de estas personas en la base de datos del Registro Civil del TSE, estas sí tienen una edad coherente con los requisitos para solicitar el Bono Proteger; sin embargo, tales registros de edad no debieran diferir, en vista de que la plataforma utiliza de referencia la fecha de nacimiento de cada solicitante en el Registro Civil del TSE.

Lo indicado anteriormente resalta la necesidad de contar con documentación de las pruebas de calidad realizadas, ya que la ausencia de esta dificulta, tanto al propio MTSS como a los órganos de control y fiscalización, la capacidad para verificar[18] la exhaustividad de dichas pruebas y, con ello, determinar si el desarrollo de software realizado le permite al Ministerio cumplir con las disposiciones jurídicas y técnicas que le atañen en relación con la gestión del Bono Proteger.

Asimismo, se dificulta la capacidad del MTSS de prevenir la ocurrencia de eventuales desviaciones y, en caso de que existan, detectarlas tan pronto como sea posible e implementar las medidas correspondientes[19] para ajustar el producto, en cumplimiento de los principios de transparencia, rendición de cuentas, utilidad, razonabilidad y buena gestión administrativa[20].

Limitaciones para verificar la calidad de los productos recibidos debido a la carencia de un procedimiento formal para la aplicación de los parámetros de selección y priorización de solicitantes

La implementación de tecnologías de información y su mantenimiento implican un involucramiento activo de las unidades o áreas usuarias, quienes participan en el proceso de definición de requerimientos y en la aprobación de las implementaciones realizadas[21]. Para lograr la correspondencia esperada entre los requerimientos y las implementaciones, es necesario contar con un marco metodológico que guíe la implementación[22], dentro del cual debe considerarse que dichos requerimientos se definan en forma clara, completa y oportuna[23].

En el caso del Bono Proteger, el MTSS es responsable de recolectar los datos suministrados por las personas solicitantes, asegurar su protección y canalizar o gestionar el pago del Bono[24] a las personas que cumplan con las condiciones[25] y requisitos[26] para ser beneficiarias, de acuerdo con el monto[27] y la prioridad[28] correspondientes. La automatización de estas tareas, por medio de una plataforma tecnológica implica la necesidad de que el MTSS establezca, mantenga, perfeccione y evalúe las actividades de control de la plataforma para asegurar la satisfacción del fin público del Bono Proteger y esté conforme con los principios de transparencia, rendición de cuentas, utilidad, razonabilidad y buena gestión administrativa[29].

Al respecto, el MTSS indicó[30] que la definición de los requerimientos para el desarrollo e implementación de la plataforma tecnológica del Bono Proteger “se realizó en sesiones de trabajo conjunta (sic) revisando lo establecido en el Decreto ejecutivo”. Sin embargo, esta Contraloría General determinó que se carece de documentación en la cual se evidencien los requerimientos planteados, y no se ha formalizado, a la fecha, el procedimiento para la aplicación de los parámetros de selección y priorización de solicitantes, ya que, si bien el Decreto Ejecutivo N° 42305-MTSS-MDHIS establece los criterios para determinar la prioridad de ejecución de las transferencias del Bono Proteger, este no contempla los puntajes para cada criterio, pues la administración es quien tiene la responsabilidad de definir los parámetros de selección y priorización de beneficiarios mediante un procedimiento documentado[31].

Además de constituir la herramienta para comunicar las necesidades al desarrollador de la solución tecnológica, la definición de requerimientos es, al mismo tiempo, un insumo para identificar posibles casos de prueba que permitan verificar los aspectos funcionales y no funcionales, de calidad y de integración[32] del producto recibido.

Así las cosas, el no contar con especificaciones de requerimientos limita tanto al MTSS como a los órganos de fiscalización y control[33], la obtención de una seguridad razonable sobre el desarrollo de todos los procedimientos necesarios para la gestión del Bono Proteger, lo cual adquiere relevancia en vista de que el MTSS aún solicita y requiere mejoras a la plataforma para cumplir con su objetivo.

Notas al pie:

[1] Conjunto de solicitudes que describen todas las interacciones que se espera que el usuario pueda tener con el sistema informático.

[2] La programación refiere a la acción de crear programas o aplicaciones a través del desarrollo de un código fuente, que se basa en el conjunto de instrucciones que sigue el ordenador para ejecutar un programa.

[3] Decreto Ejecutivo N° 42305-MTSS-MDHIS y sus reformas, Creación del Programa Proteger.

[4] “Convenio de Cooperación entre el Ministerio de Trabajo y Seguridad Social y Continum Data Center S.A.”, suscrito el 02 de abril de 2020 y artículo 6 del Decreto Ejecutivo 42227-MP-S del 16 de marzo de 2020.

[5] Quinto Informe Mensual de Seguimiento a la Ejecución del Bono Proteger, emitido por el MTSS con datos al 08 de septiembre de 2020.

[6] “Versión 1.2a Algoritmo cálculo de referencia para prioritarización de asignación de bonos”

[7] Oficios N° MTSS-DMT-730-2020 del 22 de junio de 2020 y MTSS-DMT-1049-2020 del 31 de agosto de 2020

[8] Artículo 19 del Decreto Ejecutivo N° 42305-MTSS-MDHIS, publicado el 16 de marzo de 2020.

[9] Artículo 22 del Decreto Ejecutivo N° 42305-MTSS-MDHIS, publicado el 16 de marzo de 2020.

[10] Oficio N° MTSS-DMT-OF-1049-2020 del 31 de agosto de 2020.

[11] Adjunto al Oficio N° DNE-OF-209-2020 del 21 de mayo de 2020.

[12] Norma 3.2, inciso b de las Normas técnicas para la gestión y control de tecnologías de información N-2-2007-CO-DFOE.

[13] Norma 5.1 de las Normas de Control Interno para el Sector Público (N-2-2009-CO-DFOE).

[14] Oficio N° MTSS-DMT-OF-1049-2020, del 31 de agosto de 2020.

[15] Manifiesto ágil, suscrito por Beck y colegas en febrero de 2001.

[16] Artículo 104 de la Constitución Política de Costa Rica. Capítulo V de la Ley Orgánica del Tribunal Supremo de Elecciones y del Registro Civil, N° 3504, publicada en La Gaceta N° 117 de 26 de mayo de 1965.

[17]Identificador del Documento de Identidad Migratoria para Extranjeros conformado por doce dígitos.

[18] Artículo 23 del Decreto Ejecutivo N° 42305-MTSS-MDHIS, publicado el 16 de marzo de 2020.

[19] Norma 4.6 de las Normas de Control Interno para el Sector Público (N-2-2009-CO-DFOE).

[20] Norma 4.5.5 de las Normas de Control Interno para el Sector Público (N-2-2009-CO-DFOE).

[21] Norma 3.1, inciso c de las Normas técnicas para la gestión y control de tecnologías de información N-2-2007-CO-DFOE.

[22] Norma 3.2, inciso b de las Normas técnicas para la gestión y control de tecnologías de información N-2-2007-CO-DFOE.

[23] Norma 3.1, inciso f de las Normas técnicas para la gestión y control de tecnologías de información N-2-2007-CO-DFOE.

[24] Artículo 10, inciso g del Decreto Ejecutivo N° 42305-MTSS-MDHIS, publicado el 16 de marzo de 2020

[25] Artículo 5 del Decreto Ejecutivo N° 42305-MTSS-MDHIS, publicado el 16 de marzo de 2020.

[26] Artículos 6 y 7 del Decreto Ejecutivo N° 42305-MTSS-MDHIS, publicado el 16 de marzo de 2020.

[27] Artículo 8 del Decreto Ejecutivo N° 42305-MTSS-MDHIS, publicado el 16 de marzo de 2020.

[28] Artículo 19 del Decreto Ejecutivo N° 42305-MTSS-MDHIS, publicado el 16 de marzo de 2020.

[29] Norma 4.5.5 de las Normas de Control Interno para el Sector Público (N-2-2009-CO-DFOE).

[30] Oficio N° MTSS-DMT-OF-1049-2020, del 31 de agosto de 2020.

[31] Artículo 22 del Decreto Ejecutivo N° 42305-MTSS-MDHIS, publicado el 16 de marzo de 2020.

[32] Watkins, J. Agile testing: How to succeed in an extreme testing environment. Cambridge University Press. 2009.

[33] Artículo 23 del Decreto Ejecutivo N° 42305-MTSS-MDHIS, publicado el 16 de marzo de 2020.

Reporte 2-Plataforma Bono Proteger gestión de controles automatizados.docx
AUD-282 #ReporteCGR 2.pdf