key: cord-0998879-n2zsf445 authors: Hurtado-Ortiz, Alexandra; Moreno-Montoya, José; Prieto-Alvarado, Franklyn E.; Idrovo, Álvaro J. title: Evaluación comparativa de la vigilancia en salud pública de COVID-19 en Colombia: primer semestre date: 2020-11-15 journal: Biomedica DOI: 10.7705/biomedica.5812 sha: 19c7a4a7eb011df40249f4c46e47451fdb55d4dd doc_id: 998879 cord_uid: n2zsf445 INTRODUCTION: Public health surveillance together with good sanitary decisions is essential for the proper management of the SARS-CoV-2 pandemic. OBJECTIVE: To compare the performance of Colombian departments based on the quality of the data and to build the national ranking. MATERIALS AND METHODS: We analyzed the accumulated cases published between March 6 and September 1, 2020, by the Instituto Nacional de Salud. To achieve comparability, the analyses considered the day the first case was diagnosed as the first analysis date for each department. The fulfillment of Benford's law was assessed with p-values in the log-likelihood ratio or chi-square tests. The analysis was completed with the lethality observed in each department and then the performance ranking was established. RESULTS: Bogotá and Valle del Cauca had optimal public health surveillance performance all along. The data suggest that Antioquia, Nariño, and Tolima had good containment and adequate public health surveillance after the economic opening beginning on June 1, 2020. CONCLUSION: We obtained the ranking of the departments regarding the quality of public health surveillance data. The best five departments can be case studies to identify the elements associated with good performance. 2020 (1) . Si bien en el lenguaje cotidiano se usó más la palabra cuarentena, es más adecuado usar la palabra confinamiento, dado que se encerraron personas sanas (cuarentena) y personas diagnosticadas con SARS-CoV-2 (aislamiento) (2) . El confinamiento sirve para evitar la transmisión de una enfermedad infecciosa y permite ganar tiempo para mejorar la respuesta ante una epidemia; esto último implica mejoras en la vigilancia en salud pública, en la capacidad de hacer pruebas y en el número de camas hospitalarias y unidades de cuidados intensivos para el caso de la pandemia de COVID-19. En Colombia, el primer caso de SARS-CoV-2 se notificaron en Bogotá el 6 de marzo de 2020 (3) y a partir de ahí se reportaron casos en diversos lugares del país, configurándose, así, una pandemia con manifestaciones heterogéneas en las regiones. En unos lugares, después del diagnóstico del primer caso se presentó rápidamente la transmisión comunitaria, y en otros, brotes dispersos, lo que implicaba momentos diferentes de inicio del incremento de casos que fueron modificándose según las actividades propias de cada lugar y su relación con otras regiones. En general, se puede decir que hay dos hitos fundamentales para entender la pandemia en cada departamento: por un lado, está el día del primer caso diagnosticado, que es variable, y, en segundo lugar, el día de levantamiento del confinamiento nacional, es decir, el 1° de junio de 2020. Por ello, después de seis meses de pandemia hay lugares donde ya pasó el primer "pico", otros que están en ese "pico" y otros que van subiendo la pendiente hacia el "pico" (4) (5) (6) . Las directrices nacionales han seguido más estrechamente el comportamiento de las regiones donde más población afectada y que corresponden a la situación general del país. En un estudio previo se presentaron los resultados de la evaluación del desempeño del sistema de vigilancia en salud pública nacional durante los primeros 50 días de pandemia, pues en ese momento los datos no eran suficientes para hacer análisis regionales. El análisis se basó en el cumplimiento de la ley de Benford, que ha demostrado ser útil para este tipo de evaluaciones durante las epidemias (7-10) (Idrovo AJ, Manrique-Hernández EF, Fernández-Niño JA. COVID-19 data quality in Brazil: Between applied science and politics. En prensa). Se observó que en la mayoría de los días la calidad de los datos fue buena (11) . La acumulación de datos que ha tenido lugar en el proceso de vigilancia en salud pública durante el avance de la pandemia ha permitido la desagregación de los análisis a nivel regional. En este estudio se presentan los resultados de una evaluación comparativa del desempeño de los departamentos y la ciudad de Bogotá, con el fin de determinar los casos más exitosos, que pueden servir de modelo a los demás. Se hizo una evaluación comparativa (conocida como benchmarking) (12) del desempeño de los 32 departamentos colombianos y del distrito de Bogotá, D.C. Los datos analizados corresponden a los que el sistema oficial de vigilancia en salud pública de Colombia genera como datos abiertos, y que se encuentran disponibles en https://www.ins.gov.co/Noticias/Paginas/ Coronavirus.aspx. Si bien la información pública tiene varias variables, las usadas en este análisis incluyeron los datos de los casos acumulados entre el 6 de marzo y el 1° de septiembre de 2020 (180 días) sometidos a un proceso de evaluación basado en la ley de Benford, y los datos de letalidad. La lógica subyacente a la evaluación planteada es que para tener datos de calidad se deben hacer bien todos los procesos involucrados en las labores de notificación y de búsqueda activa por los equipos de respuesta inmediata, así como el procesamiento de muestras en el laboratorio y la generación de los reportes situacionales que se divulgan a nivel nacional. En la figura 1 se resume el algoritmo usado para la evaluación. El primer paso consistió en evaluar si se cumplía la ley de Benford para los primeros dígitos de los datos acumulados para todo el periodo analizado. Si esta se cumple, se puede inferir que se trata de entidades territoriales con un buen desempeño de la calidad del dato de la vigilancia en salud pública. En este grupo se estableció luego un orden según la letalidad (razón de fallecidos por casos diagnosticados como positivos), clasificando como mejor la entidad con menor fatalidad. Cuando no se cumple la ley de Benford para el primer dígito durante todo el periodo, es posible que la contención de la epidemia se haya logrado, por lo que los casos nuevos podrían incrementarse a un ritmo mucho menor. Por ello se decidió explorar el cumplimiento de la distribución del segundo dígito de los casos acumulados hasta el 31 de mayo, último día antes de la primera apertura económica o levantamiento del confinamiento; además, se exploró el cumplimiento de la ley de Benford del primer dígito entre el 1° de junio y el 1° de septiembre. De esta manera, si se cumple la distribución en ambos casos, es posible concluir que ha habido un buen desempeño de la calidad del dato de la vigilancia en salud pública y también es posible definir un posicionamiento basado en la fatalidad. Esta ley matemática, también conocida como "ley de Newcomb-Benford" o "ley de los números anómalos" (13), plantea que, en un conjunto de números, los que ocupan las primeras posiciones siguen una distribución conocida. La distribución esperada, según la ley de Benford, arroja un 30,103 % para el uno, 17,609 % para el dos, 12,494 % para el tres, 9,691 % para el cuatro, 7,918 % para el cinco, 6,695 % para el seis, 5,799 % para el siete, 5,115 % para el ocho y 4,576 % para el nueve. Los datos empíricos han demostrado que la frecuencia en que ocurren muchas situaciones de la naturaleza es una función inversa de su tamaño, por lo que los objetos más pequeños ocurren mucho más frecuentemente que los grandes (14, 15) . Algoritmo propuesto para evaluar el desempeño de la vigilancia en salud pública de los territorios colombianos durante los primeros seis meses de la pandemia Antes del 31 de mayo Desde el 1° de junio Algo similar se ha observado para los demás dígitos, siendo más útil para fines prácticos el segundo, que permite una mayor variabilidad de los datos (16) . La distribución esperada en este caso indica un 11,968 % para el cero, seguido de 11,389 %, 10,882 %, 10,433 %, 10,031 %, 9,668 %, 9,337 %, 9,035 % y 8,757 %, para los dígitos de uno a nueve sucesivamente. En estudios previos, el cumplimiento de la ley de Benford para el segundo dígito ha servido como indicador de la calidad de los datos en las endemias (8), lo cual podría extrapolarse a las condiciones de una epidemia en condiciones de contención. Para evaluar el nivel de cumplimiento de la distribución descrita por la ley de Benford en los datos observados (casos diarios acumulados), se realizaron, en orden, los siguientes análisis: primeros dígitos de casos acumulados en todo el periodo de observación mediante la prueba de razón del logaritmo de la verosimilitud (17) . Dado que la contención real puede generar un estancamiento o un aumento muy bajo en la aparición de casos, se hizo un análisis con datos hasta el 31 de mayo usando la prueba de razón del logaritmo de la verosimilitud para los segundos dígitos. Por último, es posible que a partir de la apertura económica se iniciara un crecimiento acorde con la ley de Benford, lo que se evaluó con la prueba de ji al cuadrado (18) para analizar cada uno de los primeros dígitos de los datos posteriores al 1° de junio de manera independiente. Para ello se utilizó la macro digdis desarrollada por Ben Jann (ETH, Zurich) en el programa estadístico Stata 14™ (Stata Corporation, USA). El desempeño nacional de la calidad del dato de la vigilancia, incluidos todos los casos acumulados hasta el día 180 de la pandemia, fue adecuado (p=0,44, prueba de razón del logaritmo de la verosimilitud) y siguió la tendencia que ya se había observado (11) . La heterogeneidad de los entes territoriales se puede apreciar en el cuadro 1, en el cual se resume el cumplimiento de la ley de Benford enfocada en el primer dígito. Para hacer comparables los entes territoriales, se comenzaron a contar los días para el análisis de todos ellos a partir de aquel en que se diagnosticó el primer caso en cada territorio. Allí se puede apreciar que los entes territoriales han enfrentado la pandemia en diferentes periodos: algunos desde marzo y otros un par de meses después. Dieciséis de los entes territoriales cumplieron con la ley de Benford al inicio, lo cual sugiere un desempeño inicial adecuado en la calidad del dato, y Bogotá y el Valle del Cauca han mantenido un adecuado desempeño durante todo el periodo analizado. Dado que el 1° de junio de 2020 se decretó una flexibilización del confinamiento que buscaba reactivar la economía y ello implicaba una mayor probabilidad de transmisión del SARS-CoV-2, se analizaron los datos antes y después de esa fecha. Los resultados resumidos en el cuadro 2 sugieren que Antioquia, Nariño y Tolima tuvieron una buena contención, dado que la calidad del dato de segundos dígitos cumplieron con la distribución de Benford, y una adecuada vigilancia en salud pública después de la apertura económica iniciada el 1° de junio. Los departamentos de Cauca, Cesar, La Guajira y Norte de Santander lograron una buena calidad en los datos después de la apertura económica, pese a que antes no cumplían la ley de Benford; esto sugiere que se mejoró la vigilancia, lo cual suele ser el resultado de la preparación durante la contención. Bolívar, Cundinamarca y Sucre tuvieron una buena vigilancia en salud pública durante la contención, pero después de la apertura económica la calidad bajó, lo que sugiere que la capacidad instalada fue superada por la pandemia. Evaluación de vigilancia en salud pública de COVID-19 * Se presentan los valores de p de la prueba de razón del logaritmo de la verosimilitud. Cuadro 1. Cumplimiento de la ley de Benford (primer dígito)* de los reportes de casos de COVID-19 en Colombia (casos acumulados) en diferentes momentos de la pandemia en cada territorio Días desde el primer caso reportado 10 20 30 40 50 60 70 80 90 100 110 120 130 140 150 160 170 180 Amazonas 0,05 0,13 0,22 0,02 <0,01 <0,01 <0,01 <0,01 <0,01 <0,01 <0,01 <0,01 <0,01 Antioquia <0,01 0,03 0,08 0,41 0,29 <0,01 <0,01 <0,01 <0,01 <0,01 <0,01 <0,01 <0,01 0,01 <0,01 <0,01 <0,01 Arauca <0, Los datos de la letalidad y la tasa por 100.000 habitantes se presentan en el cuadro 3. Es notorio que los departamentos con mayor letalidad son Córdoba, Norte de Santander, Magdalena, Putumayo y Atlántico, en tanto que los de menor letalidad son Vaupés, Guaviare, San Andrés y Providencia, Vichada y Risaralda. Al incorporar estos datos a los tres grupos generados con base en el cumplimiento de la ley de Benford, se obtuvo la clasificación del desempeño de la calidad del dato de la vigilancia en salud pública de los entes territoriales colombianos (cuadro 4). El presente estudio de la calidad del dato de la vigilancia en salud pública presenta los resultados hasta el 1° de septiembre del desempeño de la vigilancia en salud pública de COVID-19 en los departamentos colombianos. Lo primero que resalta es que el desempeño ha sido variado, con casos muy destacables y otros que no. El proceso de agregación ponderado por el número de casos reportados en cada ente territorial, encabezado por Bogotá y el Valle del Cauca, que suman entre los dos cerca del 38 % de los casos del total nacional, favoreció que el resultado global del desempeño nacional sea bueno. Con este efecto de la agregación de datos se puede entender que la vigilancia, como muchos temas de salud pública, conceptualmente tiene múltiples niveles que están interconectados. Análisis como el que aquí se presenta han tenido gran acogida durante la pandemia de COVID-19. Es así como varios estudios han usado la ley de Benford para detectar posibles fraudes en los datos de la pandemia (19, 20) , establecer las características comunes de los países que no cumplen la ley de Benford (21) e, incluso, usar la distribución de Benford como criterio para definir si hay "aplanamiento" o no de la curva epidémica (22) . En todos estos casos, los autores refieren que la objetividad del método es su mayor fortaleza. En conclusión, los hallazgos de este estudio sugieren que Antioquia, Tolima, Bogotá, Nariño y Valle del Cauca tuvieron los mejores desempeños en cuanto a la calidad de los datos en los sistemas de vigilancia en salud pública. En futuros estudios se podrá completar la evaluación revisando otros indicadores sanitarios y sociales que muestren la complejidad del manejo de la pandemia. Dado que este estudio evaluó uno de los atributos de la vigilancia en salud pública, debe complementarse con la evaluación de los otros: la sensibilidad, el valor predictivo positivo, la flexibilidad, la aceptabilidad y la simplicidad, entre otros, pero en especial, del principio de utilidad (23) . Estos hallazgos podrán contrastarse con aquellos alcanzados mediante otros indicadores, entre ellos, el número necesario de personas que deben diagnosticarse (número de pruebas por caso positivo), cuyo número mínimo aceptable es 20; el rastreo de los contactos evaluado mediante la proporción de casos relacionados con un caso previo que se detecte, y el aislamiento efectivo de los casos y contactos a partir de dicho rastreo (24) . Los autores agradecen a Edgar Fabián Manrique-Hernández por su apoyo en la recolección de datos. Estado de excepción por coronavirus en Colombia: entre la colaboración armónica y la descentralización Fecha de consulta: 30 de enero de 2020 The arrival and spread of SARS-CoV-2 in Colombia The effect of uncontrolled travelers and social distancing on the spread of novel coronavirus disease (COVID-19) in Colombia Is Colombia an example of successful containment of the COVID-19 2020 pandemic? A critical analysis of the epidemiological data Crónica de una pandemia anunciada: caso Santander (Parte 1) Performance of public health surveillance systems during the influenza A(H1N1) pandemic in the Americas: Testing a new method based on Benford's Law Monitoring the Paraguayan epidemiological dengue surveillance system (2009-2011) using the Benford's law Global performance of epidemiologic surveillance of Zika virus: Rapid assessment of an ongoing epidemic Data quality of Chinese surveillance of COVID-19: Objective analysis based on WHO´s situation reports Desempeño del sistema de vigilancia colombiano durante la pandemia de COVID-19: evaluación rápida de los primeros 50 días Benchmarking: A method for continuous quality improvement in health The law of anomalous numbers The first digit phenomenon The Newcomb-Benford Law in its relation to some common distributions Not the first digit! Using Benford's law to detect fraudulent scientific data The log likelihood ratio test (the G-test) Assessing conformance with Benford's law: Goodness-of-fit tests and simultaneous confidence intervals Testing case number of coronavirus disease 2019 in China with Newcomb-Benford law Benford's law and COVID-19 reporting. Fecha de consulta: 28 de abril de 2020 Are less developed countries more likely to manipulate data during pandemics? COVID-19, flattening the curve, and Benford's law Updated guidelines for evaluating public health surveillance systems: Recommendations from the Guidelines Working Group Tres indicadores para calificar alcaldes en el manejo de la pandemia. La Silla Vacía. Fecha de consulta: 16 de agosto 2020