key: cord-0835180-1itrf9cx authors: García-Seoane, J J; Ramos-Rincón, J M; Lara-Muñoz, P title: Cambios en el Examen Clínico Objetivo y Estructurado (ECOE) de las facultades de Medicina durante la COVID-19. Experiencia de una ECOE de casos-clínicos computarizados simulados (ECOE-CCS) conjunta date: 2021-02-05 journal: Rev Clin Esp DOI: 10.1016/j.rce.2021.01.004 sha: af2e00e3295b8037789e839140f43b20bc65ae69 doc_id: 835180 cord_uid: 1itrf9cx Background and objectives. The COVID-19 pandemic has forced universities to move the completion of university studies online. Spain’s National Conference of Medical School Deans coordinates an objective, structured clinical competency assessment called the Objective Structured Clinical Examination (OSCE), which consists of 20 face-to-face test sections for students in their sixth year of study. As a result of the pandemic, a computer-based case simulation OSCE (CCS-OSCE) has been designed. The objective of this article is to describe the creation, administration, and development of the test. Materials and methods. This work is a descriptive study of the CCS-OSCE from its planning stages in April 2020 to its administration in June 2020. Results. The CCS-OSCE evaluated the competences of anamnesis, exploration, clinical judgment, ethical aspects, interprofessional relations, prevention, and health promotion. No technical or communication skills were evaluated. The CCS-OSCE consisted of ten test sections, each of which had a 12-minutes time limit and ranged from six to 21 questions (mean: 1.1 minutes/question). The CCS-OSCE used the virtual campus platform of each of the 16 participating medical schools, which had a total of 2,829 students in their sixth year of study. It was jointly held on two dates in June 2020. Conclusions: The CCS-OSCE made it possible to bring together the various medical schools and carry out interdisciplinary work. The CCS-OSCE conducted may be similar to Step 3 of the United States Medical Licensing Examination. La evaluación de la competencia clínica se ha realizado a través del tiempo utilizando instrumentos como el examen ante un paciente real. Esta forma de evaluación tradicional hace difícil valorar explícitamente todos los componentes que integran la competencia clínica 1 . En 1975, Harden inició la observación directa con múltiples estaciones estructuradas con un listado evaluativo, la Objective Structured Clinical Examination (OSCE), y, en español, la evaluación (o examen) clínico objetivo estructurado (ECOE) [2] [3] [4] . La Conferencia Nacional de Decanos de Facultades de Medicina (CNDFME) ha establecido los criterios comunes de una prueba tipo ECOE de 20 estaciones, que deben realizar todos los alumnos del sexto curso del grado en medicina 5 . Es una prueba de carácter práctico orientada a valorar la competencia profesional del alumno de acuerdo con las competencias específicas del grado en medicina establecidas por la Orden ECI/332/2008 publicada en el BOE de 15/02/2008 6 , mediante la resolución de casos clínicos y la demostración de habilidades 5 . Las diferentes facultades de Medicina (FM) realizan la ECOE generalmente en un entorno clínico. Esta prueba explora las competencias mediante diferentes metodologías. Las estaciones incluyen pacientes estandarizados, maniquíes, preguntas de respuesta corta, realización de exploraciones complementarias ajustadas al caso, redacción de informes clínicos, examen oral estructurado, habilidades y procedimientos, estaciones con ordenador o utilizando simuladores 7-9 . La pandemia de la COVID-19 ha cambiado nuestras vidas en el año 2020. El estado de alarma decretado ha obligado a completar los estudios universitarios online 10 . Por ello, el Comité Nacional de la prueba de la CNDFME aprobó la realización de pruebas virtuales sustitutorias. Dentro de los acuerdos, las 16 FM decidieron desarrollar una ECOE de casos clínicos computarizados simulados (ECOE-CCS) para ejecutarlos en la plataforma del campus virtual de cada universidad, en un proyecto de innovación común. El objetivo de este artículo es describir la elaboración, la ejecución y el desarrollo de la ECOE-CCS. Estudio descriptivo del proceso de elaboración, desarrollo y ejecución de la ECOE-CCS desde su gestación en abril de 2020 hasta su ejecución en junio de 2020. Page 5 of 18 J o u r n a l P r e -p r o o f 5 Elaboración ECOE-CCS El día 25 de marzo de 2020 ya en el estado de alarma el Comité Nacional de la prueba de la ECOE_CNDFME acuerda formar grupos de trabajo para elaborar una base de casos y preguntas para una prueba ECOE virtual que pudiese ejecutarse simultáneamente en cada FM. (tabla suplementaria 1: composición de los grupos de trabajo). Dos semanas más tarde se establecieron dos agrupaciones de los grupos de trabajo. De las 40 FM que debían realizar la prueba ECOE_CNDFME el curso 2019-2020, 21 (52,5%) decidieron unirse a alguno de los grupos para compartir una prueba común. De estas, 16 FM (76,2%) desarrollaron y compartieron la ECOE-CCS objeto de este trabajo y 5 FM (23,8%) se unieron en un grupo de trabajo utilizando la plataforma de la Fundación Practicum-Script®. Desde el 25 de abril se realizaron reuniones online semanales de las 16 FM que participaron en la ECOE-CCS con casos comunes compartidos y a las que también se sumaron otros coordinadores del resto de las FM para compartir la experiencia y tratar todos los aspectos de la organización. Se comenzó por establecer el mapa de competencias, el número de estaciones necesarias, el número de ítems por competencia y se fijaron las fechas de realización de la prueba. En la tabla 1 se incluye el mapa de competencias de la ECOE-CCS y el de la ECOE de la CNDFME presencial. En este sentido se vio que las competencias de habilidades técnicas y habilidades de comunicación no se podrían evaluar adecuadamente, pero sí se podían desarrollar preguntas virtuales para el resto de las competencias. Por consenso de todas las FM participantes en la prueba y refrendado por la Comisión Permanente de la CNDFME, la competencia de juicio clínico se pasó de 20% a 35% y la de prevención y salud pública y la de aspectos éticos/legales/profesionalismo de 10% a 15%. Inicialmente se solicitó a las FM estaciones que pudieran desarrollarse en plataformas online. Se presentaron 44 estaciones virtuales clasificadas de acuerdo a las especialidades clínicas que figuran en el Módulo V del plan de estudios, y, finalmente, se seleccionaron 10 estaciones para cada día de examen, teniendo en cuenta las diferentes competencias que había que evaluar y las especialidades clínicas para cubrir el requerimiento del plan de estudios que permite que el título de grado en medicina tenga reconocido el nivel de máster. Por ello se acordó seleccionar casos clínicos de ginecología (n=1), pediatría (n=1), psiquiatría (n=1), cirugía y traumatología (n=2), medicina (n=3) y atención primaria (n=2). ECOE-CCS de prueba una estación de comienzo y tres estaciones simuladas. Estaba diseñada para que el estudiante pudiera tener modelos de preguntas con los que se iba a encontrar en las estaciones de la ECOE-CCS. Se celebró un sábado por la tarde para simular la presión del examen común simultáneo sobre los servicios informáticos de las plataformas virtuales de cada FM. Participaron 2829 alumnos. Comenzaba con una estación con un video de bienvenida, la explicación de la prueba y una pregunta de compromiso ético y, a continuación, 4 estaciones que fueron apareciendo de forma secuencial. Una vez finalizada la previa, se mantuvo la posibilidad de repetir la última estación en días sucesivos para que los alumnos pudieran familiarizarse con el tipo de preguntas. La duración de la prueba fue de unos 30 minutos. Trece FM realizaron la prueba en la plataforma Moodle, dos en Sakai y una en Blackboard. Términos empleados en la elaboración de la ECOE-CCS Los términos empleados en la elaboración de la ECOE-CCS se definen como: 1) Estación: agrupación de preguntas sobre un caso clínico. 2) Pregunta: enunciado presentado al alumno en la pantalla con un número variable de ítems evaluables y neutros que una vez completada se enviaba y no se permite su modificación. En la mayoría de las preguntas de anamnesis y de exploración se añadió la posibilidad de comprobación, que permitió informar al alumno de la respuesta del paciente en forma de texto como respuesta a lo que se preguntó en la anamnesis o como imagen gráfica o video en caso de las exploraciones. 3) Ítems evaluables: elementos sobre los que se pregunta y puntuables positiva o negativamente. La ECOE-CCS se realizó en dos fechas, el 6 de junio y el 20 de junio de 2020. En la primera participaron 13 FM con 2463 alumnos y en la segunda, 3 FM con 366 alumnos. La prueba empezó a las 19 h de forma simultánea en todas las FM. Se diseñó la ECOE-CCS con los mismos casos, las mismas preguntas y las mismas ponderaciones de competencias. En la tabla 2 se recoge las universidades, las plataformas virtuales utilizadas y el número de alumnos. Cada ECOE-CCS del día 6 de junio de 2020 y del día 20 presentaban situaciones diferentes si bien se compartieron 4 estaciones, 2 con el mismo contenido de caso clínico y las otras 2 con la misma situación de partida, pero con un caso clínico diferente (tabla 3). El alumno fue 7 convocado con un tiempo de 30 minutos antes del inicio de la prueba. La prueba empezaba con una estación 0 o de presentación; a continuación, 10 estaciones y para finalizar una encuesta de satisfacción de la prueba. La prueba ECOE-CCS se diseñó para que cada alumno entrará en las estaciones con una secuencia diferente (con 50 variantes distintas) para disminuir el efecto de copia o de trasmisión de la información. La duración de cada estación fue de 12 minutos. Las estaciones se abrían cuando se entregaba la anterior. Si no acababa en los 12 minutos, se entregaba automáticamente, le sacaba de la estación y le ofrecía la siguiente estación que le correspondía según su propia secuencia. La duración total máxima de la prueba fue de 120 minutos. Dentro de cada estación las preguntas se presentan secuencialmente al responder sin permitir volver a la anterior. Composición de la ECOE-CCS El 6 de junio se presentaron al examen 2463 estudiantes de 13 FM. Las 10 estaciones fueron: 3 de medicina, 2 de atención primaria, 2 de cirugía y traumatología y una de ginecología, pediatría y psiquiatría. El número de preguntas por estación osciló de 6 a 21, lo que correspondía a un promedio de 1,1 minutos por pregunta. El total de ítems evaluables fue de 261. La anamnesis estuvo representada en 9 estaciones, la exploración física en 5, el juicio clínico en 9, la prevención y promoción en 5 estaciones y los aspectos ético-legales en 6 estaciones. De las 10 estaciones casi todas tenían las 5 áreas competenciales que se iban a evaluar con una ponderación diferente. En la tabla 3 se detallan los casos, el número de puntos y el de ítems evaluables en todas las competencias y la propuesta de la CNDFME para la ECOE-CCS. El 20 de junio del 2020 se presentaron 366 estudiantes de 3 FM y algunos alumnos de las otras FM que no pudieron realizar la prueba el día 6. De las 10 estaciones, 4 eran los mismos casos clínicos que el día 6 de junio del 2020, 2 idénticos y 2 con la misma situación de partida (el derecho a la información y la parálisis facial) pero con un desarrollo diferente, y 6 casos nuevos diferentes (pie de tabla 3). En esta prueba las áreas competenciales fueron similares a la anterior. Cada estación tenía una situación de partida que presentaba el entorno del caso clínico y a continuación una serie de indicaciones sobre las tareas y el contenido general de las preguntas que se tenían que responder. Todas las estaciones tenían una o más preguntas con imágenes y en varias se incluyó algún video. Las preguntas de anamnesis mayoritariamente fueron de múltiple opción con respuesta múltiple, con pesos distintos en cada ítem y según la posibilidad de la plataforma, con facultades realizaron una encuesta común en moodle que constaba de 60 preguntas (entre 5-10 respuestas) (ver material suplementario). En un análisis preliminar de 1437 respuestas a la encuesta sobre los ítems que analizan en los parámetros globales, la mayoría de los estudiantes se consideraron satisfechos, muy o extremadamente satisfechos con el simulacro realizado. Respecto a la prueba evaluada, la mayor parte de los alumnos (52%) señaló percibir bastante nivel de estrés previo y, a pesar de ello, valoraron como adecuada o mejor la información previa recibida (70%), la organización el día de la prueba (83%), la preparación recibida durante el grado (67%), los conocimientos previos adquiridos (88%), el tipo de problemas médicos presentados con respecto a los contenidos vistos durante el grado (76%), y consideraron la prueba como una buena experiencia del aprendizaje (75%). Esta experiencia innovadora ha permitido la integración y el trabajo interdisciplinar de las diferentes FM para la preparación de una prueba conjunta que, aunque sabemos que no es lo mismo que la ECOE tradicional, ha permitido la evaluación de gran parte de las competencias que debe tener la prueba ECOE para ser homologada por la CNDFME. La ECOE-CCS diseñada y descrita en este artículo es una estrategia que se puede aplicar para años sucesivos, y realizarla como parte de la prueba ECOE de la CNDFME. Se recomienda que la prueba ECOE de la CNDFME tenga entre 16-20 estaciones con 6-8 encuentros con pacientes simulado y 3-5 estaciones de habilidades 5 . Una posibilidad es que la prueba ECOE de la CNDFME se pueda hacer en dos partes: una parte con 12 estaciones, en forma de encuentros con pacientes simulados estandarizados y/o estaciones de habilidades y procedimientos, y una segunda parte de 8 a 12 estaciones, como la esencial de la evaluación de la comunicación. En los próximos años, cuando dispongamos de la evaluación de los mismos alumnos en las competencias que son comunes al examen con paciente y a la ECOE-CCS podremos compararlo para establecer qué tipo de diferencias y similitudes se pueden encontrar. Una segunda limitación de la ECOE-CCS fue que no se pudo contar con la opinión previa del estudiantado a la hora de desarrollar el proyecto de transición digital de la ECOE por culpa de la pandemia, si bien se confeccionó una encuesta para conocer su opinión en el futuro. Por último, la participación de las facultades en la prueba requiere acuerdos con los alumnos y cambios en las programaciones, que llevaron a una participación en la ECOE-CCS del 2020 de la mitad de las FM del estado español, pero en 2021 estarán casi todas y, en 2022, esperamos que todas lo puedan incluir en su programación antes de empezar el curso. La experiencia de la ECOE-CCS ha permitido llevar a cabo una integración y el trabajo interdisciplinar de las diferentes FM en situaciones de crisis como la vivida. Esto ha permitido poder hacer la prueba ECOE que cumple con los requisitos del nivel 3 de máster en los títulos de grado. Además, el ECOE-CCS realizada podría equivaler a la Sept 3 CCS de la USMLE y con la prueba ECOE de la CNDFME, que equivaldría a la Sept 2 CS, permitiría en los próximos años facilitar la equivalencia de los títulos de Grado en Medicina de España con el de Estados Unidos. Queremos agradecer a los miembros de la CNDFME por permitir el poder llevar a cabo una herramienta innovadora de la prueba ECOE de la CNDFME, así como a todo el equipo decanal y a los coordinadores de la prueba ECOE de todas las FM que han participado en esta experiencia vanguardista e integradora. Anexo. Miembros del grupo de trabajo de la ECOE-CCS de la CNDFME (por orden alfabético de Universidad) Antonio López-Román (Universidad Alfonso X el Sabio). Narcís Cardoner-Álvarez (Universidad Autónoma de Barcelona). Antonio Lorenzo-Peñuelas (Universidad de Cádiz). Los casos clínicos del día 6 de junio fueron: ginecología (prurito vaginal), pediatría: (proceso respiratorio), psiquiatría (entrevista psiquiátrica), cirugía y traumatología: (politraumatismo y tacto rectal), atención primaria (agresión X _parte de lesiones y derecho a la información), medicina (lumbalgia, parálisis facial y distensión abdominal), atención primaria (agresión X _parte de lesiones y derecho a la información). Los casos clínicos del día 20 de junio fueron: ginecología (suelo pélvico), pediatría (exantemática ), psiquiatría (entrevista psiquiátrica), cirugía y traumatología (alcance posterior y tacto rectal), medicina (ojo rojo, parálisis facial y sarcoidosis), atención primaria (riesgo cardiovascular y derecho a la información). * Entre paréntesis: el número de estaciones por especialidad y los casos clínicos. Abreviaturas: NP: número de preguntas; NIE: número de ítems evaluables; D: duración de la estación; P: puntos. Figura 1. Ejemplo de pregunta con retroalimentación para evaluar la competencia de anamnesis utilizada en la CCS-ECOE Figura 2. Ejemplo de pregunta para evaluar en (A) la competencia de ética tipo viñetas y en (B) para evaluar la competencia de juicio clínico tipo Script utilizadas en la CCS-ECOE Pedro Valdivielso-Felices Antoni Castro-Salomó Clinical competence evaluation using the Objective Structured Clinical Examination (OSCE) in medical internship at UNAM Assessment of Clinical Competence Using an Objective Structured Examination (OSCE) OSCE performance evaluations made by standardized patients: comparing checklist and global rating scores The objective structured clinical examination. The new gold standard for evaluating postgraduate clinical performance ORDEN ECI/332/2008, de 13 de febrero, por la que se establecen los requisitos para la verificación de los títulos universitarios oficiales que habiliten para el ejercicio de la profesión de Médico Evaluation of the clinical competence of Catalonian medicine schools 1994-2006. Evolution of examination formats until the objective and structured clinical evaluation (ECOE) Implantación del Examen Clínico Objetivo Educación médica durante la crisis por Covid-19 The USMLE Step 2 Clinical Skills Exam: A Model for OSCE Examinations Investigation of answer changes on the USMLE® Step 2 Clinical Knowledge examination USMLE Completes First Testing Event with Medical School Support. Alternate Delivery of USMLE Due to COVID-19 Pandemic Begins at Medical Schools Updated A pilot of a Virtual Objective Structured Clinical Examination in dental education. A response to COVID-19 Remote Assessment of Clinical Skills Summative Pediatric Objective Structured Clinical Examination A model for the use of blended learning in large group teaching sessions Moodle and Online Learning in Pakistani Medical Universities: An opportunity worth exploring in higher education and research Virtual OSCE delivery: The way of the future? Use of online clinical videos for clinical skills training for medical students: benefits and challenges