INTRODUCCIÓN
La evaluación constituye uno de los pilares del proceso de enseñanza-aprendizaje, por lo que ocupa un lugar protagónico dentro del proceso docente-educativo. (1) Este término ha sufrido profundas transformaciones conceptuales y funcionales a lo largo de la historia y, sobre todo, a lo largo del siglo XX. Resulta, además, uno de los aspectos donde teoría y práctica aparecen más disociadas. (2, 3)
Mucho se han criticado las formas tradicionales de evaluación, las que miden, en la mayoría de los casos, conocimientos en un 80 % y habilidades en un 20 %. Hoy, las teorías de la psicología cognitiva reconocen la insuficiencia de las tradicionales pruebas escritas y prácticas para evaluar los logros de los estudiantes en materia de aprendizaje. En Medicina, la aplicación de estas formas tradicionales de evaluación trae como resultado inseguridad en el desempeño profesional, manifestado en la incapacidad para la identificación de los problemas de salud y la toma de decisiones. (4-6) A pesar de ello continúan aplicándose en la mayoría de las universidades, y hasta cierto punto, se reflejan en los sistemas de evaluación de las especialidades médicas.
En oposición a este enfoque y como vía para la solución a sus principales dificultades, surge el enfoque competencial de la enseñanza y dentro de él, la evaluación de competencias y desempeño profesional aplicado al contexto de la enseñanza, considerado como uno de los cambios más importantes en la educación del siglo XXI. (7) A pesar de ello, en la mayoría de los programas de especialización no se definen las competencias a generar, y mucho menos se conciben sistemas de evaluación a tono con este nuevo enfoque, otorgándosele mayor valor a los exámenes finales y dentro de ellos al teórico, con lo que la valoración del aprendizaje queda relegada a un segundo plano, y esto repercute en el desempeño diario de las actividades propias de la especialidad.
La Anatomía Patológica (AP) es una especialidad muy amplia (ninguna otra requiere de un conocimiento tan extenso de las ciencias básicas y de la medicina clínica como ella).
La figura del patólogo juega un rol protagónico en cualquier institución de salud, no sólo por su papel en el diagnóstico y pronóstico de las enfermedades, sino también en la formación de futuros médicos, enfermeros, estomatólogos y especialistas de esta y muchas otras especialidades, y en el control de la calidad de los servicios prestados por dicha institución. Por todo esto es necesaria la estricta valoración de la marcha del proceso de formación de estos especialistas y su aprendizaje, sobre todo, en lo referente a la adquisición de habilidades en el diagnóstico de exámenes anatomopatológicos, incluidas dentro de las competencias específicas de esta especialidad, por ser las de mayor relevancia y las que ocupan el mayor tiempo de la actividad del patólogo. (8) Por otra parte, el patólogo, en la actualidad, tiene que enfrentar la necesidad de hacer diagnósticos cada vez más precisos, con muestras cada vez más pequeñas y en, cada vez, menos tiempo, (9) lo cual amplía el margen de error, y demanda de un fuerte entrenamiento en el diagnóstico de estos especímenes.
Vencer estos retos de la AP moderna conduce a la búsqueda de nuevos enfoques en la formación de los futuros patólogos para no perder ni un ápice de la capacidad de diagnóstico que debe estar en sus manos. Si se parte de la premisa de que la evaluación es la brújula orientadora de la marcha de todo proceso de enseñanza – aprendizaje, y que, como plantea Álvarez, "de la evaluación también se aprende", uno de los cambios de enfoque que deben producirse en este proceso de formación es, precisamente, en el proceso de evaluación del aprendizaje. (10,11)
El plan de estudios de la especialidad de AP en Cuba, por su antigüedad (vigente y prácticamente sin cambios desde 1986), no está diseñado sobre la base del enfoque competencial, a pesar de que las condiciones en que se desarrolla el proceso de formación de residentes son idóneas para su aplicación. Por tanto, aunque el sistema de evaluación continúa teniendo una fuerte tendencia tradicionalista, se incorporan inconscientemente elementos de este enfoque al proceso de formación. Dado que el sistema de evaluación del aprendizaje de los residentes es parte integral de los programas de formación de la especialidad y son elaborados por comisiones nacionales designadas a tal efecto, la intención de este trabajo no es criticarlo ni modificarlo. No obstante, en el sistema de evaluación sí hay aspectos que son flexibles y sensibles a la influencia modificadora en los diferentes escenarios donde se realizan procesos de formación de residentes.
Previo a esta investigación se realizaron entrevistas a patólogos (profesores y residentes) del Hospital Universitario “Dr. Gustavo Aldereguía Lima” en busca de aspectos del proceso de evaluación del aprendizaje susceptibles de mejorar, en las que se señaló la insuficiencia de los métodos e instrumentos evaluativos para medir el desarrollo de las competencias específicas en el residente. Lo mismo quedó evidenciado mediante la observación del desarrollo de diferentes actividades evaluativas de patólogos en formación. Este hecho motivó la búsqueda de precedentes en otras investigaciones sobre evaluación del aprendizaje en el proceso educativo de residentes de AP pero no se obtuvo resultado alguno. Todo ello incentivó el desarrollo de la investigación, cuyo objetivo fundamental es la elaboración de una metodología para la evaluación de la competencia diagnóstico de exámenes anatomopatológicos en los residentes de AP.
MÉTODOS
Se trata de una investigación de desarrollo realizada en el Hospital General “Dr. Gustavo Aldereguía Lima” de Cienfuegos entre el 2008 y el 2010, en la cual se emplearon los siguientes métodos:
Se aplicaron métodos teóricos (analítico-sintético, inductivo-deductivo, histórico-lógico y el sistémico) y empíricos (análisis del contenido de fuentes, criterio de expertos).
El criterio de expertos se aplicó para la validación de la metodología propuesta. Para la selección de los expertos se tomó en consideración los siguientes criterios:
• Formación académica: Especialistas de AP o de alguna otra especialidad que utilice el diagnóstico por imagen.
• Años de experiencia en la especialidad: más de quince años.
• Categoría docente: Profesor Auxiliar o de ser Asistente, poseer además el título de Máster en Educación.
• Años de experiencia en la docencia a residentes: más de diez años.
• Posibilidad real de participación e interés por participar.
• Vinculación con el tema que se investiga.
A los especialistas médicos que reunieron estos requisitos se aplicó la técnica Delphi para la determinación del índice de competencia, incluyendo finalmente en la investigación a 13 profesionales con capacidad para ofrecer valoraciones conclusivas sobre la metodología propuesta. La calidad de sus resultados se garantizó con la participación de trece especialistas, obteniéndose con ello sólo un seis por ciento de margen de error. En los resultados del coeficiente de competencia o K se determinó que de los trece expertos que estuvieron en la aplicación del método, diez tuvieron una alta puntuación para un 76,9 por cien y tres tuvieron una puntuación media para un 23,1 por cien; ninguno fue auto evaluado de bajo ni de nulo. Las características sobre las cuales debieron opinar fueron: objetividad, sistematicidad, validez, justicia, pertinencia factibilidad, precisión y claridad en la redacción.
RESULTADOS
Metodología para la evaluación de la competencia diagnóstico de exámenes anatomopatológicos.
La metodología tiene un orden lógico en el que se han delimitados varias etapas (Gráfico 1):
1. Comenzar el proceso de evaluación del residente con un diagnóstico inicial, al comienzo de la especialidad, por medio de entrevistas y de la observación del desempeño en el análisis de especímenes de diferente índole, recibidos y procesados en el departamento, que contemple aspectos como: conocimientos previos de histología, anatomía humana; estructura y funcionamiento de un departamento de AP, funciones del patólogo, normas de bioseguridad, habilidades y actitudes para el manejo del microscopio, etc.
2. Definición de los objetivos de la evaluación sobre la base de las metas a lograr definidas para cada período, atendiendo a lo que está establecido en el plan de estudios de la especialidad.
3. Formulación de los indicadores y de los estándares de desempeño, sobre la base de las mejores prácticas relacionadas con la competencia diagnóstico de exámenes anatomopatológicos, así como la elaboración de los criterios de medidas en función de los cuáles será emitido el juicio valorativo sobre la adquisición de conocimientos, hábitos, habilidades, valores, etcétera, relacionados con la competencia en cuestión.
4. Recolección sistemática de evidencias durante el desempeño (periodicidad mensual) con una elevación progresiva en la demostración del dominio de la competencia, en dependencia del módulo que se evalúe y la periodicidad en que se presentan casos similares en la práctica diaria, para lo cual se utilizará un instrumento que servirá como guía de observación del desempeño del residente en la presentación de biopsias, citologías o necropsias para la adopción de una decisión diagnóstica. (Ver anexo)
5. Análisis conjunto de la información obtenida para la emisión del juicio evaluativo, tomando en consideración la valoración que hace, sobre su desempeño, el propio residente, una vez que conoce previamente los criterios que serán empleados para su evaluación, así como la valoración de los especialistas que han participado en varios momentos en el diagnóstico de exámenes anatomopatológicos junto al residente. Los resultados de esta evaluación serán incorporados al expediente del residente, junto a las decisiones tomadas referidas al futuro trabajo independiente del residente atendiendo a los logros y deficiencias encontrados, instrumento que será de utilidad para valorar el avance en sentido ascendente, lineal o descendente de la asimilación de conocimientos, hábitos, habilidades y valores relacionados con la competencia diagnóstico de exámenes anatomopatológicos, y puede servir también como referente para otorgar la calificación de la tarjeta de evaluación que debe ser llenada cada tres meses, según las exigencias del plan de estudios y régimen de residencia con fines sumatorios.
La metodología y el instrumento para la evaluación de la competencia diagnóstico de exámenes anatomopatológicos fueron sometidos a la validación a través del criterio de expertos. La valoración colorimétrica, a través de Ábaco de Reignier permitió comprobar el acuerdo entre la totalidad de los expertos en cuanto al cumplimiento en la metodología de principios como: sistematicidad, validez y justicia. Sólo uno de ellos no le otorgó el máximo valor a los principios de objetividad y pertinencia, otorgándole, en este caso, valor de 4, mientras que los principales señalamientos giraron alrededor de la factibilidad y precisión en la redacción, señalándose la necesidad de precisar términos presentes en el instrumento como "mayoría, algunos", etc. y recomendando en ese caso precisarlos en términos de porcentaje. Como solución a la necesidad de hacer más factible la aplicación del instrumento de evaluación, se recomendó su aplicación en diferentes momentos, separando la evaluación del desempeño en el diagnóstico de biopsias, del de citología o necropsias. Estos criterios fueron tomados en consideración para la reformulación de la metodología y del instrumento de evaluación, los cuales se presentan en este trabajo, ya con los cambios correspondientes.
DISCUSIÓN
Fundamentación de la metodología propuesta
La metodología propuesta está concebida teniendo en consideración las características generales que definen la evaluación de competencia: (7)
• Ser concebida como un proceso (sin períodos rígidos ni cortos de tiempo) que respeta al máximo el ritmo individual de cada persona.
• Ser realizada durante la actividad normal del personal y, siempre que sea posible, mientras que desempeñan sus funciones y tareas habituales, es decir, en situaciones ligadas a la práctica laboral.
• Estar interesada esencialmente en los resultados reflejados en el desempeño, más que en los conocimientos.
• Estar basada en las evidencias establecidas en la norma pactada, por lo que las personas conocen bien los resultados a alcanzar.
• Ser contrastada con las evidencias de la actividad de la persona y no con el de sus pares o grupos, como frecuentemente ocurre en los sistemas tradicionales.
• Ser acordada entre quienes evalúan y son evaluados con el apoyo del tutor.
• Estar delimitada a través de “guías de evaluación”, para evitar el uso de diferentes criterios ante una misma norma, cuando intervienen distintos evaluadores en el proceso.
La metodología consta de un esquema general de las etapas a seguir y de un instrumento para evaluar que aparece como anexo debido a su tamaño.
Aunque se elude el tratamiento de los valores y aspectos éticos debido a que se ha intentado hacer un aporte metodológico dirigido específicamente a las habilidades y los conocimientos que las acompañan, no significa que se subvalore la necesidad de considerar esos aspectos como indispensables en la evaluación de las competencias profesionales.
Efectuar un diagnóstico sobre problemas tan complejos como los que intervienen en el aprendizaje hacia la formación integral, es una tarea ardua para el docente, no sólo por la multitud de aspectos y elementos que deben ser examinados, sino también por la insuficiencia en la preparación de los profesores y de los medios técnicos para acometer, desde un punto de vista científico, aquél análisis. (12)
En el caso de la AP, los conocimientos previos, fundamentalmente acerca de histología y anatomía humana, entre otras ciencias básicas, son imprescindibles para la comprensión de los procesos patológicos que ocurren en tejidos y órganos. Estos conocimientos se adquieren durante los dos primeros años de la carrera y sólo son retomados someramente en alguna que otra rotación con la cual se vinculen, lo que conduce irremediablemente al olvido, sobre todo aquellas como la histología, que requiere de cierto entrenamiento visual. Un diagnóstico inicial, en esta especialidad, debe considerar la presencia de estos conocimientos.
Los escrúpulos y prejuicios pueden dar al traste con la permanencia en la especialidad. El trabajo con los fallecidos, con los especímenes quirúrgicos y con el microscopio, no siempre resulta fácil, y es causa de deserciones. La valoración de todos estos aspectos puede llevarse a cabo mediante el empleo de entrevistas y la observación directa del desempeño.
La planificación del sistema de evaluación del aprendizaje (segunda etapa de la metodología) implica un análisis de su objeto como un asunto central y quizás, el más complejo de todo el proceso de planificación. Dicho análisis parte de los objetivos y contenido de enseñanza. Los objetivos, al tratarse de capacidades muy generales, no son directamente evaluables, mientras que los criterios, al establecer el tipo y grado de aprendizaje que se espera que los alumnos hayan alcanzado con respecto a esas capacidades, se convierten en un referente más preciso. (1)
Los objetivos, como categoría rectora, conducen el proceso de enseñanza-aprendizaje, y también el proceso evaluativo y están directamente relacionados con las habilidades profesionales a formar y consolidar. ¿Qué queremos que sea capaz de hacer el residente al finalizar cada módulo?, ¿Con qué nivel de precisión queremos que lo haga? ¿Qué valores y normas éticas debe poner de manifiesto en su ejecución? son preguntas necesarias antes de aplicar un instrumento de evaluación.
Un paso previo a la evaluación es, obviamente, la definición y especificación de las competencias a evaluar. Existen diferentes métodos para el proceso de identificación de competencias, entre los que se encuentran el análisis funcional; en este caso la definición de la función principal a desarrollar por el residente, la cual está estrechamente relacionada con la que desempeñará posteriormente como especialista, para luego desagregarla sucesivamente en las funciones que se deben desarrollar para que este propósito principal se alcance, las cuales pueden servir de referente para la determinación de los indicadores.
Las competencias de la AP se extienden de forma relevante a las tres áreas fundamentales de la actividad médica: asistencia (área en la que se incluye la competencia sobre la que descansa la metodología de evaluación que se propone), docencia e investigación, sin olvidar el papel activo de este especialista en la gestión del departamento de servicio del hospital.
En el área asistencial: El especialista en AP debe asumir la responsabilidad del diagnóstico de todas las autopsias, biopsias y citologías, así como utilizar en las muestras biológicas las técnicas que permitan estudiar las modificaciones morfológicas o estructurales a nivel de órganos, tejidos, células, orgánulos celulares y moléculas.
El diagnóstico es una de las tareas fundamentales de los médicos en general, y de los patólogos, en particular. Recuérdese que la AP es una especialidad diagnóstica, y por tanto es esta actividad la que ocupa el mayor tiempo de este especialista.
Una de las tareas que el patólogo realiza rutinariamente en el proceso del diagnóstico, expresada de una manera sencilla, es la evaluación de la complejidad de la forma y textura de las imágenes microscópicas, para posteriormente, siguiendo un proceso de decisión, elaborar un juicio que se traduce en una respuesta en el lenguaje patológico que incluye el diagnóstico y la designación de una conducta biológica. (13)
La Dra. Magalys Olivert en su Tesis para optar por el título de Máster en Educación Médica Superior (2007) titulada “Una estrategia didáctica para la planificación, orientación y control del trabajo independiente en la asignatura Anatomía Patológica I en la carrera de Medicina” (Documento no publicado, disponible en Centro de información de Ciencias Médicas en Cienfuegos) expone algunas de las habilidades relacionadas con la especialidad, las cuales se retoman para la definición de los indicadores a evaluar y a las que se añaden la habilidad toma de decisiones, la que, como afirma el Dr. Corona Martínez: “Es una habilidad esencial dentro de la profesión médica, que tiene entre sus acciones: identificar, evaluar y seleccionar opciones y para la que, a pesar de su importancia, los patólogos noveles no se sienten lo suficientemente capacitados, influidos entre otras causas, por la existencia de limitaciones en su proceso de formación”. (6)
Como resultado del análisis anterior, se señalan los indicadores que fueron considerados para la elaboración del instrumento de evaluación, los que fueron estratificados sobre la base de cada una de las funciones que se realizan en las diferentes áreas de desempeño (diagnóstico de biopsias, citologías y necropsias) relacionadas con la competencia diagnóstico de exámenes anatomopatológicos.
Una vez que se han definido los indicadores, criterios y estándares de desempeño, están creadas las condiciones para la elaboración del instrumento guía de observación del desempeño del residente, momento en que moviliza todos los conocimientos, hábitos, habilidades, y valores que ha desarrollado en función de la solución a los múltiples problemas de diagnóstico que se le presentan.
El proceso de recolección de evidencias es ante todo un proceso, no un momento, y ha de ser un proceso continuo. Estas deben tomarse en el sitio donde se desempeña la actividad con base al estándar, y en cantidad y calidad suficiente.
Se conocen varias técnicas de evaluación de desempeño, y se recomienda que no se empleen de manera aislada. El método más aconsejable para la recolección de evidencias es la observación del trabajador desarrollando su trabajo. En efecto, solamente se puede evaluar una competencia si el estudiante es ubicado en una situación en que pueda manifestar dichas evidencias.
Muchos autores han escrito sobre la técnica de observación, y todos ellos han considerado que es una de las herramientas que mayor cantidad de información brinda a los docentes, por lo que debe convertirse en una actividad diaria, sin implicar un máximo de utilización de tiempo; por ello, pueden diseñarse diferentes instrumentos o medios, que le permitan el registro de información, y así facilitar de alguna manera su sistematización, lo cual haría del proceso un acto sencillo, dinámico, claro y favorecedor de los procesos de realimentación de los estudiantes entre sí y de estos con el docente.
El asunto de la calificación es uno de los problemas teóricos centrales de la evaluación del aprendizaje, pues se vincula directamente con la problemática de la medición de las cualidades o propiedades psíquicas del individuo que resultan del proceso mismo de aprendizaje.
Desde una dimensión pedagógica, un problema central de la calificación radica en la determinación y empleo de los criterios de calificación, más directamente, con la fundamentación de los criterios que se asumen para calificar el aprendizaje.
Los criterios de calificación tienen que corresponder con el objeto de evaluación, pero en realidad aún no se dispone de la respuesta a la pregunta implícita sobre cómo lograr que una calificación exprese la evaluación integral del estudiante. En este sentido, se propone la combinación de procedimientos cuantitativos y cualitativos, los que se explican en el esquema anexado.
Se provee a los profesores y tutores de esta especialidad de una herramienta metodológica, sin precedentes, para la valoración más objetiva del dominio de conocimientos y habilidades para el diagnóstico de biopsias, citologías y necropsias que sustentan la competencia diagnóstico de exámenes anatomopatológicos, función rectora dentro del perfil del patólogo. El esquema general puede adecuarse y aplicarse en la evaluación de médicos en formación de otras especialidades.
