Cet Article  • Résumé  • PDF  • Version anglaise  • Sauvegarder dans Citation Manager  • Permissions  Contenu en rapport  • Articles similaires dans ce journal

Une revue systématique

David A. Davis, MD; Paul E. Mazmanian, PhD; Michael Fordis, MD; R. Van Harrison, PhD; Kevin E. Thorpe, MMath; Laure Perrier, MEd, MLIS S

RÉSUMÉ
Contexte Les activités clés d'acquisition des connaissances tout au long de la carrière, les crédits de formation médicale continue, la revalidation de la certification de spécialité, et la compétence clinique sont liés aux capacités des médecins à évaluer leurs propres besoins en matière de formation et à choisir les activités qui répondent à ces besoins.

Objectifs Déterminer avec précision comment les médecins s'auto-évaluent par rapport à l'observation externe de leurs compétences.

Source de données Les bases de données électroniques MEDLINE, EMBASE, CINAHL, PsycINFO, les ressources de recherche et développement basées sur la FMC, et des moteurs de recherches personnels ont été explorés en utilisant des termes se rapportant à l'auto-apprentissage, l'auto-évaluation et l'autoréflexion.

Sélection des études Les études étaient incluses si elles comparaient les évaluations auto-notées des médecins avec des observations extérieures, si elles utilisaient des mesures quantifiables et reproductibles, si elles incluaient une étude de population au moins égale à cinquante pour cent de médecins traitants, internes ou autre professionnel de santé, et se déroulaient en Angleterre, Canada, Etats Unis, Australie et Nouvelle Zélande. Les études étaient exclues si elles comparaient des auto-rapports, des études d'étudiants en médecine, concernaient les perceptions du médecin sur l'état des patients, si elles décrivaient le développement de mesures d'auto-évaluation, ou étaient des programmes d'auto-évaluation de sociétés spécialisées. Les études conduites dans le contexte d'une intervention éducationnelle ou d'amélioration de qualité étaient incluses seulement si des données comparatives étaient obtenues avant l'intervention.

Recueil des données Etaient extraits les populations étudiées, le contenu et le domaine d'auto-évaluation de l'étude, la méthode utilisée pour mesurer l'auto-évaluation des participants de l'étude et celles utilisées pour mesurer leur compétence ou performance, l'existence et l'emploi de tests statistiques, les résultats d'étude et les données comparatives expliquées.

Synthèse des données Cette recherche a produit sept cent vingt-cinq articles parmi lesquels dix-sept satisfaisaient aux critères d'inclusion. Les études incluaient un grand nombre de domaines, comparaisons, mesures et rigueur méthodologique. Sur les vingt comparaisons entre auto-évaluation et évaluation externe, treize ont peu démontré, rien démontré ou ont démontré une relation inverse. Un certain nombre d'études ont montré que la précision était moins exacte dans l'auto-évaluation chez les médecins les moins expérimentés et chez les plus confiants. Ces résultats sont compatibles avec ceux rencontrés dans d'autres professions.

Conclusion Bien que de qualité sous-optimale, la prépondérance des preuves suggère que les médecins ont une capacité limitée à s'auto-évaluer avec précision. Les processus actuellement utilisés pour mettre en place un développement professionnel et évaluer les compétences auraient besoin de plus se focaliser sur l'évaluation externe.

JAMA. 2006;296:1094-1102.

L'auto-évaluation et la formation continue autodirigée ont longtemps été les piliers de la profession médicale, car ce sont des activités supposées étroitement liées à la qualité des soins apportés au patient.¹ Les médecins aux Etats Unis doivent démontrer leur engagement à apprendre tout au long de leur carrière en choisissant et en participant à des programmes de formation médicale continue (FMC)² et en obtenant des crédits de FMC réclamés par la majorité des Conseils de l'Ordre des Médecins des différents états sous la rubrique « loi sur la pratique médicale dans l'état ».³ Le certificat de validation des médecins par l'Association Médicale Américaine⁴ basé sur la participation à la FMC, satisfait aux exigences de la Commission Commune sur l'Accréditation des Organisations de Santé liée à l'accréditation de l'hôpital.

L'auto-évaluation et la formation continue ont été adoptées par le Conseil Américain des Spécialités Médicales comme étant l'un des quatre éléments de son programme de maintien d'une certification.⁵ De plus, les représentants du Conseil Américain de Médecine Interne qui ont choisi de repasser leur certification doivent compléter un cycle de dix ans, processus focalisé sur le développement professionnel continu et qui demande aux médecins d'être capables de s'auto-évaluer.⁶ Dans la formation médicale universitaire, la question de l'apprentissage par l'exercice pratique et de l'amélioration basée sur l'auto-évaluation est un principe essentiel du développement professionnel au Canada,⁷ aux Etats-Unis⁸ et dans d'autres pays.⁹

Chacun des éléments de cette chaîne – l'importance de l'auto-évaluation, l'apprentissage permanent, l'acquisition de crédits de FMC et leur utilisation pour le maintien de l'autorisation d'exercer, l'accréditation et la certification continue – dépendent fortement de la capacité des médecins à déterminer leurs propres besoins d'apprendre et de trouver les ressources pour les satisfaire.

Pourtant, une revue récente de la littérature orientée vers la théorie sur l'auto-évaluation (incluant celles des professionnels de santé) soulève de nombreuses questions concernant les défaillances des professionnels à exprimer un jugement concis de leur performance de manière régulière ou pertinente, ce qui est une exigence critique pour une profession autorégulée.¹⁰

Sachant que le terme auto-évaluation est utilisé pour décrire plusieurs types d'activités, nous nous sommes intéressés à considérer l'aspect « auto-cotation » ou « auto-audit » par contraste à l'utilisation du contrôle de connaissances auto-administré ou de la performance clinique. A notre connaissance, il n'existe pas de revues systématiques d'études de ce type d'auto-évaluation médicale comparée à des observations externes. Par conséquent, nous avons revu la littérature pour déterminer avec précision, comment les médecins auto-évalués se comparent avec les observations externes de leur compétence.

MÉTHODES
Sources d'information: Les bases de données MEDLINE (1966-Juillet 2006), EMBASE (1980-Juillet 2006), CINAHL (1982-Juillet 2006), PsycINFO (1967-Juillet 2006), la base de ressource de Recherche et développement pour la FMC (1978-July 2006)¹¹ et les moteurs de recherche privés utilisant les termes apprentissage autodirigé, auto-évaluation, auto-réflexion, auto-cotation, exercice de réflexion, rapport de plusieurs sources, et termes apparentés. L'indexation de ce sujet dans les bases de données de la littérature est limitée et très peu de titres pertinents étaient disponibles, la recherche dépendait par conséquent de l'identification de mots clés dans des articles innovateurs et des groupes d'experts. La recherche manuelle a été conduite en revoyant des références d'articles récupérés. La stratégie complète de recherche est disponible sur demande.

Sélection des données

Etaient incluent les études s'étant focalisées sur une comparaison entre médecins auto-évalués déterminés par une auto-cotation et une ou plusieurs mesures externes de leurs capacités. Les études choisies utilisaient ce type d'auto-évaluations (perception des médecins ou anticipation de la connaissance, capacité ou performance) comparés à des mesures externes bien décrites — examen clinique structuré et objectif (ECSO) dans le même domaine ou comparaison des notes de performance observées. De plus, les études inclues devaient: utiliser des mesures quantifiables et reproductibles; avoir une population étudiée d'au moins cinquante pour cent de médecins, internes, ou professionnels de santé tels que les infirmières ou médecins assistants pour pouvoir être généralisées à ces groupes et être menées au Canada, Etats-Unis, Australie, Nouvelle-Zélande qui ont des exigences de formation, d'actualisation des compétences, de langues et de FMC communes. Nous avons exclu les études de comparaison d'auto-rapports, celles évaluant des étudiants en médicine ou principalement d'autres professionnels de santé, celles portant sur le développement ou le contrôle des mesures d'auto-évaluation, l'évaluation de l'impression des médecins sur l'état des patients ou les programmes d'auto-évaluation de sociétés spécialisées qui fournissent un corrigé des tests de connaissance aux médecins. Les études menées dans un contexte d'intervention visant à améliorer la qualité ou l'aspect éducatif dans ce domaine d'évaluation n'étaient incluses que si des données comparatives étaient obtenues avant l'intervention.

Recueil des données

L'information suivante était extraite de chaque article: étude de population; domaine du contenu et domaine d'auto-évaluation de l'étude; méthode utilisée pour mesurer l'auto-évaluation des participants de l'étude; méthodes utilisées pour observer ou mesurer les compétences ou performances des participants; l'existence et l'utilisation de mesures quantifiables; et l'étude des résultats. Lorsqu'elles étaient disponibles, les données à l'intérieur de l'étude pouvant expliquer les associations entre auto-évaluation et évaluation externe étaient recherchées. Aucune extraction des données n'était conduite d'une manière aveugle. Une métaanalyse n'a pas été faite dans la mesure où les constructions conceptuelles dans le domaine de l'auto-évaluation étaient variées et évaluaient différentes capacités utilisant des mesures variables.

La qualité méthodologique de l'article était évaluée en déterminant (1) s'il était suffisamment descriptif pour permettre la reproductibilité de la population étudiée, (2) le domaine d'auto-évaluation, et (3) l'indication explicite d'une procédure en aveugle des observations externes d'auto-évaluation. De plus, l'échantillonnage sur lequel l'étude de population était basée, les méthodes utilisées d'auto-évaluation et d'évaluation externe, l'identification de modèles-pilotes ou de méthodes validées par les auteurs des études, et la présence et le caractère approprié des tests statistiques étaient déterminés.

La recherche de la littérature a été faite pas l'un des auteurs (L.P) et reproduite par un spécialiste de la gestion de l'information indépendant. L'un des auteurs (D.A.D) déterminait les critères d'inclusion. Les critères d'inclusion étaient appliqués au résumé de tous les articles par deux des auteurs (D.A.D., P.E.M.) et confirmés par un autre auteur (L.P.). Les méthodes d'extraction des données ont été développées par l'un des auteurs (D.A.D.) et ont été appliquées par deux des auteurs (D.A.D., P.E.M.) aux articles qui répondaient au critère d'inclusion. Les désaccords sur les critères de recherche, les données extraction, et la classification des résultats des études étaient résolus par consensus.

RÉSULTATS
Résultats de la recherche et vue d'ensemble de l'article

Les stratégies de recherche ont permis de trouver sept cent vingt-cinq articles après avoir éliminé des études qui faisaient doublon et les études non pertinentes lors de la recherche par titre. Après application des critères d'inclusion aux résumés de ces articles et en excluant les études basées sur les rapports personnels, l'évaluation des étudiants en médecine ou d'autres professions de santé ne correspondant pas aux critères d'inclusion, les études centrées sur le patient ou les rapports sur le développement d'outils et de conceptions d'auto-évaluation, d'évaluation de formation après le cursus d'étude ou d'auto-évaluation de programmes de sociétés spécialisées, restaient 30 articles publiés entre 1998 et 2005. Après revue du texte complet de ces articles, treize autres furent exclues en se basant sur ces critères ou parce qu'ils se rapportaient aux caractéristiques des médecins telles que leur processus de décision ou le fait qu'elles avaient été faites dans des pays exclus, laissant dixsept articles^12-28 répondant à tous les critères d'inclusion. Trois études ont utilisé deux comparaisons externes chacune,^12,15,23 résultant en vingt comparaisons entre auto-évaluation et évaluation externe.

La majorité des résultats de ces études se rapportant à la médicine clinique, comme l'expérience des procédures, les soins palliatifs et les connaissances générales en médicine.^{12-17,21-25,27,28} Une étude était centrée sur la faculté d'enseignement,¹⁸ une autre sur les compétences culturelles,¹⁹ et deux autres sur la médecine basée sur les preuves.^20,26 Six études examinaient les capacités d'auto-évaluation des médecins traitants et une étude tenait compte des médecins traitants,¹⁶ médecins assistants et infirmières. L'étude par Léopold et al¹⁶ était conduite dans un contexte d'intervention éducative spécifique et précise. Le reste des études^{12,14,15,17,21-23,26} se rapportait aux étudiants en médecine en formation ou à la fois aux étudiants et médecins traitants (Tableau 2 et Tableau 3).^25,28

Voir ce tableau: [dans cette fenêtre] [dans une nouvelle fenêtre]   Tableau 2.. Etude ayant examiné l'auto-évaluation des médecins praticiens.

Voir ce tableau: [dans cette fenêtre] [dans une nouvelle fenêtre]   Tableau 3.. Etudes ayant examiné l'auto-évaluation de médecins diplômés en formation et de médecins praticiens.

Voir une version plus large (112K): [dans cette fenêtre] [dans une nouvelle fenêtre]   Figure.. Recherche et sélection des études sélectionnées.

Domaines d'auto-évaluation

Les vingt comparaisons entre auto-évaluation et évaluation externe étaient divisées en trois approches d'auto-évaluation. Six études^{14,15,17,20,26,28} se rapportaient à l'auto-évaluation prédictive, qui est la capacité des médecins de prédire sa performance d'après une évaluation future des compétences.^{12,16,18,19,21-25}

Neuf comparaisons concernaient la théorie d'auto-évaluation additionnelle et rétrospective. Dans deux études,^12,16 on demandait aux participants de noter leur performance dans un exercice de simulation récemment complété, plus tard comparé aux notations données par des observateurs externes. Sept études demandaient aux participants de fournir des représentations mentales d'euxmêmes au cours du temps (compétents en médecine générale,^21-25 compétents en enseignement chirurgical,¹⁸ et compétence culturelle et linguistique¹⁹) comparées aux perceptions de performance dans ces domaines par des internes,¹⁸ des patients,¹⁹ des surveillants et personnel de service,^22,23 des tests objectifs^21,23,24 ou des audits de dossiers d'observation.²⁵

La dernière approche était celle de l'auto-évaluation simultanée. Deux études dans cette catégorie demandaient aux médecins d'auto-identifier leurs besoins actuels en matière d'apprentissage. Dans chacune, le processus incluait une réflexion sur ses performances, connaissances ou capacités dans des situations familières.

Méthode d'auto-évaluation

L'auto-cotation était menée dans des études par questionnaire, liste ou enquête et se concentrait sur les besoins d'apprentissage,^13,27 la confiance dans la réalisation des procédures,^14,16 les capacités générales cliniques,^{12,21-25,27,28} l'estimation médicale et critique des connaissances^17,20,26 ainsi que les compétences non cliniques (ex: capacités d'enseigner et compétences culturaleslinguistiques).

Méthodes par évaluation externe

Les études ont comparé l'auto-notation par des médecins avec des mesures objectives externes constantes^14,15 telles que les OSCE, des patients standardisés,^12-21 des simulations,¹⁶ la performance lors de la formation ou d'autres examens,^{17,23,24,26-28} l'audit des dossiers cliniques,²⁵ ou la capacité à expliquer les concepts de la médecine par les preuves à un interlocuteur en aveugle.²⁰

Les études ont aussi comparé l'auto-notation des médecins à des données dérivées d'interviews structurés complétés par les agendas des médecins¹³ ou les cotations d'intervenants tels que les internes,¹⁸ patients¹⁹ ou superviseurs universitaires.^12,15,22,23

Dans trois des études,^12,18,23 les instruments utilisés dans l'auto-notation des médecins correspondaient bien aux instruments utilisés à des buts comparatifs

Méthode par comparaison d'auto-évaluation et évaluation externe

Les études ont démontré une certaine hétérogénéité dans leur choix de comparaison et l'utilisation des méthodes statistiques. Les études rapportaient soit l'utilisation de statistiques descriptives,^13,20,21,24 soit des statistiques déductives.^{12,14-19,22,23,25-28}

Deux études n'ont pas identifié les tests statistiques appliqués.^12,22 Une étude¹² utilisait le même instrument pour auto-évaluation et mesure externe, permettant par conséquence des tests d'accord précis.

Précision de l'auto-évaluation

Des vingt comparaisons entre auto-évaluation et évaluation externe, treize ont démontré peu, pas ou une relation inverse entre les mesures d'auto-évaluation et les autres indicateurs.^{2-18,20,21,23,26,27} Six études utilisaient des notes de confiance globale comparées aux performances des procédures utilisant des check-lists comportementales pour noter la performance dans l'évaluation de la démence, ¹² la compétence dans les procédures, ^14-16 les conseils au patient en faveur de la santé²¹ et la capacité de donner des soins en urgence.²³ Deux études ont utilisés des interviews structurées comme mesure externe, mettant en évidence un manque d'harmonie entre auto-évaluation et observation externe pour déterminer les besoins de formation dans les soins médicaux palliatifs¹³ et dans les capacités des médecins a expliquer les termes de la médecine basée sur l'évidence.²⁰ Trois études utilisaient des tests tels que des examens à choix multiples en soins d'urgence,²³ des articles standardisés pour tester les capacités d'évaluation critique²⁶ et des tests vrai/faux dans trois domaines de médecine générale.²⁷

Voir ce tableau: [dans cette fenêtre] [dans une nouvelle fenêtre]   Tableau 1.. Etudes montrant l'auto-évaluation des capacités d'enseigner, des compétences culturelles, et de la médecine basée sur les preuves.

Une étude montrait l'échec des chirurgiens pour juger des capacités de perception des internes par rapport aux capacités d'enseigner des chirurgiens.¹⁸ De plus, la proportion d'études rapportant peu, pas ou une relation inverse n'a pas semblé varier en fonction du niveau de formation ou de l'expérience ou des années d'étude.

Par contraste, sept comparaisons^{12,15,19,22,24,25,28} ont démontré des associations positives entre auto-évaluation et la plupart des observations externes. Trois ont trouvé une constance (et peu de variabilité) entre auto-notation après réalisation d'une performance par les internes et les notations des témoins pour des nivaux globaux ou généraux de capacité à évaluer la démence,¹² les capacités cliniques de base¹⁵ et dans la compétence à prendre en charge les aspects psychologiques de l'exercice de la médecine générale.²² Deux études ont démontré des associations positives entre expertise auto-évaluée et le diagnostic par examen médical des violences sexuelles sur enfant,²⁴ ou l'aisance à reconnaitre les caractères de la varicelle.²⁸ Les deux études utilisaient des étiquettes et photographies de signes cliniques. Une étude¹⁹ montrait une importante association entre auto-évaluation du médecin de sa compétence linguistique et culturelle et les rapports des patients sur l'approche interpersonnelle de la prise en charge, ceci en utilisant un instrument standardisé. Une autre étude²⁵ démontrait l'association entre la sensibilité auto-évaluée aux aspects émotionnels et psychologiques des patients et le diagnostic de ces aspects en pratique par l'audit des dossiers cliniques.

Néanmoins, ces deux études²⁴ et une autre²⁴ montraient une variabilité parmi un sousgroupe de participants se considérant compétents. Dans l'étude de Robin et al,²⁵ les médecins se considérant meilleurs pour détecter les émotions cachées étaient en fait moins précis que leurs collègues. Dans l'étude faite par Paradise et al,²⁴ on trouve une grande variabilité parmi les participants et des désaccords avec le consensus des experts traitant du diagnostic d'abus sexuels dans vingt pour cent d'experts auto-proclamés.²⁴ Parmi ces études identifiées comme ayant peu ou pas de relation avec les observations auto-identifiées et les autres, il y avait trois cas concernant la perception erronée des capacités. Tout d'abord Léopold et al¹⁶ ont trouvé une relation inverse entre confiance et compétence dans la simulation d'injections intra-articulaires. Ensuite, Fox et al¹⁵ ont démontré moins de concordance dans un contexte OSCE entre les auto-perceptions et les autres pour évaluer des capacités basiques cliniques mal effectuées par rapport à des exemples au cours desquels les participants avaient bien réussi. Troisièmement, Parker et al¹⁷ ont remarqué que les internes qui avaient un score situé dans le quartile le plus bas pour un examen en médecine générale demandant des connaissances de base reconnaissaient moins bien leurs besoins de formation que ceux dans les quartiles les plus élevés.

En ce qui concerne les variables qui pourraient expliquer les différences de la précision de l'auto-évaluation, deux études rapportent l'âge^16,25 et une étude l'expérience²⁸ des participants, reliant cela aux capacités d'auto-évaluation. L'âge ou l'expérience n'étaient pas corrélés à la capacité du médecin à juger les possibilités de faire une injection intra-articulaire.¹⁶ Par comparaison, l'âge n'était pas corrélé à la diminution de la propension à diagnostiquer l'aspect émotionnel d'une affection dans une étude²⁵ et à une plus grande précision pour faire un diagnostic de varicelle dans l'autre.²⁸

Qualité Méthodologique

Les études ont démontré des variations dans la qualité des méthodes employées. La majorité des populations étudiées étaient bien décrites. Seule une étude²⁰ utilisait la vague phrase « médecins généralistes ». De plus, le schéma d'échantillonnage était décrit dans la plupart des études, bien que le chiffre total duquel est extrait l'échantillon ne soit pas été identifié dans 3 études^12,17,20 et qu'une description utile des non-participants ne soit pas disponible pour 9 des études.^{13,15-18,23,25,26,28} Le type de contenu était bien caractérisé dans toutes les études sous forme de texte ou de tableau. Deux études^13,20 utilisaient des méthodes de recherche qualitative standardisées telles que des interviews transcrites ou enregistrées. Seule une étude²⁰ faisait référence à l'utilisation en aveugle d'un observateur externe.

Quantitativement, 9 études^{12,14-16,19,21,23,25,27} utilisaient des mesures pré-testées ou validées telles que les OSCE, des patients standardisés et des instruments standardisés et 2 de ces études^14,16 décrivaient des critères objectifs d'observation de la performance. Deux études^14,15 ont utilisé des étudiants en médecine pour un test pilote des méthodes de comparaison des mesures d'auto-évaluation. En comparaison, ^{13,15-21,24,26,27} les autres études ont appliqué des instruments d'auto-évaluation ou d'autres instruments qui n'ont pas été décrits comme ayant été des tests pilotes ou des tests validés.

En ce qui concerne l'utilisation et le commentaire des tests statistiques, nous avons trouvé des exemples de méthodes inappropriées. Par exemple, 2 études^12,22 n'ont pas mentionné quels tests avaient été utilisés. Parmi les autres problèmes, nous avons identifié des données insuffisantes ou imparfaites empêchant la confirmation des rapports de cotes,¹⁹ les variables de dichotomisation,^19,28 l'utilisation incomplète ou imparfaite des paramètres dans des échelles avec des applications statistiques inadaptées,²⁰ ainsi que des justifications insuffisantes de l'utilisation de statistiques avec des échelles mixtes (par exemple des comparaisons d'intervalles de confiance avec des scores OSCE).^14,15 Lorsque des comparaisons multiples ont été effectuées, il n'y a pas eu de description des calculs faits pour ajuster sur l'inflation des erreurs de type I. Aucune tendance a l'amélioration de la rigueur méthodologique n'a été observée pendant la durée de temps de ces études.

COMMENTAIRE
Relation entre auto-évaluation et évaluation externe

Cette revue systématique a trouvé que dans la majorité des études appropriées, les médecins n'apparaissaient pas comme s'auto-évaluant avec précision. Nous avons observé des associations faibles ou pas d'association du tout entre évaluations de médecins auto-cotés et évaluations externes.

Alors que certaines études trouvaient des associations raisonnables entre les capacités d'auto-évaluation démontrées par les médecins et les évaluations externes dans le domaine sensibilité culturelle et linguistique,¹⁸ entre auto-évaluations et évaluations par un superviseur à un niveau général,^12,15,22 entre autotests et tests externes,^24,28 et entre auto-évaluation et audit sur dossier, d'importantes variations et quelques erreurs de jugement apparaissent dans d'autres études.^24,25 Dans les études montrant une précision pauvre ou limitée de l'auto-évaluation, cette observation était indépendante du niveau de formation, de la spécialité, du domaine d'auto-évaluation, ou du style de comparaison.

Ces résultats ne sont pas nouveaux. Sibley et al²⁹ ont rapporté des résultats semblables il y a plus de deux décennies, comme l'ont fait Gordon³⁰ et Dunning³¹ et al³¹ par la suite. Les résultats sont compatibles avec les études d'autres disciplines. Par exemple, dans une méta-analyse d'études d'auto-évaluation, en droit, ingénierie, counseling, science du comportement, psychologie, et médecine, Falchikov et Boud³² ont remarqué une corrélation entre auto-évaluation et évaluation externe d'étudiants dont les performances se situaient entre 0,05 et 0,82 avec une moyenne de 0,39. Dans les professions de santé, Gordon³⁰ a trouvé que la corrélation pour l'auto-évaluation des connaissances se situait entre 0,02 et 0,65. De plus, malgré nos résultats dans deux études^24,28 qui précisent que l'auto-évaluation spécifique peut être un facteur prédictif fiable de la performance, Eva et al³³ ont trouvé que de faibles corrélations persistent même si les domaines sont bien définis. En fin de compte, et plus inquiétant, les résultats montrent que ceux qui réussissaient le moins bien à l'évaluation externe, s'auto-évaluaient aussi le moins bien. Ces résultats^34,35 ont été démontrés par d'autres et demandent une meilleure compréhension.

Prises ensemble, ces conclusions incitent à réfléchir sur l'emploi des évaluations auto-cotées et sur son rôle dans la formation permanente ainsi que sa valeur dans la régulation et les soins aux patients.

Structure et étude de l'évaluation auto-cotée

Ces études soulignent plusieurs considérations pour l'étude de l'auto-évaluation en tant que domaine important de la compétence du médecin. Tout d'abord la structure de l'évaluation auto-notée n'est pas elle-même facile à étudier, en grande partie parce que sa nature n'est ni pleinement développée ni testée.¹⁰ Nous avons défini trois types discrets d'évaluation: prévisible, résumée, simultanée.

Un bénéfice supplémentaire pourrait résulter de l'intérêt porté a la clarté conceptuelle et la cohérence dans le domaine de l'auto-évaluation;^36,37 une compréhension plus complète de l'auto-évaluation continue et une définition plus précise de l'auto-évaluation pour inclure une compréhension accrue des capacités des médecins à réfléchir^38,39 et de la pertinence de ces idées.⁴⁰

De plus, étant donné que ces études n'apportent que peu de lumière sur le processus de l'auto-évaluation, de plus amples recherches dans ce domaine pourraient évoluer au-delà des frontières de la psychologie sociale et du comportement pour inclure la connaissance, la simulation ou d'autres approches prometteuses telles que l'estimation de l'auto-efficacité ou l'étude du rôle que l'âge et l'expérience pourrait jouer dans ce processus.⁴¹

Deuxièmement, si de telles études d'auto-évaluation sont entreprises, les chercheurs devraient accroître la rigueur et le compte – rendu de l'étude en décrivant mieux leurs populations, la structure d'échantillon, et leurs méthodes; en différenciant plus clairement les types d'auto-évaluation; en tentant de résoudre des questions du biais des volontaires et en formulant de meilleurs guides pratiques afin d'étudier et de rapporter l'auto-évaluation comparée à l'évaluation externe. Dans leur revue des méthodes d'auto-évaluation, Ward et al³⁶ demandaient également une plus grande rigueur méthodologique en améliorant la validité et la fiabilité des références externes standards, en augmentant la description des supports dans les questionnaires utilisés dans les outils d'auto-évaluation, et en se concentrant plus sur la couverture des résultats au niveau individuel et moins au niveau du groupe.

Limites

Plusieurs limites doivent être considérées dans cette revue. D'abord, pendant que des recherches de littérature étaient effectuées par l'un des auteurs et un spécialiste indépendant de l'information pour fournir une couverture exhaustive de la littérature, le manque de nombreux « Medical Subject Headings » dans les données de la littérature peut avoir contribué à ne pas avoir récupéré certaines études. Nous avons essayé de surmonter cette limite en utilisant des moteurs de recherche brevetés qui utilisaient des textes complets de stratégies de recherche. Deuxièmement, certaines études manquaient de descriptions des méthodes, résultats, et de l'utilisation des tests statistiques, limitant nos capacités à décrire les études plus complètement, pour développer des hypothèses explicatives, ou pour généraliser. Troisièmement, les domaines de compétence ou de performance dans ces études, les outils utilisés pour les mesurer et les suppositions (telles que prédiction d'une future performance dans un test, ou l'auto-notation dans une performance passée en tant que professeur) étaient variables, empêchant une approche méta-analytique.

Enfin, on peut argumenter que le relativement petit nombre d'études trouvé dans cette revue — avec leur mélange de méthodes, niveaux différents de formation et d'expérience des médecins, participation volontaire de médecins, et variation d'approche — fournit une base inadéquate de preuves pour comprendre la capacité des médecins à compléter des évaluations auto-cotées. Toutefois, nous croyons que la littérature sélectionnée offre des preuves assez pertinentes des limites des capacités des médecins à évaluer indépendamment leur performance. Ces résultats peuvent aider à informer à la fois d'autres recherches dans ce domaine et la structure et pratique de la formation autodirigée et l'auto-évaluation à l'université et en formation continue.

Evaluation des formats et du contenu

S'il est vrai que les médecins ne sont pas performants dans ce domaine, on a besoin de nouvelles initiatives et de nouveaux formats pour aider au processus de l'auto-évaluation et pour promouvoir et évaluer avec plus de précision des domaines de compétence plus vastes tels que le professionnalisme et la formation permanente.³⁸

Les résultats positifs concernaient la performance globale avec possibilité de retour d'information sur des étendues importantes de soin par des superviseurs, ^12,15,19,22 étalée au cours du temps ou dans un domaine très spécialisé tel que les abus sexuels d'enfants ou le bioterrorisme, dans lequel on pourrait espérer que le praticien s'auto-évaluerait avec précision.

Enfin, une approche plus utile pourrait être de se concentrer sur des auto-évaluations spécifiques avec une approche externe pour guider le praticien dans ses activités éducationnelles et dans d'autres activités destinées à améliorer ses performances.

Premièrement de telles mesures pourraient inclure le développement d'un processus de développement professionnel continu plus général impliquant des portfolios éducatifs, une formation documentée basée sur la pratique et l'amélioration des activités, pour créer une formation moins générale et plus détaillée et des pratiques objectives répondant aux compétences générales adoptées par le Conseil d'Accréditation pour la Formation Médicale Universitaire.⁸

Deuxièmement, la formation peut réduire les variations entre auto-évaluation et évaluation externe en encourageant l'internalisation de mesures objectives ou de références de la performance.¹⁰ Bien qu'une étude¹⁶ dans cette revue ait montré de manière marginale une amélioration de la corrélation entre confiance et performance suivant une formation avec retour d'information, une autre étude⁴² rapportait qu'une formation augmentait la relation entre les techniques de lavage de main observées et auto-évaluées à la suite d'une initiative visant à améliorer la qualité au niveau hospitalier. De manière similaire, les médecins en formation peuvent être capables de s'auto-évaluer de précisément lorsqu'ils comparent leurs notes à celles des autres.³⁰

Une attention à cet effet de formation et au phénomène de retour d'information en médecine aussi bien à l'université, ainsi qu'en FMC, semble à la fois appropriée et bien située dans le temps.^43,44

Troisièmement, étant donné que certains besoins d'amélioration (par exemple ceux dans le domaine psychosocial) ^13,45,46 peuvent être plus difficiles à auto-évaluer, des méthodes telles que les évaluations des retours d'information de sources multiples (360°) peuvent constituer l'étape suivante nécessaire, en particulier lorsque les capacités interpersonnelles ou le professionnalisme doivent être évalués.⁴⁷

Quatrièmement, les mesures objectives de compétence et de performance méritent une sérieuse considération, particulièrement quand les problèmes d'autorisation d'exercer et de ré-obtention de diplôme, la qualité et la sécurité du patient sont de première importance. De ce point de vue, le Service National de Santé en Angleterre a fourni un exemple d'auto-évaluation éclairée effectuée en externe en formulant le concept d'estimation (le processus structuré « d'autoréflexion facilitée »⁴⁸⁾ dans lequel un évaluateur externe guide et dirige le processus d'auto-évaluation. Enfin, des sociétés spécialisées et d'autres sociétés peuvent accroître leur rôle en fournissant des objectifs de formation basés sur les preuves et ceci de manière régulière aux membres de leur spécialité, donnant ainsi des marqueurs externes de compétence.

Informations sur les auteurs
Correspondance: Laure Perrier, MEd, MLIS, University of Toronto, 500 University Ave, 6th Floor, Toronto, Ontario, Canada M5G 1V7 (l.perrier{at}utoronto.ca).

Contributions des auteurs: le Dr Davis a eu un accès complet à toutes les données publiées de l'étude et accepte la responsabilité de l'intégrité et de la précision de l'analyse des données.

Conception et schéma de l'étude: Davis, Harrison, Mazmanian, Fordis.

Recueil des données: Davis, Perrier.

Analyse et interprétation des données: Davis, Mazmanian, Fordis, Harrison, Thorpe.

Rédaction du manuscrit: Davis, Fordis, Harrison, Mazmanian.

Revue critique du manuscrit: Davis, Mazmanian, Fordis, Harrison, Thorpe, Perrier.

Analyse statistique: Mazmanian, Fordis, Thorpe. Obtention du financement: Davis, Perrier.

Aide administrative, technique et matérielle: Perrier.

Supervision de l'étude: Davis.

Liens financiers: aucun déclaré.

Financement/Soutien: le Dr Davis a bénéficié partiellement d'un soutien de l'Association of American Medical Colleges'Petersdorf scholar-in-residence program. Ms Perrier a bénéficié partiellement d'un soutien du Research and Development Resource Base in Continuing Medical Education, finance par l'Academic Development Fund in Continuing Education de l'University of Toronto, qui est soutenue en partie par l'Alliance for Continuing Medical Education, la Society for Academic Continuing Medical Education, et le Royal College of Physicians and Surgeons du Canada.

Rôle du sponsor: aucun sponsor n'a été impliqué dans le schema et la conduite de l'étude, le recueil, la prise en charge et l'interprétation des données ni dans préparation, la revue et l'approbation du manuscrit.

Remerciements: nous remercions pour leur soutien l'Association of American Medical Colleges'Resource Center, en particulier Marian Talifero, pour avoir fourni les recherches complémentaires de la littérature et les autres membres du groupe de travail en Formation Médicale Continue, dont Nancy Davis, PhD. Nous remercions aussi Kevin Eva, PhD, McMaster University (Hamilton, Ontario), et Anton Kuzel, MD, MHPE, Virginia Commonwealth University (Richmond), pour leurs commentaires. Aucune de ces personnes n'a reçu de compensation pour son aide.

Affiliations des auteurs: Knowledge Translation Program of the Li Ka Shing Knowledge Institute at St Michael's Hospital (Dr Davis et Mr Thorpe), Departments of Health Policy, Management, and Evaluation (Dr Davis), Family and Community Medicine (Dr Davis), and Public Health Sciences (Mr Thorpe), and the Office of Continuing Education and Professional Développement (Ms Perrier), University of Toronto, Toronto, Ontario; Departments of Family Medicine and Epidemiology and Community Health, School of Medicine, Virginia Commonwealth University, Richmond (Dr Mazmanian); Center for Collaborative and Interactive Technologies, Baylor College of Medicine, Houston, Tex (Dr Fordis); and Department of Medical Education, University of Michigan, Ann Arbor (Dr Harrison).

BIBLIOGRAPHIE
1. Westberg J, Jason H. Fostering learners' reflection and self-assessment. Fam Med. 1994;26: 278-282. PUBMED 2. Davis NL, Willis CE. A new metric for continuing medical educationcredit. J Contin Educ Health Prof. 2004;24: 139-144. PUBMED 3. Johnson DA, Austin DL, Thompson JN. Role of state medical boards incontinuing medical education. J Contin Educ Health Prof. 2005; 25:183-189. PUBMED 4. American Medical Association. Physician resources for CME.http://www.ama-assn.org/ama/pub/category/2922.html.Accessed March 23, 2006.5. American Board of Medical Specialties. Approved initiatives for Maintenance of Certification for the ABMS board members.http://www.abms.org/Downloads/Publications/3-Approved%20Initiatives%20for%20MOC.pdf.Accessed June 9, 2006.6. Wasserman SI, Kimball HR, Duffy FD; Task Force on Recertification.Recertification in internal medicine: a program of continuous professionaldevelopment. Ann Intern Med. 2000;133: 202-208. FREE FULL TEXT 7. Can MEDS 2000: extract from the CanMEDS 2000 Project Societal NeedsWorking Group Report. Med Teach. 2000;22: 549-554. PUBMED 8. Accreditation Council for Graduate Medical Education. General competencies.http://www.acgme.org/outcome/compcompFull.asp.Accessed June 9, 2006.9. Bashook PG, Miller SH, Parboosingh J, Horowitz SD, eds.Credentialing physician specialist: a world perspective proceedings.http://www.abms.org/Downloads/Conferences/Credentialing%20Physician%20Specialists.pdf.Accessed June 9, 2006.10. Eva KW, Regehr G. Self-assessment in the health professions: are formulation and research agenda. Acad Med.2005; 80:S46-S54. PUBMED 11. Research and Development Resource Base in CME.http://www.cme.utoronto.ca/search.Accessed March 23, 2006.12. Biernat K, Simpson D, Duthie E Jr, Bragg D, London R. Primary careresidents self assessment skills in dementia. Adv Health Sci EducTheory Pract. 2003; 8:105-110. 13. Amery J, Lapwood S. A study into the educational needs ofchildren's hospice doctors: a descriptive quantitative and qualitative survey. Palliat Med. 2004;18: 727-733. FREE FULL TEXT 14. Barnsley L, Lyon PM, Ralston SJ, et al. Clinical skills in juniormedical officers: a comparison of self-reported confidence and observed competence. Med Educ. 2004;38: 358-367. PUBMED 15. Fox RA, Ingham Clark CL, Scotland AD, Dacre JE. A study ofpre-registration house officers' clinical skills. MedEduc. 2000; 34:1007-1012. 16. Leopold SS, Morgan HD, Kadel NJ, Gardner GC, Schaad DC, Wolf FM.Impact of educational intervention on confidence and competence in the performance of a simple surgical task. J Bone Joint SurgAm. 2005; 87:1031-1037. PUBMED 17. Parker RW, Alford C, Passmore C. Can family medicine residentspredict their performance on the in-training examination? FamMed. 2004; 36:705-709. 18. Claridge JA, Calland JF, Chandrasekhara V, Young JS, Sanfey H,Schirmer BD. Comparing resident measurements to attending surgeonself-perceptions of surgical educators. Am J Surg.2003; 185:323-327. PUBMED 19. Fernandez A, Schillinger D, Grumbach K, et al. Physician language ability and cultural competence: an exploratory study of communication with Spanish-speaking patients. J Gen Intern Med.2004; 19:167-174. PUBMED 20. Young JM, Glasziou P, Ward JE. General practitioners' selfratings of skills in evidence based medicine: validation study.BMJ. 2002; 324:950-951. FREE FULL TEXT 21. Hoppe RB, Farquhar LJ, Stoffelmayr HR. Residents' attitudes towards and skills in counseling: using undetected standardized patients.J Gen Intern Med. 1990;5: 415-420. PUBMED 22. Ireton HR, Sherman M. Self-ratings of graduating family practice residents' psychological medicine abilities. Fam Pract ResJ. 1988; 7:236-244. 23. Johnson D, Cujec B. Comparison of self, nurse, and physician assessment of residents rotating through an intensive care unit.Crit Care Med. 1998;26: 1811-1816. PUBMED 24. Paradise JE, Finkel MA, Beiser AS, et al. Assessments ofgirls' genital findings and the likelihood of sexual abuse: agreement among physicians selfrated as skilled. Arch Pediatr AdolescMed. 1997; 151:883-891. 25. Robbins JM, Kirmayer LJ, Cathebras P, Yaffe MJ, Dworkind M. Physician characteristics and the recognition of depression and anxiety in primary care. Med Care. 1994;32: 795-812. PUBMED 26. Stern DT, Linzer M, O'Sullivan PS, Weld L. Evaluating medical residents' literature-appraisal skills. Acad Med.1995; 70:152-154. PUBMED 27. Tracey JM, Arroll B, Richmond DE, Barham PM. The validity of general practitioners' self assessment of knowledge: cross sectional study. BMJ. 1997;315: 1426-1428. FREE FULL TEXT 28. Woods R, McCarthy T, Barry MA, Mahon B. Diagnosing smallpox: would you know it if you saw it? Biosecur Bioterror.2004; 2:157-163. PUBMED 29. Sibley JC, Sackett DL, Neufeld V, Gerrard B, Rudnick KV, Fraser W.A randomized trial of continuing medical education. N Engl JMed. 1982; 306:511-515. PUBMED 30. Gordon MJ. A review of the validity and accuracy of self-assessments in health professions training. AcadMed. 1991; 66:762-769. PUBMED 31. Dunning D, Heath C, Suls J. Flawed self-assessment: implicationsfor health, education, and the workplace. Psychol Sci PublicInterest. 2004; 5:69-106. 32. Falchikov N, Boud D. Student self-assessment in higher education: ameta-analysis. Rev Educ Res. 1989;59: 395-430. 33. Eva KW, Cunnington JP, Reiter HI, Keane DR, Norman GR. How can Iknow what I don't know? poor self assessment in a well-defined domain.Adv Health Sci Educ Theory Pract. 2004;9: 211-224. PUBMED 34. Hodges B, Regehr G, Martin D. Difficulties in recognizing one's own incompetence: novice physicians who are unskilled and unaware of it. Acad Med. 2001;76: S87-S89. PUBMED 35. Kruger J, Dunning D. Unskilled and unaware of it: how difficultiesin recognizing one's own incompetence lead to inflated self-assessments.J Pers Soc Psychol. 1999;77: 1121-1134. PUBMED 36. Ward M, Gruppen L, Regehr G. Measuring selfassessment: current state of the art. Adv Health Sci Educ Theory Pract.2002; 7:63-80. PUBMED 37. Colliver JA, Verhulst SJ, Barrows HS. Self-assessment in medicalpractice: a further concern about the conventional research paradigm.Teach Learn Med. 2005;17: 200-201. PUBMED 38. Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA. 2002;287: 226-235. FREE FULL TEXT 39. Mamede S, Schmidt HG. The structure of reflective practice inmedicine. Med Educ. 2004;38: 1302-1308. PUBMED 40. Hays RB, Jolly BC, Caldon LJ, et al. Is insight important? measuring capacity to change performance. Med Educ.2002; 36:965-971. PUBMED 41. Bandura A. Social cognitive theory: an agentic perspective.Annu Rev Psychol. 2001;52: 1-26. PUBMED 42. Moret L, Tequi B, Lombrail P. Should selfassessment methods be used to measure compliance with handwashing recommendations? a study carried out ina French university hospital. Am J Infect Control.2004; 32:384-390. PUBMED 43. Simon FA, Aschenbrener CA. Undergraduate medical education accreditation as a driver of lifelong learning. J Contin EducHealth Prof. 2005; 25:157-161. 44. Greiner AC, Knebel E, eds. Health Professions Education:A Bridge to Quality. Washington, DC: National Academy Press;2003.45. Sherman CD Jr, Davis DA. CME in oncology–from where we were to where we are going. J Cancer Educ.1995; 10:131-136. PUBMED 46. Sachdeva AK. The new paradigm of continuing education in surgery.Arch Surg. 2005;140: 264-269. FREE FULL TEXT 47. Lockyer J. Multisource feedback in the assessment of physician competencies. J Contin Educ Health Prof.2003; 23:4-12. PUBMED 48. Conlon M. Appraisal: the catalyst of personal development.BMJ. 2003; 327:3890-3891.