Évaluation par les pairs pour le programme de bourses postdoctorales de recherche du Canada
Titre
Bienvenue dans le module d’apprentissage pour les pairs évaluateurs du Programme de bourses postdoctorales de recherche du Canada (ou BPRC).
Le module concerne spécifiquement les demandes de financement présentées aux IRSC et vise à familiariser les évaluateurs avec les tenants et les aboutissants du Programme de BPRC, ce qui les aidera à bien se préparer au processus d’évaluation par les pairs.
Boutons de la barre de lecture
Ce cours est conçu pour être suivi de manière autonome.
Utilisez la barre de lecture ci-dessous pour reprendre la lecture, passer d’une diapositive à l’autre, couper ou rétablir le son et activer les sous-titres codés. Vous pouvez également consulter la table des matières et réduire ou déplacer la barre de lecture.
Objectifs
À l’issue de ce module, vous saurez :
- décrire les caractéristiques principales du Programme de BPRC;
- appliquer les critères de sélection des demandes en tenant compte de considérations importantes;
- utiliser l’échelle de cotation et rédiger une évaluation de qualité;
- résumer les étapes du processus d’évaluation par les pairs pour les BPRC .
Objectif 1 : Programme de BPRC
La section qui suit décrit le Programme de BPRC et ses critères d’admissibilité.
Caractéristiques du programme
Le Programme de BPRC des IRSC vise à appuyer des talents du Canada et de l’étranger dans tous les domaines de la recherche en santé. Il permet à des chercheurs au postdoctorat ou détenant un diplôme professionnel d’études supérieures dans le domaine de la santé d’enrichir leur expérience et facilite leur transition vers la prochaine étape de leur carrière.
Les bourses ont chacune une valeur de 70 000 $ et sont accordées pendant deux ans.
Admissibilité des candidats
Les candidats au programme de BPRC doivent détenir ou être sur le point de détenir un doctorat ou un diplôme professionnel de la santé avant la date de début de la bourse. Il leur est également imposé d’avoir satisfait à toutes les exigences de leur doctorat ou diplôme professionnel de la santé dans les trois ans qui précèdent le 1er septembre de l’année de présentation de la demande. Enfin, ils ne peuvent pas être membres d’un corps professoral, être en voie de titularisation ou être en congé d’un tel poste.
Les critères d’admissibilité sont énumérés sur la page consacrée au programme de BPRC.
En amont du processus d’évaluation par les pairs, les IRSC auront filtré les demandes non conformes aux critères d’admissibilité. Toutefois, s’ils remarquent qu’une demande qui aurait dû être rejetée a été glissée dans le concours, les évaluateurs sont priés de l’écarter et de la signaler aux représentants des IRSC.
Formats acceptés pour les demandes
Afin de garantir que tous les candidats disposent exactement du même espace pour présenter leur demande, des directives de mise en forme sont imposées, notamment en ce qui a trait à la taille de la police, aux espacements et aux limites de pages.
Au même titre que les critères d’admissibilité, la vérification du respect de ces directives ne relève pas des évaluateurs. S’ils constatent une transgression dans une demande qui leur est confiée, ils sont malgré tout invités à en faire part aux représentants des IRSC dans les plus brefs délais.
Une liste exhaustive des directives se trouve sur la page Web Formats acceptés pour les demandes et les PDF en pièces jointes.
Objectif 2 : Critères de sélection et considérations importantes
La section qui suit est consacrée aux critères de sélection et aux considérations qui entrent en ligne de compte dans l’évaluation des demandes présentées aux concours du Programme de BPRC.
Assignation des demandes
En tant qu’évaluateur du Programme de BPRC, votre principale mission est de mesurer l’expérience et le potentiel en recherche des candidats et la qualité de la formation proposée. Il n’est donc pas essentiel que votre expertise corresponde directement au domaine de recherche visé par la demande.
Aucun conflit ne devrait être déclaré en raison d’un manque d’expertise de votre part; les IRSC vous demandent d’évaluer les demandes du point de vue d’un généraliste, même si le domaine ne vous est pas forcément familier.
Au moment de procéder à l’évaluation d’une demande, il vous incombe de vous conformer aux principes de l’évaluation par les pairs des IRSC : la confidentialité, l’absence de conflits d’intérêts, l’équité et la transparence.
Critères de sélection
L’évaluation d’une demande devrait reposer sur les critères suivants : expérience et potentiel en recherche (50 %) et qualité du programme de recherche proposé (50 %).
Les diapositives qui suivent porteront sur les critères de sélection qui s’affichent à l’écran.
D’autres renseignements sur le sujet figurent à l’annexe A du Guide de l’évaluateur pour les BPRC.
Expérience et potentiel en recherche
Le premier critère de sélection, « Expérience et potentiel en recherche », concerne l’adéquation de la proposition de recherche avec l’expérience et le potentiel en recherche du candidat.
Il comprend trois sous-critères : prix, bourses et distinctions universitaires; contributions et activités liées à la recherche; évaluation des caractéristiques et aptitudes par les répondants. Les prix, bourses et distinctions universitaires des candidats sont énoncés dans les sections « Marques de reconnaissance » et « Historique du financement de la recherche » du CV commun.
Les contributions et activités liées à la recherche y sont également énumérées, dans les sections « Activités », « Contributions » et « Contributions les plus importantes » ainsi que dans le document « Circonstances spéciales ».
Les formulaires d’évaluation remplis par les répondants offrent pour leur part des renseignements sur les caractéristiques et les aptitudes des candidats. Soulignons que les commentaires qu’ils contiennent sont généralement positifs et que les candidats n’ont pas la possibilité de justifier leur choix de répondants dans leur demande.
Qualité du programme de recherche proposé
Le deuxième critère de sélection, « Qualité du programme de recherche proposé », porte sur le résumé de recherche et sur l’adéquation de la proposition de recherche avec la formation du candidat et l’environnement de recherche.
Il comprend lui aussi trois sous-critères : attentes en matière de formation; projet de recherche proposé; milieu de formation en recherche.
Les attentes en matière de formation sont exprimées dans la section du même nom. Le projet de recherche proposé est pour sa part présenté dans la section « Résumé du projet de recherche », tandis que le milieu de formation en recherche est décrit dans un document distinct.
Élargir l’évaluation des contributions à la recherche et des retombées
Les IRSC sont signataires de la Déclaration de San Francisco sur l’évaluation de la recherche (DORA), qui souligne la nécessité d’améliorer la façon dont les résultats de la recherche sont évalués. Il est essentiel que vous ratissiez large lorsque vous évaluez les demandes et que vous ne vous limitiez pas aux indicateurs traditionnels de productivité. Par exemple, plutôt que de vous appuyer sur des valeurs de productivité comme l’indice h, tenez compte du contexte dans lequel le candidat a évolué et concentrez-vous sur la qualité et les retombées. Voici quelques exemples d’indicateurs traditionnels et d’autres extrants devant être pris en compte.
Pour mesurer la productivité des candidats dans le respect des principes de la DORA, il convient d’appliquer les recommandations suivantes :
- Se concentrer sur la teneur des contributions du candidat, y compris l’originalité, les résultats des travaux, la rigueur méthodologique et la clarté.
- Évaluer directement les retombées en examinant diverses facettes de la recherche : progression du savoir ou de la compréhension dans le domaine, applications pratiques, retombées concrètes (sociales, économiques, gouvernementales, sanitaires, etc.), pertinence et influence.
- Tenir compte d’un large éventail d’extrants et des différences d’un domaine à l’autre.
- Suivre les recommandations des IRSC, du CRSNG et du CRSH pour l’évaluation des contributions à la recherche.
- Inclure des renvois aux orientations relatives à l’utilisation responsable
- des indicateurs quantitatifs dans l’évaluation de la recherche
À éviter
- Se fier au facteur d’impact (indice bibliométrique) pour évaluer l’excellence du chercheur ou la qualité de la recherche.
- Se fier uniquement au prestige d’une revue ou d’une tribune de diffusion pour évaluer les candidatures. Ces éléments doivent seulement être pris en compte conjointement avec des indicateurs directs de la qualité et des retombées.
- Confondre le nombre de citations avec la valeur de la recherche.
- Récompenser la quantité au détriment de la qualité.
Des outils de perfectionnement des compétences sont accessibles en ligne pour mettre en pratique les principes de la DORA dans les évaluations.
Évaluation de l’intégration du sexe et du genre
Au moment de procéder à l’évaluation d’une demande, une attention particulière doit être accordée à l’intégration du sexe et du genre aux projets proposés.
Explorez les ressources qui s’affichent à l’écran pour vous familiariser avec les questions de sexe et de genre dans la recherche en santé. Tous les liens s’ouvriront dans une nouvelle fenêtre, ce qui vous permettra de retourner au module lorsque vous le souhaiterez.
Évaluation de la recherche en santé des Autochtones
Vous êtes invités à vous appuyer sur les ressources qui s’affichent à l’écran pour évaluer des demandes qui font intervenir des membres des Premières Nations, des Inuits ou des Métis. Ces ressources offrent des éléments de contexte, des cadres d’éthique et des orientations fondées sur les distinctions qui vous aideront à réaliser des évaluations éclairées, conformes aux principes d’équité et empreintes de respect.
Question 1
Mettez vos connaissances à l’épreuve! N’hésitez pas à vous appuyer sur l’annexe A du Guide de l’évaluateur pour les BPRC.
Dans la demande que vous évaluez, le candidat justifie son choix d’établissement de formation et explique ce qu’il prévoit y apprendre. À quel sous-critère de la qualité du programme de recherche proposé se rattache cette information?
- Contributions et activités liées à la recherche
- Attentes en matière de formation
- Projet de recherche proposé
- Ou Milieu de formation en recherche.
Question 2
Parmi les éléments suivants, lequel n’entre pas en ligne de compte dans l’évaluation des contributions et des activités liées à la recherche?
- Preuves de contributions percutantes à la recherche
- Pourcentage estimatif de la contribution du candidat aux travaux
- Publications marquées comme soumises
- Autres activités professionnelles
Objectif 3 : Échelle de cotation et rédaction d’une évaluation de qualité
La section qui suit concerne l’échelle de cotation et la réalisation d’une évaluation de qualité.
Échelle de cotation – demandes admissibles à un financement
Les évaluateurs sont tenus d’évaluer chaque demande selon l’information fournie et ne doivent pas chercher à obtenir des renseignements supplémentaires ou des opinions de l’extérieur pour compléter leurs évaluations.
Ils doivent accorder une cote sur une échelle de 0,0 à 4,9 pour chaque critère de sélection. Le calcul de la cote globale de chaque demande évaluée dans RechercheNet repose sur la pondération automatique des différentes cotes attribuées.
Seules les demandes affichant une cote globale de 3,5 ou plus sont admissibles à un financement. Elles sont classées dans trois catégories :
Les demandes dont la cote est située entre 4,5 et 4,9 font preuve d’excellence à l’égard de la plupart ou de la totalité des aspects. Ces demandes ne présentent que des lacunes minimes.
Les demandes dont la cote est située entre 4,0 et 4,4 font preuve d’excellence à l’égard d’une bonne partie des aspects pertinents et se révèlent acceptables à l’égard de tous les autres. Pour ces demandes, des améliorations sont possibles.
Les demandes dont la cote est située entre 3,5 et 3,9 font preuve d’excellence à l’égard de quelques aspects pertinents et se révèlent acceptables à l’égard de tous les autres. Pour ces demandes, des améliorations s’imposent.
Échelle de cotation – demandes non admissibles à un financement
Les demandes affichant une cote globale de 3,4 ou moins ne sont pas admissibles à un financement. Elles sont classées dans deux catégories :
Les demandes dont la cote est située entre 3,0 et 3,4 traitent des aspects pertinents d’une manière générale. Pour ces demandes, des améliorations importantes s’imposent.
Les demandes dont la cote est située entre 0,0 et 2,9 ne présentent pas d’arguments suffisamment convaincants ou comportent des lacunes ou des failles importantes.
L’échelle au complet doit être utilisée dans l’évaluation des demandes. Consultez le Guide de l’évaluateur pour en savoir plus.
Qualité des évaluations
Pour chaque demande, les évaluateurs doivent rédiger une courte évaluation mettant en lumière ses forces et ses faiblesses par rapport à chaque critère de sélection pour justifier les cotes attribuées. Ils sont priés de tenir compte des critères de qualité des évaluations suivants :
- Caractère approprié – Les commentaires sont justes, compréhensibles, confidentiels et respectueux.
- Rigueur – L’évaluation est exhaustive, complète et crédible.
- Utilité – Les commentaires de l’évaluation répondent aux besoins des évaluateurs, des candidats et des bailleurs de fonds.
Les IRSC ont élaboré un aide-mémoire dont les évaluateurs peuvent se servir pour appliquer les critères de qualité des évaluations aux demandes qui leur sont confiées. Le module d’apprentissage « Effectuer des évaluations de qualité » doit également être suivi.
Rédaction d’une évaluation
Voici quelques recommandations pour la rédaction de vos évaluations :
- Utilisez les descripteurs de l’échelle de cotation des IRSC qui correspondent à la cote attribuée.
- Justifiez et contextualisez chaque commentaire dans un souci de clarté et de cohérence.
- Tenez compte d’une vaste gamme de contributions et de retombées et conciliez l’usage d’indicateurs quantitatifs et d’éléments qualitatifs pour démontrer le caractère exhaustif de l’évaluation.
Privilégiez la simplicité par l’emploi d’un langage clair et précis. Évitez tout propos sarcastique, irrévérencieux, tendancieux ou teinté d’arrogance afin de produire une évaluation professionnelle et objective. Si vous ne connaissez pas l’identité de genre d’une personne à laquelle vous faites allusion, privilégiez une formulation neutre. Vous pouvez par exemple remplacer « le candidat a démontré que […] » par « la proposition démontre que […].
Des outils de perfectionnement des compétences sont accessibles en ligne pour aider les évaluateurs à améliorer la qualité de leurs évaluations.
Intelligence artificielle et évaluation des demandes de bourses
Les IRSC ont édicté des directives sur le recours à l’intelligence artificielle dans l’évaluation par les pairs que les évaluateurs doivent garder à l’esprit.
L’essor de puissants outils d’IA ne dispense aucunement ces derniers à lire les demandes qui leur sont attribuées et à rédiger des évaluations justes et rigoureuses dans leurs propres mots. Le fait de saisir des renseignements sur les demandes dans des plateformes d’intelligence artificielle générative comme ChatGPT ou DeepL porte atteinte à la vie privée et entraîne une perte de propriété intellectuelle, les données saisies étant susceptibles d’être stockées et réutilisées par ces plateformes.
De ce fait, l’utilisation d’outils d’IA générative accessibles au public dans l’évaluation des demandes est strictement interdite, et vous devrez accepter de vous conformer aux Lignes directrices sur l’utilisation de l’intelligence artificielle dans l’élaboration et l’évaluation des propositions de recherche dans RechercheNet.
Question 3
Vrai ou faux? Pour assurer le traitement équitable de toutes les demandes, vous NE devez PAS chercher à obtenir des renseignements supplémentaires sur une demande en plus d’en évaluer le contenu.
Question 4
Oui ou non? L’évaluation d’une demande vous donne du fil à retordre, notamment pour ce qui est de fournir votre rétroaction. Vous décidez alors de tirer parti de ChatGPT pour écrire vos commentaires ainsi que pour comparer plusieurs sections de la proposition de recherche avec des projets existants. Est-ce acceptable?
Objectif 4 : Processus d’évaluation
La section qui suit concerne le processus d’évaluation du Programme de BPRC.
Processus d’évaluation par les pairs visant le programme de BPRC
Les étapes suivantes du processus d’évaluation par les pairs seront présentées :
- Assignation des demandes aux comités
- Déclaration des conflits d’intérêts et confirmation de la capacité d’évaluer
- Évaluation des demandes assignées
- Soumission des évaluations et des cotes
- Réévaluation de certaines demandes, au besoin
Consultez le Guide de l’évaluateur pour le Programme de bourses postdoctorales de recherche du Canada (BPRC) pour en savoir plus.
Assignation des demandes aux comités
Les demandes sont assignées à un comité sur la base du domaine scientifique indiqué par les candidats et qui s’aligne avec les activités de recherche proposées. Chaque demande sera assignée à trois évaluateurs au sein de ce comité.
L’évaluation du potentiel des candidats à titre de chercheurs indépendants en recherche biomédicale ou clinique incombe au comité PT1.
L’évaluation du potentiel des candidats à titre de chercheurs indépendants en recherche sur les services de santé ou en recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations incombe au comité PT2.
La page Comités d’évaluation par les pairs et mandats offre de plus amples renseignements sur les deux comités.
Identifier les conflits d’intérêts
Avant de procéder à l’évaluation des demandes qui vous sont confiées dans RechercheNet, vous devez accepter l’Accord sur les conflits d’intérêts et la confidentialité ainsi que l’Avis de confidentialité, qui comprend la version enrichie du formulaire de déclaration volontaire sur l’équité, la diversité et l’inclusion. Cette étape permet aux IRSC de mesurer la diversité des profils des évaluateurs.
Le formulaire est accompagné d’un avis de confidentialité, qui décrit l’objectif poursuivi par les IRSC ainsi que les utilisations prévues des données de déclaration volontaire.
Une fois cette étape initiale terminée, vous pouvez accéder aux demandes qui vous sont assignées en cliquant sur la tâche « Gérer les conflits/Capacité d’examiner », puis les sélectionner une par une en cliquant sur leur numéro en hyperlien.
Vous devez alors consulter des renseignements pertinents sur chacune des demandes afin de déterminer si votre évaluation vous place en conflit d’intérêts et, le cas échéant, avez la responsabilité de le signaler.
Comme mentionné précédemment, l’attribution des demandes n’est pas fondée sur l’expertise particulière des évaluateurs. Aucun conflit ne devrait être déclaré en raison d’un manque d’expertise de votre part; les IRSC vous demandent d’évaluer les demandes du point de vue d’un généraliste, même si le domaine ne vous est pas forcément familier.
Effectuer des évaluations
Après avoir bien pris connaissance des critères de sélection du Programme de BPRC, vous pouvez commencer vos évaluations en cliquant sur la tâche « Effectuer des évaluations », puis en cliquant sur leur numéro en hyperlien.
Sur la nouvelle page, vous devez inscrire votre cote numérique, la justifier et rédiger des commentaires qui décrivent les forces et les faiblesses de la demande évaluée par rapport à chaque critère de sélection. Il est recommandé d’utiliser ces critères comme titres de sections pour structurer vos commentaires.
Les rétroactions écrites visent à dispenser des conseils avisés aux candidats pour les aider à améliorer la qualité de leurs futures demandes ou à mener à bien leurs travaux.
RechercheNet ayant tendance à se déconnecter souvent, on vous recommande d’ enregistrer fréquemment votre travail en cliquant sur « Sauvegarder l’ébauche » ou à faire un copier-coller de vos évaluations depuis un logiciel de traitement de texte.
Soumission des évaluations
Lorsque vos évaluations sont prêtes à être soumises, vous devez les sélectionner, puis cliquer sur « Soumettre les évaluations sélectionnées ». À ce stade, plus aucune modification n’est possible.
Il est prépondérant que vous soumettiez vos évaluations et vos cotes au plus tard à la date convenue avec les représentants des IRSC. Si vous pensez ne pas être en mesure de respecter l’échéance fixée, prière d’en informer les représentants des IRSC dans les plus brefs délais.
Soumission des évaluations 2
Une fois toutes les évaluations soumises, un calcul est effectué pour repérer les demandes ayant obtenu des cotes présentant une grande divergence. Les évaluateurs des demandes concernées doivent alors en discuter afin de rapprocher leurs cotes.
Dans ce cas de figure, vous recevrez par courriel une demande de participation à la réévaluation d’une demande accompagnée des coordonnées des autres évaluateurs. Votre accès à cette demande sera alors réactivé dans RechercheNet.
L’objet de la démarche est de permettre aux trois évaluateurs de prendre connaissance des points de vue de leurs collègues et d’en tenir compte. Au terme de la discussion, les évaluateurs ne sont pas dans l’obligation de modifier leur cote, mais doivent néanmoins soumettre leur nouvelle évaluation.
Après la soumission de l’ensemble des évaluations, une cote finale est accordée, fondée sur la moyenne de toutes les cotes.
Par la suite, un classement des demandes évaluées par chaque comité est établi.
Les recommandations de financement suivent le rang occupé par les demandes dans le classement, jusqu’à épuisement du budget. Après la soumission de l’ensemble des évaluations, une cote finale est accordée, fondée sur la moyenne de toutes les cotes.
Par la suite, un classement des demandes évaluées par chaque comité est établi.
Les recommandations de financement suivent le rang occupé par les demandes dans le classement, jusqu’à épuisement du budget.
Résumé
Félicitations! Vous avez terminé le module d’apprentissage destiné aux pairs évaluateurs du Programme de BPRC.
Vous devriez désormais être en mesure de décrire les caractéristiques principales du Programme de BPRC, d’appliquer les critères de sélection des demandes en tenant compte de considérations importantes, d’utiliser l’échelle de cotation et de rédiger une évaluation de qualité, et de résumer les étapes du processus d’évaluation par les pairs.
Sondage
Avant d’explorer les ressources complémentaires, nous vous invitons à répondre à notre sondage afin de faciliter le suivi mis en place par les IRSC et d’améliorer la qualité de l’apprentissage. Le sondage s’ouvrira dans une nouvelle fenêtre.
Autres ressources
Pour accéder aux ressources complémentaires pour les pairs évaluateurs du Programme de BPRC, cliquez tout simplement sur les liens qui s’affichent à l’écran.
- Date de modification :