Version à l’étude de la ligne directrice E-23 - Gestion du risque de modélisation

État de la consultation : Fermé

La période de consultation a pris fin le 22 mars 2024. Cette version à l’étude de la ligne directrice sera conservée sur notre site Web jusqu’à la publication de la version finale.

Le secteur des services financiers connaît une croissance rapide en matière de numérisation et d'application de la modélisation. Les organisations utilisent de plus en plus la modélisation pour appuyer ou orienter la prise de décisions. De nos jours, les modèles s'appuient sur des données diverses et des techniques complexes, et les risques qui en découlent sont amplifiés par l'essor de l'analytique fondée sur l'intelligence artificielle ou l'apprentissage automatique (IA/AA), compte tenu de l'accès accru aux données, de la numérisation, de la réduction des coûts de données et de stockage, ainsi que de l'accroissement de la puissance de calcul informatique. De fait, l'augmentation des risques de modélisation pourrait exposer les organisations à des pertes financières découlant de la prise de mauvaises décisions et à des pertes opérationnelles, voire nuire à leur réputation. Par conséquent, il est important pour les organisations d'atténuer leurs risques de modélisation en adoptant de solides pratiques de surveillance et de gestion du risque de modélisation, notamment avec des contrôles adéquats. Le BSIF s'attend à ce que les organisations aient une bonne compréhension du cycle de vie de la modélisation, notamment des processus et des contrôles connexes, ainsi qu'un cadre de gestion du risque de modélisation (GRM) sain et prudent.

1. Objet et portée

La présente ligne directrice est fondée sur des principes et énonce les attentes du BSIF au chapitre de la gestion du risque de modélisation (GRM) à l'échelle organisationnelle axée sur de solides principes de gestion du cycle de vie des modèles. Elle s'applique à l'ensemble des organisations^{Note de bas de page 1} et des modèles, qu'ils nécessitent ou non une approbation réglementaire officielle.

Le BSIF s'attend à ce que le risque de modélisation soit géré selon une approche fondée sur le risque et applicable à l'échelle organisationnelle. Les termes « organisation » et « entreprise » sont utilisés tout au long du présent document; dans le contexte d'un régime de retraite fédéral (RRF), ils désignent les dispositions contractuelles dont découle le régime de retraite et non l'institution que représente le promoteur du régime.

La prise de décisions quant aux meilleures façons de gérer le risque de modélisation d'entreprise relève de la responsabilité de l'organisation.

2. Définitions

Modélisation

L'application de théories, d'hypothèses empiriques et de jugements, et/ou de techniques statistiques - notamment les méthodes d'IA/AA – destinées au traitement des données pour générer des résultats.^{Note de bas de page 2} Un modèle comporte trois volets distincts : 

1. la saisie de données, qui peut aussi comprendre les hypothèses pertinentes; 
2. le traitement, qui permet d'établir des liens entre les données d'entrée; 
3. les résultats, qui permettent de présenter les données de sortie dans un format utile et pertinent pour les secteurs d'activités et les fonctions de contrôle.

Cycle de vie d'un modèle

Sous-ensemble d'étapes qui définissent la vie d'un modèle. Il englobe toutes les étapes de l'exploitation, de la gestion et de la tenue à jour d'un modèle, jusqu'à sa mise hors service.

Risque de modélisation

Le risque découlant des lacunes ou des limites sur le plan de la conception, de l'élaboration, de la mise en œuvre et/ou de l'utilisation d'un modèle, risque susceptible d'avoir une incidence financière (p. ex., manque de fonds propres, pertes financières, manque de liquidités, sous-capitalisation de régimes de retraite à prestations déterminées^{Note de bas de page 3}) ou opérationnelle néfaste, ou de porter atteinte à la réputation de l'institution. Le risque de modélisation peut notamment résulter d'une spécification inadéquate, de mauvaises estimations des paramètres, d'hypothèses biaisées, de calculs mathématiques inexacts, de données inexactes, inadéquates ou incomplètes, d'une utilisation incorrecte, irrégulière ou non voulue et d'une surveillance ou de contrôles insuffisants.

Cadre de gestion du risque de modélisation (GRM)

Cadre qui établit les attentes de l'organisation au chapitre de la gestion du risque de modélisation, incluant les contrôles clés et la surveillance. Le cadre de GRM est appuyé par une solide gestion du cycle de vie des modèles, et il facilite la prise de saines décisions au sein de l'organisation.

Responsable du modèle

Personne(s) ou instance(s) chargée(s) de coordonner l'élaboration, la mise en œuvre et le déploiement du modèle, d'en effectuer un suivi continu et d'en assurer l'administration, y compris la documentation et les rapports connexes. Il peut s'agir du concepteur ou de l'utilisateur du modèle.

Concepteur du modèle

Personne(s) ou instance(s) chargée(s) de concevoir, d'élaborer et d'évaluer les modèles, ainsi que de documenter la méthodologie qui leur est propre.

Examinateur du modèle

Personne(s) ou instance(s) sans lien de dépendance chargée(s) de valider le modèle et de rendre compte de ses constatations et recommandations à l'approbateur du modèle. Il peut aussi lui incomber de présenter au concepteur et à l'utilisateur des recommandations au sujet de l'utilisation du modèle à une des fins précises, ainsi que d'évaluer les résultats de surveillance du modèle dans le cadre d'un processus de validation périodique ou continu. La même personne pourrait cumuler les fonctions d'examinateur et d'approbateur tant qu'il n'y a pas de conflit d'intérêts potentiel et que l'indépendance est maintenue par rapport au responsable, au concepteur et à l'utilisateur du modèle.

Approbateur du modèle

Personne(s) ou instance(s) et/ou, selon la taille et la complexité du modèle, comité(s) chargé(s) d'évaluer les constatations et recommandations de l'examinateur du modèle, ainsi que d'approuver l'utilisation et/ou les limites à l'utilisation d'un nouveau modèle ou des modifications apportées à des modèles existants.

Utilisateur du modèle

Personne(s) ou instance(s) qui utilise les données de sortie du modèle pour prendre des décisions opérationnelles avisées.

Intervenant du modèle

Personne(s) ou instance(s) qui sont touchées par l'extrant du modèle (p. ex., toutes les parties énoncées ci-dessus, l'équipe juridique, la fonction de conformité).

3. Résultats

En vertu de la présente ligne directrice, on s'attend à ce que les organisations atteignent les résultats suivants :

4. Cycle de vie d'un modèle

Les composantes du cycle de vie d'un modèle sont illustrées dans le diagramme suivant.

Figure 1 Cycle de vie d'un modèle - version texte

Le schéma illustre les différentes étapes du cycle de vie d'un modèle. Il montre une série de flèches reliant diverses étapes, depuis le « Bien-fondé de la modélisation » jusqu'aux étapes « Données », « Conception », « Validation », « Approbation », « Déploiement du modèle », « Surveillance » et « Modifications et mise hors service ». 

Le diagramme inclut une flèche qui part de « Validation » et dont la pointe se dédouble pour aller à « Approbation » d’un côté et retourner à « Données » de l’autre, ce qui permet d’illustrer les cas où le modèle n’est pas approuvé. Une autre flèche à double pointe part de « Conception » pour aller à « Validation » d’un côté et retourner à « Données » de l’autre, dans les cas où la conception se poursuit. En outre, le diagramme comprend une flèche qui part de « Modifications et mise hors service » et retourne à « Bien-fondé de la modélisation » pour indiquer qu’il s’agit d’un processus continu.  

Les parcours ci-dessus sont présentés à titre d'exemple; d'autres parcours sont possibles.

Chacune des étapes du cycle de vie d'un modèle doit être proportionnelle à la complexité^{Note de bas de page 4} et la taille de l'organisation, et doit tenir compte de l'utilisation du modèle. Pour ce qui est des modèles individuels, l'application des exigences relatives au cycle de vie doit dépendre de la cote de risque attribuée au modèle^{Note de bas de page 5}. Pour les modèles nouvellement conçus, si une cote de risque n'a pas encore été attribuée, les organisations peuvent appliquer les exigences relatives au cycle de vie du modèle en utilisant une cote provisoire^{Note de bas de page 6} ou encore déterminer des exigences précises (p. ex., par type de modèle).

Les organisations doivent s'assurer que la documentation à l'appui du cycle de vie d'un modèle est actuelle, tenue à jour à chacune des étapes du cycle de vie et proportionnelle aux risques du modèle. Les modèles qui utilisent des techniques de modélisation plus complexes et fondées sur des hypothèses importantes, qui s'appuient largement sur des avis d'experts, qui impliquent l'utilisation de capitaux importants et/ou qui ont une incidence sur le client exigeront habituellement une documentation plus exhaustive. 

4.1 Bien-fondé de la modélisation

Avant d'élaborer un modèle, le responsable doit déterminer les motifs de la modélisation, en indiquant clairement quel est le but du modèle, comment ses extrants seront utilisés et quelle est sa portée. Pour ce qui est des modèles approuvés antérieurement qui doivent faire l'objet de modifications, il faut indiquer dans la justification les raisons pour lesquelles des changements doivent être apportés.

En établissant le bien-fondé de la modélisation, le responsable du modèle doit s'assurer que tous les intervenants du modèle proposé sont identifiés. Les intervenants concernés sont notamment les utilisateurs du modèle, les bureaux de données d'entreprise, les services de conformité et les services juridiques. La décision de passer à l'étape suivante du cycle de vie d'un modèle doit s'appuyer sur les intrants des intervenants concernés, en tenant particulièrement compte des critères qualitatifs qui sous-tendent le processus d'élaboration du modèle, le cas échéant.

4.2 Données

Pour gérer le risque de modélisation lié aux données, les organisations doivent s'assurer que les données utilisées aux fins d'élaboration du modèle satisfont aux critères suivants :

• elles sont exactes et adaptées à un usage déterminé (c.‑à‑d. qu'elles sont exemptes d'erreurs significatives et que tout biais est bien compris et géré);
• elles sont utiles et représentatives (c.‑à‑d. qu'elles sont le reflet de la population cible prévue du modèle);
• elles sont suffisamment complètes aux fins prévues;
• elles sont traçables (c.‑à‑d. qu'on sait d'où elles proviennent et quelles sont les sources, et que le tout est bien documenté);
• elles sont suffisamment actuelles (c.‑à‑d. qu'elles sont mises à jour fréquemment, compte tenu de l'usage auquel elles sont destinées).

De plus, les organisations doivent savoir que l'utilisation de données non structurées peut potentiellement accroître le risque de rencontrer des problèmes liés à la qualité des données. Lorsque des éléments de données synthétiques sont utilisés de pair avec des données empiriques durant l'élaboration d'un modèle, les organisations doivent avoir en place des mesures de contrôle pour délimiter les différents types de données et effectuer les évaluations nécessaires pour s'assurer que les données satisfont aux critères susmentionnés.

4.3 Élaboration

Tout processus d'élaboration de modèle efficace doit comprendre les activités suivantes :

• repérage de données utiles (qui satisfont aux critères susmentionnés), formulation d'hypothèses critiques et quantification des paramètres clés (c.‑à‑d. le calibrage);
• nettoyage de données;
• élaboration d'une méthodologie conceptuellement juste pour en arriver aux résultats souhaités;
• détermination de mesures de rendement adéquates pour évaluer la qualité du modèle, y compris la définition de limites de rendement acceptables;
• élaboration d'un code;
• évaluation de la robustesse du modèle (stabilité des extrants lorsque de légers changements sont apportés aux valeurs des intrants) par rapport à l'évolution des facteurs de risque de modélisation;
• compréhension et communication des extrants du modèle et de la façon dont ils seront obtenus;
• élaboration d'un format pour les extrants du modèle, de sorte que les utilisateurs puissent prendre des décisions opérationnelles avisées et que les responsables de la modélisation puissent assurer un suivi continu du rendement du modèle.

Les modèles qui s'appuient sur des avis d'experts pour alimenter des composantes clés du processus d'élaboration doivent s'inspirer des activités susmentionnées, s'il y a lieu. Dans ce cas-ci, les organisations doivent tenir compte des experts qui ont été consultés, du processus utilisé pour recueillir et analyser les points de vue des experts, de la façon dont un consensus a été obtenu et de l'applicabilité des indicateurs de données.

Lorsque la prévalence du calibrage de modélisation dynamique^{Note de bas de page 7} augmente, les organisations doivent déterminer quand un recalibrage du modèle a eu lieu.

4.4 Validation

Les organisations doivent examiner de manière indépendante les extrants qui découlent du processus d'élaboration d'un modèle, que le modèle ait été conçu à l'interne ou par des parties externes. Elles peuvent faire appel aux services d'examinateurs internes objectifs (p. ex., au bureau mère ou d'attache) et/ou de spécialistes externes objectifs. Le processus de validation d'un modèle doit se faire indépendamment du processus d'élaboration et permettre de s'assurer que le modèle est solide sur le plan conceptuel, apte aux fins prévues et facile à comprendre pour les intervenants visés. En outre, les extrants de la validation d'un modèle doivent être documentés.

Il faut mener des activités de validation à différentes étapes du cycle de vie d'un modèle, notamment : 

• aux étapes de l'élaboration et de la mise en œuvre de nouveaux modèles;
• lorsqu'une des modifications doit être apportée à un modèle dans le cadre du processus de suivi des extrants;
• en réponse à d'autres exigences internes (p. ex., inclusion de nouvelles données);
• de manière périodique, pour évaluer le rendement d'un modèle et confirmer qu'un modèle demeure adapté à l'usage prévu.

Compte tenu de l'objet du modèle, de sa cote de risque et de l'étape où il en est dans son cycle de vie, le processus de validation doit englober, en tout ou en partie, les activités suivantes :

• l'évaluation de l'objet, de la portée et de l'utilisation des extrants du modèle;
• l'évaluation de la qualité et du caractère approprié des données du modèle;
• l'évaluation de la cote de risque du modèle, de sa rigueur conceptuelle, de ses limites et des mesures d'atténuation correspondantes;
• l'évaluation de l'explication fournie quant à la façon dont le modèle produira des extrants;
• l'évaluation du caractère raisonnable des extrants du modèle, du rendement du modèle et des mesures de suivi;
• une vérification confirmant que la documentation à l'appui est complète.

Les organisations qui ont recours à des bibliothèques, des plateformes et/ou des processus d'élaboration automatisés de tiers doivent se soumettre à une validation indépendante, proportionnelle aux risques que présentent ces éléments.

4.5 Approbation

Les exigences en matière d'approbation doivent s'appliquer tout au long du cycle de vie d'un modèle, incluant en ce qui a trait aux modifications et aux examens périodiques.

Les organisations doivent s'assurer de faire valider un modèle avant son approbation. Il incombe à l'examinateur de présenter à l'approbateur ou aux approbateurs les résultats de son examen et ses recommandations. Un modèle peut être approuvé même si des lacunes ou des limites ont été ciblées, à condition que des mesures d'atténuation soient en place ou que le groupe d'intervenants justifie l'utilisation d'un modèle comportant des lacunes ou des limites connues.

La décision d'approuver un modèle s'appuie habituellement sur un processus en deux volets :

• évaluer si le modèle est apte à être mis en œuvre dans un environnement de production (ou à continuer d'être utilisé) selon son usage prévu;
• confirmer la cote de risque attribuée au modèle.

4.6 Déploiement d'un modèle

Le processus de déploiement se veut un effort de collaboration entre les concepteurs, les responsables et les utilisateurs du modèle, de même que les partenaires technologiques et opérationnels chargés de gérer la mise en place du modèle et les environnements de production.

Avant le déploiement, les organisations doivent s'assurer que les extrants du modèle peuvent être reproduits dans l'environnement de production. De plus, elles doivent mettre à l'essai la fonctionnalité et la robustesse de l'environnement de production et de l'infrastructure connexe.^{Note de bas de page 8} La cohérence entre les données utilisées pour élaborer le modèle et l'ensemble de données de production doit être confirmée avant le déploiement du modèle. De plus, il faut établir des mesures de rechange dans l'éventualité où le modèle serait inutilisable pendant une certaine période, on remarquerait une détérioration importante des propriétés prédictives du modèle ou le modèle cesserait de fonctionner.

Les organisations doivent exercer une surveillance adéquate sur les modèles obtenus auprès du tiers, en tenant compte notamment de l'environnement de développement et de l'architecture de modélisation du tiers.

4.7 Surveillance continue

Une fois déployé, le modèle doit faire l'objet d'une surveillance et d'une validation périodique, proportionnellement à la cote de risque du modèle. Le degré d'intensité des activités de surveillance doit dépendre des caractéristiques du modèle, c'est-à-dire que certains modèles nécessiteront une surveillance plus fréquente ou adaptée.

Les responsables du modèle doivent assurer la surveillance et recueillir la rétroaction des intervenants, au besoin. S'ils ont fait appel à des fournisseurs, les responsables doivent s'assurer que les produits qu'ils déploient sont munis de contrôles adéquats.

Les résultats de surveillance doivent être communiqués aux utilisateurs en temps voulu et pris en compte au moment de déterminer la cote de risque du modèle, le cas échéant. Si une activité de surveillance donne lieu à des résultats insatisfaisants, l'information doit être acheminée aux intervenants concernés (y compris les parties en aval qui sont touchées par le modèle). Qui plus est, l'obtention de tels résultats doit donner lieu à l'élaboration d'un plan de correction.^{Note de bas de page 9} Les modifications apportées pour corriger les lacunes en matière de rendement doivent faire l'objet d'une validation de modélisation et satisfaire aux exigences d'approbation, au besoin.

4.8 Modifications et mise hors service

Le processus de modification^{Note de bas de page 10} tient compte de la nature itérative du cycle de vie de la modélisation, sachant qu'un modèle peut passer par plusieurs cycles de révision avant d'être finalement mis hors service.

En s'appuyant sur les cotes de risque et les répercussions possibles des changements sur le modèle, les organisations doivent classer les modifications selon leur degré d'importance et mesurer le degré d'intensité des activités de redéveloppement, de revalidation et de réapprobation qui seront nécessaires en se fondant sur le risque. Les organisations doivent tenir comme il se doit des registres des changements apportés qui correspondent aux registres des approbations, afin de prévenir toute divergence entre la dernière version approuvée et celle utilisée dans l'environnement de production.

Les organisations doivent tenir un registre des changements apportés au calibrage du modèle et définir des seuils permettant de déterminer ce qui constitue une modification importante. Quand ces seuils sont atteints, les organisations doivent réévaluer le modèle afin de déterminer si celui-ci demeure acceptable, selon les critères de sa plus récente approbation.

Quand la décision de mettre hors service un modèle est prise, le responsable doit en informer les intervenants concernés, y compris les responsables et les utilisateurs en aval. La mise hors service d'un modèle ne constitue pas la fin de son cycle de vie; un modèle hors service peut tout de même servir de référence ou être remis en service si la mise en œuvre du nouveau modèle échoue (ou si le nouveau modèle atteint les seuils minimaux de tolérance au risque). Pour les besoins de la continuité des activités, une organisation devra conserver les modèles qui ont été mis hors service dans un répertoire, et ce, pendant une période raisonnable.

Les organisations doivent être au fait de la modification et de la mise hors service de tout modèle appartenant à une tierce partie, et prendre les mesures nécessaires en fonction du niveau de risque. En ce qui concerne les modifications apportées aux modèles de tiers, les organisations doivent satisfaire aux exigences minimales susmentionnées, au même titre que les modèles élaborés à l'interne. De plus, des plans de rechange doivent être établis pour les modèles affichant des cotes de risque plus élevées, dans l'éventualité où les services de soutien du fournisseur seraient jugés inadéquats ou cesseraient totalement.

5. Cadre de gestion du risque de modélisation

Les organisations doivent examiner et mettre à jour régulièrement leur cadre de GRM pour s'assurer qu'il demeure utile et efficace, et y apporter des améliorations de manière continue à la lumière des leçons retenues. Le cadre de GRM doit, à tout le moins, satisfaire à tous les principes énoncés dans la présente ligne directrice.

Les composantes de la GRM et son interaction avec le cycle de vie du modèle sont illustrées dans le diagramme suivant.

Figure 2 Cadre de gestion du risque de modélisation - version texte

Le schéma illustre les différents aspects cadre de gestion du risque de modélisation : Répertoire des modèles; Gouvernance et responsabilisation; Évaluation du risque de modélisation et production de rapports; et Cote de risque de modélisation.   

Flèche pointant vers le graphique représentant le cycle de vie d'un modèle.   

Cycle de vie d'un modèle : Le schéma illustre les différentes étapes du cycle de vie d'un modèle. Il montre une série de flèches reliant diverses étapes, depuis le « Bien-fondé de la modélisation » jusqu'aux étapes « Données », « Conception », « Validation », « Approbation », « Déploiement du modèle », « Surveillance » et « Modifications et mise hors service ». 

Le diagramme inclut une flèche qui part de « Validation » et dont la pointe se dédouble pour aller à « Approbation » d’un côté et retourner à « Données » de l’autre, ce qui permet d’illustrer les cas où le modèle n’est pas approuvé. Une autre flèche à double pointe part de « Conception » pour aller à « Validation » d’un côté et retourner à « Données » de l’autre, dans les cas où la conception se poursuit. En outre, le diagramme comprend une flèche qui part de « Modifications et mise hors service » et retourne à « Bien-fondé de la modélisation » pour indiquer qu’il s’agit d’un processus continu.  

5.1 Répertoire des modèles

Le répertoire, dont la tenue à jour est assurée au niveau organisationnel, sert aussi de fondement pour la production de rapports à la direction. Les mises à jour du répertoire doivent se faire en temps voulu, notamment les modifications apportées aux modèles, la classification des risques et les mises à niveau sur le rendement. Les organismes doivent instaurer des contrôles fondés sur le risque pour confirmer l'exactitude de son répertoire de modèles.

Les renseignements sur les répertoires de modèles énoncés à l'Annexe A doivent être transmis au BSIF sur demande.

5.2 Gouvernance et responsabilisation

Les organisations doivent élaborer des politiques, des processus et des procédures, et établir des pouvoirs de gouvernance pour chacune des étapes du cycle de vie d'un modèle. Les concepteurs et les examinateurs doivent posséder les compétences quantitatives requises pour mener un examen du modèle, ainsi qu'une connaissance du secteur d'activités dans lequel le modèle est utilisé.

Les organisations peuvent se procurer des modèles ou des données auprès de sources externes, comme des fournisseurs tiers ou des organismes étrangers, lesquels pourraient disposer des renseignements exclusifs. Les organisations qui font l'acquisition d'un modèle issu d'une source externe (p. ex., fournisseur tiers, organisme étranger) sont tout de même tenues d'établir un cadre de GRM. De surcroît, elles demeurent ultimement responsables de toutes leurs activités externalisées et doivent obtenir la documentation appropriée auprès des fournisseurs pour comprendre la conception, le calibrage et le fonctionnement du modèle, comme elles le feraient pour tout modèle conçu à l'interne.

À l'appui d'une GRM efficace, les politiques doivent définir toutes les exceptions^{Note de bas de page 11} et établir des seuils qui correspondent à la prépondérance au risque de l'organisation. Les politiques contenant des exceptions doivent permettre d'identifier les intervenants visés et de les informer, et être approuvées pour tous les types de modèles. Elles doivent aussi renfermer des détails sur les circonstances dans lesquelles un modèle peut être mis hors service et/ou des conditions limitant l'utilisation du modèle peuvent être imposées. S'il accorde une exception, l'approbateur devra aussi avoir le pouvoir d'imposer des restrictions sur l'utilisation du modèle.

Les politiques et les procédures de gouvernance des données de l'organisation doivent être intégrées aux exigences en matière de gouvernance et de gestion des données établies au niveau organisationnel et s'en inspirer dans la mesure du possible. Collectivement, elles doivent présenter une approche cohérente permettant de comprendre et de gérer les vulnérabilités, les complexités et les changements relatifs aux données, y compris les biais, les questions d'équité, la confidentialité et tout autre élément pertinent, particulièrement en ce qui a trait aux techniques d'utilisation de l'IA/AA.

5.3 Évaluation du risque de modélisation et production de rapports

Une organisation doit établir des mesures pour faciliter la surveillance transparente et uniforme du risque de modélisation à l'échelle organisationnelle. Elle doit transmettre, à tout le moins et sur une base périodique, les renseignements suivants aux responsables, aux utilisateurs, aux examinateurs et à la haute direction :

• les types de modèles;
• le rendement de chaque modèle tout au long de son cycle de vie;
• une description de l'environnement d'exploitation dans lequel les modèles sont utilisés;
• les exceptions par rapport au cadre de GRM de l'organisation;
• une évaluation organisationnelle du risque de modélisation.

5.4 Cote de risque de modélisation

Dans son cadre de GRM, l'organisation doit prévoir l'instauration d'un système d'évaluation du risque de modélisation applicable à l'ensemble des modèles. Ce système doit être conçu de manière à permettre son application uniforme pour l'ensemble des types de modèles, afin de faciliter le recensement, l'évaluation et la gestion du risque de modélisation à l'échelle organisationnelle, ainsi que la production de rapports sur le risque de modélisation. 

Au moment de concevoir son système d'évaluation du risque de modélisation, l'organisation doit établir une cote de risque fondée sur des critères quantitatifs et qualitatifs. En fin de compte, l'application des exigences relatives au cycle de vie d'un modèle, qui sont documentées dans le cadre de GRM, doit être proportionnelle à la cote de risque de modélisation. Par exemple, la cote de risque de modélisation peut avoir une incidence sur le niveau de pouvoir requis pour approuver un modèle, la fréquence et la portée des activités de surveillance et des examens indépendants, et l'intervalle auquel la cote de risque est réévaluée.

Les facteurs quantitatifs comprennent des éléments comme l'importance, la taille et la croissance du portefeuille visé par le modèle, les éventuelles répercussions sur les clients ou l'incidence financière. Les facteurs qualitatifs comprennent des éléments qui augmentent le niveau d'incertitude, comme l'utilisation ou les fins opérationnelles, la complexité des méthodes statistiques appliquées, la fiabilité des intrants de données ou les conclusions du processus d'examen du modèle. 

Les cotes de risque de modélisation doivent être revues régulièrement, notamment lorsqu'un événement déclencheur survient^{Note de bas de page 12} et que le modèle doit être mis à jour à la lumière de ce qui s'est produit. Si les cotes de risque de modélisation ne respectent pas le niveau de propension au risque de l'organisation, cette dernière devra prendre les mesures de correction adéquates.^{Note de bas de page 13} Les modèles qui sont fournis à des filiales ou à des succursales étrangères par un bureau mère ou d'attache doivent faire l'objet d'une évaluation distincte pour vérifier leur cote de risque. La filiale ou la succursale étrangère doit avoir accès à la documentation technique du bureau mère ou d'attache pour évaluer et gérer le profil de risque propre au modèle.

Annexe A

Les organisations doivent, à tout le moins, avoir les renseignements suivants au sujet de chaque modèle :

• Numéro du modèle
• Version du modèle
• Nom du modèle et description des principales fonctions
• Classification du risque du modèle
• Détermination du rôle des intervenants du modèle (p. ex., responsable, concepteur, examinateur, approbateur)
• Date de la dernière validation du modèle
• Statut d'exception
• Cote de rendement issue de la surveillance continue
• Dépendance du modèle (c.‑à‑d. situations dans lesquelles l'extrant du modèle est un intrant d'un autre modèle)
• Date de la mise en production du modèle
• Utilisations approuvées du modèle
• Limite(s) du modèle
• Date du prochain examen
• Origine du modèle (p. ex., conçu à l'interne ou par un fournisseur)