Mémoire d'actuariat

Sensitivity Analysis and Empirical Validation of a Black-Box Asset Model
Auteur(s) WENDL Cyril
Société PARTNER RE
Année 2020
Confidentiel jusqu'au 17/11/2022

Résumé
Dans un contexte de marchés financiers de plus en plus complexes, les modèles d'actifs ont gagné de l'importance dans les institutions financières. Alors que la recherche existante a été surtout dédiée à la conception de modèles de risque d'actifs et au développement de méthodes statistiques pour mesurer le risque, moins d'études ont été consacrées au sujet de la validation d'un modèle d'actifs existant de type boîte noire, c'est-à-dire des modèles d'actifs dont l'utilisateur ne connaît pas tous les détails. PartnerRe est une entreprise de réassurance relativement petite qui utilise un modèle d'actifs d'un vendeur externe. Il est d'autant plus important pour PartnerRe de s'assurer d'une forte confiance dans la pertinence du modèle. Ce travail propose une démarche pragmatique pour la validation de bout en bout d'un modèle d'actifs de type boîte noire. L'approche proposée consiste en une validation interne et externe du modèle d'actifs : Dans la validation interne, la plausibilité et la robustesse des sorties du modèle sont vérifiées par une analyse de sensibilité. Ceci se fait par une analyse de l'impact des paramètres en entrée du modèle d'actifs sur le risque de baisse prédit par le modèle. Dans la validation externe, la validité empirique du modèle d'actifs est étudiée en le comparant à des données historiques. La crise financière de 2008 est comparée aux valeurs extrêmes sortant du modèle afin d'évaluer la période de retour à laquelle la crise financière de 2008 correspond selon le modèle d'actifs. Il est également vérifié que la fréquence de changements adverses des taux de change générés par le modèle correspond aux données historiques de taux de change. Les connaissances acquises sont utilisées pour palier à certains défauts du modèle, tels que des limitations sur la granularité des classes d'investissements ou sur le nombre de devises qui peuvent être modélisées. (Mots-clés: modèle d'actifs, validation, boîte noire, analyse de sensibilité, validation empirique)

Abstract
In the context of increasingly complex financial markets, asset models and risk management have gained importance within financial institutions. While existing research has been mostly dedicated to the design of asset risk models and to the development of adequate statistical measures of risk, fewer studies have focused on the validation of a black-box asset model, i.e., an asset model for which not all details are known to the end user. PartnerRe is a relatively small reinsurance company which uses an asset model from an external vendor. It is therefore crucial that PartnerRe has strong confidence into the quality of the model. This study proposes a pragmatic end-to-end approach to validate a black-box asset model without knowing all of its underlying mechanisms. The proposed framework consists of an internal and external validation of the asset model: In the internal validation, the plausibility and robustness of the model outputs are verified through a sensitivity analysis. This is done by studying the impact of changing asset model parameters on the predicted downside risk. In the external validation, the empirical validity of the asset model is studied by comparing the model outputs to historical data. The 2008 financial crisis is compared to the most severe model outputs in order to determine the matching return period for observed historical losses. It is also verified that the frequency of adverse FX rates projected by the asset model matches historical FX data. The insights gained from the internal and external model validation are used to refine the modeling approach and to propose improvements to the model where it is limited, either in terms of the granularity of asset classes or in the number of currencies that can be modeled. (Keywords: Asset model, validation, black box, sensitivity analysis, empirical validation)