La reproductibilité est largement reconnue comme un principe fondamental de la recherche scientifique. Actuellement, la communauté scientifique se heurte à de nombreux défis liés à la reproductibilité, souvent désignés comme la « crise de la reproductibilité ». Cette crise a touché de nombreuses disciplines scientifiques. Dans cette thèse, nous avons examiné les facteurs dans les pratiques scientifiques qui pourraient contribuer à ce manque de reproductibilité. Une attention particulière est portée sur l'intégration omniprésente de l'informatique dans la recherche, qui fonctionne parfois comme une boîte noire. Cette thèse se concentre principalement sur le calcul haute performance (HPC), qui présente des défis uniques en matière de reproductibilité. Nous fournissons un état de l’art complet de ces préoccupations et des solutions potentielles. De plus, nous discutons du rôle crucial de la recherche reproductible dans l'avancement de la science et de l'identification des problèmes persistants dans le domaine du HPC. Nous discutions des multiples raisons pouvant conduire à une perte de reproductibilité lors de l’utilisation d’outils informatique présents dans bien des domaines de la recherche. Nous pouvons citer l’importance de la science ouverte, d’une documentation rigoureuse, de l’application correcte des statistiques, de la culture scientifique, des environnements logiciels, des workflows, ainsi que du génie logiciel. Nous voyons également en détail les problématiques du calcul scientifique à hautes performances, où de nouveaux facteurs peuvent impacter la reproductibilité.  Nous pouvons citer les problèmes liés au calcul parallèle, aux simulations de Monte-Carlo utilisant des générateurs de nombres pseudo-aléatoires, aux processus d’optimisation, à l’hétérogénéité du matériel, aux erreurs dites « silencieuses », ainsi qu’aux défis posés par de nouveaux paradigmes tels que l’informatique quantique. Nous avons proposé différents cas concret d’étude de reproductibilité en calcul haute performance, et avons apporté des connaissances et recommandations pour les chercheurs. Nous avons développé un modèle épidémiologique en C++, afin de pouvoir facilement parallèliser des simulations de propagation de individus cenrtrés à large échelle. Les tests ont étés réalisés avec des paramètres pour le Covid 19 mais peuvent être adaptés à d’autres types d’épidémie (M-pox par exemple). Nous avons étudié la qualité statistique des flux stochastiques selon l’initialisation de Mersenne Twister, et ainsi fournit des informations sur son initialisation parallèle. Nous avons étudié les différents problèmes de reproductiblité lié à l’utilisation des générateurs de nombres pseudo-aléatoires dans les technologies du machine learning. Lors de cette thèse nous avons également étudié l’aspect matériel, en questionnant la pertinence de l’activation systématique du simultaneous multi-threading sur les clusters de calcul pour les performances en fonction du type de calcul. Enfin, nous avons étudié la fiabilité des machines quantiques, un paradigme de calcul qui devient plus fiable et qui a le potentiel de révolutionner le calcul haute performance sur certaines thématiques spécifiques.