Automatic run-time choice for simulation length in mimesis

¹ INT/INF, 9 rue Charles Fourier, 91011 Évry Cedex, France
² MASI Laboratory Associate Members, 4 place Jussieu, 75252 Paris Cedex, France
³ PRiSM Laboratory, University of Versailles-St-Quentin, 45 Avenue des Etats-Unis, 78035 Versailles Cedex, France
⁴ EDF/DER, 1 Avenue du Général de Gaulle, 92141 Clamart Cedex, France

Received: May 1996

Abstract

This paper presents an algorithm which prevents a simulation user from choosing a simulation length. This choice is always tricky and often leads to CPU-time waste, not to mention user-time waste. Too often, simulation users forget to compute confidence intervals: they only guess a simulation length and ignore the confidence on the simulation results. Those who do compute them generally try several lengths (and thus run several simulations) so as to obtain small enough confidence intervals. The algorithm aims at optimizing this length choice by running only one simulation and by stopping it nearly as soon as possible, i.e. when some predefined relative confidence intervals on each of the performance criteria are reached. For this purpose, the confidence intervals are periodically computed, at run-time, with the batch mean method. According to these intermediate results and to estimators properties, a mobile simulation length is (also periodically) predicted. The algorithm automatically determines batch size and batches number. This process goes on until all confidence intervals are smaller than the predefined thresholds. This algorithm is implemented in MIMESIS, a computer architecture performance evaluation tool.

Résumé

Cet article présente un algorithme qui évite à l'utilisateur de choisir une durée de simulation. En effet, ce choix est toujours délicat et aboutit souvent à une consommation inutile de temps machine, sans compter la perte de temps pour l'utilisateur. Trop souvent, les résultats de simulation sont donnés sans intervalle de confiance. Les utilisateurs choisissent arbitrairement une durée de simulation et ignorent la confiance qu'ils peuvent accorder aux résultats. Ceux qui prennent la peine de calculer les intervalles de confiance essaient en général plusieurs durées (et lancent ainsi plusieurs simulations) jusqu'à obtenir des intervalles suffisamment petits. L'algorithme présenté ici vise à optimiser ce choix de durée en n'exécutant qu'une seule simulation qui est interrompue dès que (ou presque) certains seuils sur les intervalles de confiance sont atteints. Pour cela, ces derniers sont calculés plusieurs fois pendant la simulation à l'aide de la méthode des blocs. Grâce à ces résultats intermédiaires ainsi qu'aux propriétés des estimateurs, une durée de simulation est périodiquement estimée. Le nombre et la taille des blocs sont déterminés par l'algorithme en cours d'exécution. L'algorithme s'arrête lorsque tous les intervalles de confiance sont plus petits que les seuils. Cet algorithme a été integré dans MIMESIS, un atelier d'évaluation des performances des architectures informatiques.