Realis 2014 : Reproductibilité expérimentale pour l’informatique en parallélisme, architecture et système – 2éme édition

La capacité à reproduire les expériences est une condition nécessaire à une démarche scientifique solide. Dans les communautés de physique ou de bio-informatique qui utilisent intensivement l’outil informatique pour des simulations ou de la fouille de données, un mouvement vers une augmentation de la qualité expérimentale est en cours, via la diffusion des processus expérimentaux et des codes sources utilisés.

Nos communautés de systèmes d’exploitations, de systèmes parallèles et distribués et d’architecture doivent également travailler dans cette direction, notamment pour adapter les solutions utilisées ailleurs à nos domaines : Comment devons-nous décrire une expérience pour permettre sa reproductibilité ? Quels sont les contenus (environnements, binaires, scripts, configurations) à conserver et diffuser ? Comment les résultats doivent-ils être fournis afin de permettre de s’y comparer ?

Nous encourageons les auteurs soumettant un article à l’une des conférences de ComPAS (CFSE, RenPar ou SympA) à soumettre également un article à Realis. Ce deuxième article peut être une extension de l’article soumis à ComPAS, sans limitation de pages, afin de décrire précisément les expériences menées, et pourra s’appuyer sur des ressources externes : environnements, scripts, données nécessaires.

Chaque article sera évalué (et les expériences seront, si possible, reproduites complètement ou partiellement) par un autre auteur sous la supervision d’au moins un membre du comité, afin de favoriser les partages d’expériences sur les bonnes pratiques — les articles seront attribués en adéquation avec les compétences des auteurs dans la mesure du possible.

Le comité décernera le label de reproductibilité expérimentale aux articles dont les expériences auront pû être reproduites de manière satisfaisante. Le prix ComPAS de la reproductibilité expérimentale sera décerné au meilleur article.

Une liste de diffusion est disponible pour permettre aux auteurs et aux membres du comité d’échanger (s’inscrire). Les auteurs sont également encouragés à utiliser les listes de diffusion des plates-formes ou logiciels utilisés (users@lists.grid5000.fr, simgrid-user@lists.gforge.inria.fr, etc.)

Conditions de soumission

La longueur des articles n’est pas limitée
Les articles peuvent s’appuyer sur des ressources externes
Si reproduire les expériences nécessite d’accéder à une plate-forme ou à des données à accès restreint, l’auteur s’engage à aider les membres du comité et les auteurs reproduisant ses expériences à y avoir accès. Dans le doute, contactez le comité.

Dates importantes

Échéance de proposition : 28 février 2014 : étendu au 9 mars
Notification : 28 mars 2014

Site de soumission

https://www.easychair.org/conferences/?conf=realis2014

Références :

FAQ :

1) Que signifie reproductibilité, exactement ?

Dans [1], les auteurs montrent qu’il existe différentes types de reproductibilité, et qu’une reproduction peut avoir différents niveaux de similarité par rapport à l’expérience de référence. Par exemple, une reproduction à l’identique devrait permettre d’obtenir des résultats identiques. Mais il est également intéressant de pouvoir reproduire une expérience en en modifiant certains aspects (environnement matériel ou logiciel, paramètres expérimentaux, méthodologie). Dans ce cas, les résultats obtenus seront différents, mais les conclusions de l’expérience devraient être identiques.

[1] O. S. Gomez, N. Juristo Juzgado, S. Vegas. Replications types in experimental disciplines. In proceedings of ESEM’2010

2) Je ne veux/peux pas diffuser mon code / mon simulateur / mes données. Comment puis-je participer ?

Cet article[1] présente des arguments convaincants. Mais si vous ne voulez/pouvez pas diffuser certains éléments nécessaires à la reproduction de vos expériences (codes applicatifs, traces, données, …), il faut vous assurer que vous fournissez suffisamment d’éléments aux évaluateurs pour leur permettre d’évaluer votre travail. Dans le doute, prenez contact avec le comité.

[1] Publish your computer code: it is good enough - Nature 467, 753 (2010)

Comités

Organisation de la session Realis 2014

  • Lucas Nussbaum, Université de Lorraine
  • Olivier Richard, Université Joseph Fourier

Comité de Sélection Realis 2014

  • Vincent Danjean, LIG, Université Joseph Fourier, Grenoble
  • Pierre Neyron, LIG, CNRS, Grenoble
  • Frédéric Le Mouël, CoopIS Lab & Network Lab, Shanghai
  • Alexandre.Denis, LaBRI, INRIA Bordeaux Sud-Ouest, Bordeaux
  • Frédéric Suter, CC-In2p3, CNRS, Lyon
  • Arnaud Legrand, LIG, CNRS, Grenoble
  • Renaud Lachaize, LIG, Université Joseph Fourier, Grenoble
  • Guillaume Salagnac, CITI, Insa, Lyon
  • Joseph Emeras, LORIA, Université de Lorraine, Nancy
  • Brice Videau, LIG, CNRS, Grenoble
  • Christian Perez, LIP, INRIA Rhône-Alpes, Lyon
  • David Margery, INRIA Rennes, Rennes
  • Martin Quinson, LORIA, Université de Lorraine, Nancy
  • Thierry Gautier, LIG, INRIA, Grenoble
  • Georges Da-Costa, IRIT, Université Paul Sabatier, Toulouse
  • Eddy Caron, LIP, INRIA Rhône-Alpes, Lyon