La capacité à reproduire les expériences est une condition nécessaire à une démarche scientifique solide. Dans les communautés de physique ou de bio-informatique qui utilisent intensivement l’outil informatique pour des simulations ou de la fouille de données, un mouvement vers une augmentation de la qualité expérimentale est en cours, via la diffusion des processus expérimentaux et des codes sources utilisés.

Nos communautés de systèmes d’exploitations, de systèmes parallèles et distribués et d’architecture doivent également travailler dans cette direction, notamment pour adapter les solutions utilisées ailleurs à nos domaines : Comment devons-nous décrire une expérience pour permettre sa reproductibilité ? Quels sont les contenus (environnements, binaires, scripts, configurations) à conserver et diffuser ? Comment les résultats doivent-ils être fournis afin de permettre de s’y comparer ?

Nous encourageons les auteurs soumettant un article à l’une des conférences de ComPAS (CFSE, RenPar ou SympA) à soumettre également un article à Realis. Ce deuxième article peut être une extension de l’article soumis à ComPAS, sans limitation de pages, afin de décrire précisément les expériences menées, et pourra s’appuyer sur des ressources externes : environnements, scripts, données nécessaires.

Chaque article sera évalué (et les expériences seront, si possible, reproduites complètement ou partiellement) par un autre auteur sous la supervision d’au moins un membre du comité, afin de favoriser les partages d’expériences sur les bonnes pratiques — les articles seront attribués en adéquation avec les compétences des auteurs dans la mesure du possible.

Le comité décernera le label de reproductibilité expérimentale aux articles dont les expériences auront pû être reproduites de manière satisfaisante. Le prix ComPAS de la reproductibilité expérimentale sera décerné au meilleur article.

Une liste de diffusion est disponible pour permettre aux auteurs et aux membres du comité d’échanger (s’inscrire). Les auteurs sont également encouragés à utiliser les listes de diffusion des plates-formes ou logiciels utilisés (users@lists.grid5000.fr, simgrid-user@lists.gforge.inria.fr, etc.)

Conditions de soumission

La longueur des articles n’est pas limitée
Les articles peuvent s’appuyer sur des ressources externes
Si reproduire les expériences nécessite d’accéder à une plate-forme ou à des données à accès restreint, l’auteur s’engage à aider les membres du comité et les auteurs reproduisant ses expériences à y avoir accès. Dans le doute, contactez le comité.

Dates importantes

Échéance de proposition :	28 février 2014 : étendu au 9 mars
Notification :	28 mars 2014

Site de soumission

https://www.easychair.org/conferences/?conf=realis2014

Références :

SIGMOD 2012: Experimental Reproducibility – http://www.sigmod.org/2012/reproducibility.shtml
Reproducible Research in Computational Science – http://www.sciencemag.org/content/334/6060/1226.full
Publish your computer code: it is good enough – http://www.nature.com/news/2010/101013/full/467753a.html
Computational science: …Error – http://www.nature.com/news/2010/101013/full/467775a.html
Should Code be Released? – http://cacm.acm.org/magazines/2010/10/99494-should-code-be-released/full...
The Design and Realisation of the myExperiment Virtual Research Environment for Social Sharing of Workflows – http://www.sciencedirect.com/science/article/pii/S0167739X08000939
myExperiment – http://www.myexperiment.org/

FAQ :

1) Que signifie reproductibilité, exactement ?

Dans [1], les auteurs montrent qu’il existe différentes types de reproductibilité, et qu’une reproduction peut avoir différents niveaux de similarité par rapport à l’expérience de référence. Par exemple, une reproduction à l’identique devrait permettre d’obtenir des résultats identiques. Mais il est également intéressant de pouvoir reproduire une expérience en en modifiant certains aspects (environnement matériel ou logiciel, paramètres expérimentaux, méthodologie). Dans ce cas, les résultats obtenus seront différents, mais les conclusions de l’expérience devraient être identiques.

[1] O. S. Gomez, N. Juristo Juzgado, S. Vegas. Replications types in experimental disciplines. In proceedings of ESEM’2010

2) Je ne veux/peux pas diffuser mon code / mon simulateur / mes données. Comment puis-je participer ?

Cet article[1] présente des arguments convaincants. Mais si vous ne voulez/pouvez pas diffuser certains éléments nécessaires à la reproduction de vos expériences (codes applicatifs, traces, données, …), il faut vous assurer que vous fournissez suffisamment d’éléments aux évaluateurs pour leur permettre d’évaluer votre travail. Dans le doute, prenez contact avec le comité.

[1] Publish your computer code: it is good enough - Nature 467, 753 (2010)