Pour que les résultats obtenus lors des tests soient
valables
, il est essentiel que les corpus choisis
pour effectuer les tests reflètent les phénomènes que l'on souhaite
tester. Il n'est pas question de se prononcer sur la capacité d'un
correcteur à traiter un texte du domaine médical en lui faisant subir
des tests sur des corpus généraux, et cela est vrai dans bien d'autres
cas. Dès lors, on comprend l'importance du choix des corpus dans le
domaine de l'évaluation.
Voici, à titre d'exemple, des types de corpus qui pourraient être utilisés:
Cette distinction entre types de corpus peut sembler - et elle est, en effet, très arbitraire -, mais elle trouve son utilité lors de tests dans un domaine spécifique. Il semble tout à fait raisonnable de souhaiter connaıtre l'efficacité d'un correcteur dans le domaine du journalisme, par exemple. Cela dit, il sera nécessaire de motiver sérieusement une telle classification (avoir des indications précises sur l'origine des documents, etc.), car il ne servira à rien d'affirmer avoir des corpus d'un tel domaine sans pouvoir expliquer clairement leur origine.
Mais c'est là aussi où l'on rencontre le plus de difficulté. En effet, se procurer des corpus électroniques d'un volume assez important pour obtenir des résultats représentatifs n'est pas chose facile. Les bancs d'essais qui s'ingénient à piéger les correcteurs d'orthographe en leur soumettant des corpus fabriqués à cet effet, sont d'une utilité limitée puisqu'ils ne cherchent qu'à mettre en lumière les failles d'un système - ce qui n'est pas le seul but d'une évaluation. Comme dans bien des domaines d'évaluation, si les failles d'un système contribuent à augmenter la connaissance de celui-ci, il s'avère aussi très important de comprendre ce qu'un système peut accomplir efficacement. Il s'agit plutôt d'étudier le fonctionnement particulier des systèmes en fonction des besoins (multiples) des utilisateurs.
Les correcteurs n'ont-ils pas très souvent pour tâche de trouver les fautes des utilisateurs qui sont distraits ou qui ne rédigent pas dans leur langue maternelle? D'où l'importance de la détermination des profils d'utilisateurs. Les résultats devront être pondérés selon les cas particuliers.
