Comscore admet surestimer les pages vues jusqu’à 300%

MAJ 18/04/07 : Important lire la réponse de Magid Abraham en novembre sur ce blog qui estime avoir été mal compris. Je maintiens toutefois mon analyse ci-dessous même si le titre de ce billet peut se discuter, Comscore démentant (dont acte) surestimer son compte des pages vues. Sur ce dernier point la discussion se poursuit sur l’Expansion.com.

C’est une petite bombe que vient de lâcher Magid Abraham, CEO de Comscore, l’institut de mesure d’audience par panel, principal concurrent de Nielsen Netratings. Dans une lettre ouverte il tente de répondre à la polémique sur la fiabilité des mesures d’audience par panel (dite « User centric »). Certes une bonne part de la polémique est issue de l’incompréhension des acteurs du marché face aux différences de résultats entre les mesures « site et user centric ». Mais à la différence des explications habituelles sur les visiteurs uniques il est question ici de pages vues, et les explications méritent le détour.

En clair Magid Abraham explique ni plus ni moins que la mesure des pages vues est totalement biaisée, presque systématiquement surévaluée dans des proportions qui peuvent atteindre jusqu’à 300%. La mesure user centric basée sur les panels est en effet avant tout conçue pour évaluer les visiteurs, elle fournit dans le même temps une évaluation des pages vues à partir d’une analyse très sommaire des fichiers de logs recueillis par le panel. Comme il le dit lui même « cette mesure se situe entre celle des hits et celle des pages vues des outils sites centrics ». Oui vous avez bien lu…

Ceux qui se souviennent de l’époque du début du  Web ou le moindre site bricolé annoncait fièrement des millions de « hits » auront des frissons dans le dos en réalisant que c’est cette mesure « hybride » sur laquelle certains appliquent un CPM pour valoriser des sites … Je me souviens avoir identifié ce problème il y a 2 ou 3 ans en me plongeant dans le détail des logs des sites mesurés par Nielsen Netratings. La présence évidente dans ces logs de blocs HTML, de pop ups, de javascript et de modules et autres « frames » en tout genre m’avait poussé à interroger publiquement Médiamétrie/Nielsen sur la question: les pages vues sont-elles des pages? On m’avait alors rassuré sur le filtrage me laissant décontenancé devant des sites totalisant sans raison jusqu’à 50 pages par visiteur! Car, qu’on ne s’y trompe pas, c’est bien l’ensemble des mesures « user centric » qui sont concernées. Comscore avoue ainsi que certains de ces hits sont filtrés (comme les pop ups) mais pas les autres. Les pages HTML appelées mais pas forcément vues ou complètement affichées sont ainsi comptabilisées !

La vérité était pourtant évidente… Depuis les langues se sont en partie déliées en privé et la nécessité d’effectuer le grand nettoyage est devenue pressante en particulier depuis que la mesure du visiteur est aussi sujette à caution (qui sait que certains sites français étaient en passe de revendiquer un nombre d’utilisateurs dépassant le nombre d’internautes français …?). Il faut sur ce point rendre hommage au courage du CEO de Comscore d’oser jouer la transparence afin de militer pour un usage plus réfléchi des instruments de mesure.

L’initiative de a aussi un objectif simple : redéfinir le périmètre de crédibilité des instruments. Les visiteurs, les lecteurs sont estimés par les outils user centric (Comscore, Nielsen Netratings, Hitwise), les pages vues et les visites par les outils sites centrics (Omniture, Webtrends, Xiti, Weborama etc…). Chacun avec ses défauts et ses points forts. Des mesures imparfaites mais qui sont infiniment plus précises que les mesures par sondage traditionnellement utilisées pour l’audience des medias offline.

Signalons sur ce sujet que l’OJD publiera bientôt de nouvelles mesures certifiées de pages vues et de visiteurs sur une base hebdomadaire afin de réduire la marge d’erreur induite par les cookies. Les éditeurs membres de l’OJD (dont je suis) ont reçu les premiers tests ce mois-ci. J’en reparlerai ici.