Comscore admet surestimer les pages vues jusqu’à 300%

octobre 18, 2006

MAJ 18/04/07 : Important lire la réponse de Magid Abraham en novembre sur ce blog qui estime avoir été mal compris. Je maintiens toutefois mon analyse ci-dessous même si le titre de ce billet peut se discuter, Comscore démentant (dont acte) surestimer son compte des pages vues. Sur ce dernier point la discussion se poursuit sur l’Expansion.com.

C’est une petite bombe que vient de lâcher Magid Abraham, CEO de Comscore, l’institut de mesure d’audience par panel, principal concurrent de Nielsen Netratings. Dans une lettre ouverte il tente de répondre à la polémique sur la fiabilité des mesures d’audience par panel (dite « User centric »). Certes une bonne part de la polémique est issue de l’incompréhension des acteurs du marché face aux différences de résultats entre les mesures « site et user centric ». Mais à la différence des explications habituelles sur les visiteurs uniques il est question ici de pages vues, et les explications méritent le détour.

En clair Magid Abraham explique ni plus ni moins que la mesure des pages vues est totalement biaisée, presque systématiquement surévaluée dans des proportions qui peuvent atteindre jusqu’à 300%. La mesure user centric basée sur les panels est en effet avant tout conçue pour évaluer les visiteurs, elle fournit dans le même temps une évaluation des pages vues à partir d’une analyse très sommaire des fichiers de logs recueillis par le panel. Comme il le dit lui même « cette mesure se situe entre celle des hits et celle des pages vues des outils sites centrics ». Oui vous avez bien lu…

Ceux qui se souviennent de l’époque du début du  Web ou le moindre site bricolé annoncait fièrement des millions de « hits » auront des frissons dans le dos en réalisant que c’est cette mesure « hybride » sur laquelle certains appliquent un CPM pour valoriser des sites … Je me souviens avoir identifié ce problème il y a 2 ou 3 ans en me plongeant dans le détail des logs des sites mesurés par Nielsen Netratings. La présence évidente dans ces logs de blocs HTML, de pop ups, de javascript et de modules et autres « frames » en tout genre m’avait poussé à interroger publiquement Médiamétrie/Nielsen sur la question: les pages vues sont-elles des pages? On m’avait alors rassuré sur le filtrage me laissant décontenancé devant des sites totalisant sans raison jusqu’à 50 pages par visiteur! Car, qu’on ne s’y trompe pas, c’est bien l’ensemble des mesures « user centric » qui sont concernées. Comscore avoue ainsi que certains de ces hits sont filtrés (comme les pop ups) mais pas les autres. Les pages HTML appelées mais pas forcément vues ou complètement affichées sont ainsi comptabilisées !

La vérité était pourtant évidente… Depuis les langues se sont en partie déliées en privé et la nécessité d’effectuer le grand nettoyage est devenue pressante en particulier depuis que la mesure du visiteur est aussi sujette à caution (qui sait que certains sites français étaient en passe de revendiquer un nombre d’utilisateurs dépassant le nombre d’internautes français …?). Il faut sur ce point rendre hommage au courage du CEO de Comscore d’oser jouer la transparence afin de militer pour un usage plus réfléchi des instruments de mesure.

L’initiative de a aussi un objectif simple : redéfinir le périmètre de crédibilité des instruments. Les visiteurs, les lecteurs sont estimés par les outils user centric (Comscore, Nielsen Netratings, Hitwise), les pages vues et les visites par les outils sites centrics (Omniture, Webtrends, Xiti, Weborama etc…). Chacun avec ses défauts et ses points forts. Des mesures imparfaites mais qui sont infiniment plus précises que les mesures par sondage traditionnellement utilisées pour l’audience des medias offline.

Signalons sur ce sujet que l’OJD publiera bientôt de nouvelles mesures certifiées de pages vues et de visiteurs sur une base hebdomadaire afin de réduire la marge d’erreur induite par les cookies. Les éditeurs membres de l’OJD (dont je suis) ont reçu les premiers tests ce mois-ci. J’en reparlerai ici.

About these ads

8 Responses to “Comscore admet surestimer les pages vues jusqu’à 300%”

  1. jf farny Says:

    Aie-euh, que de souvenirs douloureux de prise de bec sur ce sujet… Pour tous ceux qui ont accès aux deux Chiffres (site et user), nous sommes passé experts en schizophrénie es éditeur… Pourquoi j’ai moins de visiteurs uniques et plus de pages ???

    Toutefois je t’abandonne quand tu annonces que la mesure de l’audience sur Internet est plus précise que les média tradi… Le panel a des plus (précision du log face au déclaratif de l’enquête téléphonique) mais des moins aussi (échantillon redressé n fois en utilisant la racine carrée de la saucisse de strasbourg).

    Tu parles de l’OJD, où il n’est pas question d’audience mais de trafic : j’ai demandé plusieurs fois la possibilité de contrôler le contrôleur, mais on me répond à chaque fois que c’est impossible, compte tenu de la quantité de données : c’est peut-être fiable mais on a pas les éléments pour le prouver.

    Nous attendons tous le mariage de la carpe et du lapereau : User + Site, mais compte tenu des enjeux commerciaux, ça ne va pas aussi vite qu’on peut l’espérer et si ça se trouve la mesure d’audience Presse + Web sortira avant ;)

    En résumé, sur Internet on ne connaît pas:
    – les vrais chiffres d’audience
    – le vrai trafic des sites
    – le vrai chiffre d’affaires publicitaire
    Mais on avance et on y met du cash ;)

    PS : il n’y a pas de fonctionnalité d’aperçu avant de poster ?


  2. JF, Nous connaissons tous les imprécisions des outils mais dans le cas du site centric, par exemple, nous mesurons bien des actions réelles et l’ensemble des visites c’est une chose sans équivalent. Concernant le user centric le vrai problème qui mine la mesure c’est la tres grande difficulté de mesurer l’audience sur le lieu de travail ce qui conduit nécessairement une sous représentation des medias d’information face à l’ensemble des sites de loisirs ou de rencontres.

    Les mesureurs se dotent de règles de plus en plus draconiennes je crois qu’on va dans le bon sens même si c’est compliqué.

  3. clement Says:

    Emmanuel, je me posais une simple question : Médiamétrie//NetRatings déclarent bien qu’ils redressent chaque échantillon du panel (home et work) indépendemment sur une étude de cadrage ? dans ce cas l’effectif faible des panélistes sur lieu de travail n’entraine pas une sous-estimation des connexion sur lieu de travail mais un manque de précision dans la mesure(l’audience redressée sera plus fortement sous-estimée ou surestimée). Mais de toute façon je reste comme toi un fervent militant de l’augmentation de ce satané panel work qui est ridiculement faible aujourd’hui


  4. Oui un manque de précision. Mais ce qui est en question ici ce n’est pas la mesure des visiteurs mais celle des pages vues, données qui font rarement l’objet d’une communication mais sont utilisées par les acheteurs d’espace pub.


  5. [...] Un an de conversations dans les couloirs à ce sujet.. A lire sur Ecosphère Comscore admet surestimer les pages vues jusqu’à 300% “qui sait que certains sites français étaient en passe de revendiquer un nombre d’utilisateurs dépassant le nombre d’internautes français …?” [...]

  6. matt Says:

    Pertinent, j’ajoute à ma blogroll :-)
    ps : je développe le logiciel libre de statistiques http://www.phpmyvisites.net/


  7. [...] les outils basés sur des panels comme Comscore ou Nielsen Netratings comme je l’avais écrit ici (suscitant au passage une réponse en français du patron de [...]


  8. [...] Impossible de ne pas rapprocher ces chiffres de celui des pages vues que Comscore admettait pouvoir surestimer de 300%  (lire la réponse du PDG qui m’a répondu sur ce point). Bref la réponse du berger à la [...]


Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s

Suivre

Recevez les nouvelles publications par mail.

%d blogueurs aiment cette page :