Article sur la méthodologie pour la catégorisation

Nous disposons désormais d’une nouvelle liste d’URL plus complète (où les URL réduites ont été développées) et d’une nomenclature complète et suffisamment précise. Avant de réaliser notre nouveau travail de catégorisation à l’aide de ces outils, il importait d’améliorer notre méthodologie afin de la rendre plus fiable et plus efficace.

Catégories “NON-AFFECTE” et “INDISPONIBLE”

Aux nomenclatures de l’INSEE nous avons rajouté deux étiquettes supplémentaires pour les cas particuliers.

L’étiquette “INDISPONIBLE” est affectée aux URL ne pouvant être atteintes. Soit à cause d’une erreur 404, soit parce que le site n’est pas indisponible en Union européenne à cause de la RGPD, par exemple.

L’étiquette “NON-AFFECTE”, elle, a deux principaux usages :

  • Indiquer une URL qui n’a pas encore été traitée (plutôt que de laisser un vide).
  • Indiquer un obstacle dans la catégorisation. Par exemple un manque d’information ou d’expertise empêchant de choisir quelle étiquette appliquer.

Harmonisation des fichiers

Puisque nous travaillons en groupe et que la quantité d’URL à traiter est relativement importante, nous nous sommes répartis le travail de manière équitable. Toutefois il s’est avéré important de coordonner nos méthodes de travail afin d’éviter les incohérences, voire une impossibilité de recombiner nos résultats en fin de traitement.

Nous avons pris soin d’utiliser des fichiers Excel identiques (si ce n’est pour les URL qu’ils contenaient bien sûr), avec les mêmes en-têtes, étiquettes, format et paramètres. Pour s’assurer du maintien de cette cohérence nous avons également utilisé la fonction de validation des données de Excel.

Validation des données

Excel offre une fonction très utile qui nous a permis de rendre notre travail plus fiable et limiter les erreurs de frappe pendant la catégorisation : la validation des données. Cette fonction, une fois appliquées à une cellule, permet d’y empêcher l’entrée de données ne correspondant pas à certains critères. Dans notre cas nous avons fait en sorte que ne soit autorisées que les catégories des listes de l’INSEE que nous avons sélectionnées.
Cela permet d’éviter toute erreur dans la saisie et de faciliter le travail.

Qualification des sites

Afin de catégoriser chacun des sites de notre liste il est nécessaire de déterminer à la fois le type de structure et les individus derrière ce site, ainsi que sa ou ses thématiques. Etant donné la quantité importante d’URL à traiter, notre travail doit être rapide et fiable. Plusieurs choses permettent de faire ceci :

  • L’URL elle-même peut contenir quelques indices. Les sites institutionnels ont des extensions assez reconnaissables par exemple : .gouv en france, . gov pour les pays anglophones. Attention toutefois, il ne s’agit que d’un indice et pas d’une indication définitive. Il n’est pas rare par exemple que certains sites utilisent une extension .org dans le but d’apparaître plus légitimes.
  • La structure du site. Une majorité de sites ont un menu situé sur le coté ou en haut de leur page principale, listant des catégories. Pour un site d’actualités ce menu comportera des grands thèmes comme “Politique”, “Société”, “Faits divers”. Un site commercial ou d’un industriel comportera probablement quelque chose ressemblant à “Nos produits” par exemple. En examinant le titre du site et les titres de ses propres catégories on peut se faire rapidement une idée de ce qu’il est.
  • Le contenu du site. Suivant qu’il comporte des articles de presse, des billets de blog, des descriptions de produits ou de services, on pourra qualifier un site à l’aide de son contenu.
  • La page “A propos“. Présente par défaut sur presque tous les sites, elle peut présenter le type d’organisation derrière le site, les individus produisant son contenu et le gérant, leurs intentions… Attention toutefois, ces pages sont parfois peu claires et leurs informations ne sont pas toujours fiables. Rien n’empêche les créateurs d’un site de commettre des omissions, […]
  • D’autres sites.

Cartographie des acteurs à l’aide d’URL

Notre objectif est d’aboutir à une cartographie des acteurs parlant de l’hydrogène comme source d’énergie sur Twitter, et ce à partir des URL que ces acteurs partagent dans leurs tweets. Ici nous allons réaliser un travail préparatoire sur une liste de 27.107 URL afin de permettre d’établir une liste de catégories de noms de domaines.

Chacune des 27.107 URL est accompagnée de son nombre d’occurrences dans les tweets traités. Pour rendre cette quantité importante de données plus facile à manipuler par la suite, nous avons procédé à plusieurs opérations :

Etape 1 : Extraction des noms de domaines

D’abord nous avons réduit chacune des URL à son seul nom de domaine, suivi de leur nombre d’occurrences. Pour ce faire nous avons utilisé les expressions régulières via le logiciel Notepad++.

Rechercher : ^.*?//(.*?)/.*\t(\d*).*$
Remplacer par : $1\t$2

Cette première expression nous a permis d’extraire les noms de domaines et les nombres d’occurrences. Cette expression ne fonctionne toutefois qu’avec les URL comportant des chemins après leur nom de domaine. C’est pourquoi nous avons ensuite dû répéter la même opération avec :

Rechercher : ^.*?//(.*?)\t(\d*).*$
Remplacer par : $1\t$2

Cette deuxième expression permet de traiter les URL se terminant par une tabulation et non pas par un /.

Etape 2 : Condensation de la liste

Nous sommes ensuite passés sur Excel pour réaliser deux dernières étapes pour réduire la taille de notre liste de noms de domaines. D’abord, supprimer les doublons parmi les noms de domaines, avec la fonction dédiée intégrée à Excel. Ensuite, à l’aide de la formule somme.si, faire la somme des occurrences pour chaque nom de domaine.

Grace à cette série d’opérations nous sommes passés de 27.107 URL à seulement 6094 noms de domaine avec leur nombre d’occurrences.

Discussion

Avec ces deux étapes de traitement nous avons réussi à réduire de manière significative notre liste d’URL. Toutefois notre méthode présente deux limites :

  1. En réduisant au seul nom de domaine on perd une grande quantité de l’informations contenues dans les URL. Cette limite est ici assumée : ce que nous perdons en détails nous gagnons en efficacité.
  2. Un nombre non-négligeable d’URL récupérées depuis Twitter sont écrites sous des formes réduites. Leur noms de domaine sont ceux des services en ligne utilisés pour opérer cette réduction : bit.ly, dlvr.it, etc. De tels noms de domaine ne nous apportent évidemment aucune information utile et on ne pourra pas les faire rentrer dans un système de catégories cohérent.

Pour résoudre le problème posé par cette deuxième limite nous avons repris à zéro notre traitement en ajoutant une étape supplémentaire, qu’on pourrait considérer comme une “étape 0” :

Etape 0 : Récupération des URL réduites

En faisant des recherches web nous avons établi une liste des noms de domaines les plus notables se retrouvant dans des URL réduites :

[‘bit.do’,’t.co’,’lnkd.in’,’db.tt’,’qr.ae’,’adf.ly’,’goo.gl’,’bitly.com’, 
‘cur.lv’,’ow.ly’,’bit.ly’,’ity.im’,’q.gs’,’is.gd’,’po.st’,’bc.vc’,’u.to’,’j.mp’,’cutt.us’,’u.bb’,
‘x.co’,’qr.net’,’1url.com’,’v.gd’,’tr.im’,’bit.ly’,’buff.ly’, ‘qoo.ly’,
‘znia.ly’,’weav.pw’, ‘hubs.ly’,’dlvr.it’, ‘ift.tt’,’dld.bz’,’wu.to’,’cnet.co’]

Nous avons recherché chacune des URL de notre fichier de départ contenant ces noms de domaine. Nous les avons ensuite suivies pour récupérer leur forme développée et les replacer dans notre fichier. Après quoi il ne restait plus qu’a ré-appliquer les traitements décrits dans les étapes 1 et 2 ci-dessus.


Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search