Cartographie des acteurs à l’aide d’URL

Notre objectif est d’aboutir à une cartographie des acteurs parlant de l’hydrogène comme source d’énergie sur Twitter, et ce à partir des URL que ces acteurs partagent dans leurs tweets. Ici nous allons réaliser un travail préparatoire sur une liste de 27.107 URL afin de permettre d’établir une liste de catégories de noms de domaines.

Chacune des 27.107 URL est accompagnée de son nombre d’occurrences dans les tweets traités. Pour rendre cette quantité importante de données plus facile à manipuler par la suite, nous avons procédé à plusieurs opérations :

Etape 1 : Extraction des noms de domaines

D’abord nous avons réduit chacune des URL à son seul nom de domaine, suivi de leur nombre d’occurrences. Pour ce faire nous avons utilisé les expressions régulières via le logiciel Notepad++.

Rechercher : ^.*?//(.*?)/.*\t(\d*).*$
Remplacer par : $1\t$2

Cette première expression nous a permis d’extraire les noms de domaines et les nombres d’occurrences. Cette expression ne fonctionne toutefois qu’avec les URL comportant des chemins après leur nom de domaine. C’est pourquoi nous avons ensuite dû répéter la même opération avec :

Rechercher : ^.*?//(.*?)\t(\d*).*$
Remplacer par : $1\t$2

Cette deuxième expression permet de traiter les URL se terminant par une tabulation et non pas par un /.

Etape 2 : Condensation de la liste

Nous sommes ensuite passés sur Excel pour réaliser deux dernières étapes pour réduire la taille de notre liste de noms de domaines. D’abord, supprimer les doublons parmi les noms de domaines, avec la fonction dédiée intégrée à Excel. Ensuite, à l’aide de la formule somme.si, faire la somme des occurrences pour chaque nom de domaine.

Grace à cette série d’opérations nous sommes passés de 27.107 URL à seulement 6094 noms de domaine avec leur nombre d’occurrences.

Discussion

Avec ces deux étapes de traitement nous avons réussi à réduire de manière significative notre liste d’URL. Toutefois notre méthode présente deux limites :

  1. En réduisant au seul nom de domaine on perd une grande quantité de l’informations contenues dans les URL. Cette limite est ici assumée : ce que nous perdons en détails nous gagnons en efficacité.
  2. Un nombre non-négligeable d’URL récupérées depuis Twitter sont écrites sous des formes réduites. Leur noms de domaine sont ceux des services en ligne utilisés pour opérer cette réduction : bit.ly, dlvr.it, etc. De tels noms de domaine ne nous apportent évidemment aucune information utile et on ne pourra pas les faire rentrer dans un système de catégories cohérent.

Pour résoudre le problème posé par cette deuxième limite nous avons repris à zéro notre traitement en ajoutant une étape supplémentaire, qu’on pourrait considérer comme une “étape 0” :

Etape 0 : Récupération des URL réduites

En faisant des recherches web nous avons établi une liste des noms de domaines les plus notables se retrouvant dans des URL réduites :

[‘bit.do’,’t.co’,’lnkd.in’,’db.tt’,’qr.ae’,’adf.ly’,’goo.gl’,’bitly.com’, 
‘cur.lv’,’ow.ly’,’bit.ly’,’ity.im’,’q.gs’,’is.gd’,’po.st’,’bc.vc’,’u.to’,’j.mp’,’cutt.us’,’u.bb’,
‘x.co’,’qr.net’,’1url.com’,’v.gd’,’tr.im’,’bit.ly’,’buff.ly’, ‘qoo.ly’,
‘znia.ly’,’weav.pw’, ‘hubs.ly’,’dlvr.it’, ‘ift.tt’,’dld.bz’,’wu.to’,’cnet.co’]

Nous avons recherché chacune des URL de notre fichier de départ contenant ces noms de domaine. Nous les avons ensuite suivies pour récupérer leur forme développée et les replacer dans notre fichier. Après quoi il ne restait plus qu’a ré-appliquer les traitements décrits dans les étapes 1 et 2 ci-dessus.


Catégorisation des acteurs

Suite à un premier travail de cartographie qui nous a permis de repérer les acteurs du domaine de l’hydrogène, il est maintenant nécessaire de les catégoriser pour établir une typologie des acteurs qui s’intéressent à ce sujet. Il s’agit donc ici de définir différentes catégories d’acteurs à partir des URL récoltées, afin de procéder ensuite à un enrichissement des données.

Nous avons pu constater après un premier temps d’exploration que l’analyse des URL par nom de domaine met en évidence l’existence de nombreuses URL dont la forme résolue est encore une forme réduite. Il s’agit probablement d’un effet de transfert d’une URL déjà réduite. Il ressort également que certains noms de domaine correspondent à des plateformes (ex : youtube.com) et nécessitent de revenir à une forme plus explicite (voire l’URL complète) pour être catégoriser.

Pour prendre en compte ces deux remarques, la proposition retenue est la suivante : – Redéveloppement spécifique des URL sur-réduites. – Nécessité de marquer dans le fichier Excel les domaines pour lesquels il faut revenir à une forme plus complète.

Dans un deuxième temps, une réflexion sur la hiérarchisation des catégories et des sous-catégories s’est imposée. Les catégories ci-dessous ont finalement été retenus : Par la suite, dans le long et lent travail d’enrichissement de la base des URL, il a fallu réfléchir à des stratégies permettant de rationaliser l’activité. Par exemple,  traiter en priorité les URL avec le plus grand nombre d’occurrences. En général cette analyse  est un travail itératif, on découvre en même temps qu’on applique ces catégories,  qu’on est amené à affiner, voire à remettre en cause des hypothèses. L’objectif est d’éviter les marches arrières et de garder comme horizon la précision.
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search