Référentiels et Nomenclatures

Suite à une première catégorisation, nous avons réalisé que les catégories retenues n’étaient pas tout à fait adaptées. En effet, ces dernières ne donnaient pas suffisamment de sens pour définir différentes catégories d’acteurs à partir des URLs collectés. Ce début d’indexation nous a permis de réaliser que nous ne disposions pas d’assez d’éléments pour pouvoir qualifier certains types de catégories juridiques par exemple.

Après réflexion, il a donc semblé plus judicieux de réaliser ce travail de catégorisation à partir de nomenclatures déjà existantes afin de constituer un référentiel plus cohérent. Un référentiel de base de données est un référentiel centralisé d’information sur les données : leurs significations, relations avec d’autres données, leurs origines, utilisations et formats. Un référentiel clair, logique et précis est un des gages de bonne interopérabilité d’un système d’information et à pour objectif de faciliter l’indexation.

Une nomenclature est une liste normalisée de termes qu’on va pouvoir utiliser dans un système d’information pour nommer des entités. Nous avons donc effectué un travail de recherche sur les nomenclatures déjà existantes sur les types d’entreprises (forme juridique) et sur les différents domaines d’activités. L’INSEE, L’Institut national de la statistique et des études économiques collecte, produit, qui analyse et diffuse des informations sur l’économie et la société françaises, met à disposition sur son site une nomenclature des activités françaises, la NAF. C’est une nomenclature des activités économiques productives, principalement élaborée pour faciliter l’organisation de l’information économique et sociale. Afin de faciliter les comparaisons internationales, elle a la même structure que la nomenclature d’activités européenne NACE, elle-même dérivée de la nomenclature internationale CITI. Nous avons également retenu la nomenclature des catégories juridiques. C’est une nomenclature à vocation inter-administrative, utilisée aussi dans la gestion du Registre du Commerce et des Sociétés. Elle sert de référence aux Centres de Formalités des Entreprises (CFE) pour recueillir les déclarations des entreprises.

Les données ont ainsi été enrichies selon un procédé de catégorisation à l’aide de ces deux nomenclatures de l’INSEE : la classification NAF (rèv. 2 de janvier 2008) et celle des Catégories juridiques (dernière mise à jour en 2018).

Capture d’écran du fichier de catégorisation des URLs

La colonne A “expanded_url” contient les URL. La colonne B “in_arc” contient le nombre d’occurence de chaque URL. La colonne C contient la 1ère catégorisation que nous avions mise au point au début du projet. Bien que cette catégorisation, jugée trop peu précise, ait été abandonnée, nous l’avons conservée dans nos fichiers à titre informatif. Elle a permis d’accélérer les travaux suivants de catégorisation.

Les colonnes D, E et F contiennent notre catégorisation finale. Les “catégories juridiques” sont issues du niveau II de la nomenclature des catégories juridiques de l’INSEE. Les “catégories NAF” qui se rapportent aux domaines d’activité des organisations, sont issues du niveau 1 (sections) de la nomenclature d’activités française de l’INSEE.

La colonne F apporte une précision supplémentaire sur les URL qui ont été catégorisées comme relevant de la catégorie NAF ”Information et communication”. Dans cette colonne nous avons utilisés les sous classes de la NAF (le niveau le plus précis) appartenant à la section “Information et communication” (il s’agit des sous-classes 58.11Z à 63.99Z).

Article sur la méthodologie pour la catégorisation

Nous disposons désormais d’une nouvelle liste d’URL plus complète (où les URL réduites ont été développées) et d’une nomenclature complète et suffisamment précise. Avant de réaliser notre nouveau travail de catégorisation à l’aide de ces outils, il importait d’améliorer notre méthodologie afin de la rendre plus fiable et plus efficace.

Catégories “NON-AFFECTE” et “INDISPONIBLE”

Aux nomenclatures de l’INSEE nous avons rajouté deux étiquettes supplémentaires pour les cas particuliers.

L’étiquette “INDISPONIBLE” est affectée aux URL ne pouvant être atteintes. Soit à cause d’une erreur 404, soit parce que le site n’est pas indisponible en Union européenne à cause de la RGPD, par exemple.

L’étiquette “NON-AFFECTE”, elle, a deux principaux usages :

  • Indiquer une URL qui n’a pas encore été traitée (plutôt que de laisser un vide).
  • Indiquer un obstacle dans la catégorisation. Par exemple un manque d’information ou d’expertise empêchant de choisir quelle étiquette appliquer.

Harmonisation des fichiers

Puisque nous travaillons en groupe et que la quantité d’URL à traiter est relativement importante, nous nous sommes répartis le travail de manière équitable. Toutefois il s’est avéré important de coordonner nos méthodes de travail afin d’éviter les incohérences, voire une impossibilité de recombiner nos résultats en fin de traitement.

Nous avons pris soin d’utiliser des fichiers Excel identiques (si ce n’est pour les URL qu’ils contenaient bien sûr), avec les mêmes en-têtes, étiquettes, format et paramètres. Pour s’assurer du maintien de cette cohérence nous avons également utilisé la fonction de validation des données de Excel.

Validation des données

Excel offre une fonction très utile qui nous a permis de rendre notre travail plus fiable et limiter les erreurs de frappe pendant la catégorisation : la validation des données. Cette fonction, une fois appliquées à une cellule, permet d’y empêcher l’entrée de données ne correspondant pas à certains critères. Dans notre cas nous avons fait en sorte que ne soit autorisées que les catégories des listes de l’INSEE que nous avons sélectionnées.
Cela permet d’éviter toute erreur dans la saisie et de faciliter le travail.

Twitter, l’hydrogène et la transition énergétique

Ce carnet a pour but d’accompagner et de documenter une recherche dont l’objet est d’identifier les acteurs et les points de vue qui s’expriment sur l’hydrogène comme nouvelle source d’énergie. Plus précisément, il s’agit à partir de Twitter de repérer les principaux canaux par lesquels se diffuse l’actualité et se structurent les espaces de publication sur l’hydrogène, la transition énergétique voire le changement climatique.

Ce travail s’inscrit dans le cadre du projet de création d’une chaire Hydrogène portée par la fondation UGA, spécifiquement son volet SHS animé par Jean-Marc Francony, et dédié à l’étude de la faisabilité socio technique du projet via la compréhension de l’opinion publique et de ses influenceurs.
Il est réalisé par les étudiants du parcours information et documentation du Master métiers du livre et de l’édition à l’université Grenoble Alpes.

Qualification des sites

Afin de catégoriser chacun des sites de notre liste il est nécessaire de déterminer à la fois le type de structure et les individus derrière ce site, ainsi que sa ou ses thématiques. Etant donné la quantité importante d’URL à traiter, notre travail doit être rapide et fiable. Plusieurs choses permettent de faire ceci :

  • L’URL elle-même peut contenir quelques indices. Les sites institutionnels ont des extensions assez reconnaissables par exemple : .gouv en france, . gov pour les pays anglophones. Attention toutefois, il ne s’agit que d’un indice et pas d’une indication définitive. Il n’est pas rare par exemple que certains sites utilisent une extension .org dans le but d’apparaître plus légitimes.
  • La structure du site. Une majorité de sites ont un menu situé sur le coté ou en haut de leur page principale, listant des catégories. Pour un site d’actualités ce menu comportera des grands thèmes comme “Politique”, “Société”, “Faits divers”. Un site commercial ou d’un industriel comportera probablement quelque chose ressemblant à “Nos produits” par exemple. En examinant le titre du site et les titres de ses propres catégories on peut se faire rapidement une idée de ce qu’il est.
  • Le contenu du site. Suivant qu’il comporte des articles de presse, des billets de blog, des descriptions de produits ou de services, on pourra qualifier un site à l’aide de son contenu.
  • La page “A propos“. Présente par défaut sur presque tous les sites, elle peut présenter le type d’organisation derrière le site, les individus produisant son contenu et le gérant, leurs intentions… Attention toutefois, ces pages sont parfois peu claires et leurs informations ne sont pas toujours fiables. Rien n’empêche les créateurs d’un site de commettre des omissions, […]
  • D’autres sites.

URLs “Tweetées”

L’une des fonctions d’un Tweet consiste à signaler une publication sur le Web ou un autre média social au moyen d’une URL. Cette fonctionnalité repose sur le principe originel de Twitter d’assurer la diffusion de cours messages écrits. Une URL, n’étant rien d’autre qu’une chaîne de caractère, aucun mécanisme additionnel n’a été nécessaire pour répondre à ce besoin de communication qui s’est installé naturellement. Cependant, la longueur d’une URL pouvant être importante, l’utilisation d’un service de réduction d’URL s’est imposé pour ne pas trop entamer la réserve des 140 caractères historiques.

Le principe d’un service de réduction d’URL s’est imposé dès le début des années 2000 afin de faciliter l’écriture des posts dans les forums. La conception proposée par Kevin Gilbertson  (TinyURL.com) repose sur la mise en oeuvre d’une fonction de hashage supportée par un service tiers, qui assure une traduction univoque d’une forme longue dans une forme courte et réciproquement. Afin d’optimiser la taille de l’URL, les noms de domaine choisis pour ces services sont eux-mêmes très courts:

La liste (non exhaustive) des services utilisés dans le projet: ['t.co','lnkd.in','db.tt','qr.ae','adf.ly','goo.gl','bitly.com','cur.lv','ow.ly','ity.im','q.gs','is.gd','po.st','bc.vc','u.to','j.mp','cutt.us','u.bb','x.co','qr.net','1url.com','v.gd','tr.im','bit.ly','buff.ly','qoo.ly','znia.ly','weav.pw','snip.ly','hubs.ly','ift.tt','dld.bz','wu.to','cnet.co','dlvr.it','bit.do']

Il est a noter que Twitter dispose de son propre service de réduction d’URL (t.co) mais que celui-ci n’est pas exclusif. Sur le principe, il est tout à fait possible (et attesté) qu’au cours de sa diffusion, une URL soit réduite plusieurs fois suivant différents services. Dans ce cas, la forme originelle se retrouve par rebonds successifs.

Dans la représentation du Tweet délivrée par les API de Twitter, les URL du message sont regroupées avec d’autres entités remarquables. On trouve ainsi, à différents niveaux d’imbrication ( retweeted-status, extended_Tweet, quoted_status), des listes de structures de données d’URL.

La distribution des URL diffusées dans ces différents niveaux d’imbrication, n’est pas évidente à comprendre. Visiblement plusieurs arrangements sont possibles (attesté). Par prudence, il est préférable de balayer systématiquement toutes ces structures en filtrant les éventuels doublons.

Dans la structure de données de l’URL, L’attribut ‘expanded_url’ est susceptible de contenir la version expansée de ‘url’ si celle-ci est raccourcie. Mais cela n’est pas toujours le cas. Il s’avère donc nécessaire de procéder à l’expansion des URL condensées.

URL = {'url': <string>, 
'expanded_url': <string>, 
'display_url':<string>, 
'indices': [<2elements>]}

Pour expanser une URL, à partir de sa forme réduite il faut requérir le serveur associé au domaine, lui soumettre l’URL et récupérer la réponse du service. Si la réponse est correcte, on dispose de la forme étendue… si celle-ci n’est pas elle-même condensée (récursion).

Ainsi, pour chaque Tweet, nous sommes amenés à considérer les deux formes réduite et étendue d’une URL : la forme réduite a une fonction de traceur pour les différentes rediffusions, alors que la forme expansée assure l’unicité de la référence. Cela a comme conséquence la mise en place d’un ensemble de traitements préalables à l’analyse des URL tweetées.

Partant d’une collection exhaustive des URL associées à chacun des tweets enregistrés, on construit une collection distincte d’URL expansées. Lors de la construction de cette collection, on agrège les occurrences identiques afin de préserver l’unicité des enregistrements.

Cartographie des acteurs à l’aide d’URL

Notre objectif est d’aboutir à une cartographie des acteurs parlant de l’hydrogène comme source d’énergie sur Twitter, et ce à partir des URL que ces acteurs partagent dans leurs tweets. Ici nous allons réaliser un travail préparatoire sur une liste de 27.107 URL afin de permettre d’établir une liste de catégories de noms de domaines.

Chacune des 27.107 URL est accompagnée de son nombre d’occurrences dans les tweets traités. Pour rendre cette quantité importante de données plus facile à manipuler par la suite, nous avons procédé à plusieurs opérations :

Etape 1 : Extraction des noms de domaines

D’abord nous avons réduit chacune des URL à son seul nom de domaine, suivi de leur nombre d’occurrences. Pour ce faire nous avons utilisé les expressions régulières via le logiciel Notepad++.

Rechercher : ^.*?//(.*?)/.*\t(\d*).*$
Remplacer par : $1\t$2

Cette première expression nous a permis d’extraire les noms de domaines et les nombres d’occurrences. Cette expression ne fonctionne toutefois qu’avec les URL comportant des chemins après leur nom de domaine. C’est pourquoi nous avons ensuite dû répéter la même opération avec :

Rechercher : ^.*?//(.*?)\t(\d*).*$
Remplacer par : $1\t$2

Cette deuxième expression permet de traiter les URL se terminant par une tabulation et non pas par un /.

Etape 2 : Condensation de la liste

Nous sommes ensuite passés sur Excel pour réaliser deux dernières étapes pour réduire la taille de notre liste de noms de domaines. D’abord, supprimer les doublons parmi les noms de domaines, avec la fonction dédiée intégrée à Excel. Ensuite, à l’aide de la formule somme.si, faire la somme des occurrences pour chaque nom de domaine.

Grace à cette série d’opérations nous sommes passés de 27.107 URL à seulement 6094 noms de domaine avec leur nombre d’occurrences.

Discussion

Avec ces deux étapes de traitement nous avons réussi à réduire de manière significative notre liste d’URL. Toutefois notre méthode présente deux limites :

  1. En réduisant au seul nom de domaine on perd une grande quantité de l’informations contenues dans les URL. Cette limite est ici assumée : ce que nous perdons en détails nous gagnons en efficacité.
  2. Un nombre non-négligeable d’URL récupérées depuis Twitter sont écrites sous des formes réduites. Leur noms de domaine sont ceux des services en ligne utilisés pour opérer cette réduction : bit.ly, dlvr.it, etc. De tels noms de domaine ne nous apportent évidemment aucune information utile et on ne pourra pas les faire rentrer dans un système de catégories cohérent.

Pour résoudre le problème posé par cette deuxième limite nous avons repris à zéro notre traitement en ajoutant une étape supplémentaire, qu’on pourrait considérer comme une “étape 0” :

Etape 0 : Récupération des URL réduites

En faisant des recherches web nous avons établi une liste des noms de domaines les plus notables se retrouvant dans des URL réduites :

[‘bit.do’,’t.co’,’lnkd.in’,’db.tt’,’qr.ae’,’adf.ly’,’goo.gl’,’bitly.com’, 
‘cur.lv’,’ow.ly’,’bit.ly’,’ity.im’,’q.gs’,’is.gd’,’po.st’,’bc.vc’,’u.to’,’j.mp’,’cutt.us’,’u.bb’,
‘x.co’,’qr.net’,’1url.com’,’v.gd’,’tr.im’,’bit.ly’,’buff.ly’, ‘qoo.ly’,
‘znia.ly’,’weav.pw’, ‘hubs.ly’,’dlvr.it’, ‘ift.tt’,’dld.bz’,’wu.to’,’cnet.co’]

Nous avons recherché chacune des URL de notre fichier de départ contenant ces noms de domaine. Nous les avons ensuite suivies pour récupérer leur forme développée et les replacer dans notre fichier. Après quoi il ne restait plus qu’a ré-appliquer les traitements décrits dans les étapes 1 et 2 ci-dessus.


Catégorisation des acteurs

Suite à un premier travail de cartographie qui nous a permis de repérer les acteurs du domaine de l’hydrogène, il est maintenant nécessaire de les catégoriser pour établir une typologie des acteurs qui s’intéressent à ce sujet. Il s’agit donc ici de définir différentes catégories d’acteurs à partir des URL récoltées, afin de procéder ensuite à un enrichissement des données.

Nous avons pu constater après un premier temps d’exploration que l’analyse des URL par nom de domaine met en évidence l’existence de nombreuses URL dont la forme résolue est encore une forme réduite. Il s’agit probablement d’un effet de transfert d’une URL déjà réduite. Il ressort également que certains noms de domaine correspondent à des plateformes (ex : youtube.com) et nécessitent de revenir à une forme plus explicite (voire l’URL complète) pour être catégoriser.

Pour prendre en compte ces deux remarques, la proposition retenue est la suivante : – Redéveloppement spécifique des URL sur-réduites. – Nécessité de marquer dans le fichier Excel les domaines pour lesquels il faut revenir à une forme plus complète.

Dans un deuxième temps, une réflexion sur la hiérarchisation des catégories et des sous-catégories s’est imposée. Les catégories ci-dessous ont finalement été retenus : Par la suite, dans le long et lent travail d’enrichissement de la base des URL, il a fallu réfléchir à des stratégies permettant de rationaliser l’activité. Par exemple,  traiter en priorité les URL avec le plus grand nombre d’occurrences. En général cette analyse  est un travail itératif, on découvre en même temps qu’on applique ces catégories,  qu’on est amené à affiner, voire à remettre en cause des hypothèses. L’objectif est d’éviter les marches arrières et de garder comme horizon la précision.