Editions

WikiMaps permet d’explorer la consultation des différentes éditions de Wikipédia dans les 38 langues les plus utilisées. Ces 38 langues rassemblent 99% de toutes les pages vues sur Wikipédia. Les 262 autres éditions ne correspondent qu’à 1% des vues. WikiMaps explorant les attentions collectives, nous avons préféré nous concentrer sur les langues les plus représentatives et éviter les problèmes inhérents aux éditions peu consultées, tant elles sont beaucoup plus sensibles aux interférences (problèmes de serveurs, bots, manipulations…).

Les 38 éditions retenues sont : Arabic, Bulgarian, Catalan, Czech, Danish, German, Greek, English, Spanish, Persian, Finnish, French, Hebrew, Hindi, Croatian, Hungarian, Indonesian, Italian, Japanese, Korean, Lithuanian, Malay, Dutch, Norwegian (Bokmål), Polish, Portuguese, Romanian, Russian, Simple English, Slovak, Slovene, Serbian, Swedish, Thai, Turkish, Ukrainian, Vietnamese, Chinese

Years

WikiMaps utilise les historiques de consultations horaires des 13 dernières années (2008-2020). Ces données sont mises à disposition par la Wikimedia Analytics team. La qualité de ces données est variable selon les années. Nous pouvons distinguer trois périodes :
- de 2008 à 2011, les données sont moins fiables, avec parfois des absences de données importantes
- de 2011 à 2015, les données sont un peu plus fiables, mais elles sont encore très sensibles aux bots
- à partir de 2015, les données sont relativement plus fiables. La distinction entre pagecounts (simple consultation d’une page, pouvant être un bot) et pageviews (consultation par des utilisateurs) est introduite.

La suppression des bots après 2015 est clairement perceptible dans cette zone géographique du proche orient, particulièrement en Iran, où de très nombreuses pages ne sont plus perceptibles à partir de 2016 (à droite).

2015 2016

La version actuelle de WikiMaps commence en 2016, la fondation Wikimedia ayant signalé que les données antérieures n’étaient pas fiables (cf. Mise à jour).

Size

WikiMaps présente les pages selon leur importance dans les différents modes d’exploration, ainsi que leur titre pour les 50 pages les plus importantes. Afin de personnaliser l’expérience d’exploration, il est possible d’ajuster la taille des pages ainsi que de leur titre. Cette taille peut être relative à la page la plus importante de la carte ou être une valeur absolue qui permet de comparer plus facilement les différentes cartes.

Distance

Afin de produire des cartes permettant d’explorer la consultation des pages de Wikipédia, WikiMaps propose trois types de distance permettant de spatialiser les pages.

Geographical

Cette projection utilise les métadonnées (latitude et longitude) présentes sur les pages ou sur Wikidata. Wikidata propose la même localisation quelle que soit l’édition de Wikipédia, alors que les données présentes directement sur les pages peuvent être différentes selon les éditions. Une fois la source de données choisie, il est possible d’utiliser une projection adaptée à l’échelle globale (Mollweide) ou une plus adaptée à l’échelle locale. Dans ce cas, WikiMaps utilise les données d’OpenStreetMap (via Mapbox) afin de présenter des données précises dans le monde entier.

Intertextual

Cette projection utilise le fulltext des 38 éditions de Wikipédia afin de situer les pages selon leur proximité textuelle. Pour cela, nous utilisons deux méthodes complémentaires, qui reposent toutes les deux sur du word embedding à l’aide de word2vec. Pour la première, nous construisons un modèle pour chaque langue, puis nous résumons les pages à une moyenne pondérée des vecteurs des mots présents dans les pages, selon leur spécificité relative qualifiée par leur tf-idf. Nous calculons sur cette base la distance cosine entre les vecteurs qui résument ainsi les pages. Cette approche présente l’intérêt de mieux respecter les spécificités, telles que la proximité de Didier Raoult avec le Coronavirus. La deuxième approche utilise directement doc2vec, l’adaptation conventionnelle de word2vec pour définir la similarité entre documents. Cette approche permet d’obtenir directement des vecteurs par page. Elle présente l’avantage de synthétiser efficacement les pages, mais au risque de moins bien considérer leurs spécificités. La spatialisation en deux dimensions est quant à elle réalisée à l’aide de UMAP (après avoir testé d’autres méthodes moins convaincantes pour un nombre aussi important de pages - MDS et t-SNE en particulier). Afin d’augmenter la qualité de cette projection, il est possible de ne visualiser que les 100000 pages les plus consultées, ce qui réduit les contraintes de projections, les relations entre les pages étant considérablement plus faibles. Word2vec pondéré pour les 100000 pages les plus consultées est la projection proposée par défaut.

Hypertextual

Cette projection utilise les liens hypertextes présents dans les pages afin de définir leur proximité. Elle exploite les milliards de liens entre les pages afin de définir leurs positions relatives. La spatialisation en deux dimensions utilise aussi UMAP. Lorsque les liens sont aussi nombreux, l’avantage d’UMAP est de se concentrer sur les clusters locaux. Nous avons néanmoins consacré moins de temps à l’optimisation de cette projection, qui repose sur une métrique plus conventionnelle et qui a déjà fait l’objet de nombreux autres projets.

Modes

WikiMaps propose plusieurs modes d’exploration du plus élémentaire au plus complexe. Ces modes proposent autant de problématiques que de points de vue correspondants. Ces modes sont Pages, Attentions, Global attentions, Events, Global events et Cyclic events (cf. Infra pour les détails).

Pages

Ce mode propose d’explorer les pages en ne considérant pas leur consultation. La hiérarchie entre les pages, dans ce mode, se limite à la longueur des pages (en signes). Ce mode permet de considérer l’offre de contenus, avant de considérer plus spécifiquement leur consultation.

Attentions

Ce mode propose d’explorer les pages selon l’importance de leur consultation annuelle. Il s’agit du mode le plus central de WikiMaps, sur lequel les modes plus avancés sont élaborés. 

Il est ainsi possible de comparer l’évolution de l’attention dans un domaine, tel que la santé. Les différences d’attention entre 2019 (à gauche) et 2020 (à droite) sont particulièrement frappantes avec l’épidémie de Coronavirus.

2019 2020

Ce mode donne à voir l’inégal intérêt pour les pages de Wikipédia selon les années et les éditions linguistiques

Events

Ce mode propose de ne considérer que les pages qui ont fait l’objet d’une attention soudaine. Il s’agit du deuxième mode le plus central du projet WikiMaps. Ce mode repose sur une analyse de la variation de la consultation quotidienne de chaque page, afin d’identifier des pics d’attention soudains. Ces pics sont caractéristiques d’attentions soudaines et partagées entre de nombreux individus, comme autant de signes de ce qui pourrait être interprété comme des événements. 

Cyclic events

Ce mode propose d’explorer la synchronisation entre des événements d’une année à l’autre. Plus un événement est récurrent sur les 13 années du projet WikiMaps, plus il sera considéré comme cyclique. Ce mode permet d’explorer les phénomènes qui relèvent de la profondeur historique des attentions collectives, qu’il s’agisse de commémorations, de cérémonies ou de célébrations qui organisent la vie collective.

Global events

Ce mode propose d’explorer la synchronisation des événements entre les différentes éditions de Wikipédia. Plus un événement est synchronisé entre les 38 éditions linguistiques de WikiMaps, plus la mondialité de ces événements est susceptible d’être importante.

Les Doodles de Google apparaissent comme de très puissants initiateurs d’attentions collectives. En 2011, malgré l’accident industriel de Fukushima et la mort d’Oussama ben Laden, la page spatialisée qui a suscité l’attention soudaine la plus importante fut celle de la Saint Basil’s Cathedral. Il s’agit en fait d’un Doodle de Google qui célébrait les 450 ans de la cathédrale.

Global attentions

Ce mode propose d’explorer les pages selon la globalité de leur consultation. Ce mode cherche la présence d’une page de l’édition anglophone dans d’autres langues, puis considère le nombre d’éditions pour lesquelles la page suscite un intérêt significatif (proportion de l’attention globale de chaque édition). Il est possible de ne représenter que les pages qui font l’objet d’attention dans un nombre d’éditions élevé, afin de concentrer l’exploration sur les pages les plus mondialisées.

Legend

La légende de WikiMaps s’adapte à toutes les échelles. Nous utilisons en effet une taille variable pour représenter les pages, afin d’adapter la représentation aux exigences des vues globales et des vues locales. Cette légende permet aussi d’observer la distribution des attentions entre les pages. 

Cette légende propose aussi d’avoir une perception de l’importance absolue ou relative (quantité ou %) de la portion des pages représentées. Cette importance peut être considérée pour les pages ou pour leur consultation. Il est ainsi aisé d’observer que les pages relatives à l'audiovisuel (films, séries et musique) représentent un peu plus de 30% de l’attention globale dans les 38 éditions linguistiques, et plus de 35% pour l’édition anglophone. Le foot, pour l’édition francophone, représente à lui seul près de 7% de l’attention globale en 2018.

En comparant les attentions locales entre le Grand Londres et l’Afrique subsaharienne au nord de l’Afrique du Sud, l’intérêt relatif pour des populations et des espaces tout à fait incomparables est édifiant. Ces deux espaces recouvrent effectivement sensiblement la même attention, soit près de 3% des consultations. 

Données

WikiMaps couvre désormais dix années de consultations quotidiennes, de 2016 à 2025. Nous avons décidé de partir de 2016, car les données antérieures ne sont pas fiables, ce qui a été communiqué par la fondation Wikimedia, qui a créé un nouveau format d’archives. La plage de dates est donc plus réduite que dans la version précédente, mais elle est actualisée.

• 40 éditions linguistiques, parmi les 347 éditions de Wikipédia, qui rassemblent 99% des pages vues ;
• environ 20 millions de pages, obtenues via Wikimedia Enterprise (WikiMaps est la première équipe académique à y accéder) ;
• environ 85 milliards de données : les pages vues quotidiennes de chaque page, sur 10 ans et dans les 40 éditions, sans compter les textes, les hyperliens, les liens interlangues et les métadonnées de géolocalisation de Wikipédia et de Wikidata ;
• environ 100 millions d’événements détectés, 3 millions d’événements qualifiés, 400 000 événements cycliques, 9000 événements globaux et 800 cycles globaux.

Les 40 éditions retenues sont : Arabic, Azerbaijani, Bangla, Bulgarian, Catalan, Chinese, Croatian, Czech, Danish, Dutch, English, Finnish, French, German, Greek, Hebrew, Hindi, Hungarian, Indonesian, Italian, Japanese, Kazakh, Korean, Lithuanian, Malay, Norwegian, Persian, Polish, Portuguese, Romanian, Russian, Serbian, Simple English, Slovak, Spanish, Swedish, Thai, Turkish, Ukrainian, Vietnamese. Par rapport à la version précédente, l’azerbaïdjanais, le bengali et le kazakh ont été ajoutés, et le slovène retiré.

Méthodes

La chaîne de traitement a été entièrement reconstruite, en grande partie sur les infrastructures de calcul de l’Université de Lausanne (CPU et GPU), complétées par des API et des services cloud :

• résumés de pages (transformers) ;
• extraction massive des métadonnées de Wikipédia et de Wikidata ;
• embeddings des pages (transformers) ;
• base de données en Parquet, interrogée avec DuckDB ;
• réduction de dimension (t-SNE, UMAP, PaCMAP…) ;
• clusterisation (Louvain, Leiden, HDBSCAN…) ;
• analyse des séries temporelles (traitement du signal), afin de détecter les événements ;
• qualification et validation des événements par des LLM (transformers) ;
• recherche web et interrogation de Wikidata (API).

Spatialisations

Géographique

Les pages sont toujours situées par leurs coordonnées, issues de Wikipédia ou de Wikidata. Les coordonnées de Wikidata permettent de situer davantage de pages, car celles qui sont saisies avec les modèles locaux de certaines éditions ne sont souvent pas enregistrées dans la base de données de Wikipédia. Les projections Mollweide (échelle globale) et Mercator (échelle locale, sur un fond de carte Mapbox) sont conservées.

Intertextuelle

La spatialisation intertextuelle ne repose plus sur word2vec et doc2vec. Le texte de chaque page est désormais transformé en vecteur par un modèle d’embedding de type transformer, édition par édition, ce qui permet de mieux prendre en compte le sens des pages, et non plus seulement les mots qu’elles contiennent. Ces vecteurs sont ensuite projetés en deux dimensions avec t-SNE ou UMAP : les pages dont le contenu est proche sont voisines, quelle que soit leur localisation.

Hypertextuelle

Les liens rédigés par les contributeurs dans le texte des articles forment un réseau, dont sont écartés les liens des boîtes de navigation, des infobox et des modèles. Une méthode d’embedding de graphe (ProNE) attribue à chaque page un vecteur selon sa place dans ce réseau, avant la même réduction de dimension (t-SNE ou UMAP). Les pages qui se citent, ou qui citent les mêmes pages, sont voisines. Les pages sans lien vers une autre page de la carte ne sont pas représentées.

Ensembles de pages

Les projections intertextuelles et hypertextuelles sont proposées pour deux ensembles de pages, qui remplacent les 100 000 et 1 million de pages de la version précédente. Dans chaque édition, les pages sont classées selon leurs consultations cumulées de 2016 à 2025 : l’ensemble 80% retient les pages les plus consultées qui rassemblent 80% des vues (environ 3 millions de pages dans les 40 éditions), l’ensemble 95% celles qui en rassemblent 95% (environ 10 millions de pages).

Modes

Les modes ont été réorganisés et complétés :

• Pages : situe les pages existantes, toutes de même taille. Ce mode représente désormais l’offre de pages, et non plus leur longueur ;
• Page Content (nouveau) : taille des pages selon la longueur de leur texte, indépendamment de leur consultation, comme le proposait auparavant le mode Pages ;
• Attentions : taille des pages selon leurs consultations annuelles ;
• Events : pages qui ont fait l’objet d’un pic d’attention soudain, dont la couleur indique l’asymétrie (skewness), sur une échelle de 0 à 100 ;
• Cyclic events : pages dont les pics d’attention reviennent chaque année. Ce mode est en cours de refonte, afin de prendre en compte plusieurs calendriers ;
• Global attentions : consultations cumulées dans les 40 éditions. La couleur indique la globalité des pages, c’est-à-dire le nombre d’éditions qui partagent un pic d’attention pour une page, et un réglage permet de ne conserver que les pages partagées par un nombre minimal d’éditions ;
• Global events : pics d’attention synchronisés entre les éditions.

Dans les modes Pages, Page Content et Attentions, il est aussi possible de représenter les 40 éditions sur une même carte (All editions).

Interface

L’interface a été entièrement redéveloppée, et propose de nombreux nouveaux réglages :

• Menus : Mode, Edition, Time, Projection et Display s’ouvrent ensemble au survol de l’en-tête ; une option grisée n’a pas de données avec les réglages en cours ;
• Affichage : les pages sont représentées par des points ou par une grille de densité, selon une échelle relative ou absolue. Dans ce cas, un point de taille maximale correspond à 1 million de vues, 10 millions en Global attentions et 500 000 signes en Page Content ;
• Titres : dans les éditions autres que l’anglais, le titre anglais peut être affiché avec le titre original ;
• Liens : il est possible d’afficher les liens de Wikipédia d’une page, ou les pages dont le contenu est le plus proche ;
• Distribution : un panneau présente l’histogramme des consultations et la part des pages, ou des vues, visibles à l’écran ;
• Tableau de bord : la sélection de pages ouvre une liste (par page, par date, par événement ou par édition), un treemap des éditions, le début de l’article (original ou en anglais), la courbe des consultations quotidiennes et leur décomposition par édition ;
• Recherche : toute page peut être recherchée et localisée sur la carte.

Le panneau de distribution prolonge la légende de la version précédente (cf. Legend) : dans l’espace intertextuel des attentions globales de 2020, la santé rassemble 0,79% des pages, les personnalités 5,57%. Le tableau de bord permet quant à lui de comparer la consultation d’une même page dans toutes les éditions : l’attention pour le Coronavirus culmine fin janvier 2020 dans la plupart des éditions, puis en février et en mars dans d’autres.