Recherche – Tekipaki

Ressources numériques en sciences humaines et sociales OpenEdition Nos plateformes OpenEdition Books OpenEdition Journals Hypothèses Calenda Bibliothèques OpenEdition Freemium Suivez-nous

Navigation web automatique avec Python, mise à jour

Quelques articles de ce carnet sont consacrés au développement de scripts de navigation web automatique avec Python, qui font appel à la librairie Selenium.

Avez-vous tenté récemment de reproduire le code, l’adapter ou simplement tester les scripts mis à disposition ? Si c’est le cas, vous avez peut-être eu la mauvaise surprise de n’obtenir rien de plus que des messages d’erreur… Et c’est normal ! Les dernières versions de Selenium introduisent des changements qui rendent obsolètes certains principes des versions précédentes.

Voici comment vous en sortir avec une installation à jour.

Continuer la lecture

Ligne de commande avec Python

Lorsqu’on écrit un script ou un programme en Python, ce n’est pas nécessairement pour en faire un usage unique. Il est assez commun de réutiliser le même programme en faisant varier certains paramètres : par exemple, le chemin d’accès d’un fichier d’entrée, la valeur d’une variable prise en paramètre par une fonction, l’application ou non d’une condition… Ce sont des cas où il peut s’avérer préférable de ne pas modifier à répétition le code source. Une solution pour prendre en compte les variations à appliquer aux multiples exécutions du programme est de mettre en place une interaction avec la ligne de commande.

C’est ce que permet de faire le module argparse, et ce n’est pas compliqué ! Voici une illustration de son fonctionnement, avec un exemple d’étiquetage syntaxique d’un texte en chinois.

Continuer la lecture

Pour le XML, .sort() ou .sorted() ?

Pour trier les éléments d’un corpus XML selon un critère donné, on peut utiliser la fonction .sorted(), qui crée une nouvelle liste triée. En effet, puisque ce que renvoie Element.findall() est bien une liste, rien n’empêche de lui appliquer toutes les fonctions qui interagissent avec le type list.

Il devrait alors être possible d’utiliser .sort(), autre fonction native de Python, pour trier des (sous-)éléments dans une arborescence XML. Est-ce bien le cas ?

Bien sûr que oui, mais en raison des différences de fonctionnement entre .sorted() et .sort(), il faut légèrement adapter le code selon la fonction choisie.

Continuer la lecture

Trier des éléments XML par valeur d’attribut

Les fichiers XML produits automatiquement peuvent être peu lisibles pour l’œil humain. Assez souvent, ce n’est pas forcément un problème puisqu’il est tout à fait possible que l’exploration et/ou le traitement des fichiers soient également effectués de façon automatique.

Mais dans certains cas, il peut être appréciable (voire nécessaire) de parcourir manuellement le contenu d’une arborescence XML : pour vérifier rapidement la cohérence des contenus d’un corpus, présenter les données ou un extrait des données à un public, apporter des corrections manuelles…

L’une des modifications qui n’a quasiment aucun impact sur les données à proprement parler mais peut faciliter le confort de lecture est de modifier l’ordre des éléments XML, par exemple suivant la valeur de l’un ou l’autre de leurs attributs.

Continuer la lecture

Notebook d’initiation web scraping et cartographie

Le 15 décembre dernier j’ai eu l’honneur d’intervenir dans un séminaire du Master Sciences du Langage – Parcours Lexicographie, terminographie et traitement automatique de corpus (LTTAC) de l’Université de Lille, où j’ai moi-même été étudiant il y a quelques années.

À cette occasion, j’ai mis en place une activité pratique sous forme de notebook Jupyter. Celui-ci s’adresse à un public qui ne connaît pas Python, et l’objectif de l’activité est de produire une représentation cartographique à partir de données extraites d’une page web.

Continuer la lecture

Interroger l’API HAL avec Python

Il est certainement inutile de présenter l’archive ouverte multidisciplinaire HAL et son interface en ligne. Un usage moins visuellement saillant de cette archive est qu’il est également possible d’interagir avec sa base de données via une API, et notamment de l’interroger pour y effectuer des recherches selon divers critères puis de récupérer les résultats dans différents formats de données structurées.

Vous pouvez tout à fait utiliser Python pour interroger l’API de HAL et traiter les résultats obtenus.

Continuer la lecture

Lire (et modifier) un fichier XML avec Python

Un article précédent a montré comment générer facilement un corpus textuel avec Python. Le corpus ainsi produit se présentait sous forme d’un fichier au format XML, écrit notamment grâce à xml.etree.ElementTree, qui fait partie de la librairie standard.

ElementTree s’avère donc utile pour créer des fichiers XML, mais permet aussi de lire des fichiers préexistants, notamment dans le but de les modifier.

Voici comment procéder pour lire l’arborescence d’un fichier XML et lui apporter des modifications.

Continuer la lecture

Produire un corpus web format XML en 15 lignes de code

Pour effectuer certaines tâches, disposer d’un corpus textuel est très utile, voire indispensable : faire des essais pour un projet dont le corpus de travail est en cours de constitution, tester des scripts et traitements, prendre en main un nouvel outil et/ou le comparer à d’autres outils similaires…

Ce sont des usages qui relèvent principalement des phases préparatoires d’un projet, et pour lesquels il est surtout important de pouvoir construire un corpus rapidement et sans trop d’effort. Ce n’est pas grave si sa constitution n’est pas particulièrement précise puisqu’elle ne nécessite qu’un investissement limité et que les résultats obtenus n’ont pas vocation à être exploités en conditions réelles.

Je vous présente ici un script Python de web scraping très simple, qui vous permettra d’obtenir un corpus textuel au format XML tout à fait adapté à ce type d’utilisation.

Continuer la lecture

Navigation web automatique avec Python

Dans cet article de la série d’articles consacrés à la cartographie de données linguistiques avec Python, la librairie selenium était exploitée pour réaliser des captures d’écran.

Ce n’est pas sa seule utilité : le webdriver de selenium permet de naviguer sur une page web de façon automatisée, et donc de mettre en place divers degrés d’interaction. Ceci peut être par exemple utile si, lors de la constitution d’un corpus web, vous voulez récupérer des contenus qui n’apparaissent qu’après un clic sur un élément de la page.

Voici deux exemples d’utilisation de selenium pour obtenir l’accès à des contenus qui nécessitent une interaction avec la page web.

Continuer la lecture

Cartographier des données linguistiques avec Python – 5

Un précédent article a montré comment créer une carte à partir de données issues d’un fichier CSV, un format couramment utilisé pour les données de recherche, en linguistique ou dans d’autres domaines. Toutefois, s’agissant de données géographiques, rencontrer des données au format GeoJSON qui est spécifiquement conçu pour cet usage, n’aurait rien d’étonnant.

Voici comment produire une carte HTML en Python, avec cette fois un ou plusieurs fichier(s) d’entrée au format GeoJSON.

Continuer la lecture

Cartographier des données linguistiques avec Python – 4

Les cartes produites avec folium sont des cartes interactives au format HTML. Changer l’extension au moment de l’enregistrement du fichier ne permet pas d’obtenir un fichier image, par exemple : un fichier sera bien créé, mais il ne pourra pas être lu.

Pour avoir un aperçu de la carte dans un format image de type PNG, il existe toujours la solution de réaliser manuellement une capture d’écran. Cette manipulation peut représenter une perte de temps (et d’énergie) certaine, en particulier si on veut générer des aperçus pour documenter les différentes étapes de création d’une carte.

Il peut alors être plus pratique d’automatiser la prise de capture d’écran, en l’intégrant au code Python.

Continuer la lecture

Cartographier des données linguistiques avec Python – 3

Les précédents articles consacrés à la cartographie de données linguistiques avec Python permettaient de créer une carte sur laquelle les informations d’un fichier CSV étaient représentées par une ou plusieurs séries de points. Dans certains cas, il est plus pertinent de ne pas représenter des points indépendants, mais plutôt une aire, une surface.

Voici comment faire, toujours en partant d’un fichier CSV (ou TSV) contenant une série de coordonnées géographiques.

Continuer la lecture

Cartographier des données linguistiques avec Python – 2

Lorsqu’on sait produire une carte avec des données représentées par des points, il est très simple d’ajouter plusieurs séries de données correspondant à autant de séries de points. Pour améliorer la lisibilité de l’ensemble, il peut devenir intéressant (voire indispensable) de ne pas afficher la totalité des données simultanément.

Pour les cartes créées avec folium, c’est ce que permet de faire la classe LayerControl().

Continuer la lecture

Cartographier des données linguistiques avec Python – 1

Certaines recherches en linguistique peuvent donner lieu à une collecte de données géographiques, et bénéficieraient alors grandement d’une représentation visuelle sous forme de carte.

Même sans grandes connaissances de la géomatique, il est possible de produire des représentations cartographiques, certes basiques mais informatives. Pour commencer, je vous présente dans cet article comment produire, à partir d’un fichier CSV, une carte en HTML avec des données représentées par des points, en Python 3.

Continuer la lecture

Didόmena dans votre carnet Hypothèses

Didόmena est un entrepôt de données collaboratif qui permet aux membres des unités de recherche sous tutelle de l’EHESS de stocker durablement leurs données, mais aussi de les partager. Comme l’indiquent le site ainsi que la plaquette de présentation de la plateforme, “les données y sont décrites selon les standards de l’information scientifique et technique”, qui respectent les principes FAIR : Findable, Accessible, Interoperable, Reusable.

Il est notamment très simple d’afficher un jeu de données de Didόmena sur un carnet Hypothèses. Voici comment faire.

Continuer la lecture