HTML – Tekipaki

Navigation web automatique avec Python, mise à jour

Quelques articles de ce carnet sont consacrés au développement de scripts de navigation web automatique avec Python, qui font appel à la librairie Selenium.

Avez-vous tenté récemment de reproduire le code, l’adapter ou simplement tester les scripts mis à disposition ? Si c’est le cas, vous avez peut-être eu la mauvaise surprise de n’obtenir rien de plus que des messages d’erreur… Et c’est normal ! Les dernières versions de Selenium introduisent des changements qui rendent obsolètes certains principes des versions précédentes.

Voici comment vous en sortir avec une installation à jour.

Continuer la lecture

Notebook d’initiation web scraping et cartographie

Le 15 décembre dernier j’ai eu l’honneur d’intervenir dans un séminaire du Master Sciences du Langage – Parcours Lexicographie, terminographie et traitement automatique de corpus (LTTAC) de l’Université de Lille, où j’ai moi-même été étudiant il y a quelques années.

À cette occasion, j’ai mis en place une activité pratique sous forme de notebook Jupyter. Celui-ci s’adresse à un public qui ne connaît pas Python, et l’objectif de l’activité est de produire une représentation cartographique à partir de données extraites d’une page web.

Continuer la lecture

Produire un corpus web format XML en 15 lignes de code

Pour effectuer certaines tâches, disposer d’un corpus textuel est très utile, voire indispensable : faire des essais pour un projet dont le corpus de travail est en cours de constitution, tester des scripts et traitements, prendre en main un nouvel outil et/ou le comparer à d’autres outils similaires…

Ce sont des usages qui relèvent principalement des phases préparatoires d’un projet, et pour lesquels il est surtout important de pouvoir construire un corpus rapidement et sans trop d’effort. Ce n’est pas grave si sa constitution n’est pas particulièrement précise puisqu’elle ne nécessite qu’un investissement limité et que les résultats obtenus n’ont pas vocation à être exploités en conditions réelles.

Je vous présente ici un script Python de web scraping très simple, qui vous permettra d’obtenir un corpus textuel au format XML tout à fait adapté à ce type d’utilisation.

Continuer la lecture

Cartographier des données linguistiques avec Python – 5

Un précédent article a montré comment créer une carte à partir de données issues d’un fichier CSV, un format couramment utilisé pour les données de recherche, en linguistique ou dans d’autres domaines. Toutefois, s’agissant de données géographiques, rencontrer des données au format GeoJSON qui est spécifiquement conçu pour cet usage, n’aurait rien d’étonnant.

Voici comment produire une carte HTML en Python, avec cette fois un ou plusieurs fichier(s) d’entrée au format GeoJSON.

Continuer la lecture

Cartographier des données linguistiques avec Python – 4

Les cartes produites avec folium sont des cartes interactives au format HTML. Changer l’extension au moment de l’enregistrement du fichier ne permet pas d’obtenir un fichier image, par exemple : un fichier sera bien créé, mais il ne pourra pas être lu.

Pour avoir un aperçu de la carte dans un format image de type PNG, il existe toujours la solution de réaliser manuellement une capture d’écran. Cette manipulation peut représenter une perte de temps (et d’énergie) certaine, en particulier si on veut générer des aperçus pour documenter les différentes étapes de création d’une carte.

Il peut alors être plus pratique d’automatiser la prise de capture d’écran, en l’intégrant au code Python.

Continuer la lecture

Cartographier des données linguistiques avec Python – 3

Les précédents articles consacrés à la cartographie de données linguistiques avec Python permettaient de créer une carte sur laquelle les informations d’un fichier CSV étaient représentées par une ou plusieurs séries de points. Dans certains cas, il est plus pertinent de ne pas représenter des points indépendants, mais plutôt une aire, une surface.

Voici comment faire, toujours en partant d’un fichier CSV (ou TSV) contenant une série de coordonnées géographiques.

Continuer la lecture

Cartographier des données linguistiques avec Python – 2

Lorsqu’on sait produire une carte avec des données représentées par des points, il est très simple d’ajouter plusieurs séries de données correspondant à autant de séries de points. Pour améliorer la lisibilité de l’ensemble, il peut devenir intéressant (voire indispensable) de ne pas afficher la totalité des données simultanément.

Pour les cartes créées avec folium, c’est ce que permet de faire la classe LayerControl().

Continuer la lecture

Cartographier des données linguistiques avec Python – 1

Certaines recherches en linguistique peuvent donner lieu à une collecte de données géographiques, et bénéficieraient alors grandement d’une représentation visuelle sous forme de carte.

Même sans grandes connaissances de la géomatique, il est possible de produire des représentations cartographiques, certes basiques mais informatives. Pour commencer, je vous présente dans cet article comment produire, à partir d’un fichier CSV, une carte en HTML avec des données représentées par des points, en Python 3.

Continuer la lecture

Sélecteur 1000 langues en HTML

Pour créer des questionnaires ou formulaires relatifs à des projets de recherche en linguistique, il est parfois nécessaire de proposer à l’utilisateur/utilisatrice de renseigner une ou plusieurs langue(s) : par exemple pour indiquer quelle(s) langue(s) lui sont connues, lister les langues présentes dans son environnement à une période donnée, spécifier quelle(s) langue(s) elle ou il utilise selon les contextes, renseigner dans quelle(s) langue(s) est rédigé un document donné, etc. Il est beaucoup plus simple, notamment pour analyser ensuite les réponses fournies, de disposer d’une liste de référence affichée sous forme de liste déroulante plutôt que de recueillir une réponse sous forme de texte libre.

Je vous présente ici un sélecteur prêt à l’emploi, au format HTML, qui permet de faire un choix parmi une liste de 1193 langues différentes.

Continuer la lecture

Extraire les données d’un tableau HTML

Il est assez confortable de lire des données présentées en tableau sur une page HTML, mais dans le cadre de projets de recherche la simple consultation des données est souvent insuffisante. Pour pouvoir traiter les données, il faut alors les extraire.

Voici une façon de le faire avec Python.

Continuer la lecture