Web scraping – Tekipaki

Notebook d’initiation web scraping et cartographie

Le 15 décembre dernier j’ai eu l’honneur d’intervenir dans un séminaire du Master Sciences du Langage – Parcours Lexicographie, terminographie et traitement automatique de corpus (LTTAC) de l’Université de Lille, où j’ai moi-même été étudiant il y a quelques années.

À cette occasion, j’ai mis en place une activité pratique sous forme de notebook Jupyter. Celui-ci s’adresse à un public qui ne connaît pas Python, et l’objectif de l’activité est de produire une représentation cartographique à partir de données extraites d’une page web.

Continuer la lecture

Déclaration XML automatique

Lorsqu’on automatise la création d’un corpus, ou tout autre document, structuré en XML, il est important de veiller à générer également une déclaration XML cohérente avec le contenu du fichier. Il y a plusieurs façons d’y parvenir, notamment en faisant appel à bs4 ou à xml.etree.ElementTree.

Continuer la lecture

Produire un corpus web format XML en 15 lignes de code

Pour effectuer certaines tâches, disposer d’un corpus textuel est très utile, voire indispensable : faire des essais pour un projet dont le corpus de travail est en cours de constitution, tester des scripts et traitements, prendre en main un nouvel outil et/ou le comparer à d’autres outils similaires…

Ce sont des usages qui relèvent principalement des phases préparatoires d’un projet, et pour lesquels il est surtout important de pouvoir construire un corpus rapidement et sans trop d’effort. Ce n’est pas grave si sa constitution n’est pas particulièrement précise puisqu’elle ne nécessite qu’un investissement limité et que les résultats obtenus n’ont pas vocation à être exploités en conditions réelles.

Je vous présente ici un script Python de web scraping très simple, qui vous permettra d’obtenir un corpus textuel au format XML tout à fait adapté à ce type d’utilisation.

Continuer la lecture