Exemple de devoir en Master LTTAC : lexicographie bilingue

Ancien étudiant du Master LTTAC (Lexicographie, terminographie et traitement automatique de corpus) de l’Université de Lille, je reçois assez régulièrement des demandes d’informations sur le déroulement et le contenu de cette formation universitaire. J’ai décidé de publier sur ce carnet le texte d’un devoir rédigé dans le cadre de mes études en LTTAC , afin d’en montrer un exemple concret.

Il s’agit d’un devoir de lexicographie bilingue, qui me semble assez représentatif et pour lequel j’avais obtenu une très bonne note : il est probablement proche de ce qu’attendait l’enseignante. En dehors d’ajustements de mise en forme pour la publication sur un carnet Hypothèses et de la correction d’un petit nombre de fautes de frappe, aucune modification n’a été apportée au texte d’origine.

Continuer la lecture de « Exemple de devoir en Master LTTAC : lexicographie bilingue »

R et encodage des caractères

Dans l’article précédent, consacré à la production d’une représentation cartographique avec R, le tableau de données pris en entrée a été lu avec la fonction read.csv(). Comme son nom l’indique, cette fonction permet de lire des données structurées au format CSV, à partir d’une URL ou du chemin d’accès d’un fichier, afin de les convertir en un type de données propre à R et les manipuler.

Cependant, en fonction du ou des systèmes d’écriture présents dans le document d’origine, il peut arriver que les caractères soient affichés de façon erratique. Voici comment résoudre le problème, simplement en déclarant les paramètres appropriés de read.csv().

Continuer la lecture de « R et encodage des caractères »

Pour le XML, .sort() ou .sorted() ?

Pour trier les éléments d’un corpus XML selon un critère donné, on peut utiliser la fonction .sorted(), qui crée une nouvelle liste triée. En effet, puisque ce que renvoie Element.findall() est bien une liste, rien n’empêche de lui appliquer toutes les fonctions qui interagissent avec le type list.

Il devrait alors être possible d’utiliser .sort(), autre fonction native de Python, pour trier des (sous-)éléments dans une arborescence XML. Est-ce bien le cas ?

Bien sûr que oui, mais en raison des différences de fonctionnement entre .sorted() et .sort(), il faut légèrement adapter le code selon la fonction choisie.

Continuer la lecture de « Pour le XML, .sort() ou .sorted() ? »

Trier des éléments XML par valeur d’attribut

Les fichiers XML produits automatiquement peuvent être peu lisibles pour l’œil humain. Assez souvent, ce n’est pas forcément un problème puisqu’il est tout à fait possible que l’exploration et/ou le traitement des fichiers soient également effectués de façon automatique.

Mais dans certains cas, il peut être appréciable (voire nécessaire) de parcourir manuellement le contenu d’une arborescence XML : pour vérifier rapidement la cohérence des contenus d’un corpus, présenter les données ou un extrait des données à un public, apporter des corrections manuelles…

L’une des modifications qui n’a quasiment aucun impact sur les données à proprement parler mais peut faciliter le confort de lecture est de modifier l’ordre des éléments XML, par exemple suivant la valeur de l’un ou l’autre de leurs attributs.

Continuer la lecture de « Trier des éléments XML par valeur d’attribut »

Utiliser TinySegmenter avec Python

Lors du traitement d’un corpus en japonais, l’étape de segmentation est souvent indispensable. Il est possible de l’effectuer sans écrire de script pour l’occasion, par exemple avec un logiciel tels que SegmentAnt, déjà présenté sur ce carnet dans l’article Segmenter du texte brut avec SegmentAnt.

Peut aussi se présenter le cas où la segmentation intervient parmi d’autres traitements qui seront pris en charge par un ou plusieurs script(s). Il est alors intéressant de prévoir quelques lignes de code pour segmenter le texte plutôt que de faire appel à un outil supplémentaire.

Voici comment faire, en utilisant TinySegmenter avec Python.

Continuer la lecture de « Utiliser TinySegmenter avec Python »

Segmenter du texte brut avec SegmentAnt

Dans des langues telles que le français ou l’anglais (entre autres), les différentes entités linguistiques, ou plus simplement les “mots”, sont plus ou moins intuitivement identifiables à l’écrit car ils tendent à être séparés par un caractère dédié : l’espace.

Ce séparateur n’est pas commun à toutes les langues écrites, et n’est notamment pas utilisé en chinois et en japonais. Un lecteur humain sera évidemment capable d’identifier les entités qui composent le texte pour pouvoir le comprendre, mais ce n’est pas forcément le cas des outils de traitement automatique utilisés lors de l’exploration d’un corpus. Il peut alors devenir nécessaire de segmenter le texte d’origine, en y insérant un caractère séparateur.

SegmentAnt, développé par Laurence Anthony, est un logiciel qui vous permettra de segmenter du texte en chinois ou en japonais extrêmement facilement, sans écrire une ligne de code.

Continuer la lecture de « Segmenter du texte brut avec SegmentAnt »

Lire (et modifier) un fichier XML avec Python

Un article précédent a montré comment générer facilement un corpus textuel avec Python. Le corpus ainsi produit se présentait sous forme d’un fichier au format XML, écrit notamment grâce à xml.etree.ElementTree, qui fait partie de la librairie standard.

ElementTree s’avère donc utile pour créer des fichiers XML, mais permet aussi de lire des fichiers préexistants, notamment dans le but de les modifier.

Voici comment procéder pour lire l’arborescence d’un fichier XML et lui apporter des modifications.

Continuer la lecture de « Lire (et modifier) un fichier XML avec Python »

Déclaration XML automatique

Lorsqu’on automatise la création d’un corpus, ou tout autre document, structuré en XML, il est important de veiller à générer également une déclaration XML cohérente avec le contenu du fichier. Il y a plusieurs façons d’y parvenir, notamment en faisant appel à bs4 ou à xml.etree.ElementTree.

Continuer la lecture de « Déclaration XML automatique »

Produire un corpus web format XML en 15 lignes de code

Pour effectuer certaines tâches, disposer d’un corpus textuel est très utile, voire indispensable : faire des essais pour un projet dont le corpus de travail est en cours de constitution, tester des scripts et traitements, prendre en main un nouvel outil et/ou le comparer à d’autres outils similaires…

Ce sont des usages qui relèvent principalement des phases préparatoires d’un projet, et pour lesquels il est surtout important de pouvoir construire un corpus rapidement et sans trop d’effort. Ce n’est pas grave si sa constitution n’est pas particulièrement précise puisqu’elle ne nécessite qu’un investissement limité et que les résultats obtenus n’ont pas vocation à être exploités en conditions réelles.

Je vous présente ici un script Python de web scraping très simple, qui vous permettra d’obtenir un corpus textuel au format XML tout à fait adapté à ce type d’utilisation.

Continuer la lecture de « Produire un corpus web format XML en 15 lignes de code »

Dico pour qui ?

Attention, ceci est un article de vulgarisation ! Si vous avez déjà des connaissances en lexicographie bilingue, vous n’apprendrez peut-être rien de nouveau. Dans le cas contraire, cet article vous permettra de mieux comprendre comment sont conçus les dictionnaires bilingues. La lecture de l’article Les types de dictionnaires est conseillée avant d’aborder celui-ci.

Les dictionnaires bilingues sont des outils d’apprentissage des langues, et on sait que dans un dictionnaire bilingue, il y a une langue source et une langue cible (éventuellement dite langue de traduction).

Intuitivement, il semblerait logique que le public visé par un dictionnaire bilingue soit des personnes qui connaissent déjà la langue source, et qui apprennent la langue cible : on connaît un mot, et on cherche sa traduction.

… Et, intuitivement, il semblerait aussi logique que le public visé par un dictionnaire bilingue soit des personnes qui ne connaissent pas la langue cible, et qui apprennent la langue source : on tombe sur un mot qu’on ne comprend pas, et on cherche sa traduction.

Mais alors, que faire face à une telle ambivalence ?

Continuer la lecture de « Dico pour qui ? »

SudachiPy VS spaCy

L’article consacré aux nouveaux modèles spaCy pour le chinois et le japonais montrait un exemple d’utilisation pour le chinois. Ceci avait permis de comparer la sortie produite par spaCy à celle de Jieba, étiqueteur morphosyntaxique qui avait également fait l’objet d’un article sur ce carnet.

Tout comme la segmentation du chinois avec spaCy est (par défaut) issue de Jieba, la segmentation du japonais s’appuie sur SudachiPy. Puisque j’ai depuis présenté l’installation et le fonctionnement de SudachiPy, voici maintenant un aperçu de l’étiquetage du japonais avec spaCy.

Continuer la lecture de « SudachiPy VS spaCy »

Étiquetage morphosyntaxique avec SudachiPy

J’ai présenté dans de précédents articles deux librairies Python permettant de réaliser un étiquetage morphosyntaxique (ou POS-tagging) sur des textes écrits en chinois : PyNLPIR et Jieba.

Voici maintenant quelques mots sur un étiqueteur permettant de traiter des textes en japonais : SudachiPy, la version librairie Python de l’étiqueteur et analyseur morphologique Sudachi.

Continuer la lecture de « Étiquetage morphosyntaxique avec SudachiPy »

Les types de dictionnaires

Attention, ceci est un article de vulgarisation ! Si vous avez déjà une certaine connaissance de la lexicographie, il ne sera certainement pas instructif pour vous. Si ce n’est pas le cas, vous trouverez ici quelques explications qui vous permettront d’aborder sereinement de prochains articles de ce carnet portant sur les dictionnaires, bilingues notamment.

Les dictionnaires sont des outils couramment utilisés, dans le cadre de la scolarité ou de la vie quotidienne. On peut d’ailleurs s’en servir sans avoir une connaissance particulière des principes de leur conception ou des critères sur lesquels est constitué leur contenu. Par exemple, savez-vous que Le Petit Robert et Le Petit Larousse illustré relèvent de deux types de dictionnaires différents ?

Pour y voir plus clair, je vous propose ici une brève description de quelques grands types de dictionnaires. Ce ne sera pas exhaustif, mais ces explications devraient permettre à toute personne non spécialiste de se repérer dans de prochains articles de ce carnet, qui évoqueront éventuellement cette typologie.

Continuer la lecture de « Les types de dictionnaires »

Fiabilité de chardet

L’utilisation de chardet a déjà été évoquée sur ce carnet, dans cet article consacré à l’uniformisation de l’encodage d’un corpus textuel.

J’y indiquais que chardet.detect() permettait d’identifier l’encodage d’un fichier ouvert en binaire, afin de le décoder correctement. Le résultat retourné par cette fonction se présente sous forme d’un dictionnaire : celui-ci contient le nom de l’encodage reconnu à la clé encoding, mais également un indice de confiance dont la valeur correspond à la clé confidence.

Comprendre ce qu’est cet indice peut s’avérer utile, notamment pour repérer dans quels cas l’encodage risque d’être mal détecté.

Continuer la lecture de « Fiabilité de chardet »

Modèles chinois et japonais pour spaCy

La dernière mise à jour de spaCy (v2.3) inclut (entre autres) des modèles pour le chinois et pour le japonais. La segmentation et l’étiquetage s’appuient sur SudachiPy pour le japonais, et la segmentation est réalisée avec Jieba (par défaut) pour le chinois.

Si vous utilisez cette version de spaCy avec les paramètres par défaut pour segmenter un texte en chinois, vous devriez donc obtenir un résultat assez proche de la segmentation avec Jieba présentée dans un précédent article de ce carnet. Attention, ce ne sera pas forcément complètement identique, et l’étiquetage a également de grandes chances d’être différent.

Continuer la lecture de « Modèles chinois et japonais pour spaCy »
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search