Ligne de commande avec Python

Lorsqu’on écrit un script ou un programme en Python, ce n’est pas nécessairement pour en faire un usage unique. Il est assez commun de réutiliser le même programme en faisant varier certains paramètres : par exemple, le chemin d’accès d’un fichier d’entrée, la valeur d’une variable prise en paramètre par une fonction, l’application ou non d’une condition… Ce sont des cas où il peut s’avérer préférable de ne pas modifier à répétition le code source. Une solution pour prendre en compte les variations à appliquer aux multiples exécutions du programme est de mettre en place une interaction avec la ligne de commande.

C’est ce que permet de faire le module argparse, et ce n’est pas compliqué ! Voici une illustration de son fonctionnement, avec un exemple d’étiquetage syntaxique d’un texte en chinois.

Continuer la lecture de « Ligne de commande avec Python »

Segmenter du texte brut avec SegmentAnt

Dans des langues telles que le français ou l’anglais (entre autres), les différentes entités linguistiques, ou plus simplement les “mots”, sont plus ou moins intuitivement identifiables à l’écrit car ils tendent à être séparés par un caractère dédié : l’espace.

Ce séparateur n’est pas commun à toutes les langues écrites, et n’est notamment pas utilisé en chinois et en japonais. Un lecteur humain sera évidemment capable d’identifier les entités qui composent le texte pour pouvoir le comprendre, mais ce n’est pas forcément le cas des outils de traitement automatique utilisés lors de l’exploration d’un corpus. Il peut alors devenir nécessaire de segmenter le texte d’origine, en y insérant un caractère séparateur.

SegmentAnt, développé par Laurence Anthony, est un logiciel qui vous permettra de segmenter du texte en chinois ou en japonais extrêmement facilement, sans écrire une ligne de code.

Continuer la lecture de « Segmenter du texte brut avec SegmentAnt »

Étiquetage morphosyntaxique avec PyNLPIR

L’étiquetage morphosyntaxique (ou POS-tagging) est une étape habituelle dans la constitution d’un corpus textuel, assez étroitement liée à la langue dans laquelle le texte est écrit.

Il n’y a pas très longtemps, j’ai réalisé deux versions de l’étiquetage d’un corpus écrit en chinois, sous Python. Je vais donc partager successivement la façon dont j’ai procédé avec chacun des deux étiqueteurs, à savoir PyNLPIR (implémentation Python du logiciel NLPIR/ICTCLAS) et Jieba.

Continuer la lecture de « Étiquetage morphosyntaxique avec PyNLPIR »
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search