SudachiPy VS spaCy

L’article consacré aux nouveaux modèles spaCy pour le chinois et le japonais montrait un exemple d’utilisation pour le chinois. Ceci avait permis de comparer la sortie produite par spaCy à celle de Jieba, étiqueteur morphosyntaxique qui avait également fait l’objet d’un article sur ce carnet.

Tout comme la segmentation du chinois avec spaCy est (par défaut) issue de Jieba, la segmentation du japonais s’appuie sur SudachiPy. Puisque j’ai depuis présenté l’installation et le fonctionnement de SudachiPy, voici maintenant un aperçu de l’étiquetage du japonais avec spaCy.

Continuer la lecture de « SudachiPy VS spaCy »

Uniformisation d’encodage en deux étapes

La lecture préalable de l’article Fiabilité de chardet est fortement conseillée.

Lorsqu’on travaille avec un corpus textuel composé de nombreux fichiers dont l’encodage n’est pas uniforme, l’une des premières étapes de traitement est de convertir l’ensemble du corpus vers un encodage unique et reconnu par les outils qui seront utilisés ensuite. Il existe plusieurs façons d’y parvenir, telle que celle présentée dans cet article, qui fait appel à chardet.

Toutefois, en fonction de la composition du corpus et des objectifs poursuivis, détecter et convertir en masse l’encodage de l’ensemble des fichiers n’est pas forcément la solution la plus efficace. Voici une alternative où la détection et la conversion constituent deux étapes distinctes.

Continuer la lecture de « Uniformisation d’encodage en deux étapes »

Parser un flux de syndication avec Python

En faisant des recherches pour l’écriture d’un programme, je suis tombé par hasard sur la documentation de feedparser, qui permet de lire les informations d’un flux RSS (ou Atom) avec Python. Ce n’était pas ce que je cherchais, mais j’ai quand même voulu tester, à titre informatif : il s’avère que c’est extrêmement simple.

Continuer la lecture de « Parser un flux de syndication avec Python »

Étiquetage morphosyntaxique avec SudachiPy

J’ai présenté dans de précédents articles deux librairies Python permettant de réaliser un étiquetage morphosyntaxique (ou POS-tagging) sur des textes écrits en chinois : PyNLPIR et Jieba.

Voici maintenant quelques mots sur un étiqueteur permettant de traiter des textes en japonais : SudachiPy, la version librairie Python de l’étiqueteur et analyseur morphologique Sudachi.

Continuer la lecture de « Étiquetage morphosyntaxique avec SudachiPy »

Les types de dictionnaires

Attention, ceci est un article de vulgarisation ! Si vous avez déjà une certaine connaissance de la lexicographie, il ne sera certainement pas instructif pour vous. Si ce n’est pas le cas, vous trouverez ici quelques explications qui vous permettront d’aborder sereinement de prochains articles de ce carnet portant sur les dictionnaires, bilingues notamment.

Les dictionnaires sont des outils couramment utilisés, dans le cadre de la scolarité ou de la vie quotidienne. On peut d’ailleurs s’en servir sans avoir une connaissance particulière des principes de leur conception ou des critères sur lesquels est constitué leur contenu. Par exemple, savez-vous que Le Petit Robert et Le Petit Larousse illustré relèvent de deux types de dictionnaires différents ?

Pour y voir plus clair, je vous propose ici une brève description de quelques grands types de dictionnaires. Ce ne sera pas exhaustif, mais ces explications devraient permettre à toute personne non spécialiste de se repérer dans de prochains articles de ce carnet, qui évoqueront éventuellement cette typologie.

Continuer la lecture de « Les types de dictionnaires »

Fiabilité de chardet

L’utilisation de chardet a déjà été évoquée sur ce carnet, dans cet article consacré à l’uniformisation de l’encodage d’un corpus textuel.

J’y indiquais que chardet.detect() permettait d’identifier l’encodage d’un fichier ouvert en binaire, afin de le décoder correctement. Le résultat retourné par cette fonction se présente sous forme d’un dictionnaire : celui-ci contient le nom de l’encodage reconnu à la clé encoding, mais également un indice de confiance dont la valeur correspond à la clé confidence.

Comprendre ce qu’est cet indice peut s’avérer utile, notamment pour repérer dans quels cas l’encodage risque d’être mal détecté.

Continuer la lecture de « Fiabilité de chardet »

Modèles chinois et japonais pour spaCy

La dernière mise à jour de spaCy (v2.3) inclut (entre autres) des modèles pour le chinois et pour le japonais. La segmentation et l’étiquetage s’appuient sur SudachiPy pour le japonais, et la segmentation est réalisée avec Jieba (par défaut) pour le chinois.

Si vous utilisez cette version de spaCy avec les paramètres par défaut pour segmenter un texte en chinois, vous devriez donc obtenir un résultat assez proche de la segmentation avec Jieba présentée dans un précédent article de ce carnet. Attention, ce ne sera pas forcément complètement identique, et l’étiquetage a également de grandes chances d’être différent.

Continuer la lecture de « Modèles chinois et japonais pour spaCy »

Uniformiser l’encodage d’un corpus avec Python

Quelques articles de ce carnet ont déjà été consacrés au traitement de données dans le cadre de la constitution d’un corpus, notamment l’étiquetage morphosyntaxique (pour le chinois, avec les étiqueteurs PyNLPIR et Jieba). Toutefois je n’y avais pas abordé la question de l’encodage des caractères.

Concernant les corpus écrits, l’encodage est un paramètre important.
Il doit :

  • Permettre la reconnaissance de tous les caractères présents dans le corpus .
  • Être le même dans tous les fichiers composant le corpus.
  • Être compatible avec les outils de traitement qui seront utilisés par la suite.

Lorsqu’on construit un corpus textuel, les données ne valident pas forcément ces critères au moment de leur collecte, et il est alors indispensable d’uniformiser l’encodage au plus vite.

Je vais détailler ici l’écriture d’un script Python permettant de convertir automatiquement en utf-8 un ensemble de fichiers, quel(s) que soi(en)t leur(s) encodage(s) d’origine.

Continuer la lecture de « Uniformiser l’encodage d’un corpus avec Python »

Frise chronologique avec LaTeX

Les concours externes ITA du CNRS sont ouverts pour cette année. C’est en passant l’un de ces concours l’année dernière que j’ai commencé à travailler à mon poste actuel, la passation du concours est donc encore un événement récent pour moi.

Je ne vais pas ici donner de conseils pour la constitution du dossier ou la préparation du concours à proprement parler, mais je voudrais vous montrer une méthode qui peut être efficace pour présenter un parcours professionnel et/ou de formation, sous forme de frise chronologique avec LaTeX. Je l’ai moi-même utilisée dans le diaporama accompagnant ma présentation orale lors de l’audition pour le concours.

Continuer la lecture de « Frise chronologique avec LaTeX »

Affichage des articles

Ce carnet comporte maintenant un certain nombre d’articles. Certains sont relativement longs et les afficher en entier sur la page d’accueil rendait la navigation assez laborieuse.

À partir de maintenant, les articles longs ne seront plus affichés intégralement : le début de l’article figurera sur la page d’accueil du carnet, et le texte intégral sera accessible en cliquant sur le lien Continuer la lecture.

Cette modification a également été appliquée aux articles déjà présents sur le carnet.

Citer ce billet : “Affichage des articles”, par Alexander Delaporte. Publié sur Tekipaki le 05/06/2020. Lien : https://tekipaki.hypotheses.org/388.

Webinaires AFLA 2020

Deux webinaires ont été proposés la semaine dernière par l’Association Française de Linguistique Appliquée (AFLA). Il est maintenant possible de revoir librement les enregistrements1.

Le thème de la première séance était « Les langues des familles dans l’éducation en temps de crise (et au-delà…) », présenté par Nathalie Blanc2 et Jean-Luc Vidalenc3. Cette séance était animée par Grégory Miras4.

La seconde séance portait sur le thème « Parole publique en temps de crise », présenté par Albin Wagener5, accompagné par Julien Longhi6.

Ces webinaires ont été organisés par Julien Longhi (CY Cergy Paris Université) & Grégory Miras (Univ. de Rouen Normandie) avec le soutien de Julie Mesnildrey (Univ. de Rouen Normandie).

Citer ce billet : “Webinaires AFLA 2020”, par Alexander Delaporte. Publié sur Tekipaki le 02/06/2020. Lien : https://tekipaki.hypotheses.org/358.
  1. Ces enregistrements sont mis à disposition par l’AFLA et l’Université de Rouen Normandie. Je n’en suis absolument pas l’auteur, j’ai simplement demandé le droit de les présenter sur mon carnet. []
  2. INSPE – Univ. Lyon I []
  3. Enseignant et formateur []
  4. Univ. Rouen Normandie []
  5. Univ. Rennes 2/Inalco []
  6. CY Cergy Paris Université []

Étiquetage morphosyntaxique avec Jieba

Mon travail sur le traitement d’un corpus écrit m’a amené à étiqueter le texte avec deux étiqueteurs morphosyntaxiques différents, PyNLPIR et Jieba. Un article a déjà été consacré à la marche à suivre pour réaliser l’étiquetage avec PyNLPIR, voyons maintenant comment faire avec Jieba.

Continuer la lecture de « Étiquetage morphosyntaxique avec Jieba »

Étiquetage morphosyntaxique avec PyNLPIR

L’étiquetage morphosyntaxique (ou POS-tagging) est une étape habituelle dans la constitution d’un corpus textuel, assez étroitement liée à la langue dans laquelle le texte est écrit.

Il n’y a pas très longtemps, j’ai réalisé deux versions de l’étiquetage d’un corpus écrit en chinois, sous Python. Je vais donc partager successivement la façon dont j’ai procédé avec chacun des deux étiqueteurs, à savoir PyNLPIR (implémentation Python du logiciel NLPIR/ICTCLAS) et Jieba.

Continuer la lecture de « Étiquetage morphosyntaxique avec PyNLPIR »

Lexique linguistique en japonais – 02

Encore une fois, quelques mots repérés pendant une lecture de dictionnaire bilingue. Comme pour le précédent article, les prononciations sont indiquées en kana ainsi qu’en en rōmaji (transcription Hepburn) pour qu’elles soient accessibles même sans apprentissage des hiragana et katakana.

Les mots et équivalents traductionnels présentés ici viennent du dictionnaire suivant :

  • Sanseido’s New Concise English-Japanese Dictionary, Revised Edition | 新コンサイス英和辞典・第2版 (1985). Tokyo : Sanseido.
Continuer la lecture de « Lexique linguistique en japonais – 02 »

Revue Koko

Il reste 15 jours pour financer ce projet de première revue interculturelle bilingue français-japonais (日本語とフランス語でカルチャーを紹介する初めての雑誌). Si l’objectif est atteint, le premier numéro sortira en juin, comportera 132 pages et sera consacré au thème de l’art urbain.

Koko se veut une passerelle entre la France et le Japon
Kokoはフランスと日本の懸け橋になりたいと考えています

Chaque numéro sera l’occasion d’explorer un thème et d’en révéler les spécificités culturelles grâce à une série d’articles bilingues : cette approche interculturelle et multilingue constitue l’identité et l’originalité de notre revue.

毎号2か国語で書かれた記事によって、テーマに沿ったカルチャーの特徴を掘り下げ、文化的な面から多言語によるアプローチで当雑誌の個性と独創性を表現します。

Présentation du projet sur la page Kickstarter

Retrouvez une présentation plus détaillée sur le site web de la revue Koko.

Citer ce billet : “Revue Koko”, par Alexander Delaporte. Publié sur Tekipaki le 01/05/2020. Lien : https://tekipaki.hypotheses.org/260.