La dernière mise à jour de spaCy (v2.3) inclut (entre autres) des modèles pour le chinois et pour le japonais. La segmentation et l’étiquetage s’appuient sur SudachiPy pour le japonais, et la segmentation est réalisée avec Jieba (par défaut) pour le chinois.
Si vous utilisez cette version de spaCy avec les paramètres par défaut pour segmenter un texte en chinois, vous devriez donc obtenir un résultat assez proche de la segmentation avec Jieba présentée dans un précédent article de ce carnet. Attention, ce ne sera pas forcément complètement identique, et l’étiquetage a également de grandes chances d’être différent.
Continuer la lecture de « Modèles chinois et japonais pour spaCy »