Classification non-supervisée de documents à partir des modèles Transformeurs - Université Paris Cité Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

Classification non-supervisée de documents à partir des modèles Transformeurs

Résumé

Pre-trained Transformer-based word embeddings are now widely used in text mining where they are known to significantly improve supervised tasks such as text classification, named entity recognition and question answering. Since the Transformer models create several different embeddings for the same input, one at each layer of their architecture, various studies have already tried to identify those of these embeddings that most contribute to the success of the above-mentioned tasks. In contrast the same performance analysis has not yet been carried out in the unsupervised setting. In this paper we evaluate the effectiveness of Transformer models on the important task of text clustering. In particular, we present a clustering ensemble approach that harnesses all the network’s layers. Numerical experiments carried out on real datasets with different Transformer models show the effectiveness of the proposed method compared to several baselines.
Les plongements de mots pré-entraînés basés sur les modèles Transformeur sont maintenant largement utilisés dans l'exploration de textes où ils sont connus pour améliorer de manière significative les tâches supervisées telles que la classification supervisée de textes, la reconnaissance d'entités nommées et la réponse aux questions. Puisque les modèles Transformeur créent plusieurs plongements différents pour la même entrée, un à chaque couche de leur architecture, diverses études ont déjà essayé d'identifier ceux de ces plongements qui contribuent le plus au succès des tâches mentionnées ci-dessus. En revanche, la même analyse des performances n'a pas encore été réalisée dans le cadre non supervisé. Dans cet article, nous évaluons l'efficacité des modèles Transformeur sur l'importante de la tâche de classification non supervisée de documents. En particulier, nous présentons une approche \emph{clustering ensemble} qui exploite toutes les couches du réseau. Des expériences numériques menées sur des ensembles de données réels avec différents modèles Transformeur montrent l'efficacité de la méthode proposée par rapport à plusieurs stratégies habituellement utilisées.
Fichier principal
Vignette du fichier
AITSAADA_etal_EGC2022_.pdf (889.31 Ko) Télécharger le fichier
AITSAADA_etal_EGC2022.pdf (889.21 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03916328 , version 1 (30-12-2022)
hal-03916328 , version 2 (30-01-2023)

Identifiants

  • HAL Id : hal-03916328 , version 2

Citer

Mira Ait-Saada, François Role, Mohamed Nadif. Classification non-supervisée de documents à partir des modèles Transformeurs. Revue des Nouvelles Technologies de l'Information, Extraction et Gestion des Connaissances, RNTI-E-38, 2022, Blois, France. ⟨hal-03916328v2⟩
33 Consultations
54 Téléchargements

Partager

Gmail Facebook X LinkedIn More