Etude approfondie des représentations de données textuelles dans l'apprentissage non supervisé - Université Paris Cité Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

Etude approfondie des représentations de données textuelles dans l'apprentissage non supervisé

Résumé

Dense text representations are gaining great interest in several supervised tasks but much less is known about how suitable they are when dealing with an unlabeled dataset. In this paper, we investigate the use of such representations in unsupervised tasks: document clustering and visualization. For that, we propose the use of a tandem approach based un UMAP, showing that we can do better than the fine-tuning approaches usually proposed in the literature.
Les plongements de textes ont récemment suscité un grand intérêt dans plusieurs tâches telles que la classification de textes/documents et la réponse aux questions. Cependant, bien que de nombreux défis soient rencontrés dans le domaine de l'apprentissage non supervisé, on en sait beaucoup moins sur la pertinence de ces différents plongements lorsqu'on dispose d'un ensemble de documents non labellisés. Dans cet article, nous étudions l'utilisation de telles représentations sur des tâches non supervisées : le clustering de documents et la visualisation. Ainsi, pour répondre à l'objectif de clustering, nous proposons d'utiliser une approche tandem combinant des techniques de réduction de dimension et de clustering. Nous montrons d'abord l'avantage de s'appuyer sur le sous-espace obtenu par Uniform Manifold Approximation and Projection (UMAP) pour le clustering plutôt que d'utiliser la réduction de dimension basée sur l'Analyse en composantes principales (ACP), plus souvent utilisée. Ensuite, à travers des expériences réalisées sur des jeux de données réels, nous montrons l'efficacité de l'approche tandem proposée sur des modèles pré-entraînés par rapport aux stratégies de ré-entraînement proposées dans la littérature.
Fichier principal
Vignette du fichier
EGC_2023_aitsaada_nadif.pdf (1.28 Mo) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-03951132 , version 1 (18-02-2023)

Identifiants

  • HAL Id : hal-03951132 , version 1

Citer

Mira Ait-Saada, Mohamed Nadif. Etude approfondie des représentations de données textuelles dans l'apprentissage non supervisé. 23ème Conférence francophone sur l'Extraction et la Gestion des Connaissances (EGC'2023), Jan 2023, Lyon, France. pp.361-368. ⟨hal-03951132⟩
13 Consultations
33 Téléchargements

Partager

Gmail Facebook X LinkedIn More