Video joint denoising and demosaicing with recurrent CNNs - Université Paris Cité Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

Video joint denoising and demosaicing with recurrent CNNs

Débruitage et dématriçage conjoint de vidéo avec des réseaux de neurones convolutifs et récurrents

Valéry Dewil
  • Fonction : Auteur
  • PersonId : 1095129
Thibaud Ehret
Nicola Brandonisio
  • Fonction : Auteur
Denis Bujoreanu
Gabriele Facciolo
  • Fonction : Auteur
  • PersonId : 1095128
Pablo Arias
  • Fonction : Auteur
  • PersonId : 1036093

Résumé

Denoising and demosaicing are two critical components of the image/video processing pipeline. While historically these two tasks have mainly been considered separately, current neural network approaches allow to obtain state of-the-art results by treating them jointly. However, most existing research focuses in single image or burst joint denoising and demosaicing (JDD). Although related to burst JDD, video JDD deserves its own treatment. In this work we present an empirical exploration of different design aspects of video joint denoising and demosaicing using neural networks. We compare recurrent and non-recurrent approaches and explore aspects such as type of propagated information in recurrent networks, motion compensation, video stabilization, and network architecture. We found that recurrent networks with motion compensation achieve best results. Our work should serve as a strong baseline for future research in video JDD.
Le débruitage et le dématriçage sont deux composantes importantes de la chaîne de traitement des images et des vidéos. Tandis que traditionnellement, ces deux tâches ont largement été appliquées séparément, les approches actuelles basées sur les réseaux de neurones permettent d'atteindre des résultats état de l'art en les traitant conjointement. Cependant, la plupart des recherches en débruitage et dématriçage conjoint (DDC) ne considèrent uniquement que le cas des images ou alors des séries d'images. Bien que lié au DDC de série d'image, le DDC de vidéos mérite son propre traitement. Dans cet article, nous présentons une exploration empirique de différentes conceptions de débruitage et dématriçage conjoint de vidéos en utilisant des réseaux de neurones. Nous y comparons les approches récurrentes et non récurrentes et nous explorons différents aspects tels que le type d'information à propager dans un réseau récurrent, la compensation de mouvement, la stabilization du mouvement des vidéos et l'architecture des réseaux. Nous avons trouvé que les meilleurs résultats sont atteints avec des réseaux récurrents avec compensation du mouvement. Notre travail servira de référence solide pour les futurs travaux en débruitage et dématriçage conjoint de vidéos.
Fichier principal
Vignette du fichier
RVDD.pdf (5.51 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03819067 , version 1 (18-10-2022)

Identifiants

Citer

Valéry Dewil, Adrien Courtois, Mariano Rodríguez, Thibaud Ehret, Nicola Brandonisio, et al.. Video joint denoising and demosaicing with recurrent CNNs. Winter Conference on Applications of Computer Vision (WACV), Jan 2023, Waikoloa (Hawaii), United States. ⟨10.1109/wacv56688.2023.00508⟩. ⟨hal-03819067⟩
189 Consultations
165 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More