Mise en œuvre d’un ocr par machine learning mise à disposition via api et intégration dans la solution tessi lab document reader

M. Marc Denty (TESSILAB)
1.1 Contexte et cadre d’étude . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Présentation de l’établissement d’accueil . . . . . . . . . . . . . . . . 2
1.2.1 Tessi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.2 Tessi Lab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.3 TLDR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 Problématique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.4 Objectif du stage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.5 Structure du mémoire . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2 La segmentation de texte . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2.1 Approche Region-Based detector . . . . . . . . . . . . . . . . 6
2.2.2 Approche traitement d’image . . . . . . . . . . . . . . . . . . 7
2.3 La reconnaissance de texte . . . . . . . . . . . . . . . . . . . . . . . . 10
2.4 Modèle entraînable de bout en bout . . . . . . . . . . . . . . . . . . . 10
2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.2 Segmentation avec Mask RCNN . . . . . . . . . . . . . . . . . . . . . 12
3.2.1 Modèle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.3 Reconnaissance de séquence basée sur l’image . . . . . . . . . . . . . 15
3.3.1 Modèle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.4 Segmentation par traitement d’image . . . . . . . . . . . . . . . . . . 18
3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
4.2 Ressources matérielles et logicielles . . . . . . . . . . . . . . . . . . . 20
4.3 Données utilisées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
4.4 Entraînements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
5.2 Modèle basé sur “Region-Based detector” . . . . . . . . . . . . . . . . 25
5.3 Modèle basé sur la “reconnaissance de séquence basée sur l’image” . . 26
5.4 Les difficultés du modèle . . . . . . . . . . . . . . . . . . . . . . . . . 26
5.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.1 Détection d’objet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.2 Exemple de Segmentation d’instances dans la pratique . . . . . . . . 7
2.3 Exemple de segmentation d’instances dans Mask RCNN . . . . . . . . 7
2.4 Exemple de seuillage . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.5 Exemple de lissage avec un filtre de convolution 2D . . . . . . . . . . 8
2.6 Exemple de différents type d’opérations morphologiques . . . . . . . . 9
2.7 Exemple de détection de contour . . . . . . . . . . . . . . . . . . . . 9
3.1 Architecture du réseau inspiré de Mask RCNN pour la segmentation
3.2 Architecture FPN (chemin ascendant, descendant et connexions laté-
3.3 DenseNet dense bloc . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.4 Représentation schématique de RPN . . . . . . . . . . . . . . . . . . 16
3.5 Exemple de VGG16 sans la partie MLP . . . . . . . . . . . . . . . . . 16
3.6 Exemple d’un bloc de convolution . . . . . . . . . . . . . . . . . . . . 17
3.7 Champ réceptif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.8 LSTM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.9 Illustration naïve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.10 Approche CTC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.11 Formule de la fonction de perte CTC . . . . . . . . . . . . . . . . . . 19
3.12 Module de traitement d’image intégré au modèle OCR . . . . . . . . 19
4.1 Exemple d’annotation par ligne de texte sur le jeu de données pour
4.2 Structure du jeu de données pour le modèle CRNN . . . . . . . . . . 22
4.3 Architecture du réseau CRNN . . . . . . . . . . . . . . . . . . . . . . 24
5.1 Prédiction sur un document après "100 epochs" d’entraînement . . . 26
5.2 Perte du modèle au cours de la validation . . . . . . . . . . . . . . . . 27
5.3 Perte du modèle au cours de l’entraînement . . . . . . . . . . . . . . 27
4.1 Les ressources matérielles . . . . . . . . . . . . . . . . . . . . . . . . . 20
4.2 Ressources logicielles . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
5.1 Pertes sur le modèle MRCNN . . . . . . . . . . . . . . . . . . . . . . 25
5.2 Meilleure prédiction obtenue sur un document . . . . . . . . . . . . . 26
5.3 Résultats sur le modèle CRNN . . . . . . . . . . . . . . . . . . . . . . 27
1. L’étude de l’état de l’art.
2. La conception et l’implémentation d’une approche de segmentation de texte.
3. La conception et l’implémentation d’une approche de reconnaissance de texte.
1.1 Contexte et cadre d’étude
1.2 Présentation de l’établissement d’accueil
1. Tessi Documents Services, expert de la relation client, de l’externalisation
2. Tessi Marketing Services, spécialiste du marketing client, Shopper Retail,
1.2.3 TLDR
1.3 Problématique
1. Tesseract est un logiciel de reconnaissance optique de caractères sous licence Apache. Conçu
2. ABBYY est une multinationale russe qui fournit des logiciels de reconnaissance optique de
1.4 Objectif du stage
1.5 Structure du mémoire
2.1 Introduction
2.2 La segmentation de texte
2.2.1 Approche Region-Based detector
1. Détection d’objets
2.1
2. Classification
3. Segmentation d’instances
2.2
2.2.2 Approche traitement d’image
1. Seuillage
2. Lissage et débruitage
3. Transformations morphologiques