Infotel a participé à l’Office Européen des Brevets (OEB) au projet GROBID (GeneRation Of BIbliographic Data) qui visait à extraire via la méthode CRF (Conditional Random Field), une méthode originale de remise en ordre de lecture d’un texte désordonné et non structuré, certaines métadonnées directement issues du texte du document, comme par exemple des auteurs ou des références associées à un article.
Le contexte est ici l’OEB et plus précisément l’analyse automatique de documents non structurés type PDF issus de la littérature non brevet.
Solution
Infotel a participé à la phase d’apprentissage de GROBID, laquelle nécessitait d’extraire manuellement ces informations sur un grand nombre de documents.
GROBID est une librairie de machine learning qui permet d’extraire, parser et re-structurer des documents avec des textes désordonnés (de type PDF) en documents structurés de type TEI-encoded documents, en particulier en relation avec les publications techniques et scientifiques.
Les principales fonctionnalités sont l’extraction d’en-tête/de références et parsing à partir d’article au format PDF, appliquée aux données bibliographiques (titre, résumé,auteurs, mots-clés, etc.), l’extraction du Full text à partir d’articles, l’apprentissage de l’annotation sur un ensemble de documents, l’annotation automatique des documents et l’évaluation de l’annotation sur un ensemble de documents.
Architecture :
GROBID est une librairie écrite en Java, avec des appels JNI vers les librairies natives CRF, qui inclut des procédés batch, une API complète RESTful, une API JAVA, un framework d’évaluation relativement générique (précision, rappel, etc.) et la génération semi-automatique de données d’entraînement.
L’extraction et le parsing d’algorithmes GROBID utilise la librairie Wapiti CRF.
Résultats
Les aspects clés de cette phase sur GROBID ont été :
L’amélioration des performances : Extraction d’en-têtes à partir de 4000 PDF en 10 minutes (ou à partir de 3 PDF par seconde avec l’API RESTful), parsing de 3000 références en 18 seconds.
L’extraction de métadonnées des PDF qui nécessite moins de 2 GB de mémoire avec des traitements multi-threadés, extraction de citations qui utilise autour de 3GB et des structures des PDF autour de 4GB.
Le traitement rapide et robuste de PDF basé sur Xpdf et des post-traitements dédiés.
Le traitement de données bibliographiques riches : parsing fin des noms d’auteur, adresses, etc. mais aussi de pièces jointes et d’emails.
La « Génération Automatique » de données d’entraînement pré-formatées basées sur des nouveaux documents PDF pour supporter la génération semi-automatique de données d’entraînement.
Le support des langages CJK et Arabe basé sur des analyseurs personnalisés Lucene.
Ils témoignent
Méthode et ressources
Durée et nombre de jours de l’intervention :
Date de déroulement de l’étude : 2012-2013 Intervenants : Consultants SI d’Infotel, membres de l’équipe STL d’Infotel, chercheur CNRS de Paris Orsay
Traitement automatisé des demandes de prêt et simplification du KYC "Know Your Customer".
Fonctionnement
Amélioration du KYC et embarquement des clients en vérification automatiquement l'identité des nouveau clients grâce au traitement intelligent des documents d'identité sur le web ou dans une application.
Accélération des demandes de prêts et d'hypothèques : traitement et classification automatique des documents entrants, extraction des informations et validation des points de données.
Prévention de la fraude et respecte des règles : automatisation des contrôles de conformité réglementaire sur les contrats, les documents financiers et les documents d'identité.
Facilitation et simplification de la compréhension des dépenses des consommateurs : classification des transaction bancaires en lisant les données des postes de reçus et de factures.
Brevets
Traitement automatisé des documents scientifiques et autres documents liés au dépôt de brevet pour la propriété intellectuelle.
Fonctionnement
Reconnaissance et indexation automatique des champs pour une recherche précise parmi les documents relatifs au dépôt de brevet.
Uniformisation des documents en lien avec les spécifications qui sont ainsi mis à jour : bibliographie, brevet expiré, brevet renouvelé, etc.
Comptabilité
Traitement automatisé des reçus, factures et autres documents financiers etc.
Fonctionnement
Automatisation des processus comptable : réconciliation des comptes bancaires, déclaration de TVA, saisie des factures fournisseurs.
Standardisation et harmonisation des processus comptables de l'entreprise.
Sécurisation de la qualité des données en supprimant les erreurs manuelles et en synthétisant les contrôles.
Contribution à la réduction des risques de fraude, renforcement de la sécurité des opérations, la pise d'audit et le contrôle interne.
Accompagnement dans la conduite du changement et des équipes comptables sur l'appropriation de cette nouvelle solution.
