亚洲国产日韩欧美一区二区三区,精品亚洲国产成人av在线,国产99视频精品免视看7,99国产精品久久久久久久成人热,欧美日韩亚洲国产综合乱

Maison développement back-end Tutoriel Python Correspondance sémantique des identifiants de texte à l'aide des intégrations LASER en Python

Correspondance sémantique des identifiants de texte à l'aide des intégrations LASER en Python

Nov 25, 2024 am 05:33 AM

Semantic Matching of Text Identifiers Using LASER Embeddings in Python

Lorsque vous utilisez l'OCR pour numériser des rapports financiers, vous pouvez rencontrer diverses approches pour détecter des catégories spécifiques dans ces rapports. Par exemple, des méthodes traditionnelles telles que l'algorithme de Levenshtein peuvent être utilisées pour la correspondance de cha?nes en fonction de la distance d'édition, ce qui les rend efficaces pour gérer les correspondances proches, telles que la correction de fautes de frappe ou de petites variations dans le texte.

Cependant, le défi devient plus complexe lorsque vous devez détecter plusieurs catégories sur une seule ligne d'un rapport, en particulier lorsque ces catégories peuvent ne pas appara?tre exactement comme prévu ou se chevaucher sémantiquement.

Dans cet article, nous analysons une approche de correspondance sémantique utilisant les intégrations LASER (Language-Agnostic SEntence Representations) de Facebook, montrant comment il peut gérer efficacement cette tache.

Problème

L'objectif est d'identifier des termes financiers (catégories) spécifiques dans une ligne de texte donnée. Supposons que nous disposions d'un ensemble fixe de catégories prédéfinies qui représentent tous les termes d'intérêt possibles, tels que?:

["revenus", "dépenses d'exploitation", "bénéfice d'exploitation", "amortissements", "intérêts", "bénéfice net", "imp?ts", "bénéfice après imp?ts", "métrique 1"]

étant donné une ligne de saisie comme?:

"Bénéfice d'exploitation, bénéfice net et bénéfice après imp?ts"

Nous visons à détecter quels identifiants apparaissent dans cette ligne.

Correspondance sémantique avec LASER

Au lieu de nous appuyer sur des correspondances de texte exactes ou floues, nous utilisons la similarité sémantique. Cette approche exploite les intégrations LASER pour capturer la signification sémantique du texte et le compare en utilisant la similarité cosinus.

Mise en ?uvre

Prétraitement du texte

Avant l'intégration, le texte est prétraité en le convertissant en minuscules et en supprimant les espaces supplémentaires. Cela garantit l'uniformité.

def preprocess(text):
    return text.lower().strip()

Intégration des identifiants et de la ligne d'entrée

L'encodeur LASER génère des intégrations normalisées à la fois pour la liste des identifiants et la ligne d'entrée/OCR.

identifier_embeddings = encoder.encode_sentences(identifiers, normalize_embeddings=True)
ocr_line_embedding = encoder.encode_sentences([ocr_line], normalize_embeddings=True)[0]

Classement des identifiants par spécificité

Les identifiants plus longs sont priorisés en les triant en fonction du nombre de mots. Cela permet de gérer les correspondances imbriquées, où les identifiants plus longs peuvent englober les plus courts (par exemple, ??bénéfice après imp?t?? englobe ??bénéfice??).

ranked_identifiers = sorted(identifiers, key=lambda x: len(x.split()), reverse=True)
ranked_embeddings = encoder.encode_sentences(ranked_identifiers, normalize_embeddings=True)

Calcul de similarité

En utilisant la similarité cosinus, nous mesurons la similitude sémantique de chaque identifiant avec la ligne d'entrée. Les identifiants dont la similarité dépasse un seuil spécifié sont considérés comme des correspondances.

matches = []
threshold = 0.6

for idx, identifier_embedding in enumerate(ranked_embeddings):
    similarity = cosine_similarity([identifier_embedding], [ocr_line_embedding])[0][0]
    if similarity >= threshold:
        matches.append((ranked_identifiers[idx], similarity))

Résolution des correspondances imbriquées

Pour gérer les identifiants qui se chevauchent, les correspondances les plus longues sont prioritaires, garantissant ainsi l'exclusion des correspondances les plus courtes.

def preprocess(text):
    return text.lower().strip()

Résultats

Lorsque le code est exécuté, la sortie fournit une liste des correspondances détectées ainsi que leurs scores de similarité. Pour l'exemple de saisie?:

identifier_embeddings = encoder.encode_sentences(identifiers, normalize_embeddings=True)
ocr_line_embedding = encoder.encode_sentences([ocr_line], normalize_embeddings=True)[0]

Considérations relatives aux entrées plus longues et complexes

Cette méthode fonctionne bien dans les rapports financiers structurés comportant plusieurs catégories sur une seule ligne, à condition qu'il n'y ait pas trop de catégories ou beaucoup de texte sans rapport. Cependant, la précision peut se dégrader avec des entrées plus longues et complexes ou avec du texte non structuré généré par l'utilisateur, car les intégrations peuvent avoir du mal à se concentrer sur les catégories pertinentes. Il est moins fiable pour les entrées bruyantes ou imprévisibles.

Conclusion

Cet article montre comment les intégrations LASER peuvent être un outil utile pour détecter plusieurs catégories dans le texte. Est-ce la meilleure option ? Peut-être pas, mais c'est certainement l'une des options à considérer, en particulier lorsqu'il s'agit de scénarios complexes où les techniques d'appariement traditionnelles pourraient échouer.

Code complet

ranked_identifiers = sorted(identifiers, key=lambda x: len(x.split()), reverse=True)
ranked_embeddings = encoder.encode_sentences(ranked_identifiers, normalize_embeddings=True)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefa?on, veuillez contacter admin@php.cn

Outils d'IA chauds

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

Video Face Swap

Video Face Swap

échangez les visages dans n'importe quelle vidéo sans effort grace à notre outil d'échange de visage AI entièrement gratuit?!

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Polymorphisme dans les classes python Polymorphisme dans les classes python Jul 05, 2025 am 02:58 AM

Le polymorphisme est un concept de base dans la programmation orientée objet Python, se référant à "une interface, plusieurs implémentations", permettant le traitement unifié de différents types d'objets. 1. Le polymorphisme est implémenté par la réécriture de la méthode. Les sous-classes peuvent redéfinir les méthodes de classe parent. Par exemple, la méthode Spoke () de classe animale a des implémentations différentes dans les sous-classes de chiens et de chats. 2. Les utilisations pratiques du polymorphisme comprennent la simplification de la structure du code et l'amélioration de l'évolutivité, tels que l'appel de la méthode Draw () uniformément dans le programme de dessin graphique, ou la gestion du comportement commun des différents personnages dans le développement de jeux. 3. Le polymorphisme de l'implémentation de Python doit satisfaire: la classe parent définit une méthode, et la classe enfant remplace la méthode, mais ne nécessite pas l'héritage de la même classe parent. Tant que l'objet implémente la même méthode, c'est ce qu'on appelle le "type de canard". 4. Les choses à noter incluent la maintenance

Arguments et paramètres de fonction Python Arguments et paramètres de fonction Python Jul 04, 2025 am 03:26 AM

Les paramètres sont des espaces réservés lors de la définition d'une fonction, tandis que les arguments sont des valeurs spécifiques transmises lors de l'appel. 1. Les paramètres de position doivent être passés dans l'ordre, et l'ordre incorrect entra?nera des erreurs dans le résultat; 2. Les paramètres de mots clés sont spécifiés par les noms de paramètres, qui peuvent modifier l'ordre et améliorer la lisibilité; 3. Les valeurs de paramètres par défaut sont attribuées lorsqu'elles sont définies pour éviter le code en double, mais les objets variables doivent être évités comme valeurs par défaut; 4. Les args et * kwargs peuvent gérer le nombre incertain de paramètres et conviennent aux interfaces générales ou aux décorateurs, mais doivent être utilisées avec prudence pour maintenir la lisibilité.

Expliquez les générateurs et itérateurs Python. Expliquez les générateurs et itérateurs Python. Jul 05, 2025 am 02:55 AM

Les itérateurs sont des objets qui implémentent __iter __ () et __Next __ (). Le générateur est une version simplifiée des itérateurs, qui implémentent automatiquement ces méthodes via le mot clé de rendement. 1. L'ITERATOR renvoie un élément chaque fois qu'il appelle Next () et lance une exception d'arrêt lorsqu'il n'y a plus d'éléments. 2. Le générateur utilise la définition de la fonction pour générer des données à la demande, enregistrer la mémoire et prendre en charge les séquences infinies. 3. Utilisez des itérateurs lors du traitement des ensembles existants, utilisez un générateur lors de la génération de Big Data ou de l'évaluation paresseuse, telles que le chargement ligne par ligne lors de la lecture de fichiers volumineux. Remarque: les objets itérables tels que les listes ne sont pas des itérateurs. Ils doivent être recréés après que l'itérateur a atteint sa fin, et le générateur ne peut le traverser qu'une seule fois.

Python `@ ClassMethod` Décorateur expliqué Python `@ ClassMethod` Décorateur expliqué Jul 04, 2025 am 03:26 AM

Une méthode de classe est une méthode définie dans Python via le décorateur @classMethod. Son premier paramètre est la classe elle-même (CLS), qui est utilisée pour accéder ou modifier l'état de classe. Il peut être appelé via une classe ou une instance, qui affecte la classe entière plut?t que par une instance spécifique; Par exemple, dans la classe de personne, la méthode show_count () compte le nombre d'objets créés; Lorsque vous définissez une méthode de classe, vous devez utiliser le décorateur @classMethod et nommer le premier paramètre CLS, tel que la méthode Change_var (new_value) pour modifier les variables de classe; La méthode de classe est différente de la méthode d'instance (auto-paramètre) et de la méthode statique (pas de paramètres automatiques), et convient aux méthodes d'usine, aux constructeurs alternatifs et à la gestion des variables de classe. Les utilisations courantes incluent:

Comment gérer l'authentification de l'API dans Python Comment gérer l'authentification de l'API dans Python Jul 13, 2025 am 02:22 AM

La clé pour gérer l'authentification de l'API est de comprendre et d'utiliser correctement la méthode d'authentification. 1. Apikey est la méthode d'authentification la plus simple, généralement placée dans l'en-tête de demande ou les paramètres d'URL; 2. BasicAuth utilise le nom d'utilisateur et le mot de passe pour la transmission de codage Base64, qui convient aux systèmes internes; 3. OAuth2 doit d'abord obtenir le jeton via client_id et client_secret, puis apporter le Bearertoken dans l'en-tête de demande; 4. Afin de gérer l'expiration des jetons, la classe de gestion des jetons peut être encapsulée et rafra?chie automatiquement le jeton; En bref, la sélection de la méthode appropriée en fonction du document et le stockage en toute sécurité des informations clés sont la clé.

Quelles sont les méthodes Python Magic ou les méthodes Dunder? Quelles sont les méthodes Python Magic ou les méthodes Dunder? Jul 04, 2025 am 03:20 AM

Les MagicMethodes de Python (ou Méthodes Dunder) sont des méthodes spéciales utilisées pour définir le comportement des objets, qui commencent et se terminent par un double soulignement. 1. Ils permettent aux objets de répondre aux opérations intégrées, telles que l'addition, la comparaison, la représentation des cha?nes, etc.; 2. Les cas d'utilisation courants incluent l'initialisation et la représentation des objets (__init__, __repr__, __str__), les opérations arithmétiques (__add__, __sub__, __mul__) et les opérations de comparaison (__eq__, ___lt__); 3. Lorsque vous l'utilisez, assurez-vous que leur comportement répond aux attentes. Par exemple, __Repr__ devrait retourner les expressions d'objets refactorables et les méthodes arithmétiques devraient renvoyer de nouvelles instances; 4. Des choses sur l'utilisation ou la confusion doivent être évitées.

Comment fonctionne la gestion de la mémoire Python? Comment fonctionne la gestion de la mémoire Python? Jul 04, 2025 am 03:26 AM

PythonManagesMemoryAutomAticalusingreferenceCountandAgarBageCollect

Décrivez la collection Python Garbage à Python. Décrivez la collection Python Garbage à Python. Jul 03, 2025 am 02:07 AM

Le mécanisme de collecte des ordures de Python gère automatiquement la mémoire grace à un comptage de référence et à la collecte périodique des ordures. Sa méthode principale est le comptage de référence, qui libère immédiatement la mémoire lorsque le nombre de références d'un objet est nul; Mais il ne peut pas gérer les références circulaires, donc un module de collecte d'ordures (GC) est introduit pour détecter et nettoyer la boucle. La collecte des ordures est généralement déclenchée lorsque le nombre de références diminue pendant le fonctionnement du programme, la différence d'allocation et de libération dépasse le seuil, ou lorsque GC.Collect () est appelé manuellement. Les utilisateurs peuvent désactiver le recyclage automatique via GC.Disable (), exécuter manuellement GC.Collect () et ajuster les seuils pour atteindre le contr?le via gc.set_thershold (). Tous les objets ne participent pas au recyclage des boucles. Si les objets qui ne contiennent pas de références sont traités par comptage de référence, il est intégré

See all articles