


Comment résoudre le problème que Flink ne peut pas trouver le script de tache Python lors de la soumission de l'application Pyflink à l'application de fils?
Apr 19, 2025 pm 05:21 PMSolution aux scripts Python introuvables lorsque Flink soumet un travail de pyflink en fil
Lors de la soumission des travaux Pyflink à un fil à l'aide de Flink, si vous rencontrez une erreur dans laquelle le script Python ne peut pas être trouvé, il est généralement causé par une erreur de configuration de chemin de script Python ou un problème de paramètre d'environnement Python. Cet article analyse et résout ce problème.
Vous avez soumis un travail Pyflink en utilisant la commande suivante:
./flink run-application -t yarn-application \ -Dyarn.Application.Name = FlinkcdCTestpython \ -Dyarn.Provided.lib.Dirs = "HDFS: // Namesservice1 / Pyflink / Flink-Dist-181" \ -pyarch hdfs: //nameservice1/pyflink/pyflink181.zip \ -pyclientexec pyflink181.zip/pyflink181/bin/python \ -pyexec pyflink181.zip/pyflink181/bin/python \ -py hdfs: //nameservice1/pyflink/wc2.py
Le message d'erreur est le suivant:
<code>2024-05-24 16:38:02,030 info org.apache.flink.client.python.pythondriver [] - pyflink181.zip/pyflink181/bin/python: can't open file 'hdfs://nameservice1/pyflink/wc2.py': [errno 2] no such file or directory</code>
Cette erreur indique que Flink ne peut pas trouver le script Python spécifié wc2.py
Cependant, la configuration HDFS est normale lors de la soumission du travail Java, ce qui signifie qu'il n'y a pas de problème avec la configuration HDFS elle-même.
Les problèmes peuvent résider dans les aspects suivants:
-
Path de script Python: Double vérifiez si le chemin
hdfs://nameservice1/pyflink/wc2.py
est correct et si le fichierwc2.py
existe sous ce chemin. Vérifiez l'utilisation de la commande HDFS:hdfs dfs -ls hdfs: //nameservice1/pyflink/wc2.py
-
Configuration de l'environnement Python:
-pyclientexec
et-pyexec
spécifient l'environnement d'exécution Python. Assurez-vous que l'environnement Python danspyflink181.zip
est configuré correctement et a accès à HDFS. Il est recommandé de pointer directement les paramètres vers le chemin d'environnement Python sur HDFS:-PycLIenExec hdfs: //nameservice1/pyflink/pyflink181.zip/pyflink181/bin/python -pyexec hdfs: //nameservice1/pyflink/pyflink181.zip/pyflink181/bin/python
-
Problème des autorisations: assurez-vous que le travail Flink a la permission d'accéder aux fichiers de script Python sur HDFS. Vérifiez les autorisations de fichier:
hdfs dfs -ls -h hdfs: //nameservice1/pyflink/wc2.py
Compatibilité de la version Flink et Pyflink: Confirmer que la version Flink est compatible avec la version Pyflink. L'inadéquation de la version peut causer des problèmes.
Grace aux étapes ci-dessus, vous devriez être en mesure de trouver et de résoudre le problème que Flink ne peut pas trouver le script Python lors de la soumission des travaux Pyflink. Si le problème persiste, vérifiez les fichiers journaux de Flink et Pyflink pour plus d'indices.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undress AI Tool
Images de déshabillage gratuites

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Clothoff.io
Dissolvant de vêtements AI

Video Face Swap
échangez les visages dans n'importe quelle vidéo sans effort grace à notre outil d'échange de visage AI entièrement gratuit?!

Article chaud

Outils chauds

Bloc-notes++7.3.1
éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

L'entrée vocale de l'utilisateur est capturée et envoyée au backend PHP via l'API MediaRecorder du JavaScript frontal; 2. PHP enregistre l'audio en tant que fichier temporaire et appelle STTAPI (tel que Google ou Baidu Voice Recognition) pour le convertir en texte; 3. PHP envoie le texte à un service d'IA (comme Openaigpt) pour obtenir une réponse intelligente; 4. PHP appelle ensuite TTSAPI (comme Baidu ou Google Voice Synthesis) pour convertir la réponse en fichier vocal; 5. PHP diffuse le fichier vocal vers l'avant pour jouer, terminant l'interaction. L'ensemble du processus est dominé par PHP pour assurer une connexion transparente entre toutes les liens.

Pour réaliser la correction d'erreur de texte et l'optimisation de la syntaxe avec l'IA, vous devez suivre les étapes suivantes: 1. Sélectionnez un modèle ou une API d'IA appropriée, tels que Baidu, Tencent API ou bibliothèque NLP open source; 2. Appelez l'API via Curl ou Guzzle de PHP et traitez les résultats de retour; 3. Afficher les informations de correction d'erreur dans l'application et permettre aux utilisateurs de choisir d'adopter l'adoption; 4. Utilisez PHP-L et PHP_CODESNIFFER pour la détection de syntaxe et l'optimisation du code; 5. Collectez en continu les commentaires et mettez à jour le modèle ou les règles pour améliorer l'effet. Lorsque vous choisissez AIAPI, concentrez-vous sur l'évaluation de la précision, de la vitesse de réponse, du prix et du support pour PHP. L'optimisation du code doit suivre les spécifications du PSR, utiliser le cache raisonnablement, éviter les requêtes circulaires, revoir le code régulièrement et utiliser x

Le r?le principal de Homebrew dans la construction de l'environnement Mac est de simplifier l'installation et la gestion des logiciels. 1. Homebrew gère automatiquement les dépendances et encapsule les processus de compilation et d'installation complexes en commandes simples; 2. Fournit un écosystème de package logiciel unifié pour assurer la normalisation de l'emplacement et de la configuration de l'installation logicielle; 3. Intègre les fonctions de gestion des services et peut facilement démarrer et arrêter les services via BrewServices; 4. Mise à niveau et maintenance des logiciels pratiques et améliore la sécurité et les fonctionnalités du système.

Utilisez le plot conjoint de Seaborn pour visualiser rapidement la relation et la distribution entre deux variables; 2. Le tracé de diffusion de base est implémenté par sn.jointplot (data = pointes, x = "total_bill", y = "Tip", kind = "dispers"), le centre est un tracé de dispersion et l'histogramme est affiché sur les c?tés supérieur et inférieur et droit; 3. Ajouter des lignes de régression et des informations de densité à un kind = "reg" et combiner marginal_kws pour définir le style de tracé de bord; 4. Lorsque le volume de données est important, il est recommandé d'utiliser "Hex"

Pour intégrer la technologie informatique des sentiments de l'IA dans les applications PHP, le noyau est d'utiliser les services cloud AIAPI (tels que Google, AWS et Azure) pour l'analyse des sentiments, envoyer du texte via les demandes HTTP et analyser les résultats JSON renvoyés et stocker les données émotionnelles dans la base de données, réalisant ainsi le traitement automatisé et les informations sur les données de la rétroaction des utilisateurs. Les étapes spécifiques incluent: 1. Sélectionnez une API d'analyse des sentiments d'IA appropriée, en considérant la précision, le co?t, le support linguistique et la complexité d'intégration; 2. Utilisez Guzzle ou Curl pour envoyer des demandes, stocker les scores de sentiment, les étiquettes et les informations d'intensité; 3. Construisez un tableau de bord visuel pour prendre en charge le tri prioritaire, l'analyse des tendances, la direction d'itération du produit et la segmentation de l'utilisateur; 4. Répondez aux défis techniques, tels que les restrictions d'appel API et les chiffres

Les listes de cha?nes peuvent être fusionnées avec la méthode join (), telles que '' .join (mots) pour obtenir "HelloworldFrompython"; 2. Les listes de nombres doivent être converties en cha?nes avec MAP (STR, nombres) ou [STR (x) Forxinnumbers] avant de rejoindre; 3. Toute liste de types peut être directement convertie en cha?nes avec des supports et des devis, adaptées au débogage; 4. Les formats personnalisés peuvent être implémentés par des expressions de générateur combinées avec join (), telles que '|' .join (f "[{item}]" ForIteminitems)

PythonCanBeoptimizedFormemory-Boundoperations AdreductoverHeadHroughGenerators, EfficientDatastructures et ManagingObjectliFetimes.first, useGeneratorsInSteadofListStoproceSlargedataseSeItematatime, EvitingLoadingEnteryToMeToMeMory.

pandas.melt () est utilisé pour convertir les données de format larges en format long. La réponse consiste à définir de nouveaux noms de colonne en spécifiant id_vars conserver la colonne d'identification, Value_Vars Sélectionnez la colonne à fondre, var_name et valeur_name, 1.id_vars = 'name' signifie que la colonne de nom reste inchangée, 2.Value_vars = [Math ',' English ',' Science '. du nom de colonne d'origine, 4.value_name = 'score' définit le nouveau nom de colonne de la valeur d'origine et génère enfin trois colonnes, notamment le nom, le sujet et le score.
