interface Web
js tutoriel
AWS Sideo Thumbnail Generator - Le guide de solution Node.js sans serveur
AWS Sideo Thumbnail Generator - Le guide de solution Node.js sans serveur
Dec 27, 2024 am 10:45 AM
REMARQUE?: Ne divisez pas en deux parties, il n'y a pas assez de texte ici pour justifier la division et l'article se concentre sur la solution sans discuter des choix.
Besoin de générer des miniatures vidéo de manière efficace et rentable à grande échelle?? Créons une solution véritablement sans serveur à l'aide d'AWS Lambda dont l'exécution ne co?te que quelques centimes, par rapport à l'utilisation de services de traitement multimédia dédiés.
Ce que nous allons construire
La solution consiste en une fonction Node.js Lambda qui?:
- Traite les formats vidéo courants
- échelles basées sur la charge de travail
- Implémente une logique de nouvelle tentative pour les opérations ayant échoué
- Déploiement via Infrastructure as Code
- Co?te une fraction d'un centime par vidéo à exécuter
Pourquoi la personnalisation
Il n'est pas très simple, ni bon marché, de générer des vignettes à grande échelle. Le facteur co?t est particulièrement important dans le cas des vidéos : avec les images, tout ce que vous avez à faire est de redimensionner, de recadrer et de stocker la sortie du même type. Vous pouvez confier cette responsabilité à des services cloud tiers pour vous concentrer sur la fourniture d'autres fonctionnalités, ou avec juste un peu de travail, effectuer la tache sans quitter votre VPC AWS. Avec les vidéos, le cas est différent. Les fichiers vidéo sont beaucoup plus volumineux, nous devons prendre en charge de nombreuses normes d'encodage différentes et le résultat final n'est plus une vidéo?: nous extrayons essentiellement des images fixes.
AWS Native = Super cher
Lors de la recherche d'options, je me tourne toujours vers des solutions natives de la plateforme sur laquelle se trouve l'application. Dans AWS, c'est MediaConvert ou MediaLive. Les deux sont parfaits lorsque vous avez besoin d'un traitement vidéo de qualité professionnelle, mais lorsque tout ce que vous voulez, c'est récupérer une vignette d'une vidéo... eh bien, ils peuvent certainement le faire, mais sont-ils con?us pour gérer un tel cas d'utilisation ? Pas vraiment.
Aussi surprenant que cela puisse para?tre, AWS ne dispose pas de service dédié à la génération de vignettes. Les solutions disponibles se concentrent sur d'autres cas d'utilisation, tels que la prise en charge du streaming multimédia ou l'exécution de taches avancées de transformation vidéo.
Les problèmes sont assez évidents lorsque vous examinez les exigences pour créer une telle fonctionnalité avec ces services
- Lorsque vous travaillez avec les services AWS Media, il n'est pas possible de créer un pipeline de traitement sans sortie vidéo définie?: vous devez traiter une vidéo entière et ignorer le résultat uniquement pour utiliser les vignettes qui sont un sous-produit de ce processus.
- en tant que tel, c'est très cher en tant que générateur de vignettes - payer 0,0075?$ par minute de vidéo traitée peut ne pas sembler beaucoup, mais cela s'additionne très rapidement - pour 1 000 vidéos, chacune d'une durée de 15 minutes, le co?t du traitement serait supérieur à 100?$
La génération de quelques miniatures vidéo devrait-elle co?ter plus cher que votre café du matin?? ? C'est simplement parce que, aussi puissants que soient ces services, ils sont excessifs pour des taches simples comme la génération de vignettes.
Le co?t réel des services AWS Media n'est pas seulement en dollars : il réside dans la complexité dont vous n'avez souvent pas besoin.
Chaque fois que je rencontre une nouvelle exigence, mon esprit se met en mode ? trouver l'outil parfait pour le travail ?. J'ai prêché l'importance de ne pas suivre ce que vous savez et de toujours explorer autant d'alternatives que possible pour que je puisse commencer à ressembler à un disque rayé... mais je suppose que j'aime la mélodie que joue ce disque?! ??
Vous pouvez aussi appeler cela une condition médicale. Je suis pleinement conscient de mes problèmes de TOC en ingénierie... ?
Mais je m'éloigne du sujet...
Au-delà d'AWS
Bien s?r, il existe d'autres solutions, mais elles s'accompagnent souvent de leurs propres maux de tête?:
- Les services externes sont généralement facturés par appel API ou par quantité de données traitées
- Vous devez télécharger vos vidéos vers des services externes pour le traitement, ce qui signifie des co?ts de sortie encore plus élevés
- Ils peuvent ne pas évoluer correctement, vous laissant avec une limitation de gestion
Une solution sur mesure
Construisons quelque chose qui n'est pas seulement moins cher, mais qui est également axé sur ce dont nous avons réellement besoin?: une solution sans serveur qui génère des miniatures vidéo pour quelques centimes. ?
Le système utilise ces services et outils AWS?:
- Amazon S3 - Stockage des vidéos sources et des vignettes générées
- AWS Lambda - Environnement de calcul sans serveur
- FFmpeg - Framework de traitement vidéo
- Docker - Emballage de conteneur pour le code FFmpeg et Lambda
- Amazon SQS - File d'attente des messages pour la coordination du traitement
Lorsqu'une vidéo est téléchargée dans le compartiment source S3, elle déclenche un événement qui met en file d'attente la demande de traitement. Une fonction Lambda le récupère et le traite à l'aide de FFmpeg exécuté dans un conteneur Docker. Les vignettes générées sont ensuite stockées dans un compartiment S3 cible. Les problèmes transitoires récupérables tels que les problèmes de limitation ou liés à l'infrastructure sont automatiquement réessayés, tandis que tous les autres événements ayant échoué sont automatiquement envoyés dans une file d'attente de lettres mortes à des fins d'audit.
Le service génère automatiquement des vignettes vidéo en deux tailles. La version plus grande comprend une ic?ne vidéo semi-transparente au centre du cadre, aidant les utilisateurs à identifier rapidement le contenu vidéo.
Exemple de projet
- Tirer de GH
Service
- orchestration Utilisation du traitement vidéo
- FFmpeg
- deux types de vignettes
- différentes tailles dont une avec une superposition FFmpeg dans un conteneur
- c'est ainsi que nous rendons la CLI Ffmpeg disponible pour Lambda
- Fichier Docker Déploiement
- Construction de conteneurs
- Déploiement sans serveur
- Définition Lambda Dockerisée Tests
- int
- e2e Sans serveur
- autre chose à ce stade??
Le conteneur magique ?
Voici notre Dockerfile qui regroupe FFmpeg avec Lambda?:
Montre-moi l'argent?! ?
Décomposons les co?ts de traitement de 1000 vidéos par mois?:
AWS MediaConvert
- 0,08?$ par minute de vidéo
- 1 000 vidéos × 0,08 $ = 80 $
Notre solution
- Lambda?: 1024?Mo × 10s × 1000 = 0,17?$
- S3?: Stockage GET/PUT = 0,05?$
- Total?: 0,22?$
Cela représente une réduction des co?ts de 99,7?%?! ?
Qu'est-ce qui pourrait mal tourner ? ?
Bien que cette solution soit géniale, elle n'est pas sans pièges?:
- Utilisation de la mémoire?: FFmpeg peut être gourmand en mémoire. Si vous traitez des vidéos 4K, vous devrez peut-être augmenter la mémoire Lambda.
- Limites de délai d'attente?: pour les vidéos très longues, vous pouvez atteindre le délai d'attente de Lambda. Pensez à utiliser des fonctions step pour ces cas.
- Démarrages à froid?: le conteneur est assez grand, donc les premiers appels peuvent être plus lents.
Quelle est la prochaine étape?? ?
Ce n'est que le début?! Vous pouvez étendre cette solution à?:
- Générer plusieurs tailles de vignettes
- Extraire les métadonnées vidéo
- Créer des GIF d'aper?u
- Ajouter des filigranes vidéo
Conclusion ?
Nous avons créé une solution rentable et évolutive pour la génération de vignettes vidéo qui ne vous ruinera pas. Ne payez plus pour des fonctionnalités dont vous n'avez pas besoin?!
N'oubliez pas?: Parfois, la meilleure solution n'est pas la plus co?teuse ou la plus complexe - c'est celle qui fait exactement ce dont vous avez besoin, ni plus, ni moins.
Note
Vous avez trouvé cela utile?? Pensez à me suivre pour plus de contenu AWS et sans serveur?! Et si vos vignettes ressemblent à de l'art moderne au lieu de votre vidéo... eh bien, vérifiez d'abord le format de votre vidéo, puis déposez un commentaire ci-dessous?! ?
Blagues mises à part, j'aimerais entendre parler de vos expériences avec le traitement vidéo dans AWS. Avez-vous trouvé d’autres moyens créatifs d’optimiser les co?ts?? Partagez dans les commentaires !
Clause de non-responsabilité
Bien que cette solution ait été testée en production, veuillez la tester minutieusement dans votre propre environnement avant de la déployer. Si quelque chose prend feu, j’ai une excellente recette de guimauves?! ?
--- Mes notes - points de discussion pour l'article
Pourquoi Docker avec Lambda - pas le premier choix, parfois le seul choix, alternative aux couches
C'est très bon marché à exécuter par rapport aux services AWS Media
C'est rapide, lancez une comparaison sur différentes tailles de fichiers
Ffmpeg testable
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Outils d'IA chauds
Undress AI Tool
Images de déshabillage gratuites
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Clothoff.io
Dissolvant de vêtements AI
Video Face Swap
échangez les visages dans n'importe quelle vidéo sans effort grace à notre outil d'échange de visage AI entièrement gratuit?!
Article chaud
Outils chauds
Bloc-notes++7.3.1
éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
Sujets chauds
Comment fonctionne la collection Garbage en JavaScript?
Jul 04, 2025 am 12:42 AM
Le mécanisme de collecte des ordures de JavaScript gère automatiquement la mémoire via un algorithme de compensation de balises pour réduire le risque de fuite de mémoire. Le moteur traverse et marque l'objet actif de l'objet racine, et non marqué est traité comme des ordures et effacés. Par exemple, lorsque l'objet n'est plus référencé (comme la définition de la variable sur NULL), il sera publié lors de la prochaine série de recyclage. Les causes courantes des fuites de mémoire comprennent: ① des minuteries ou des auditeurs d'événements non diffusés; ② Références aux variables externes dans les fermetures; ③ Les variables globales continuent de contenir une grande quantité de données. Le moteur V8 optimise l'efficacité du recyclage à travers des stratégies telles que le recyclage générationnel, le marquage incrémentiel, le recyclage parallèle / simultané, et réduit le temps de blocage principal. Au cours du développement, les références globales inutiles doivent être évitées et les associations d'objets doivent être rapidement décorées pour améliorer les performances et la stabilité.
Comment faire une demande HTTP dans Node.js?
Jul 13, 2025 am 02:18 AM
Il existe trois fa?ons courantes d'initier des demandes HTTP dans Node.js: utilisez des modules intégrés, Axios et Node-Fetch. 1. Utilisez le module HTTP / HTTPS intégré sans dépendances, ce qui convient aux scénarios de base, mais nécessite un traitement manuel de la couture des données et de la surveillance des erreurs, tels que l'utilisation de https.get () pour obtenir des données ou envoyer des demandes de post via .write (); 2.AXIOS est une bibliothèque tierce basée sur la promesse. Il a une syntaxe concise et des fonctions puissantes, prend en charge l'async / attendre, la conversion JSON automatique, l'intercepteur, etc. Il est recommandé de simplifier les opérations de demande asynchrones; 3.Node-Fetch fournit un style similaire à la récupération du navigateur, basé sur la promesse et la syntaxe simple
Types de données JavaScript: référence primitive vs
Jul 13, 2025 am 02:43 AM
Les types de données JavaScript sont divisés en types primitifs et types de référence. Les types primitifs incluent la cha?ne, le nombre, le booléen, le nul, un non défini et le symbole. Les valeurs sont immuables et les copies sont copiées lors de l'attribution des valeurs, de sorte qu'elles ne se affectent pas; Les types de référence tels que les objets, les tableaux et les fonctions stockent les adresses de mémoire, et les variables pointant vers le même objet s'afferchent mutuellement. Le typeof et l'instance de OFF peuvent être utilisés pour déterminer les types, mais prêtent attention aux problèmes historiques de typeofnull. Comprendre ces deux types de différences peut aider à écrire un code plus stable et fiable.
Objet JavaScript Time, quelqu'un construit un site Web Eactexe, plus rapide sur Google Chrome, etc.
Jul 08, 2025 pm 02:27 PM
Bonjour, développeurs JavaScript! Bienvenue dans JavaScript News de cette semaine! Cette semaine, nous nous concentrerons sur: le différend de marque d'Oracle avec Deno, les nouveaux objets Time JavaScript sont pris en charge par les navigateurs, les mises à jour Google Chrome et certains outils de développeurs puissants. Commen?ons! Le différend de marque d'Oracle avec la tentative de Deno Oracle d'enregistrer une marque "JavaScript" a provoqué la controverse. Ryan Dahl, le créateur de Node.js et Deno, a déposé une pétition pour annuler la marque, et il pense que JavaScript est un niveau ouvert et ne devrait pas être utilisé par Oracle
React vs Angular vs Vue: Quel framework JS est le meilleur?
Jul 05, 2025 am 02:24 AM
Quel framework JavaScript est le meilleur choix? La réponse est de choisir la plus appropriée selon vos besoins. 1.RIATT est flexible et gratuit, adapté aux projets moyens et grands qui nécessitent une personnalisation élevée et des capacités d'architecture d'équipe; 2. Angular fournit des solutions complètes, adaptées aux applications au niveau de l'entreprise et à la maintenance à long terme; 3. Vue est facile à utiliser, adaptée à des projets de petite et moyenne taille ou à un développement rapide. De plus, s'il existe une pile technologique existante, la taille de l'équipe, le cycle de vie du projet et si le RSS est nécessaire sont également des facteurs importants dans le choix d'un cadre. En bref, il n'y a pas absolument le meilleur cadre, le meilleur choix est celui qui convient à vos besoins.
Comprendre les expressions de fonction immédiatement invoquées (iife) en javascript
Jul 04, 2025 am 02:42 AM
Iife (immédiatementInvokedFunctionExpression) est une expression de fonction exécutée immédiatement après la définition, utilisée pour isoler les variables et éviter de contaminer la portée globale. Il est appelé en emballage la fonction entre parenthèses pour en faire une expression et une paire de supports immédiatement suivis, tels que (function () {/ code /}) ();. Ses utilisations de base incluent: 1. évitez les conflits variables et empêchez la duplication de la dénomination entre plusieurs scripts; 2. Créez une portée privée pour rendre les variables internes invisibles; 3. Code modulaire pour faciliter l'initialisation sans exposer trop de variables. Les méthodes d'écriture courantes incluent les versions passées avec des paramètres et des versions de la fonction flèche ES6, mais notez que les expressions et les liens doivent être utilisés.
Gestion des promesses: cha?nage, gestion des erreurs et combinateurs de promesses en javascript
Jul 08, 2025 am 02:40 AM
La promesse est le mécanisme central pour gérer les opérations asynchrones en JavaScript. Comprendre les appels de cha?ne, la gestion des erreurs et les combinants est la clé pour ma?triser leurs applications. 1. L'appel de la cha?ne renvoie une nouvelle promesse à travers. Puis () pour réaliser la concaténation des processus asynchrones. Chaque .then () re?oit le résultat précédent et peut renvoyer une valeur ou une promesse; 2. La gestion des erreurs doit utiliser .catch () pour attraper des exceptions pour éviter les défaillances silencieuses, et peut renvoyer la valeur par défaut dans Catch pour continuer le processus; 3. Combinateurs tels que promesse.all () (réussi avec succès uniquement après tout succès), promesse.race () (le premier achèvement est retourné) et promesse.allsetTled () (en attente de toutes les achèvements)
Qu'est-ce que l'API Cache et comment est-elle utilisée avec les travailleurs du service?
Jul 08, 2025 am 02:43 AM
Cacheapi est un outil fourni par le navigateur pour mettre en cache les demandes de réseau, qui est souvent utilisée en conjonction avec travailleur de service pour améliorer les performances du site Web et l'expérience hors ligne. 1. Il permet aux développeurs de stocker manuellement des ressources telles que des scripts, des feuilles de style, des photos, etc.; 2. Il peut faire correspondre les réponses du cache en fonction des demandes; 3. Il prend en charge la suppression des caches spécifiques ou la nettoyage du cache entier; 4. Il peut mettre en ?uvre des stratégies de priorité de cache ou de priorité de réseau grace à l'écoute des événements Fetch; 5. Il est souvent utilisé pour le support hors ligne, accélérez la vitesse d'accès répétée, préchargement des ressources clés et du contenu de mise à jour des antécédents; 6. Lorsque vous l'utilisez, vous devez faire attention au contr?le de la version du cache, aux restrictions de stockage et à la différence entre le mécanisme de mise en cache HTTP.
