Talend Approfondissement
| Table Header |
|---|
|
Durée : 5 jours |
|
Public : Administrateurs systèmes/BDD, Chefs de projets, Développeurs |
|
Pré-requis : Connaissance de Java, SQL |
|
Objectifs : Comprendre le processus d'intégration de données - Maîtriser l'outil Talend Intégration et la bibliothèque de composants |
|
Référence : |
|
Demandeurs d'emploi :
Contactez-nous pour connaître les remises Pôle Emploi
|
|
Tarifs
Standard : 2500€ | Distance : 2200€
|
|
Pour les personnes en situation de handicap, nous mettrons tout en œuvre pour vous accueillir ou pour vous réorienter. Vous pouvez nous contacter au formation@lecoledeladata.com |
Programme
Introduction : Terminologie et Architecture
- Problématique d'intégration de données
- Intégration Opérationnelle et Décisionnelle
- Outils ETL (Extract Transform Load) disponibles
- Talend Open Studio : présentation, licences, lien avec Eclipse
- Support disponible : documentation, communauté, …
- Cas pratique : Installation et présentation de l'environnement Talend Open Studio
Module 1 : Découvrir l'interface
- Créer des sources et des cibles à partir de fichiers plats et de tables relationnelles Créer un mapping utilisant des sources et des cibles
- Les perspectives et les vues
- Talend Utilisation du Business Modeler
- Les jobs : grille, palette de composants
- Les flux principaux (main)
- La notion de schéma : types des colonnes
- Premiers composants : entrée, sortie, génération de flux
- Cas pratique : création et exécution d'un job simple, génération de contenu dans un fichier
Module 2 : Les principaux composants de Talend
- Créer un workflow simple et relier ses tâches
- Composants d'entrée (tFileInput, tMysqlInput, …)
- Génération de contenu (tRowGenerator, tFixedFlowInput, ...)
- Sorties et affichage (tLogRow, tFileOutput, tMysqlOutput, …)
- Logique et chaînage des composants (OnSubjobOK/Error, OnComponentOK/Error ,if ...)
- Suivi pas à pas des traces de l'exécution du job
- Gestion des rejets
- Transformations simples (filtre, tri, remplacement, jointure)
- Cas pratique : génération de contenu dans une base de données, extraction et traitement des données pour
affichage en console
Module 3 : Expressions et Filtres
- Utiliser la transformation Expression pour effectuer des calculs sur les données
- Utiliser la transformation Filter pour supprimer des enregistrements selon une condition définie par l'utilisateur
Module 4 : Variables et contextes
- Mise en place d'un contexte local au job
- Groupes de contexte dans le référentiel
- Les métadonnées comme contextes
- Utiliser des variables dans un job (tSetGlobalVar)
- Cas pratique : utiliser une variable dans un job, contextualiser les paramètres d'une métadonnées, créer un
contexte de test, et de production
Module 5 : Garantir la pérennité des jobs
- Versions et statuts des jobs
- Les métadonnées : propriétés et schémas.
- La découverte de schéma pour les fichiers CSV
- Récupération des schémas de bases de données
- Mises à jour des jobs depuis les métadonnées
- Cas pratique : insérer les sources et cibles de données dans les métadonnées du référentiel
Module 6 : Transformation Lookup & Mapping
- Le composant ETL par excellence
- Gérer les entrées : flux principal, secondaires, nommage des flux
- Gérer les sorties : l'éditeur intégré de la tMap
- Filtrer les données : en entrée, sortie
- Sorties conjointes, capture des rejets de sortie, de jointure interne
- L'éditeur d'expression
- Les performances
- Utiliser une transformation Update Stratégie afin de déterminer comment une cible doit être alimenté (insert/update/delete)
- Cas pratique : extraction multi-sources, multi-destinations avec une tMap, sur un exemple complet
Module 7 : Orchestration des jobs, gestion d'erreurs
- Exécutions parallèles de sous-jobs
- Déclencheurs Talend (triggers)
- Enchaînement de sous-jobs et de composants (OnSubjobOK, OnComponentOK)
- Gestion des erreurs de composants, sous-job (OnComponentError, OnSubjobError)
- Composant de départ, et de fin (tPreJob, tPostJob)
- Attraper et lever des erreurs : tWarn, tDie, tLogCatcher
- Utiliser l'outil de débug pour débloquer et tester un mapping
- Cas pratique : assembler plusieurs jobs en un seul, factoriser la gestion d'erreurs pour générer un fichier de
compte-rendu
Module 8 : Les flux de programmation : liens iterate
- Différencier les flux principaux des flux iterate
- Boucles et programmation via tLoop, tForeach
- Passer d'un flux principal à un flux iterate, et l'inverse (tFlowToIterate, tIterateToFlow)
- Synchronisation de jobs avec les tWaitForFile, tWaitForSocket, tWaitForSQL
- Cas pratique : paralléliser des sous-jobs, synchroniser les jobs avec un événem ent externe
Module 9 : Utilisation avancée
- Utilisation de composants évolués : Java ou expressions régulières
- La spécificité des flux XML dans Talend : TXMLMap , tInputXML ,...
- Réutilisation du code : les routines
- Cas : Utilisation des composants tJavaRow, tJavaFlex, utilisation de l'éditeur Java embarqué, déploiement d'une
routine personnalisée
Module 10 : Déploiement et industrialisation
- Rappel sur les contextes
- Export des jobs pour exécution sur un serveur
- Passage de contexte entre jobs, à l'exécution
- Utilisation d'un fichier pour charger le contexte (tContextLoad)
- Cas pratique : Déploiement de tâches et chargement dynamique du contexte
Module 11 : Utilisation avancée
- Utiliser la transformation Expression pour effectuer des calculs sur les données
- Utilisation de composants évolués : Java ou expressions régulières
- Création de logs spécifiques
- Gestion des flux XML
- Réutilisation du code
- Cas pratique : Utilisation des composants tJavaRow, tJavaFlex - création de logs avec tCatch, tDie ... - utilisation de
l'éditeur Java embarqué
Module 12 : Déboguage dans Talend
- Rappels sur le débogage de traces Utilisation du mode Debug Java : perspective Debug, mode pas à pas Visualisation et
modification à chaud des variables
Module 13 : Les composants Talend
- Utiliser une transformation Source Qualifier pour implémenter une jointure homogène Utiliser une transformation Joiner
pour implémenter une jointure hétérogène - Concepts essentiels pour étendre Talend Open Studio Création de la maquette du composant avec tJavaFlex / interface
graphique Découvrir la forge Talend et ses composants communautaires Intégration dans Talend Open Studio des plugins
créés ou téléchargés Atelier : Création d'un composant simple via tJavaFlex, intégration de composants de la forge Talend
Module 14 : Présentation des best practices de développement
- Appliquer une variété de best practices afin de développer efficacement sur Talend.
Les prochaines sessions
Toutes nos formations sont à réserver au moins 15 jours en avance.
Nos formations sont dispensées régulièrement dans les villes de Paris, Bordeaux, Lyon, Nantes, Toulouse et Aix-en-Provence.