「Talend ハンズオンセミナー」に行ってきました

Talendとは

• データの整備・統合
• ビッグデータ対応
• ストリーミングデータ
• アプリケーション連携
• OSS(無償)のTalend Open Studio
• Enterprise(500万前後)のData Integration/Big Data(Map Reduce & Spark)
• IoTセンサーデータをストリーミングに流してSparkで受けてリアルタイムに分析する場合はTalend Real-time Big Data Platoform

Talend Open Studio(TOS)と商用版の違い

• TOSはクライアントスタンドアロンでjarを作るまで(jarの実行はlambdaでいいのでは？)
• 商用版は共有リポジトリ、運用開始サーバ、JOB実行サーバ、Talend Studioとの自動同期が可能

商用版のメリット

開発支援に関わる機能拡張

利便性の向上

• データプレビュー
  やり取りされるデータをStudio内でプレビュー出来る
• Dynamic Schema
  データ型を主導設定しなくても自動設定してくれる

コンポーネント追加と拡張/処理の高速化

• SAP,Paralleize,パーティションパラレル,tMapのパラレルルックアップは商用版のみ
  本気でBig Dataの扱いが必要になり並列処理が必要にならない限りは不要

Job Script API

• Source(JobScript) -> GUIが可能
  TOSではGUI -> Source(Java)のみ

Change Data Capture

• ソースDB内の変更差分を取得してターゲットDBへ反映可能

ディスタントラン

• サーバーでテストランが可能(TOSはクライアント)

Map/Reduceジョブの開発

• BigDataのみ

Streaming Jobの開発

チーム開発生産性の向上

ジョブレット

• 業務ロジックの共有

共有リポジトリ

• SVNを使用したチーム開発(Gitも可)

プロジェクト管理

• Jobの塊をプロジェクトとする
• プロジェクトを跨いでJobを利用する事が可能

自動文書化

• TOSでは手動で文書化が可能

影響分析,データ来歴分析

• 変更を加える際に影響発生箇所を特定
• 特定して分析した結果は自動文書化

運用管理に関わる機能

• ユーザ管理
• ジョブコンダクター(ジョブスケジューリング)
• インターバル実行、カレンダー実行、イベント実行
• 実行プラン(タスク連携、実行制御)
• サーバ監視
• ロードバランシング,フェイルオーバー
• 運用履歴分析(運用状態の可視化)
• エラーリカバリ
• コマンドオペレーション

ハンズオン

tRowGenerator

• Sequence identifier : “s1”
• コード – ルーチン – systemにファンクションが定義されている

メタデータ

• 各Jobが共通して参照出来る
• メンテンスが楽
• 推定では先頭の50行を読み込んで各パラメータを提案

tMap

• デフォルトはLeft Outer Join

最後までお読みいただきましてありがとうございました！

「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第2版」という本を書きました。

「ポケットスタディ AWS認定 デベロッパーアソシエイト ［DVA-C02対応］ 」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。