ヤマムギ

growing hard days.

*

「Talend ハンズオンセミナー」に行ってきました

      2016/09/18


Talendとは

  • データの整備・統合
  • ビッグデータ対応
  • ストリーミングデータ
  • アプリケーション連携
  • OSS(無償)のTalend Open Studio
  • Enterprise(500万前後)のData Integration/Big Data(Map Reduce & Spark)
  • IoTセンサーデータをストリーミングに流してSparkで受けてリアルタイムに分析する場合はTalend Real-time Big Data Platoform

Talend Open Studio(TOS)と商用版の違い

  • TOSはクライアントスタンドアロンでjarを作るまで(jarの実行はlambdaでいいのでは?)
  • 商用版は共有リポジトリ、運用開始サーバ、JOB実行サーバ、Talend Studioとの自動同期が可能

商用版のメリット

開発支援に関わる機能拡張

利便性の向上

  • データプレビュー
    やり取りされるデータをStudio内でプレビュー出来る
  • Dynamic Schema
    データ型を主導設定しなくても自動設定してくれる

コンポーネント追加と拡張/処理の高速化

  • SAP,Paralleize,パーティションパラレル,tMapのパラレルルックアップは商用版のみ
    本気でBig Dataの扱いが必要になり並列処理が必要にならない限りは不要

Job Script API

  • Source(JobScript) -> GUIが可能
    TOSではGUI -> Source(Java)のみ

Change Data Capture

  • ソースDB内の変更差分を取得してターゲットDBへ反映可能

ディスタントラン

  • サーバーでテストランが可能(TOSはクライアント)

Map/Reduceジョブの開発

  • BigDataのみ

Streaming Jobの開発

チーム開発生産性の向上

ジョブレット

  • 業務ロジックの共有

共有リポジトリ

  • SVNを使用したチーム開発(Gitも可)

プロジェクト管理

  • Jobの塊をプロジェクトとする
  • プロジェクトを跨いでJobを利用する事が可能

自動文書化

  • TOSでは手動で文書化が可能

影響分析,データ来歴分析

  • 変更を加える際に影響発生箇所を特定
  • 特定して分析した結果は自動文書化

運用管理に関わる機能

  • ユーザ管理
  • ジョブコンダクター(ジョブスケジューリング)
  • インターバル実行、カレンダー実行、イベント実行
  • 実行プラン(タスク連携、実行制御)
  • サーバ監視
  • ロードバランシング,フェイルオーバー
  • 運用履歴分析(運用状態の可視化)
  • エラーリカバリ
  • コマンドオペレーション

ハンズオン

tRowGenerator

  • Sequence identifier : “s1”
  • コード – ルーチン – systemにファンクションが定義されている

メタデータ

  • 各Jobが共通して参照出来る
  • メンテンスが楽
  • 推定では先頭の50行を読み込んで各パラメータを提案

tMap

  • デフォルトはLeft Outer Join
@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITトレーナー1年目のSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

 - study ,

ad

ad

  関連記事

JAWS-UG 関西IoT専門支部「マクニカkibo + AWS IoTハンズオン」に行ってきました、というか運営メンバーとして参加してきました

2015/12/19(土)はJAWS-UG 関西IoT専門支部の記念すべき1回目 …

EC-CUBE3.0 コードリーディング勉強会第1回目に行ってきました

EC-CUBE3.0 コードリーディング勉強会第1回目に行ってきました。 ECサ …

再会の日 ~re:Union 2018 Osaka by JAWS-UG~

8/5は大阪でre:Unionでした。 「再会」と名うったこのイベントは、6月に …

JAWS DAYS 2018の1日前に名古屋にいました「JAWS-UG名古屋 AWS勉強会 JAWS DAYS 2018前夜祭」

仕事の都合でJAWS DAYS 2018の前日は名古屋にいました。 宿泊地はお店 …

Java SE 7 Silver対策勉強をしながらメモ 2015/2/9

練習問題2日目。 同じ問題にひっかかる。つまづく。 集中力が足りない。 途中から …

「【第2回】データ分析勉強会(尼崎Pythonの会#1)」に行ってきました

「【第2回】データ分析勉強会(尼崎Pythonの会#1)」に行ってきました。 略 …

「kintone Café 大阪 Vol.8 〜夏の事例祭り!〜」に行ってきました

「kintone Café 大阪 Vol.8 〜夏の事例祭り!〜」に行ってきまし …

Java SE 7 Gold対策勉強をしながらメモ 2015/9/1

さて、9/26の試験を目指して久しぶりに試験勉強を始めます。 今月は非常に忙しい …

Agile Japan 2015 大阪サテライト「アジャイル開発への架け橋」に行ってきました

Agile Japan 2015 大阪サテライトに行ってきました。 具体的な目的 …

走った!しゃべった!呑んだ!JAWS DAYS 2016 re:cap 〜JAWS-UG大阪&関西女子会 特別合同企画〜

先日のJAWS DAYS 2016 re:cap 〜JAWS-UG大阪&関西女子 …