ヤマムギ

growing hard days.

*

「Talend ハンズオンセミナー」に行ってきました

      2016/09/18

Talendとは

  • データの整備・統合
  • ビッグデータ対応
  • ストリーミングデータ
  • アプリケーション連携
  • OSS(無償)のTalend Open Studio
  • Enterprise(500万前後)のData Integration/Big Data(Map Reduce & Spark)
  • IoTセンサーデータをストリーミングに流してSparkで受けてリアルタイムに分析する場合はTalend Real-time Big Data Platoform

Talend Open Studio(TOS)と商用版の違い

  • TOSはクライアントスタンドアロンでjarを作るまで(jarの実行はlambdaでいいのでは?)
  • 商用版は共有リポジトリ、運用開始サーバ、JOB実行サーバ、Talend Studioとの自動同期が可能

商用版のメリット

開発支援に関わる機能拡張

利便性の向上

  • データプレビュー
    やり取りされるデータをStudio内でプレビュー出来る
  • Dynamic Schema
    データ型を主導設定しなくても自動設定してくれる

コンポーネント追加と拡張/処理の高速化

  • SAP,Paralleize,パーティションパラレル,tMapのパラレルルックアップは商用版のみ
    本気でBig Dataの扱いが必要になり並列処理が必要にならない限りは不要

Job Script API

  • Source(JobScript) -> GUIが可能
    TOSではGUI -> Source(Java)のみ

Change Data Capture

  • ソースDB内の変更差分を取得してターゲットDBへ反映可能

ディスタントラン

  • サーバーでテストランが可能(TOSはクライアント)

Map/Reduceジョブの開発

  • BigDataのみ

Streaming Jobの開発

チーム開発生産性の向上

ジョブレット

  • 業務ロジックの共有

共有リポジトリ

  • SVNを使用したチーム開発(Gitも可)

プロジェクト管理

  • Jobの塊をプロジェクトとする
  • プロジェクトを跨いでJobを利用する事が可能

自動文書化

  • TOSでは手動で文書化が可能

影響分析,データ来歴分析

  • 変更を加える際に影響発生箇所を特定
  • 特定して分析した結果は自動文書化

運用管理に関わる機能

  • ユーザ管理
  • ジョブコンダクター(ジョブスケジューリング)
  • インターバル実行、カレンダー実行、イベント実行
  • 実行プラン(タスク連携、実行制御)
  • サーバ監視
  • ロードバランシング,フェイルオーバー
  • 運用履歴分析(運用状態の可視化)
  • エラーリカバリ
  • コマンドオペレーション

ハンズオン

tRowGenerator

  • Sequence identifier : “s1”
  • コード – ルーチン – systemにファンクションが定義されている

メタデータ

  • 各Jobが共通して参照出来る
  • メンテンスが楽
  • 推定では先頭の50行を読み込んで各パラメータを提案

tMap

  • デフォルトはLeft Outer Join

最後までお読みいただきましてありがとうございました!

「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第3版」という本を書きました。

「ポケットスタディ AWS認定 デベロッパーアソシエイト [DVA-C02対応] 」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

 - study ,

ad

ad

  関連記事

東大阪メーカーズ・ミートアップ Vol.2に行ってきました

今回初参加で行ってきました。 東大阪メーカーズ・ミートアップとは 「主に東大阪の …

「JAWS-UG朝会 #18」で主にAWSなブログについて発表をしました

ラジオ体操 いつものラジオ体操から。 今日はラーニングセンターから配信の日でした …

「大阪 Figma Meeting #01」に参加しました

大阪 Figma Meeting #01に参加しました。 Figma触ったことな …

Developers Summit 2018 「Kubernetesを用いた最強のマイクロサービス環境をGKEで実現しよう」を聞きました

以下は、思ったことや気になったことをメモしていますので、必ずしも登壇者の発表内容 …

Developers Summit 2024「LLMを活用してオンライン薬局のオペレーションを自動化した話」を見ました

PharmaX株式会社 エンジニアリング責任者 上野 彰大さん オンライン薬局、 …

「JAWS-UG 名古屋 LT未経験者にも登壇して貰いたいLT会」に参加しました

SOA-C02を受験してみて アイレットの大木さん 一回目不合格となったけど19 …

Innovation EGG 第9回 『ITの可能性と楽しさを語ろう!』に行ってきました

JAZUG LINE 砂金さん OracleからMSからLINEへ 何にわくわく …

DevLOVE関西「事業会社の現場を知ろう~モノタロウ編~」に行ってきました

DevLOVE関西「事業会社の現場を知ろう~モノタロウ編~」 モノタロウさんプラ …

「JAWS-UG京都 最新のAIを本気で学ぼう」に参加しました

前日 京都タワーの地下のフードホールで運営メンバーのみなさんとご飯食べてました。 …

Alexa Day 2018で「Alexa はどこにでも。AVSが開くAlexa Enabled なライフスタイル」を聞きました

photo by 金春さん スピーカーはオランダから一時帰国中の伊東のともさん …