「Talend ハンズオンセミナー」に行ってきました
2016/09/18
目次
Talendとは
- データの整備・統合
- ビッグデータ対応
- ストリーミングデータ
- アプリケーション連携
- OSS(無償)のTalend Open Studio
- Enterprise(500万前後)のData Integration/Big Data(Map Reduce & Spark)
- IoTセンサーデータをストリーミングに流してSparkで受けてリアルタイムに分析する場合はTalend Real-time Big Data Platoform
Talend Open Studio(TOS)と商用版の違い
- TOSはクライアントスタンドアロンでjarを作るまで(jarの実行はlambdaでいいのでは?)
- 商用版は共有リポジトリ、運用開始サーバ、JOB実行サーバ、Talend Studioとの自動同期が可能
商用版のメリット
開発支援に関わる機能拡張
利便性の向上
- データプレビュー
やり取りされるデータをStudio内でプレビュー出来る - Dynamic Schema
データ型を主導設定しなくても自動設定してくれる
コンポーネント追加と拡張/処理の高速化
- SAP,Paralleize,パーティションパラレル,tMapのパラレルルックアップは商用版のみ
本気でBig Dataの扱いが必要になり並列処理が必要にならない限りは不要
Job Script API
- Source(JobScript) -> GUIが可能
TOSではGUI -> Source(Java)のみ
Change Data Capture
- ソースDB内の変更差分を取得してターゲットDBへ反映可能
ディスタントラン
- サーバーでテストランが可能(TOSはクライアント)
Map/Reduceジョブの開発
- BigDataのみ
Streaming Jobの開発
チーム開発生産性の向上
ジョブレット
- 業務ロジックの共有
共有リポジトリ
- SVNを使用したチーム開発(Gitも可)
プロジェクト管理
- Jobの塊をプロジェクトとする
- プロジェクトを跨いでJobを利用する事が可能
自動文書化
- TOSでは手動で文書化が可能
影響分析,データ来歴分析
- 変更を加える際に影響発生箇所を特定
- 特定して分析した結果は自動文書化
運用管理に関わる機能
- ユーザ管理
- ジョブコンダクター(ジョブスケジューリング)
- インターバル実行、カレンダー実行、イベント実行
- 実行プラン(タスク連携、実行制御)
- サーバ監視
- ロードバランシング,フェイルオーバー
- 運用履歴分析(運用状態の可視化)
- エラーリカバリ
- コマンドオペレーション
ハンズオン
tRowGenerator
- Sequence identifier : “s1”
- コード – ルーチン – systemにファンクションが定義されている
メタデータ
- 各Jobが共通して参照出来る
- メンテンスが楽
- 推定では先頭の50行を読み込んで各パラメータを提案
tMap
- デフォルトはLeft Outer Join
最後までお読みいただきましてありがとうございました!
「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。
![](https://www.sbcr.jp/wp-content/uploads/2023/01/9784815617929-1-407x596.jpg)
「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第3版」という本を書きました。
![](https://www.sbcr.jp/wp-content/uploads/2024/01/9784815625382-3-420x596.jpg)
「ポケットスタディ AWS認定 デベロッパーアソシエイト [DVA-C02対応] 」という本を書きました。
![](https://www.shuwasystem.co.jp//images/book/637791.jpg)
「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。
![](https://book.mynavi.jp/files/topics/135344_ext_06_0.jpg?v=1673514682)
「AWSではじめるLinux入門ガイド」という本を書きました。
![](https://www.yamamanx.com/wp-content/uploads/2023/12/81Rp5O9We6L._SY522_.jpg)
![@yamamanx](https://www.yamamanx.com/wp-content/plugins/lazy-load/images/1x1.trans.gif)
開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。
このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。
また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。
ad
ad
関連記事
-
-
「JAWS-UG佐賀 3年ぶり!re:Bootするよ!」に参加しました
全員自己紹介からスタートしました。 さくさくっとマイクをまわしてなんと10分まき …
-
-
JAWS FESTA 東海道 2016に行ってきました
JAWS FESTA 2016に行ってきました。 今回はボランティアスタッフ参加 …
-
-
「JAWS-UG 新潟 プチキャッチアップ 2021 #3」に参加しました
「当日、始まってからやること決めます。 AWSに関する記事や動画を見ながら、参加 …
-
-
隣の芝生は青かった?!VoiceUI/UXデザイナーがスキル解剖して気づいたいくつかのこと(Alexa Day 2019でのブログ)
以下は、気になったことのメモとか感想を書いています。 登壇者、発表者、主催企業な …
-
-
EC-CUBE3.0 コードリーディング勉強会第1回目に行ってきました
EC-CUBE3.0 コードリーディング勉強会第1回目に行ってきました。 ECサ …
-
-
「実践AWSプログラミング in Osaka」に行ってきました
クラスメソッドさんの「実践AWSプログラミング in Osaka」に行ってきまし …
-
-
Alexa Day 2018で「kokexaの話」を聞いてきました
スピーカーはサバワ坂本さん これは、私、山下の勝手な印象とか思い込みですが、坂本 …
-
-
Developers Summit 2018 「マイクロサービスをAWSサーバレス&コンテナで実装する方法」を聞きました
以下は、思ったことや気になったことをメモしていますので、必ずしも登壇者の発表内容 …
-
-
ヤマムギ vol.10 (AWS)EC2モニタリングハンズオン 手順
このブログは2020/5/6に開催しました、「ヤマムギ vol.10 (AWS) …
-
-
「JAWS-UG京都 最新のAIを本気で学ぼう」に参加しました
前日 京都タワーの地下のフードホールで運営メンバーのみなさんとご飯食べてました。 …