お知らせ ビープラウド、「90日で稼げるプログラマーに」オンライン学習サービス「PyQ(パイキュー)」を販売開始

このエントリーをはてなブックマークに追加

9月

26

BigData-JAWS 勉強会#2

〜Embulk/DigdagとRedshift、クックパッドの権限管理〜

主催 : リクルートテクノロジーズ 渡部徹太郎

ハッシュタグ :#bdjaws
募集内容

一般参加

無料

先着順(抽選終了)
27/24

主催者

無料

先着順(抽選終了)
6/6

イベントの説明

勉強会の概要

本勉強会は、AWS上でビッグデータ処理をしている(しようとしている)人が、ノウハウ共有・情報交換できる場を目指しています。

セミナではないため、発表者からの一方向の技術紹介やユースケース紹介ではありません。参加者の相互の情報共有を前提としています。

想定する参加者は以下のとおりです

  • AWSでビッグデータ処理をしている or しようとしている方
  • 話を聞くだけではなく、議論に参加できる方

(第一回の様子)

img

今回のテーマ

今回は、クラスメソッドの川崎さんからEmbulk/DigdagとRedshiftの組み合わせた話を、クックパッドの星さんからビッグデータ基盤の権限管理やオペレーションの話をしていただきます。

日程

9/26(月) 18:30〜20:10 

開場は18:00です

場所

アマゾン ウェブ サービス ジャパン 目黒オフィス 東京都目黒区下目黒1-8-1 アルコタワー 19F

タイムテーブル

1.支部の説明・各自自己紹介 (10分)

株式会社リクルートテクノロジーズ ビッグデータ部 渡部徹太郎

2.EmbulkとDigdagで作るRedshiftデータマート(仮)(40分)

クラスメソッド株式会社 データインテグレーション部 川崎照夫

概要: TreasureDataさんが開発されているバルクデータローダのEmbulkとワークフローエンジンのDigdag。この2つを組み合わせて、Redshift上にデータマートを作成してみます。

3.データ活用のための権限管理(40分)

クックパッド株式会社 インフラストラクチャー部 星北斗

概要: せっかく蓄積したデータもアクセスできなければ意味がありません。利用者が安心してデータを使うためにも、データベースのアクセス権限管理は非常に重要です。実際の環境で使われている権限管理やオペレーションについて紹介します。

4.次回発表の相談、LT募集、クロージング(10分)

5.近場で懇親会

北海道 目黒西口店 (予定) http://www.hotpepper.jp/strJ000023229/map/

ビッグデータについて語りましょう!

ビッグデータ支部の紹介

AWS上でビッグデータ処理を行っている(行おうとしている)ユーザを中心としたグループです。

技術やユースケースの共有や、日々の悩みを相談をすることを目的としています。

以下のテーマを想定しています。

  • 分散集計(RedShiftやEMR等)
  • 機械学習(EMRやAmazon Michine Learning等)
  • 分散キュー(kinesis)+ショートバッチ
  • 分散KVS(DynamoDB)
  • データフロー制御・スケジューリング(SWF,DataPipeline等)
  • データマイグレーション(ネットワーク周り、スノーボール等)
  • BI

ハッシュタグ

ハッシュタグ #bdjaws

資料

資料はGithubに公開します。

https://github.com/bdjaws/workshop

主催・協力

  • 主催:株式会社リクルートテクノロジーズ
  • 協力:株式会社NTTドコモ
  • 会場提供:アマゾン ウェブ サービス ジャパン株式会社

発表者

川崎照夫 川崎照夫 星 北斗 星 北斗

資料 資料をもっと見る/編集する

資料が投稿されると、最新の3件が表示されます。

フィード

fetaro

fetaro さんが BigData-JAWS 勉強会#2 を公開しました。

2016/09/01 00:06

BigData-JAWS 勉強会#2 を公開しました!

グループ

JAWS-UGビッグデータ支部

イベント数 9回

メンバー数 377人

終了

2016/09/26(月)

18:30
20:10

募集期間
2016/09/02(金) 09:00 〜
2016/09/19(月) 23:59

会場

アマゾン ウェブ サービス ジャパン 目黒オフィス

東京都目黒区下目黒1-8-1 アルコタワー 19F

アマゾン ウェブ サービス ジャパン 目黒オフィス

管理者

参加者(30人)

nobuhiro_okamoto_73

nobuhiro_okamoto_73

BigData-JAWS 勉強会#2に参加を申し込みました!

odasatoshi

odasatoshi

I joined BigData-JAWS 勉強会#2!

mizoken001

mizoken001

BigData-JAWS 勉強会#2 に参加を申し込みました!

pikkapika

pikkapika

I joined BigData-JAWS 勉強会#2!

yusuke_okura_395

yusuke_okura_395

BigData-JAWS 勉強会#2に参加を申し込みました!

shyokokawa

shyokokawa

BigData-JAWS 勉強会#2 に参加を申し込みました!

mochiko

mochiko

BigData-JAWS 勉強会#2に参加を申し込みました!

yasuo_saito_969

yasuo_saito_969

BigData-JAWS 勉強会#2 に参加を申し込みました!

teppeiii7

teppeiii7

BigData-JAWS 勉強会#2 に参加を申し込みました!

tsutsu

tsutsu

BigData-JAWS 勉強会#2 に参加を申し込みました!

参加者一覧(30人)

補欠者(3人)

yodatch

yodatch

BigData-JAWS 勉強会#2 に参加を申し込みました!

krt

krt

BigData-JAWS 勉強会#2 に参加を申し込みました!

fukushima_nobuyuki

fukushima_nobuyuki

BigData-JAWS 勉強会#2 に参加を申し込みました!

補欠者一覧(3人)

キャンセルした人(16人)