お知らせ ビープラウド、機械学習・データ分析の問題をオンライン学習サービスPyQにて提供開始

このエントリーをはてなブックマークに追加

12月

12

BigData-JAWS 勉強会#4

〜EMR祭り!Embulk+EMR、スポットインスタンス自動入札、基幹業務利用等〜

主催 : リクルートテクノロジーズ 渡部徹太郎

ハッシュタグ :#bdjaws
募集内容

一般参加

無料

先着順(抽選終了)
18/24

主催者

無料

先着順(抽選終了)
4/6

イベントの説明

勉強会の概要

本勉強会は、AWS上でビッグデータ処理をしている(しようとしている)人が、ノウハウ共有・情報交換できる場を目指しています。

セミナではないため、発表者からの一方向の技術紹介やユースケース紹介ではありません。参加者の相互の情報共有を前提としています。

想定する参加者は以下のとおりです

  • AWSでビッグデータ処理をしている or しようとしている方
  • 話を聞くだけではなく、議論に参加できる方

(勉強会の様子)

img

今回のテーマ

今回はEMR祭りと題して、EMR関連の3テーマを話します

  • Future Architectの須田さんから、ローソンにおける店舗発注業務におけるEMRの活用
  • Repro株式会社CTO 橋立さんから、EMRを使ってEmbulkをスケールさせる話
  • リクルートテクノロジーズ荻原さんから、EMRでスポットインスタンスを自動入札する話

議論多めでやっていきたいとおもいます!

日程

12/12(月) 18:30〜20:30 

開場は18:00です

場所

アマゾン ウェブ サービス ジャパン 目黒オフィス 東京都目黒区下目黒1-8-1 アルコタワー 19F

タイムテーブル

1.支部の説明・各自自己紹介 (10分)

株式会社リクルートテクノロジーズ ビッグデータ部 渡部徹太郎

2.基幹業務もHadoop(EMR)で!!(40分)

Future Architect Tecnology Innovation Group 須田桂伍

概要 : Hadoop/Spark Conference Japan 2016」で発表した「基幹業務もHadoopで!! 〜ローソンにおける店舗発注業務へのHadoop + Hive導入と、 その取り組みについて〜」のその後と題しまして、EMR(時々MySQL, Aurora)のチューニング対応を中心にお話しようかと思います。

発表時資料:http://www.slideshare.net/keigosuda/hadoop-hadoop-hive

3.EMRを使ってEmbulkをスケールさせる(30分)

Repro株式会社 CTO 橋立 友宏さん(joker1007 さん)

概要:EMR上でEmbulkを動かすためのハマり所や、日々のバッチ処理の中にどうやって組み込んでいるのかについて

4.EMRでスポットインスタンス自動入札(30分)

株式会社リクルートテクノロジーズ ビッグデータ部 荻原 啓介さん

概要:EMRの計算ノードにスポットインスタンスを使うことにより、利用料を削減する仕組みについて紹介します。 スポットインスタンスの入札金額を自動的に計算する部分が肝です

5.次回発表のテーマ募集(10分)

6.懇親会

AWSさんの会場で簡単な懇親会を予定しています。 費用は一人2000円です。

ビッグデータについて語りましょう!

ハッシュタグ

ハッシュタグ #bdjaws

資料

資料はGithubに公開します。

https://github.com/bdjaws/workshop

ビッグデータ支部の紹介

AWS上でビッグデータ処理を行っている(行おうとしている)ユーザを中心としたグループです。

技術やユースケースの共有や、日々の悩みを相談をすることを目的としています。

以下のテーマを想定しています。

  • 分散集計(RedShiftやEMR等)
  • 機械学習(EMRやAmazon Michine Learning等)
  • 分散キュー(kinesis)+ショートバッチ
  • 分散KVS(DynamoDB)
  • データフロー制御・スケジューリング(SWF,DataPipeline等)
  • データマイグレーション(ネットワーク周り、スノーボール等)
  • BI

主催・協力

  • 主催:株式会社リクルートテクノロジーズ
  • 協力:株式会社NTTドコモ
  • 会場提供:アマゾン ウェブ サービス ジャパン株式会社

資料 資料をもっと見る/編集する

資料が投稿されると、最新の3件が表示されます。

フィード

fetaro

fetaro さんが BigData-JAWS 勉強会#4 を公開しました。

2016/11/23 22:58

BigData-JAWS 勉強会#4 を公開しました!

グループ

JAWS-UGビッグデータ支部

イベント数 10回

メンバー数 414人

終了

2016/12/12(月)

18:30
20:30

募集期間
2016/11/25(金) 08:00 〜
2016/12/06(火) 23:30

会場

アマゾン ウェブ サービス ジャパン 目黒オフィス

東京都目黒区下目黒1-8-1 アルコタワー 19F

アマゾン ウェブ サービス ジャパン 目黒オフィス

管理者

参加者(22人)

k-tei

k-tei

I joined BigData-JAWS 勉強会#4!

skikuchi565

skikuchi565

BigData-JAWS 勉強会#4 に参加を申し込みました!

moomindani

moomindani

BigData-JAWS 勉強会#4 に参加を申し込みました!

tsutsu

tsutsu

BigData-JAWS 勉強会#4に参加を申し込みました!

kkitase

kkitase

BigData-JAWS 勉強会#4 に参加を申し込みました!

idobata

idobata

BigData-JAWS 勉強会#4 に参加を申し込みました!

kyane

kyane

BigData-JAWS 勉強会#4に参加を申し込みました!

tkhk

tkhk

I joined BigData-JAWS 勉強会#4!

u507510h

u507510h

BigData-JAWS 勉強会#4に参加を申し込みました!

李 晟圭(ケイ)

李 晟圭(ケイ)

BigData-JAWS 勉強会#4に参加を申し込みました!

参加者一覧(22人)

キャンセルした人(13人)