Oct
11
BigData-JAWS 勉強会#9
〜事例3連発!クラウドワークスさん、日経新聞さん、ギックスさん〜
Organizing : リクルートテクノロジーズ 渡部徹太郎
Registration info |
一般参加 Free
Standard (Lottery Finished)
主催者 Free
Standard (Lottery Finished)
|
---|
Description
勉強会の概要
本勉強会は、AWS上でビッグデータ処理をしている(しようとしている)人が、ノウハウ共有・情報交換できる場を目指しています。
セミナではないため、発表者からの一方向の技術紹介やユースケース紹介ではありません。参加者の相互の情報共有を前提としています。
想定する参加者は以下のとおりです
- AWSでビッグデータ処理をしている or しようとしている方
- 話を聞くだけではなく、議論に参加できる方
(前回の様子)
議論多めでやっていきたいとおもいます!
日程
2017/10/11(水)
- 開場 18:00
- 勉強会 18:30〜20:30
- 懇親会 20:30〜22:00
場所
アマゾン ウェブ サービス ジャパン 目黒オフィス 東京都目黒区下目黒1-8-1 アルコタワー 19F
タイムテーブル
1.オープニング・支部の説明 (10分)
株式会社リクルートテクノロジーズ ビッグデータ部 渡部徹太郎
2. リアルタイムアクセスログ分析基盤をAWSに構築した話(30分)
株式会社 日本経済新聞社 データ分析・CRMセンター 佐野 玄さん
概要:アクセスログ収集〜分析基盤をAWSに構築しました。堅牢性、コスト、リアルタイム性をバランスする設計と、データ利用を促進する施策について紹介します。
3. ベンチャー企業が取り組んだ賢いRedshift運用方法(30分)
株式会社ギックス "Data Structuring"Sectionリーダー 宍戸栄一郎さん
概要:弊社では起業時よりRedshiftを導入し、分析業務の中核として運用してきました。 その中で導入したRedshiftの運用コストの削減方法やリソース監視機能、組織的な分析体制についてご紹介いたします。
休憩(10分)
4.クラウドワークスを支えるデータ分析基盤(30分)
株式会社クラウドワークス プロダクトDiv 森田真之さん
概要:クラウドワークスでは日々データドリブンなサービス改善を行っており、データ分析基盤の中核としてRedshiftを利用しています。
本発表では、クラウドワークスを支えるデータ分析基盤の事例紹介として、
- FlyData SyncによるMySQL => Redshiftへのデータ同期
- Kinesis Streams & FirehoseによるログデータのRedshiftへのデータ同期
- SQLバッチフレームワークbricolageによる集計バッチ
- BIツールRedashを利用したデータ分析
などのシステム構成を紹介したのち、その他運用Tipsなどについても紹介する予定です。
5.次回発表のテーマ募集・クロージング(10分)
6.懇親会
AWSさんの会場にて懇親会を行います。会費2000円
ビッグデータについて語りましょう!
資料
資料はGithubに公開します。今までの開催分の資料もあります。
https://github.com/bdjaws/workshop
ビッグデータ支部の紹介
AWS上でビッグデータ処理を行っている(行おうとしている)ユーザを中心としたグループです。
技術やユースケースの共有や、日々の悩みを相談をすることを目的としています。
以下のテーマを想定しています。
- 分散集計(RedShift、EMR、Athena等)
- 機械学習(EMR、Amazon Michine Learning等)
- 分散キュー(kinesis)+ショートバッチ
- 分散KVS(DynamoDB)
- データフロー制御・スケジューリング(SWF,DataPipeline等)
- データマイグレーション(ネットワーク周り、スノーボール等)
- BI (QuickSight)
主催・協力
- 主催:株式会社リクルートテクノロジーズ
- 協力:株式会社NTTドコモ
- 会場提供:アマゾン ウェブ サービス ジャパン株式会社
Media View all Media
If you add event media, up to 3 items will be shown here.