このエントリーをはてなブックマークに追加

6月

13

データ分析用次世代データフォーマットApache Arrow勉強会

Hashtag :#tokyo_arrow
Registration info

参加者

Free

FCFS
38/50

Description

(イベント画像のライセンスはApache License 2.0で著作者はThe Apache Software Foundationです。)

データ分析用次世代データフォーマットApache Arrow勉強会

みなさん、Apache Arrowはご存知ですか!?Apache Arrowは現在主流のOSSのデータ分析ソフトウェアの開発者たちが共同で開発しているデータ分析用の次世代データフォーマットです。データ分析をしている人ならApache SparkPandasApache DrillApache HadoopApache CassandraRの中に知っているプロダクトがあるはずです。これらはApache Arrowの開発に参加しているプロダクトの一部です。いかにOSSのデータ分析ソフトウェアがApache Arrowに期待しているかがわかります。

これらのプロダクトはいずれApache Arrowを使うようになります。これらのプロダクトが使うようになると他のプロダクトも追従し、近いうちにスタンダードなフォーマットになるでしょう。今のうちにApache Arrowを学んでおきましょう!

Apache Arrowが解決する問題

データ分析は多くの技術を活用して実現します。そのため、1つのプロダクトだけでなにもかも実現するのではなく、複数のプロダクトで連携して実現します。適材適所!そのときに課題になるのがデータ交換です。

1つのプロダクトで小さなデータを分析する場合は同一プロセス内でメモリー上のデータをやりとりすれば済みます。しかし、大きなデータを扱う場合、複数のプロダクトで連携する場合はそうもいきません。処理対象のデータを交換する必要があります。

たとえば、JSONにフォーマットしてデータを交換するとしましょう。データを送る側ではJSONにフォーマットする処理が発生し、データを受け取る側ではJSONをパースする処理が発生します。交換するデータ量が多くなればなるほどこの処理コストを無視できなくなります。

その問題を解決するのがApache Arrowです。Apache Arrowはデータのフォーマット・パースコストをほぼ0にします。圧倒的に高速なのです。

Apache Arrowにより、これまでよりも複数のプロダクトで連携してデータ分析できるようになります。既存のプロダクトはもっと効率よく連携できるようになりますし、これまであまり連携できなかった言語でもデータ分析処理の一部を担えるようになります。たとえば、RubyやLuaやGoやRustやJavaScriptなどをもっとデータ分析処理に活用できるようになるでしょう。

こんな人に来て欲しい

  • すでにデータ分析をしている人
  • Ruby・Lua・Go・Rust・JavaScriptなどでデータ分析をしたい人

クラウド上のサービスでデータ分析をしている人たちはApache Arrowに触れる機会はほとんどないでしょうが、どうして速くデータ分析できるかを知っておくと役に立つことがあるかもしれませんよ!

タイムテーブル

18:45 - 19:00 受付
19:00 - 19:05 会場説明
19:05 - 20:00 「Apache Arrow」
Apache Arrowが解決したい問題、設計方針、速さの秘密、現在できること、今後できるようになることなど、Apache Arrowを知らない人でもApache Arrowのことがわかるようになる説明をします。
質問は随時受け付けます。
須藤功平
20:00 - 21:00 「Apache Arrowの開発に参加しよう!」
Apache Arrowの開発に参加する方法を説明します。
質問は随時受け付けます。
須藤功平

詳細

  • 日程:2017年6月13日(火)
  • 時間:19:00~21:00
  • 場所:株式会社Speee(東京都港区六本木4-1-4黒崎ビル5階)(注意:4階ではなく5階です!)
  • アクセス:大江戸線・日比谷線六本木駅(徒歩6分)、南北線六本木一丁目駅(徒歩6分)

参加費

無料

持ち物

なし

WiFi

あり

Presenter

Feed

Kouhei Sutou

Kouhei Sutouさんが資料をアップしました。

06/14/2017 08:26

Kouhei Sutou

Kouhei Sutou published データ分析用次世代データフォーマットApache Arrow勉強会.

06/02/2017 13:36

データ分析用次世代データフォーマットApache Arrow勉強会 を公開しました!

Ended

2017/06/13(Tue)

19:00
21:00

開催日時が重複しているイベントに申し込んでいる場合、このイベントには申し込むことができません

Registration Period
2017/06/02(Fri) 13:36 〜
2017/06/13(Tue) 21:00

Location

株式会社Speee

東京都港区六本木4-1-4 黒崎ビル5階(セミナールーム)

Attendees(38)

unagi_pie

unagi_pie

データ分析用次世代データフォーマットApache Arrow勉強会に参加を申し込みました!

ossan03

ossan03

データ分析用次世代データフォーマットApache Arrow勉強会 に参加を申し込みました!

NakamuraM

NakamuraM

データ分析用次世代データフォーマットApache Arrow勉強会に参加を申し込みました!

mcmarline

mcmarline

データ分析用次世代データフォーマットApache Arrow勉強会 に参加を申し込みました!

ShowRiseGo

ShowRiseGo

データ分析用次世代データフォーマットApache Arrow勉強会 に参加を申し込みました!

bicycle1885

bicycle1885

I joined データ分析用次世代データフォーマットApache Arrow勉強会!

saicologic

saicologic

データ分析用次世代データフォーマットApache Arrow勉強会 に参加を申し込みました!

robi10

robi10

データ分析用次世代データフォーマットApache Arrow勉強会 に参加を申し込みました!

JunYang

JunYang

データ分析用次世代データフォーマットApache Arrow勉強会に参加を申し込みました!

keigodasu

keigodasu

データ分析用次世代データフォーマットApache Arrow勉強会に参加を申し込みました!

Attendees (38)

Canceled (25)