このエントリーをはてなブックマークに追加

Jun

21

MoT TechTalk タクシーアプリ『GO』大規模トラフィックを捌く分析データ基盤の全容に迫る!

分析データ基盤,Dataflow,CDC,debezium,dbt,Dataform,MLOps

Organizing : 株式会社Mobility Technologies

Hashtag :#mot_tech_talk
Registration info

一般

Free

Attendees
189

参加者への情報
(参加者と発表者のみに公開されます)

Description

イベント概要

Mobility Technologies(MoT)には、大規模なタクシーの交通データを活用して、タクシー乗務員の方がお客さんを見つけやすい場所を予測する「お客様探索ナビ」や、エリアやトレンドを予測してタクシーの予約枠数を調整する「AI予約」などの様々なAIサービスを提供しています。今回のMoT TechTalk #12では、その前段階である大規模な交通トラフィックを捌くためのストリーミングパイプラインや、データをPDCAに活かすためのいくつかの分析基盤、そしてAIサービスで利用する際のML基盤にフォーカスして、技術トピックをお話します。また、実運用する上で直面した課題やその解決策についてもご紹介します。

※ イベントの最後でアンケートに答えていただいた方の中から、抽選で10名様にタクシーアプリ『GO』で利用できる¥2,000クーポンをお配りいたします。詳細は後述のキャンペーン注意事項を御覧ください。

株式会社Mobility Technologies(MoT)とは

Mobility Technologiesは「移動で人を幸せに。」をミッションに、日本のモビリティ産業をアップデートする様々なITサービスの提供を行っています。

参加対象

  • 分析データ基盤に興味がある方
  • 大規模ストリーミングデータパイプラインに興味がある方
  • MLOpsに興味がある方
  • MoTを知りたいエンジニアの方
  • モビリティに興味があるエンジニアの方

当日のタイムテーブル

時間 コンテンツ
19:00-19:05 オープニング
19:05-19:55 ・Dataflow による車両位置情報のストリーミング収集パイプライン(牧瀬)
・CDC(Change Data Capture)を使ったデータ収集の事例紹介(伊田)
・dbtとDataformの検証から導入まで(伊田)
・AI予約サービスのMLOps事例紹介(鈴木)
19:55-20:00 クロージング

当初50分の予定でしたが、60分へと変更いたしました。

アジェンダ

Dataflow による車両位置情報のストリーミング収集パイプライン(牧瀬)

日本中を走行する大量のタクシー車両の位置や乗降の情報は、タクシーアプリ『GO』のサービスを実現するのに必要なだけではなく、分析やAI学習などに活用し、サービスを絶えず改善していくためにも必要です。このようなタクシー動態情報を活用するためのデータ基盤の仕組みをご紹介します。

CDC(Change Data Capture)を使ったデータ収集の事例紹介(牧瀬・伊田)

マルチクラウド環境の分析データ収集に CDC(Change Data Capture)を採用しています。CDC はデータの変更を全て追うことが可能なスキームです。システム構成や、運用経験から得た使い所をご紹介します。

dbt と Dataform の検証から導入まで(伊田)

まず、dbt および Dataform というツールを紹介します。これらは、依存関係を定義した上で SQL を用いてデータの加工処理を実行できるツールです。次に、現在データ分析チームが抱えている課題について紹介した上で、2つのツールについて検証から導入までの経緯を説明します。

AI予約サービスのMLOps事例紹介(鈴木)

「AI予約」とはタクシーを希望日時に予約できるサービスです。サービス提供のため、タクシーデータを活用してエリアごとのタクシートレンドを予測し、注文枠数を調整しています。今回はそのトレンド推論をするMLパイプラインについて、MLシステム特有の課題を踏まえた開発/運用における取り組み事例をご紹介します。

プロフィール

牧瀬 芳太郎

AI技術開発部 ソフトウェアエンジニア

組み込み系の会社で携帯電話・ゲーム機向けの開発に従事。その後 DeNAに入社し、モバイルゲームプラットフォーム開発などに携わる。現在はMobility Technologiesにてタクシーアプリ『GO』やプロジェクト横断のデータ基盤開発・運用を担当。たまにバックエンド開発も行う。

伊田 正寿

AI技術開発部 データエンジニア

2018年9月JapanTaxiに入社し、Mobility Technogies 統合後の2020年9月に一度退社しましたが、2021年11月に再入社しました。分析基盤の開発、運用を担当しています

鈴木 隆史

AI技術開発部 グループリーダー

ソーシャルゲーム会社でゲーム開発、データ基盤、ML基盤の開発に従事。2019年にDeNAに入社し、タクシー交通データを利用したMLプロダクト開発に携わる。現在はMobility Technologiesにて、機械学習の実験基盤やパイプラインの設計開発を担当。

コメンテーター:渡部徹太郎 @fetarodc

「実践的データ基盤への処方箋」「図解即戦力 ビッグデータ分析のシステムと開発がこれ1冊でしっかりわかる教科書」著者。大手SIer、大手Web企業にてデータ基盤を担当したのち、現職ではML/CVを応用したシステムのプロダクトオーナ兼エンジニアをしている。

会場

新型コロナウイルス感染症(COVID-19)の流行に伴いオンライン(YouTube Live)で開催いたします。 詳細はconnpass経由で別途ご連絡させていただきます。

※アーカイブは後日公開を予定しています。

アーカイブを公開しました。

https://youtu.be/HJdP4_H_hJI?t=185

イベント注意事項

・技術交流が目的の勉強会のため、知識の共有および参加者同士の交流を目的としない参加はお断りしております。参加目的が不適切だと判断される場合には、運営側で参加をキャンセルさせていただく場合がございます。

・参加枠が大幅に埋まらない場合には開催を延期または中止する場合がございます。

・個人情報取扱いについてプライバシーポリシーに定める利用目的に必要な範囲で利用し、当社が責任をもって厳格に管理いたします。内容をご確認の上、ご同意いただきお申込み下さい。

その他、ご不明点などございましたら、遠慮なくご連絡いただけますと幸いです。

キャンペーン注意事項

  • クーポンの利用期限は2022/9/30になります。
  • 対象者:イベントの最後に実施するアンケートに回答された方
  • ご応募はおひとり1回までとさせていただきます
  • クーポンのご利用方法や制限事項についてはQ&Aの「クーポンについて」もご参照ください
  • 当選発表は、イベント参加時に抽選希望者のみにご登録いただくメールアドレス宛へのクーポンコードのご連絡をもって代えさせていただきます
  • 主催者の判断により本キャンペーンを中止する場合がございます

Feed

ttyszk

ttyszkさんが資料をアップしました。

06/24/2022 17:05

ttyszk

ttyszkさんが資料をアップしました。

06/24/2022 16:14

Group

MoT / Mobility Technologies

Number of events 33

Members 1937

Ended

2022/06/21(Tue)

19:00
20:00

Registration Period
2022/05/31(Tue) 18:00 〜
2022/06/21(Tue) 20:00

Location

オンライン

オンライン

オンライン

Organizer

Attendees(189)

Tatsuya

Tatsuya

MoT TechTalk タクシーアプリ『GO』大規模トラフィックを捌く分析データ基盤の全容に迫る! に参加を申し込みました!

yaza_ta

yaza_ta

MoT TechTalk タクシーアプリ『GO』大規模トラフィックを捌く分析データ基盤の全容に迫る!に参加を申し込みました!

hiro1122

hiro1122

MoT TechTalk タクシーアプリ『GO』大規模トラフィックを捌く分析データ基盤の全容に迫る!に参加を申し込みました!

NoriakiHiraki

NoriakiHiraki

MoT TechTalk タクシーアプリ『GO』大規模トラフィックを捌く分析データ基盤の全容に迫る!に参加を申し込みました!

nagomiko

nagomiko

MoT TechTalk タクシーアプリ『GO』大規模トラフィックを捌く分析データ基盤の全容に迫る! に参加を申し込みました!

tokusumi

tokusumi

MoT TechTalk タクシーアプリ『GO』大規模トラフィックを捌く分析データ基盤の全容に迫る!に参加を申し込みました!

89

89

I joined MoT TechTalk タクシーアプリ『GO』大規模トラフィックを捌く分析データ基盤の全容に迫る!!

haradatm

haradatm

MoT TechTalk タクシーアプリ『GO』大規模トラフィックを捌く分析データ基盤の全容に迫る! に参加を申し込みました!

massan

massan

MoT TechTalk タクシーアプリ『GO』大規模トラフィックを捌く分析データ基盤の全容に迫る! に参加を申し込みました!

asteriam

asteriam

MoT TechTalk タクシーアプリ『GO』大規模トラフィックを捌く分析データ基盤の全容に迫る!に参加を申し込みました!

Attendees (189)

Canceled (2)