【ビッグデータ管理・活用】マーケティングエージェンシーでのデータ基盤構築、整備を担うエンジニア

【役割】
自社サービス/社内ツールの開発・運用

[どのような業務か]
GoogleやYahoo!広告の配信実績データ（日別での配信金額や広告表示回数、広告のクリック数などのRawデータ）をGoogleやYahoo!からAPIで取得。そのデータをBigQuery内に格納し、Cloud Fuction（Python使用）などの簡易アプリケーションやETLサービスを活用して、データの結合や加工を実施し、社内メンバーが広告配信結果を分析しやすい形式のデータマートを構築する社内ツールの開発・運用のお仕事です。

[特に担っていただきたい内容]
社内メンバーが広告配信結果を分析しやすい形式のデータマート構築における以下の部分
・広告配信実績のRawデータに分析軸ごとのラベル処理の実施。
・データクレンジング（欠損値や異常値の処理、名寄せ処理など）・データ結合・データ型の変換

===========
【関わり方】
構築するシステムの構成や仕様は、チームリーダーと協議しながら方針決定していきます。
仕様や実装・構築の方針について、自発的に提案可能です。また、その提案内容を採用するかは上記の通りチームリーダーと協議しながら決定していくので、採用されやすい環境です。
データ処理方針や実装方針を自身で考えることができ、その結果、構築されたツールを社内メンバーが活用するのでダイレクトに利用者の反応を見ることができます。

===========
【開発環境】
　[プログラミング言語/フレームワーク]
メインで利用するプログラミング言語はPython。その他はGoogle Apps Scriptも利用。
・Python/Flask
・Google Apps Script

　[インフラ]
メインで利用するインフラ環境/クラウドサービスはGoogle Cloud
・Google Cloud （Google Cloud Function、Google Cloud Storage、Google BigQuery、Google Data Fusionなど）
※AWS（AWS Elastic Beanstalk、Amazon S3、AWS Lambdaなど）も頻度は多くないですが、利用します。

　[バージョン管理ツール]
・GitHub

　[構成管理]
・Terraform

中規模〜大規模データを管理・活用するデータエンジニアとしてのスキルが身につきます。

・データ管理の基礎知識：
データを出し入れする為のSQLのスキルはもちろんのこと、大規模データを社内メンバーが活用しやすい形式に変換・管理するデータ構造の設計スキルも身につきます。

・インフラ・分散処理に関する知識：
データ分析基盤となるインフラの知識、膨大なデータを扱いますので複数のサーバーに分散して処理する技術なども身につきます。

・クラウドサービスの知識：
大規模なデータを処理させる為のプラットフォームやサービスはGoogle Cloudを筆頭としたクラウドサービスを活用しますので、大手パブリッククラウドの活用スキルも身につきます。

・プログラミングの知識：
データ加工〜分析に使われるPythonをメインのプログラミング言語とし、Google系のオフィスソフトのバックエンドで動作させる為のGoogle Apps Scriptなど実装スキルも身につきます。