エンジニアという仕事自社サービスのデータ基盤エンジニア
自社サービスのデータ基盤エンジニア
自社サービスから生まれる大量のログやユーザー行動データを、事業判断や機械学習に使える形に整えるためのデータ基盤を設計・構築します。データの収集・蓄積・加工のパイプラインを作るだけでなく、データサイエンティストやマーケティング部門など「データを使う側」が使いやすい環境を整えることも重要な役割です。
SQL・プログラミングに加え、データベースやクラウドの基礎知識が前提になりやすい
月の残業は目安15〜25時間程度。パイプラインの障害対応以外は計画的に開発を進めやすい
求人の中心的なレンジ。クラウド関連のデータ基盤スキルで上振れしやすい
- 業務内容
- BigQuery/Snowflake等、大量のデータをまとめて保管・分析するための基盤(データウェアハウス)の設計・構築
- ETL/ELT(データの抽出・変換・格納)パイプラインの構築・運用
- ログ収集基盤・データ連携基盤の設計
- データ品質のチェック・監視の仕組みづくり
- 社内のデータ活用部門(マーケティング、事業企画等)からの要望対応
- 具体的な業務イメージ
社内のマーケティングや事業企画部門から「このデータをこういう形で見たい」という依頼が日常的に届き、それに応じてETL/ELT(データの抽出・変換・格納)パイプラインを新規構築・改修します。パイプラインは複数本を並行して運用することが多く、データ量の増加や仕様変更で処理が遅くなった際は原因調査・チューニングに時間を使います。SQLでのデータ加工に加え、パイプラインの自動化にはPythonが使われることが多く、データ品質の異常を検知する監視の仕組みも自分たちで整備します。
- この仕事のやりがい
- 整備したデータ基盤が全社のデータドリブンな意思決定を支えている実感
- データ活用の幅が広がっていく過程に技術面から関われる
- 散らばっていたデータが整理され、使いやすくなる手応え
- 向いている人
- データの構造や流れを整理・設計するのが得意な人
- 他部門の要望を汲み取りながら、使いやすい仕組みを作れる人
- 地道なパイプライン改善・品質管理をコツコツ続けられる人
- 向いていない人
- 分析結果からインサイトを導く方に関心が強い人(データサイエンティスト志向)
- ユーザー向けの目に見える機能開発にやりがいを感じたい人
- ドキュメント整備やデータ品質管理を後回しにしたくなる人
- つまずきやすいポイント
- データ量の増加でパイプラインの処理が遅くなり、都度チューニングが必要になる
- データの発生源となるサービス側の仕様変更に振り回されることがある
- データ活用側の要望が多岐にわたり、優先順位づけに悩みやすい
- 必要スキル
- SQL・データベース設計力 ETL/ELTパイプライン構築力 クラウドのデータ関連サービスの知識 データモデリング力 他部門との調整力
- その後のキャリアパス例
- データエンジニアリングのテックリードへ
- 機械学習基盤(MLOps)エンジニアへ
掲載の年収は各パターンの求人情報から算出した中央値の参考レンジです(quickfactsを参照)。経験・スキル・企業規模により変動します。
この職種で転職を考えたら
相性の良い転職エージェントは人によって違います。求人の量や、担当者との相性を見るためにも、2〜3社まとめて登録しておくのがおすすめです。
求人数が多く、まず1社目に登録しておきたいタイプ
求人を見る(準備中)エンジニア求人・選考ノウハウに強いタイプ
求人を見る(準備中)自分のペースで求人を探したい人向け
求人を見る(準備中)※求人リンクは現在準備中です。ASPとの提携が完了し次第、実際の求人ページへのリンクに差し替えます。