仕事内容
LINEヤフーのデータプラットフォームは、数百PB以上のデータを蓄積・処理し、データ利活用を支えています。本ポジションでは、分散システム基盤の構築・運用を通じて、データ収集、リアルタイム処理、スケーラビリティ、データ品質、セキュリティ、AI/ML統合などを担当します。Apache Hadoop, Kafka, Flink, Trino, Druidなどの技術を活用し、大規模データインフラの設計・実装・最適化を推進します。
主な業務内容
- データ収集と統合：異なるデータソースからのデータを効率的に収集し、統合するためのETLパイプラインの設計・実装。
- リアルタイムデータ処理：Apache KafkaやFlinkを用いたリアルタイムデータ処理の最適化と運用。
- スケーラビリティとパフォーマンス：ネットワークの設計やハードウェアの選定など専門チームと協業しながらスケーラブルなインフラの設計・実装、パフォーマンスの最適化。
- データ品質とガバナンス：データの一貫性、正確性、完全性を確保するためのツールやプロセスの導入。
- データセキュリティとプライバシー：データの暗号化、アクセス制御、コンプライアンス対応。
- AI/MLの統合と運用：機械学習プラットフォームの構築・運用、MLOpsの導入。
ポジション概要
- LINEヤフーでは、日々大量のデータが発生し、データプラットフォームに蓄積されています。
- トータルで数百PB以上のデータを蓄積・処理し、データ利活用に役立てています。
- 専用のデータセンターを活用し、数千台のサーバーを用いて分散システム基盤を構築・運用しています。
- データサイエンティストが簡単にAI活用できることを目指し、機械学習プラットフォーム（AIプラットフォーム）も独自で構築・提供しています。
開発環境
- 分散処理フレームワーク：Apache Hadoop
- 分散メッセージングシステム：Apache Kafka
- 分散ストリーム処理システム：Flink
- 分散SQLエンジン：Trino
- 分散データストア：Druid
求める人物像
- 正解のない問題解決を楽しみ、スピード感を持って品質高く解決に導ける方
- 複数のステークホルダーの要求のなかで課題の優先順位をつけながら解決できる方
- 結果にこだわり最後までやり抜く力がある方
求めるスキル・経験
必須
分散システムを利用したデータ基盤の構築、運用の経験（1年以上） 分散システム
Kubernetes、Dockerを使ったミドルウェアやサービスの開発と運用の経験 DockerKubernetes
以下のいずれかを満たすこと
Pythonのプログラミング業務経験（1年以上）
または
Javaのプログラミング業務経験（1年以上）
または
Goのプログラミング業務経験（1年以上）
歓迎
100台規模以上の分散システムにおけるソフトウェア エンジニアリングまたはシステム エンジニアリングの経験 分散システム
Apache Hadoop、Apache Kafka、Apache Flink、Apache Druidなどを利用したアプリケーションの開発・運用の経験 Apache Kafka
Apache Hadoop、Apache Kafka、Apache Flink、Apache Druidなどエコシステムの運用保守設計、および運用改善経験 Apache Kafka
KubernetesのClusterやエコシステムの設計、構築、運用経験 Kubernetes
Web Applicationの開発・運用の経験 Webアプリケーション開発経験
CI/CDなどによるシステム自動化の経験
機械学習のシステム開発やプログラムの実装経験 機械学習モデル開発経験
Google Cloud Platform、Amazon Web ServicesでのAI開発経験 AWSGCPGo機械学習モデル開発経験
オープンソースへの貢献 OSSコントリビューション
募集要項
- 職種
- データエンジニア
- 雇用形態
- 正社員
- 想定年収
- 800万〜1800万円
- 勤務地
- 東京都 千代田区
- 出社・リモート
- ハイブリッド / リモート可
- 必要経験
- 1年以上
- レベル
- メンバー
- 勤務時間
- スーパーフレックス（コアタイムなし） / 実働7.75時間
- 休日休暇
- 完全週休2日制 / 祝日休み / 年末年始休暇7日
- 給与の詳細
- 賞与 年2回 / みなし残業 月35時間
- 試用期間
- 3ヶ月
福利厚生・制度
選考プロセス
- 書類選考
- 課題選考 （場合により）
- 適性検査 （場合により）
- 面接（複数回） （場合により）
- コンプライアンスチェック （場合により）
- リファレンスチェック （場合により）
- 内定
ポジションにより選考内容が変更となる可能性があります。選考結果は合否にかかわらず2週間以内に、応募フォームに入力されたメールアドレスにご連絡いたします。ゴールデンウィークや年末年始等を挟む場合は、さらに1週間程度を要する場合があります。面接などのスケジュールによって変わりますが、順調に進んだ場合、応募から1カ月～1カ月半程度で内定となります。選考の内容や基準、結果の理由に関してのお問い合わせには、合否にかかわらず回答いたしかねます。