データ基盤開発

必須

• Pythonを用いたプログラミング経験者(2年以上)
• MySQLなどのRDBの設計、操作に抵抗の無い方
• 正規化されていないデータと向き合う根気のある方

歓迎

• リードエンジニアまたは同様の役割の経験
• バッチ処理設計・運用の経験・知識がある方
• クラウド(AWS/GCPなど)でのRDB/DWHやデータ分析基盤のアーキテクチャ設計・導入・運用の経験
• ETLツール等の設計・開発経験がある方
• 各領域特化したデータに関する知見がある方(CJK問題、住所データ構造、地理空間等)

求める人物像

• オープンデータと向き合い、柔軟な発想で応用・実装へつなげる思考力をお持ちの方
• TRY＆ERRORを厭わず、粘り強く技術検証・実装を繰り返せる方
• チームメンバーにリスペクトを持って接し、協調して働く姿勢をお持ちの方

使用ツール

募集内容

• 現在、サービスの拡充や新たな展開を見据え、私たちと共にこのビジョンを推進していただける仲間を募集しています。

仕事内容

• 医療分野におけるデータベースエンジニアとして、Web上に点在する医療情報や、出典やフォーマットの異なる各種医療関連データを収集・統合し、プロダクトや業務で活用可能な形式へと構造化・クレンジング・正規化していただきます。
• 技術的には、PythonやSQLを活用したデータ処理ロジックの開発、正規表現によるフォーマット調整、HTML構造のパース処理、非構造データからの抽出などを想定しています。安定した運用のためにETL処理やバッチジョブの設計・構築・メンテナンスにも携わっていただきます。
• 新規プロジェクトでは、スクレイピングやAPI連携などを活用したデータ取得基盤の設計・実装、また前例のないデータ探索・整理手法の技術検証（R&D）を行っていただきます。既存プロジェクトにおいては、スケーラビリティや保守性を意識した処理基盤のリプレイス、クエリ最適化、データスキーマの見直し、処理手順の標準化・自動化などをお任せします。
• エンジニアリングチームや企画サイドと密に連携しながら、「より速く・正確に・価値ある形で」データを届けるための開発基盤を、事業の成長とともに進化させていく重要な役割を担っていただきます。

データ収集

• 収集対象データが意図通りに取得できるかを検証するためのサンプリングおよびプロトタイピングを実施
• PythonやOctoparseなどのツールを用いて、定義済みの収集先からデータを取得するプログラムの実装
• 収集先の拡充や収集データの検証を効率化するツールの開発

データクレンジング・検証

• 収集データを分析し、SQL、正規表現、自然言語解析、AI技術を駆使して正規化、変換、集計などの整形処理を実装
• 整形データの機械的および目視による検証を効率化するツールを作成

自動化・基盤構築

• 上記処理を効率的かつ再現性高く実行するためのETL基盤の設計、構築、運用を担当

開発環境

• フルリモート
• 稼働環境 : AWS等各種クラウドサービス
• ＯＳ：Linux(Centos, Ubuntu)、Windows、Docker、kubernetis等コンテナ技術
• 言語：sql, python, ruby, go、他(vba、shell等)
• その他：Jira、Slack、teams、git、jenkins, newrelic 等

開発メンバーの裁量

• OS やエディタ、IDE といった個人の環境は、各自で選択可能です
• タスクの見積もりは、実装を担当するメンバーが中心となって行います
• 全体のスケジュール管理は、途中の成果を随時確認しながら、納期または盛り込む機能を柔軟に調整する形で行います

アジャイル実践状況

• デイリーで定例MTG、またはそれに準じるチーム内の打ち合わせを行っています
• イテレーションの最後などに、定期的にチームで振り返りミーティングを行っています