Data Engineer – Big Data / Cloud クラウド上でスケーラブルなデータパイプラインを構築

ジョブ概要

• ユーザーやプロジェクトチームと連携し、要件・期待値を把握

• ビジネス要件を分析し、機能・非機能要件を満たすデータソリューションを設計

• Scala/Spark/Javaを用いた大規模データ処理向けのスケーラブルなデータパイプライン設計・実装

• データ取り込み、検証、正規化、変換のための再利用可能なフレームワーク構築・維持

• テスト自動化、CI/CD、データ移行・検証用スクリプト作成

• インシデント対応の技術サポート

応募条件

• 開発者またはデータエンジニアとして 3～6年の実務経験

Job Description

• Collaborate with users and project team on requirements and expectations
• Analyze business requirements, create proper data solutions that meets functional and non-functional requirements
• Design and implement highly scalable and robust data pipelines in Scala/Spark/Java for processing of extreme large amount of data
• Create and maintain reusable frameworks for data ingestion, validation, normalization, and transformation
• Create scripts for test automation, CI/CD, data migrations, data validations
• Provide technical support for incident recovery

Experience:

• Minimum 3~6 years of working experience as developer or data engineer

必須スキル・経験

• Scala、Java、Pythonによる強力なプログラミングスキルおよびソフトウェア開発経験

• Hadoop、Sparkなどの分散システムの深い理解と最適化経験

• パブリッククラウド（特にAzure）の利用経験

• Oracle、MS-SQL Server、Linux、ネットワークに関する知識

• SQL、シェルスクリプト、Git、ユニットテスト、CI/CDツールの実務経験

• 設計原則、コーディング標準、ベストプラクティスの理解

• 高い学習能力と問題解決能力

• 優れたコミュニケーション・プレゼンテーション・対人スキル

歓迎スキル

• REST API、NoSQL、マイクロサービス、ETLの理解

• クラウドサービスのハンズオン経験

• ストリーミングデータ処理や変更データキャプチャの理解

• BIツールの使用経験

Skills:

• Strong programming skills and has software development experience in Scala, Java or Python
• Deep understanding of distributed systems (Hadoop, Spark, etc.) and its optimization
• Experience in public cloud technologies, preferably Azure
• Good knowledge of Oracle database, MS-SQL Server, Linux, networking
• Proficient in SQL, shell scripting, git, unit testing, CI/CD tools
• Understanding of design principles, coding standards and best practices
• Strong learning ability and problem-solving skills
• Excellent communication, presentation, and interpersonal skills

Preferable:

• Understanding of REST API, NoSQL, micro-services, ETL
• Hand-on experience with Cloud services is preferred
• Understanding of streaming data processing and change data capture is preferred
• Experience with BI tools is preferred