テクニカルアーキテクトSME/Technical Architect SME/12million and above

• Azure Databricks/ Fabricを使用した高度なアナリティクスソリューションのアーキテクチャ、設計、実装をリードする。ビッグデータ技術、データエンジニアリング、クラウドコンピューティングを深く理解し、Azure DatabricksとStrong SQLを得意とする方を求めています。
• ビジネス関係者や他のITチームと密接に連携し、要件を理解し、効果的なソリューションを提供する。
• データソリューションのエンドツーエンドの実装を監督し、ビジネス要件やベストプラクティスとの整合性を確保する。
• Azure Databricks、PySpark、その他の関連ツールを使用したデータパイプラインとETLプロセスの開発をリードする。
• Azure Databricksを他のAzureサービス（Azure Data Lake、Azure Synapse、Azure Data Factoryなど）やオンプレミスシステムと統合する。
• データエンジニアリングチームに技術的なリーダーシップとメンターを提供し、継続的な学習と改善の文化を醸成する。
• アーキテクチャ、プロセス、データフローを適切に文書化し、セキュリティとガバナンスの標準を遵守する。
• コード品質、データセキュリティ、スケーラビリティの面でベストプラクティスが守られていることを確認する。
• Databricksおよび関連技術の最新動向を常に把握し、イノベーションを推進する。
• Lead the architecture, design, and implementation of advanced analytics solutions using Azure Databricks/ Fabric. The ideal candidate will have a deep understanding of big data technologies, data engineering, and cloud computing, with a strong focus on Azure Databricks along with Strong SQL.
• Work closely with business stakeholders and other IT teams to understand requirements and deliver effective solutions.
• Oversee the end-to-end implementation of data solutions, ensuring alignment with business requirements and best practices.
• Lead the development of data pipelines and ETL processes using Azure Databricks, PySpark, and other relevant tools.
• Integrate Azure Databricks with other Azure services (e.g., Azure Data Lake, Azure Synapse, Azure Data Factory) and on-premise systems.
• Provide technical leadership and mentorship to the data engineering team, fostering a culture of continuous learning and improvement.
• Ensure proper documentation of architecture, processes, and data flows, while ensuring compliance with security and governance standards.
• Ensure best practices are followed in terms of code quality, data security, and scalability.
• Stay updated with the latest developments in Databricks and associated technologies to drive innovation.

• Databricks/SynapseノートブックとAzure Data Factoryを使用したデータ取り込みと変換パイプラインの開発における8年以上の専門知識。
• Deltaテーブル、Delta Lake、Azure Data Lake Storage Gen2に対する確かな理解と実務経験。
• シームレスなデータ取り込みと変換のためのAuto LoaderとDelta Liveテーブルの効率的な使用経験。
• Databricks SQLを使用したクエリレイヤーの構築と最適化に精通していること。
• Databricks と Azure Synapse、ADLS Gen2、Power BI を統合し、エンドツーエンドのアナリティクスソリューションを実現した経験。
• Power BI レポートの開発、最適化、デプロイ経験がある。
• 最新のCI/CDプラクティス、特にDatabricksとクラウドネイティブソリューションに精通していること。

技術スキル:

• クラスタ管理、ノートブック開発、Delta Lakeを含むAzure Databricksの強力な経験。
• ビッグデータ技術（Hadoop、Sparkなど）やデータ処理フレームワーク（PySparkなど）に精通していること。
• Azure Data Lake、Azure Synapse、Azure Data FactoryなどのAzureサービスの深い理解。
• ETL/ELTプロセス、データウェアハウス、データレイク構築の経験。
• 強力なSQLスキルとNoSQLデータベースに精通していること。
• CI/CDパイプラインとGitのようなバージョン管理システムの経験。
• クラウドセキュリティのベストプラクティスの知識
•  複雑な技術的概念を非技術的なステークホルダーに説明できる優れたコミュニケーションスキル。
• 問題解決能力が高く、問題の特定と解決に積極的に取り組むことができる。
• データエンジニアのチームを管理、指導できるリーダーシップスキル。

あると望ましいスキル:

• ダッシュボード作成とレポート作成のためのPower BI。
• アナリティクスと統合タスクのためのMicrosoft Fabric
• リアルタイムのデータストリームを処理するためのSpark Streaming。
• インフラストラクチャ・アズ・コード(IaC)の実践のためのAzure Resource Manager (ARM)テンプレートに精通していること。

日本語： 日本語ネイティブレベル（JLPT N）、ビジネス英語レベル 

• Demonstrated expertise of 8+ years in developing data ingestion and transformation pipelines using Databricks/Synapse notebooks and Azure Data Factory.
• Solid understanding and hands-on experience with Delta tables, Delta Lake, and Azure Data Lake Storage Gen2.
• Experience in efficiently using Auto Loader and Delta Live tables for seamless data ingestion and transformation.
• Proficiency in building and optimizing query layers using Databricks SQL.
• Demonstrated experience integrating Databricks with Azure Synapse, ADLS Gen2, and Power BI for end-to-end analytics solutions.
• Prior experience in developing, optimizing, and deploying Power BI reports.
• Familiarity with modern CI/CD practices, especially in the context of Databricks and cloud-native solutions

Technical Skills

• Strong experience with Azure Databricks, including cluster management, notebook development, and Delta Lake.
• Proficiency in big data technologies (e.g., Hadoop, Spark) and data processing frameworks (e.g., PySpark).
• Deep understanding of Azure services like Azure Data Lake, Azure Synapse, and Azure Data Factory.
• Experience with ETL/ELT processes, data warehousing, and building data lakes.
• Strong SQL skills and familiarity with NoSQL databases.
• Experience with CI/CD pipelines and version control systems like Git.
• Knowledge of cloud security best practices.
•  Excellent communication skills, with the ability to explain complex technical concepts to non-technical stakeholders.
• Strong problem-solving skills and a proactive approach to identifying and resolving issues.
• Leadership skills with the ability to manage and mentor a team of data engineers.

Nice to have Skills:

• Power BI for dashboarding and reporting.
• Microsoft Fabric for analytics and integration tasks.
• Spark Streaming for processing real-time data streams.
• Familiarity with Azure Resource Manager (ARM) templates for infrastructure as code (IaC) practices.

Japanese Language: Native Japanese Level (JLPT N) and Business English level