主な詳細

時間タイプ: フルタイム

労働者タイプ: 従業員

主な責任:

• データ処理と自動化のためにPythonを使用してAzure Databricks内のデータパイプラインとワークフローを設計、開発、最適化します。
• プラットフォームチームと協力して、根底にあるインフラストラクチャがDatabricksワークロードのスケーラビリティ、パフォーマンス、セキュリティ要件をサポートしていることを確認します。
• 効率的で信頼性が高く、ビジネス要件を満たすETLパイプラインを維持して強化します。
• Databricks内のデータ処理、パイプラインの失敗、パフォーマンスボトルネックに関連する問題をトラブルシュートし解決します。
• スピード、コスト効率、パフォーマンス用のデータパイプラインを最適化する戦略を開発し実施し、ビジネス目標と一致するようにします。
• Azureエコシステム内のデータアーキテクチャ、データモデル、および全体のインフラの改善に貢献します。
• Azure Databricks内でデータワークフローとデータストレージソリューションを監視、維持、スケールする努力をリードします。
• データエンジニア、データサイエンティスト、アナリストと協力して、システム全体でデータの整合性とスムーズな流れを確保します。
• データエンジニアリングとクラウド技術の最新業界トレンド、ツール、およびベストプラクティスを常に最新に保ちます。

要件:

• クラウドベースの環境、特にAzureでのデータパイプラインの構築と最適化のエキスパートとしてのデータエンジニアとしての3年以上の経験。
• データ処理スクリプトの開発およびワークフローの最適化のためのAzure DatabricksとPythonのプロフィシエンシー。
• ETLプロセス、データパイプライン設計、自動化、トラブルシューティングの経験。
• Databricks内でのApache Sparkのハンズオン経験、パフォーマンス調整および最適化を含む。
• Azure データレイク、Azure SQL、その他Azureベースのデータストレージおよび処理サービスについての知識。
• Azure内のネットワーキング、ストレージ、セキュリティ、およびパフォーマンスの考慮事項を含むクラウドデータプラットフォームの強い理解。
• 高品質のデータソリューションを調整し提供するためにクロスファンクショナルなチームで効果的に働く能力。
• データワークフローに関連する問題を識別し解決する優れた問題解決力および分析力。
• 異なるチームと効果的に協力するための技術的および非技術的な強いコミュニケーションスキル。

好ましい資格:

• Azure Synapse Analytics、Azure Data Factory、または類似のデータ統合ツールの経験。
• CI/CDのプラクティスおよびGitのようなバージョン管理システムに精通していること。
• アジャイル手法およびプロジェクト管理ツール（例：Jira、Trello）の経験。
• データ品質とセキュリティを確保するためのデータガバナンスの原則とベストプラクティスに精通していること。

スキル:

適応性, アジャイルアプリケーション開発, コミュニケーション, 批判的思考, 顧客サービス, GitLab CI/CD, 意図的なコラボレーション, パフォーマンス管理, プロセス改善, リスク管理, スケーラビリティテスト, ソフトウェア開発, ソフトウェア開発ライフサイクル（SDLC）手法, ステークホルダーマネジメント, チームマネジメント

応募方法:

応募を送信するには、「応募」をクリックし、ステップバイステッププロセスに従ってください。

均等な雇用機会:

QBEは均等な雇用機会を提供する雇用者であり、各管轄区域での均等雇用機会法に準拠する必要があります。

職務記述書を参照してください。