Skop Kerja/Tanggungjawab:

1. Pembangunan Saluran Data:

- Reka bentuk, laksanakan, dan tingkatkan saluran data dari hujung ke hujung menggunakan Databricks dan teknologi berkaitan.

- Bina aliran kerja untuk menangani pengambilan data berskala besar, transformasi, dan penyimpanan.

2. Penyediaan Data untuk LLM:

- Pra-proses, bersihkan, dan strukturkan pelbagai set data (teks, terstruktur, dan tidak terstruktur) untuk latihan dan pemilihan LLM.

- Laksanakan kejuruteraan ciri, tokenisasi, dan teknik vektorisasi untuk menyokong model NLP.

3. Pengoptimuman Prestasi:

- Guna ciri Databricks, termasuk Delta Lake dan MLflow, untuk menyelaraskan aliran kerja data.

- Tingkatkan infrastruktur data untuk ketersediaan tinggi, skala, dan kecekapan kos.

4. Kerjasama dengan Pasukan:

- Bekerjasama rapat dengan saintis data, jurutera ML, dan pemangku kepentingan lain untuk memahami keperluan data untuk keperluan teknologi LLM.

- Pastikan keselarasan antara saluran kejuruteraan dan matlamat pembelajaran mesin.

5. Kualiti Data & Tadbir Urus:

- Laksanakan proses untuk memastikan kualiti, konsistensi, dan pematuhan data dengan polisi tadbir urus.

- Pantau dan kekalkan integriti data sepanjang kitaran hidup saluran data.

6. Penggunaan Teknologi Baru:

- Sentiasa mengikuti perkembangan dalam Databricks, AI generatif, dan teknologi LLM.

- Sumbangkan kepada penggunaan alat dan amalan inovatif untuk memperbaiki aliran kerja.

Keperluan dan Kelayakan (Pendidikan & Pengalaman Kerja):

Pengalaman:

- 7+ tahun pengalaman dalam peranan kejuruteraan data, dengan sekurang-kurangnya 2 tahun dalam peranan kepimpinan dan projek yang melibatkan Databricks.

- Kepakaran terbukti dalam saluran data, kejuruteraan ciri, dan penyediaan set data untuk pembelajaran mesin, khususnya LLM.

- Pengalaman membina aplikasi gred perusahaan dengan GenAI atau pengintegrasian AI/ML.

Kemahiran Teknikal:

- Kepakaran dalam Databricks, Apache Spark, dan Delta Lake.

- Kemahiran pengaturcaraan yang kuat dalam Python dan SQL; pengetahuan tentang perpustakaan seperti pandas, NumPy, atau PyTorch adalah satu kelebihan.

- Memahami perpustakaan pengurusan keadaan seperti Redux, Recoil, atau Zustand.Cypress), dan kawalan versi (Git).

- Memahami prinsip keselamatan web dan keperluan pematuhan untuk aplikasi perusahaan.

Kemahiran Lembut:

- Kebolehan penyelesaian masalah dan membuat keputusan yang luar biasa.

- Kemahiran komunikasi dan kepimpinan yang cemerlang, dengan kemampuan untuk membimbing perbincangan teknikal dan membimbing anggota pasukan.

- Fokus yang kuat pada pengeluaran kualiti.

Sila rujuk kepada deskripsi pekerjaan.