Senior Data Engineer

Wilayah: Amerika Serikat. Sumber lowongan: Jobicy. Lamar melalui halaman sumber.

Senior Data Engineer

Lokasi: Remote – US

Tentang Worldly

Worldly adalah platform intelijen dampak paling komprehensif di dunia — yang menyediakan data nyata bagi bisnis mengenai dampak di dalam rantai pasok mereka. Worldly dipercayai oleh 40.000 merek, peritel, dan produsen global untuk menyediakan satu sumber intelijen ESG yang mereka butuhkan guna mempercepat transformasi bisnis dan industri.

Melalui hubungan pelanggan yang strategis dan bermakna, Worldly memberikan wawasan penting tentang kinerja pemasok, dampak produk, analisis tren, dan kepatuhan. Ketika sebuah perusahaan ingin mengubah cara bisnis dijalankan, kami mewujudkan pergeseran sistemik tersebut.

Didukung oleh tim global berdedikasi yang selaras dalam nilai-nilai, Worldly dengan bangga beroperasi sebagai perusahaan manfaat publik (public benefit corporation) dengan dukungan dari para investor yang memiliki misi selaras. Ingin tahu lebih lanjut? Baca kisah kami.

Tentang Peluang Ini

Worldly sedang mencari seorang data engineer yang proaktif dan memiliki kecintaan pada keberlanjutan untuk bergabung dengan tim dinamis kami. Anda akan mengambil peran utama dalam membangun, mengoperasikan, memelihara, dan mengembangkan sistem yang mendukung analitik internal kami serta memberdayakan platform analitik yang menghadap ke pelanggan.

Dalam peran ini, Anda akan:

• Bertanggung jawab atas data lake produksi kami — lake berbasis arsitektur medallion (perunggu/perak/emas) yang ditenagai CDC di Apache Iceberg, yang dikueri melalui Trino — serta data warehouse Postgres independen kami.

• Memainkan peran inti dalam mengintegrasikan graph database kami dengan warehouse, lake, dan database utama, termasuk memigrasikan pipeline lama ke dalam satu lapisan integrasi yang terkelola.

• Menerapkan teknik AI generatif dan berbasis embeddings yang sudah berjalan di produksi (misalnya, pencocokan entitas, ekstraksi dokumen) untuk terus memperluas kapabilitas data kami.

Yang Akan Anda Lakukan

Data Warehouse & Data Lake

• Mengoperasikan dan mengembangkan data warehouse Postgres kami (skema, kinerja, kontrol akses) serta membangun dataset yang siap dianalitik darinya.

• Bertanggung jawab penuh atas lake secara end-to-end: penelanan CDC (database sumber → message bus → streaming writer → Iceberg perunggu/perak/emas), lapisan kueri Trino, dan katalog tabel.

• Bertanggung jawab atas kesehatan pipeline — SLA latensi, deteksi pergeseran skema, rekonsiliasi sumber — serta infrastruktur GitOps/Terraform dan postur pencadangan/DR di bawahnya.

• Membawa skema yang konsisten, lineage yang terdokumentasi, dan kepemilikan yang jelas pada aset data yang berkembang pesat melalui akuisisi.

Orkestrasi, Transformasi & Pelaporan

• Memelihara dan mengembangkan pipeline dbt yang diorkestrasi oleh Dagster: build yang dipicu oleh sensor dan dijadwalkan, pengujian kualitas data, pembuatan versi berbasis cabang untuk rilis yang dikurasi.

• Mengoperasikan lapisan BI/pelaporan kami, termasuk akses data berbasis kebijakan per pengguna yang ditegakkan di mesin kueri (bukan hanya dasbor), dan definisi metrik yang konsisten di seluruh dasbor.

Integrasi Graph

• Bertanggung jawab atas pipeline yang mengintegrasikan graph database dengan warehouse, lake, dan database utama, serta bekerja dalam model data kanonikal dan satu jalur tulis (write path).

• Bermitra dengan tim data science untuk memigrasikan layanan direct-to-graph lama ke jalur bersama tersebut, dan mengembangkan struktur relasional menjadi model native-graph.

Pemberdayaan GenAI/NLP

• Mendukung dan memperluas alur kerja genAI produksi — embeddings/pencarian kemiripan, ekstraksi dan klasifikasi berbasis LLM — dan menjaga infrastruktur data kami tetap "siap-AI".

Kualifikasi yang Kami Cari

• Pengalaman 5+ tahun di bidang data engineering, analytics engineering, atau data platform engineering.

• Pengalaman tingkat lanjut dengan SQL dan relational database (Postgres, MongoDB).

• Pengalaman praktis dengan graph database dalam produksi, termasuk mengintegrasikan model graph dengan warehouse dan lake — ini adalah hal yang inti, bukan sekadar pendukung, untuk peran ini.

• Pengalaman dengan open table format dan arsitektur medallion lake (misalnya, Apache Iceberg) serta mesin SQL terdistribusi (misalnya, Trino, Presto).

• Pengalaman dengan pipeline streaming/CDC (misalnya, Kafka atau Pulsar, Debezium, Flink atau yang serupa).

• Keterampilan Python yang kuat untuk pipeline, otomasi, dan tools operasional.

• Pengalaman dengan dbt yang diorkestrasi oleh penjadwal modern (misalnya, Dagster, Airflow).

• Pengalaman infrastruktur AWS (EKS, VPC, IAM, S3) melalui infrastructure-as-code (misalnya, Terraform), plus CI/CD, GitOps (misalnya, ArgoCD), dan Docker.

• Pengalaman dengan pemodelan data analitik, definisi metrik, dan pemantauan otomatis/kontrol kualitas data.

• Pengalaman mengoperasikan sistem data produksi: penanganan insiden, analisis akar masalah, runbook, peningkatan keandalan.

• Nyaman bekerja dengan pemangku kepentingan lintas fungsi/analitik (Jira/Confluence, Agile).

• Familiar dengan praktik keamanan data (perlindungan PII, enkripsi, manajemen akses).

Nilai Tambah (Akan Lebih Baik Jika Anda Memiliki)

• Pengalaman dengan tools BI yang mendukung akses data berbasis kebijakan per pengguna (misalnya, Superset dengan peniruan identitas SSO).