Senior AI Developer

Wilayah: Amerika Serikat. Sumber lowongan: Jobicy. Lamar melalui halaman sumber.

Di ClickUp, kami sedang membangun masa depan dunia kerja: workspace AI pertama yang benar-benar terintegrasi untuk menyatukan tugas, dokumen, obrolan, kalender, and pencarian perusahaan, semuanya ditenagai oleh AI berbasis konteks. Kami adalah perusahaan yang berbasis AI (AI-native). Setiap anggota tim diharapkan untuk memanfaatkan AI setiap hari, dan kami mengevaluasi kefasihan AI sebagai bagian dari proses perekrutan kami. Bergabunglah dengan kami dan bantu definisikan ulang apa yang mungkin dilakukan. 🚀

Kami mencari Senior AI Engineer yang sangat terampil dan berpengalaman untuk bergabung dengan tim ClickUp Engineering, dengan fokus pada evaluasi AI. Anda akan bertanggung jawab mengukur dan meningkatkan kualitas AI ClickUp: membangun sistem eval yang memberi tahu kita seberapa baik performa AI kita, core agent harness, dan AI yang berkinerja baik pada eval tersebut. Anda akan bekerja pada sistem backend yang membuat kemampuan bertenaga AI menjadi terskala, andal, dan aman, sekaligus bekerja secara langsung dengan LLM untuk menyelesaikan masalah pengguna nyata dan mendorong inovasi produk.

Key Responsibilities:

• Merancang, membangun, dan mengelola sistem evaluasi AI ClickUp, termasuk golden dataset, LLM-as-judge dan automated scorer, deteksi regresi, serta pelacakan kualitas di seluruh fitur AI.

• Membangun dan mengembangkan core agent harness, serta AI yang berkinerja baik pada eval tersebut, dengan berkolaborasi erat bersama produk dan teknik untuk mendefinisikan standar "hebat".

• Membangun loop peningkatan mandiri di mana agent memodifikasi agent atau prompt lain, menjalankan ulang eval, dan melakukan iterasi secara otomatis.

• Melakukan benchmark pada model baru saat dirilis serta mengelola pemilihan model, routing, dan strategi fallback di berbagai provider (mis. OpenAI, Anthropic, Google, open-weight), dengan menyeimbangkan kualitas, latensi, dan biaya.

• Mengarsitekti, merancang, dan mengimplementasikan layanan platform AI yang dapat disesuaikan untuk mendukung deployment, orkestrasi, dan manajemen siklus hidup LLM serta model AI lainnya.

• Membangun dan memelihara API serta sistem backend yang tangguh untuk mengintegrasikan fitur bertenaga AI ke dalam platform inti ClickUp.

• Mengembangkan infrastruktur untuk model serving, monitoring, logging, dan evaluasi otomatis guna memastikan keandalan serta performa tinggi dari layanan AI dalam tahap produksi.

• Mendorong praktik terbaik dalam hal privasi, keamanan, dan kepatuhan AI, termasuk anonimisasi data, penanganan data yang aman, serta kepatuhan terhadap regulasi.

• Berkolaborasi secara lintas fungsi dengan tim produk, frontend, dan data untuk menghadirkan pengalaman AI yang mulus, andal, dan berpusat pada pengguna.

Qualifications:

• Pengalaman 5+ tahun dalam software engineering, termasuk 2+ tahun membangun sistem LLM atau ML untuk produksi.

• Pengalaman langsung dalam membangun sistem evaluasi LLM dalam produksi (golden dataset, LLM-as-judge, kalibrasi judge, eval offline dan online), yang terikat pada kualitas produk nyata.

• Perancangan eksperimen yang kuat dan ketelitian statistik, termasuk A/B testing, metrik offline vs. online, serta memisahkan regresi nyata dari hasil yang bising atau bervariasi.

• Rekam jejak terbukti dalam menerapkan LLM dan model AI pada fitur produk dunia nyata yang berhadapan langsung dengan pelanggan.

• Pengalaman terbukti dalam mengintegrasikan dan mengelola berbagai LLM, termasuk benchmarking, routing, dan pertukaran antara biaya/latensi/kualitas.

• Keahlian mendalam dalam backend engineering, sistem terdistribusi, dan teknologi cloud-native (mis. Kubernetes, Docker, AWS/GCP/Azure).

• Keterampilan pemrograman yang kuat dalam Python (diutamakan), Go, TypeScript, atau bahasa serupa yang digunakan untuk pengembangan backend dan platform AI.

• Kemahiran dalam orchestration framework dan workflow engine (mis. LangGraph, Airflow, Ray, atau yang serupa).

• Keakraban dengan teknologi pencarian dan retrieval serta integrasinya ke dalam aplikasi berbasis AI.

• Keterampilan kolaborasi dan komunikasi yang sangat baik, dengan rekam jejak bekerja secara efektif dalam tim lintas fungsi.

• Semangat untuk selalu berada di garis depan AI dan menerapkan teknologi baru untuk memecahkan masalah dunia nyata dalam skala besar.

Nice to Have:

• Latar belakang dalam data science, applied science, atau machine learning engineering.

• Pengalaman dengan eval tooling (mis. Braintrust, LangSmith, Weave, Arize, atau framework internal).

• Pengalaman dengan model routing, AI gateway, atau optimalisasi inferensi.

#LI-REMOTE

#LI-AK2

#LI-CC1

Equal Opportunity Employer

ClickUp adalah Pemberi Kerja Kesempatan Setara (Equal Opportunity Employer), dan pelamar yang memenuhi syarat akan dipertimbangkan untuk mendapatkan pekerjaan tanpa memandang ras, warna kulit, agama, jenis kelamin, orientasi seksual, identitas gender, atau asal negara.

Privacy Notice

ClickUp mengumpulkan dan memproses data pribadi sesuai dengan undang-undang perlindungan data yang berlaku. Anda dapat menemukan detail lebih lanjut dengan melihat Pemberitahuan Privasi Kandidat Global kami.

Jika Anda adalah Pelamar Kerja dari Filipina, silakan lihat juga Pemberitahuan Privasi Data Filipina kami untuk detail lebih lanjut.

Visa Sponsorship

Harap dicatat bahwa kami tidak dapat mensponsori atau mengambil alih sponsorship visa kerja untuk peran di luar bidang teknik dan produk saat ini