Welo Global
Wilayah: Eropa. Sumber lowongan: Jobicy. Lamar melalui halaman sumber.
Kami sedang mencari seorang Prompt Engineer yang akan bertanggung jawab atas alur kerja migrasi teknis dari awal hingga akhir untuk mentransisikan templat ke *LLM autoraters*. Perusahaan membutuhkan peran ini untuk menggunakan tools internal klien guna memaksimalkan teknik *prompt engineering* demi mengoptimalkan performa model.
Tanggung Jawab:
- Memanfaatkan tools Automatic Prompt Generation (APG) untuk membuat *baseline prompts* bagi kluster templat *parent-child* yang kompleks.
- Menjalankan dan mengawasi tools Automated Prompt Optimization (APO), meninjau hasil keluaran, serta menandai saat APO mengalami jalan buntu atau stagnasi.
- Membuat draf, menguji, dan menyempurnakan *prompt* secara manual untuk menavigasi arsitektur templat yang kompleks, mengatasi *anti-patterns*, serta menangani kasus-kasus khusus (*edge cases*) saat tools kurang memadai atau rusak. Menyelesaikan skenario kasus khusus dengan merancang dan menyempurnakan *prompt* manual.
- Memantau jalannya *shadowbot* untuk memastikan ketidaksepakatan yang cukup (antara penilaian manusia dan LLM) tercatat, dihasilkan, dan dilacak.
- Menjalankan versi *prompt* terhadap *gold data* yang telah ditetapkan untuk terus mengukur kualitas *autorater* dibandingkan *baseline* kerumunan manusia, serta menghitung metrik akurasi seperti *F1 scores*, *precision*, dan *recall*.
- Menyusun draf justifikasi kesiapan peluncuran teknis (Launch Certification Documentation) untuk final.
Persyaratan:
- Keterampilan Bahasa: Fasih berbahasa Spanyol sebagai bahasa ibu dan lancar berbahasa Inggris.
- Lokasi: Harus berbasis di Spanyol.
- Pendidikan: Gelar Sarjana (Bachelor's), Magister (Master's), atau Doktoral di bidang Ilmu Komputer, Data Science, Computational Linguistics, Human-Computer Interaction (HCI), Cognitive Science, atau bidang analitis terkait.
- Keahlian Prompt Engineering & AI: Pengalaman minimal 4 tahun sebagai Prompt Engineer. Pengalaman terbukti dalam melakukan *tuning* Large Language Models (LLMs) untuk output terstruktur yang ketat, tugas klasifikasi kompleks, serta akrab dengan *chain-of-thought* dan *few-shot learning*.
- Analisis Data: Mahir dalam mengidentifikasi pola kesalahan, menganalisis performa model, serta menggunakan SQL atau tools analisis data lainnya.
- Kelincahan Teknis: Kemampuan untuk cepat belajar dan menguasai *proprietary tools* dengan pengawasan minimal.
- Komunikasi: Keterampilan komunikasi lisan dan tulisan yang sangat baik.
Keterampilan Opsional / Pilihan:
- Memahami antarmuka LLM kelas enterprise seperti Goose API.
- Pengalaman dalam evaluasi model AI, *data science*, *computational linguistics*, atau *software engineering*.
- Pengalaman langsung dengan sistem Automated Prompt Optimization (APO) atau alur kerja *tuning*.
- Keahlian linguistik, termasuk pemahaman tentang semantik dan logika.
Kompensasi
Informasi Tambahan
Untuk melamar pekerjaan ini, silakan kunjungi jobicy.com.