Welo Global
Wilayah: Eropa. Sumber lowongan: Jobicy. Lamar melalui halaman sumber.
Kami sedang mencari seorang Prompt Engineer yang akan bertanggung jawab atas alur kerja migrasi teknis dari awal hingga akhir untuk transisi templat ke LLM autoraters. Peran ini diwajibkan untuk menggunakan tools internal klien guna memanfaatkan teknik prompt engineering untuk memaksimalkan performa model.
Responsibilities:
- Memanfaatkan tools Automatic Prompt Generation (APG) untuk membuat prompt dasar untuk kluster templat parent-child yang kompleks.
- Menjalankan dan mengawasi tools Automated Prompt Optimization (APO), meninjau output, dan menandai saat APO mengalami jalan buntu atau plateau.
- Menyusun, menguji, dan menyempurnakan prompt secara manual untuk menavigasi arsitektur templat yang kompleks, mengatasi anti-pattern, dan menangani kasus ekstrem (edge cases) di mana tools tidak memadai atau bermasalah. Menyelesaikan skenario kasus ekstrem dengan merancang dan menyempurnakan prompt manual.
- Memantau jalannya shadowbot untuk memastikan ketidaksepakatan yang cukup (antara penilaian manusia dan LLM) tercatat, dihasilkan, dan dilacak.
- Menjalankan versi prompt terhadap data emas (gold data) yang telah ditetapkan untuk terus mengukur kualitas autorater terhadap data dasar dari manusia (human crowd baseline), serta menghitung metrik akurasi seperti skor F1, precision, dan recall.
- Menyusun justifikasi kesiapan peluncuran teknis (Launch Certification Documentation) untuk final.
Requirement:
- Language Skills: Fasih berbahasa Belanda sebagai penutur asli (native) dan lancar berbahasa Inggris.
- Location: Wajib berdomisili di Belanda.
- Education: Gelar Sarjana (Bachelor's), Magister (Master's), atau Doktor (Doctorate) di bidang Computer Science, Data Science, Computational Linguistics, Human-Computer Interaction (HCI), Cognitive Science, atau bidang analitis terkait.
- Prompt Engineering & AI Expertise: Pengalaman minimal 4 tahun sebagai Prompt Engineer. Memiliki pengalaman terbukti dalam melakukan tuning Large Language Models (LLMs) untuk output terstruktur yang ketat, tugas klasifikasi kompleks, serta akrab dengan chain-of-thought dan few-shot learning.
- Data Analysis: Kemampuan yang kuat dalam mengidentifikasi pola error, menganalisis performa model, dan menggunakan SQL atau tools data analytics lainnya.
- Technical Agility: Kemampuan untuk mempelajari dan menguasai tools proprietary dengan cepat dengan sedikit pengawasan.
- Communication: Keterampilan komunikasi lisan dan tulisan yang sangat baik.
Optional / Preferred Skills:
- Familiar dengan antarmuka LLM kelas enterprise seperti Goose API.
- Pengalaman dalam evaluasi model AI, data science, computational linguistics, atau software engineering.
- Pengalaman langsung dengan sistem Automated Prompt Optimization (APO) atau alur kerja tuning.
- Keahlian linguistik, termasuk pemahaman tentang semantik dan logika.
Compensation
Additional Information
Untuk melamar pekerjaan ini, silakan kunjungi jobicy.com.