Welo Global
Wilayah: Remote. Sumber lowongan: Jobicy. Lamar melalui halaman sumber.
Kami sedang mencari seorang Prompt Engineer yang akan bertanggung jawab atas alur kerja migrasi teknis dari awal hingga akhir untuk transisi templat ke autorater LLM. Peran ini diwajibkan menggunakan tools internal klien untuk menerapkan teknik prompt engineering demi memaksimalkan performa model.
Tanggung Jawab:
- Memanfaatkan tools Automatic Prompt Generation (APG) untuk membuat prompt dasar untuk klaster templat parent-child yang kompleks.
- Menjalankan dan mengawasi tools Automated Prompt Optimization (APO), meninjau output, dan menandai saat APO mengalami jalan buntu (deadlock) atau stagnan (plateau).
- Membuat draf, menguji, dan menyempurnakan prompt secara manual untuk menavigasi arsitektur templat yang kompleks, mengatasi anti-pola, dan menangani kasus khusus (edge case) ketika tools tidak memadai atau rusak. Menyelesaikan skenario kasus khusus dengan merancang dan menyempurnakan prompt manual.
- Memantau uji coba shadowbot untuk memastikan ketidaksepakatan yang cukup (antara penilaian manusia dan LLM) terdaftar, dihasilkan, dan dilacak.
- Menjalankan versi prompt terhadap data emas yang ditetapkan untuk terus mengukur kualitas autorater terhadap standar dasar kerumunan manusia (human crowd baseline), menghitung metrik akurasi seperti skor F1, precision, dan recall.
- Menyusun draf justifikasi kesiapan peluncuran teknis (Launch Certification Documentation) untuk finalisasi.
Persyaratan:
- Keterampilan Bahasa: Fasih berbahasa Italia sebagai bahasa ibu dan fasih berbahasa Inggris.
- Lokasi: Harus berbasis di Italia.
- Pendidikan: Gelar Sarjana (Bachelor's), Magister (Master's), atau Doktoral (Doctorate) di bidang Ilmu Komputer, Data Science, Linguistik Komputasi, Interaksi Manusia-Komputer (HCI), Ilmu Kognitif, atau bidang analitis terkait.
- Keahlian Prompt Engineering & AI: Pengalaman minimal 4 tahun sebagai Prompt Engineer. Pengalaman terbukti dalam melakukan tuning Large Language Models (LLMs) untuk output terstruktur yang ketat, tugas klasifikasi kompleks, serta akrab dengan chain-of-thought dan few-shot learning.
- Analisis Data: Mahir dalam mengidentifikasi pola kesalahan, menganalisis performa model, dan menggunakan SQL atau tools data analytics lainnya.
- Kelincahan Teknis: Kemampuan untuk dengan cepat mempelajari dan menguasai tools milik perusahaan (proprietary tools) dengan pengawasan minimal.
- Komunikasi: Keterampilan komunikasi lisan dan tulisan yang sangat baik.
Keterampilan Opsional / Pilihan:
- Familiar dengan antarmuka LLM kelas enterprise seperti Goose API.
- Pengalaman dalam evaluasi model AI, data science, linguistik komputasi, atau software engineering.
- Pengalaman langsung dengan sistem Automated Prompt Optimization (APO) atau alur kerja tuning.
- Keahlian linguistik, termasuk pemahaman tentang semantik dan logika.
Kompensasi
Informasi Tambahan
Untuk melamar pekerjaan ini, silakan kunjungi jobicy.com.