Welo Global
Wilayah: Eropa. Sumber lowongan: Jobicy. Lamar melalui halaman sumber.
Kami sedang mencari Prompt Engineer yang akan bertanggung jawab atas alur kerja migrasi teknis dari awal hingga akhir untuk transisi templat ke LLM autorater. Peran ini diwajibkan untuk menggunakan tools internal klien guna memanfaatkan teknik prompt engineering untuk memaksimalkan performa model.
Responsibilities:
- Menggunakan tools Automatic Prompt Generation (APG) untuk membuat prompt dasar untuk kluster templat parent-child yang kompleks.
- Menjalankan dan mengawasi tools Automated Prompt Optimization (APO), meninjau hasil output, dan menandai saat APO mengalami jalan buntu (deadlock) atau stagnan (plateau).
- Menyusun, menguji, dan menyempurnakan prompt secara manual untuk mengatasi arsitektur templat yang rumit, menghindari anti-pattern, dan menangani kasus khusus (edge cases) di mana tools yang ada kurang memadai atau rusak. Menyelesaikan skenario kasus khusus dengan merancang dan menyempurnakan prompt secara manual.
- Memantau jalannya shadowbot untuk memastikan ketidaksepakatan yang memadai (antara penilaian manusia dan LLM) terdaftar, dihasilkan, dan dilacak.
- Menjalankan versi prompt terhadap gold data yang telah ditetapkan untuk terus mengukur kualitas autorater terhadap baseline tenaga kerja manusia, serta menghitung metrik akurasi seperti skor F1, precision, dan recall.
- Menyusun justifikasi kesiapan peluncuran teknis (Launch Certification Documentation) untuk tahap akhir.
Requirement:
- Language Skills: Fasih berbahasa Jerman sebagai bahasa ibu (native) dan fasih berbahasa Inggris.
- Location: Harus berdomisili di Jerman.
- Education: Gelar Sarjana (Bachelor's), Magister (Master's), atau Doktoral di bidang Computer Science, Data Science, Computational Linguistics, Human-Computer Interaction (HCI), Cognitive Science, atau bidang analitis terkait.
- Prompt Engineering & AI Expertise: Pengalaman minimal 4 tahun sebagai Prompt Engineer. Pengalaman terbukti dalam melakukan tuning Large Language Models (LLMs) untuk output terstruktur yang ketat, tugas klasifikasi kompleks, serta akrab dengan chain-of-thought dan few-shot learning.
- Data Analysis: Kemampuan yang kuat dalam mengidentifikasi pola error, menganalisis performa model, serta menggunakan SQL atau tools analisis data lainnya.
- Technical Agility: Kemampuan untuk mempelajari dan menguasai tools milik perusahaan (proprietary tools) dengan cepat dengan pengawasan minimal.
- Communication: Keterampilan komunikasi lisan dan tulisan yang sangat baik.
Optional / Preferred Skills:
- Familiar dengan antarmuka LLM tingkat perusahaan seperti Goose API.
- Pengalaman dalam evaluasi model AI, data science, computational linguistics, atau software engineering.
- Pengalaman langsung dengan sistem Automated Prompt Optimization (APO) atau alur kerja tuning.
- Keahlian di bidang linguistik, termasuk pemahaman tentang semantik dan logika.
Compensation
Additional Information
Untuk melamar pekerjaan ini, silakan kunjungi jobicy.com.