Project Lion – Senior Prompt Engineer – Portugal (Remote, Part-Time)

Wilayah: Eropa. Sumber lowongan: Jobicy. Lamar melalui halaman sumber.

Kami sedang mencari seorang Prompt Engineer yang akan bertanggung jawab atas alur kerja migrasi teknis dari awal hingga akhir untuk mentransisikan templat ke *LLM autoraters*. Perusahaan membutuhkan peran ini untuk menggunakan perangkat internal klien demi memaksimalkan teknik *prompt engineering* guna mengoptimalkan performa model.

Responsibilities:

• Memanfaatkan tools Automatic Prompt Generation (APG) untuk membuat *baseline prompts* bagi kluster templat *parent-child* yang kompleks.

• Menjalankan dan mengawasi tools Automated Prompt Optimization (APO), meninjau hasilnya, serta menandai saat APO mengalami jalan buntu atau stagnasi.

• Menyusun, menguji, dan menyempurnakan *prompts* secara manual untuk menavigasi arsitektur templat yang kompleks, mengatasi *anti-patterns*, dan menangani kasus-kasus khusus (*edge cases*) saat tools tidak memadai atau bermasalah. Menyelesaikan skenario kasus khusus dengan merancang dan menyempurnakan *manual prompts*.

• Memantau jalannya *shadowbot* untuk memastikan tingkat perbedaan pendapat yang memadai (antara penilaian manusia dan LLM) tercatat, dihasilkan, dan dilacak.

• Menjalankan berbagai versi *prompt* terhadap *gold data* yang telah ditetapkan untuk terus mengukur kualitas *autorater* dibandingkan dengan *baseline* penilai manusia, serta menghitung metrik akurasi seperti *F1 scores*, *precision*, dan *recall*.

• Menyusun justifikasi kesiapan peluncuran teknis (Launch Certification Documentation) untuk finalisasi.

Requirement:

• Language Skills: Fasih berbahasa Portugis sebagai bahasa ibu dan fasih berbahasa Inggris.

• Location: Harus berdomisili di Portugal.

• Education: Gelar Sarjana (Bachelor's), Magister (Master's), atau Doktoral (Doctorate) di bidang Ilmu Komputer, Data Science, Linguistik Komputasi, Human-Computer Interaction (HCI), Kognitif Sains, atau bidang analitis terkait.

• Prompt Engineering & AI Expertise: Pengalaman minimal 4 tahun sebagai Prompt Engineer. Pengalaman terbukti dalam melakukan *tuning* Large Language Models (LLMs) untuk keluaran terstruktur yang ketat, tugas klasifikasi kompleks, serta memiliki keครอบบarandalan dengan *chain-of-thought* dan *few-shot learning*.

• Data Analysis: Kemampuan yang kuat dalam mengidentifikasi pola kesalahan, menganalisis performa model, serta menggunakan SQL atau tools *data analytics* lainnya.

• Technical Agility: Kemampuan untuk cepat belajar dan menguasai *proprietary tools* dengan pengawasan minimal.

• Communication: Keterampilan komunikasi lisan dan tulisan yang sangat baik.

Optional / Preferred Skills:

• Familiar dengan antarmuka LLM kelas enterprise seperti Goose API.

• Pengalaman dalam evaluasi model AI, data science, linguistik komputasi, atau software engineering.

• Pengalaman langsung dengan sistem Automated Prompt Optimization (APO) atau alur kerja *tuning*.

• Keahlian di bidang linguistik, termasuk pemahaman tentang semantik dan logika.

Compensation

Additional Information