Welo Global
Wilayah: Remote. Sumber lowongan: Jobicy. Lamar melalui halaman sumber.
Kami sedang mencari seorang Prompt Engineer yang akan bertanggung jawab atas alur kerja migrasi teknis dari ujung ke ujung untuk mentransisikan templat ke *LLM autoraters*. Peran ini diwajibkan untuk menggunakan perangkat internal klien guna memanfaatkan teknik *prompt engineering* demi memaksimalkan performa model.
Responsibilities:
- Memanfaatkan tools Automatic Prompt Generation (APG) untuk membuat *baseline prompts* bagi kluster templat induk-anak yang kompleks.
- Menjalankan dan mengawasi tools Automated Prompt Optimization (APO), meninjau hasil keluaran, dan menandai saat APO mencapai jalan buntu (*deadlocks*) atau titik jenuh (*plateaus*).
- Membuat draf, menguji, dan menyempurnakan *prompts* secara manual untuk menavigasi arsitektur templat yang kompleks, mengatasi *anti-patterns*, serta menangani kasus-kasus khusus (*edge cases*) ketika perangkat pendukung kurang memadai atau rusak. Menyelesaikan skenario *edge-case* dengan merancang dan menyempurnakan *manual prompts*.
- Memantau jalannya *shadowbot runs* untuk memastikan perbedaan pendapat (antara penilaian manusia dan LLM) yang memadai telah terdaftar, dihasilkan, dan dilacak.
- Menjalankan versi *prompts* terhadap *gold data* yang telah ditetapkan untuk terus mengukur kualitas *autorater* terhadap *baseline* kerumunan manusia, serta menghitung metrik akurasi seperti *F1 scores*, *precision*, dan *recall*.
- Menyusun draf justifikasi kesiapan peluncuran teknis (Launch Certification Documentation) untuk finalisasi.
Requirement:
- Language Skills: Fasih berbahasa Jepang sebagai bahasa ibu dan lancar berbahasa Inggris.
- Location: Harus berdomisili di Jepang.
- Education: Gelar Sarjana (Bachelor’s), Magister (Master’s), atau Doktoral (Doctorate) di bidang Ilmu Komputer, Sains Data, Linguistik Komputasi, Interaksi Manusia-Komputer (HCI), Ilmu Kognitif, atau bidang analitis terkait.
- Prompt Engineering & AI Expertise: Pengalaman minimal 4 tahun sebagai Prompt Engineer. Pengalaman terbukti dalam *tuning* Large Language Models (LLMs) untuk keluaran terstruktur yang ketat, tugas klasifikasi yang kompleks, serta familier dengan *chain-of-thought* dan *few-shot learning*.
- Data Analysis: Kemampuan yang kuat dalam mengidentifikasi pola *error*, menganalisis performa model, serta menggunakan SQL atau tools analisis data lainnya.
- Technical Agility: Kemampuan untuk mempelajari dan menguasai *proprietary tools* secara cepat dengan pengawasan minimal.
- Communication: Keterampilan komunikasi lisan dan tulisan yang sangat baik.
Optional / Preferred Skills:
- Familier dengan antarmuka LLM kelas enterprise seperti Goose API.
- Pengalaman dalam evaluasi model AI, sains data, linguistik komputasi, atau *software engineering*.
- Pengalaman langsung dengan sistem Automated Prompt Optimization (APO) atau alur kerja *tuning*.
- Keahlian linguistik, termasuk pemahaman tentang semantik dan logika.
Compensation
Additional Information
Untuk melamar pekerjaan ini, silakan kunjungi jobicy.com.