Senior Forward Deployed Engineer (Full-Stack)

Wilayah: Amerika Serikat. Sumber lowongan: Jobicy. Lamar melalui halaman sumber.

Di Dscout, kami sedang membangun platform riset UX yang paling fleksibel dan canggih di pasaran—yang dipercaya oleh merek-merek ternama dunia di bidang keuangan (JP Morgan Chase, Intuit, Charles Schwab, PayPal), kesehatan (Aya, Headspace), barang konsumsi (Keen, Verizon, Target, Northface), dan teknologi (Google, Amazon, Facebook, Meta, Spotify, AirBnB). Alat-alat kami membantu tim memahami secara mendalam manusia di balik produk mereka, sehingga mereka dapat membangun produk yang lebih baik. Kami sedang memperluas tim kami yang cerdas dan bersemangat, dan kami sangat ingin Anda bergabung dengan kami.

Di Dscout, kami sedang membangun lapisan berbasis manusia yang mengajarkan AI untuk bekerja di dunia nyata dan membuktikan bahwa AI tetap selaras di sana. Kami sedang memperluas tim kami yang cerdas dan bersemangat, dan kami sangat ingin Anda bergabung dengan kami.

Dscout AI Training & Evals membangun data manusia dan eval yang menunjukkan apakah AI berfungsi nyata bagi orang sungguhan. Selama sepuluh tahun, Dscout telah menangkap bagaimana perilaku orang dalam konteks nyata, dengan persetujuan dan ketelitian ilmiah. Dscout AI Training & Evals mengarahkan mesin tersebut ke AI: perilaku dan penilaian manusia yang disetujui, diubah menjadi data pelatihan, eval, dan benchmark yang dipercaya oleh tim AI.

Model AI meraih nilai tinggi pada benchmark tetapi tetap mengejutkan orang di dunia nyata. Benchmark menunjukkan seberapa mampu sebuah model. Benchmark tidak menyatakan apakah model tersebut berfungsi bagi pengguna yang memanfaatkannya, selama berminggu-minggu, di tengah kerumitan kehidupan nyata. Kesenjangan itulah tempat kami bekerja.

Kami melayani para periset AI, pembangun produk yang merilis produk bersama mereka, dan tim riset yang bermitra dengan keduanya. Kami adalah unit baru di dalam perusahaan yang sudah mapan: memiliki pelanggan aktif, platform matang (React, Elixir, Python, Swift, Kotlin; bersertifikasi SOC 2 dan HITRUST), tim senior yang kompak, dan ruang untuk berkarya. Kami bekerja secara AI-native. Agen menulis kode, eval membatasi perubahan, dan kami bertujuan menyelesaikan sesuatu dalam hitungan bulan yang tadinya membutuhkan waktu bertahun-tahun.

Catatan dari Chief AI Officer & GM kami. Masalah AI paling sulit muncul ketika sebuah model bertemu dengan orang sungguhan, dengan alat mereka, gangguan mereka, dan tujuan mereka. Pelanggan kami membutuhkan mitra yang dapat merancang solusinya, membangunnya, dan merilisnya dengan cepat. Ground Truth berada di titik temu antara penerapan dan riset: apa yang kami pelajari di lapangan membentuk ilmu sains, dan ilmu sains tersebut membentuk apa yang kami rilis. Mari bangun bersama kami.

Mengapa posisi ini

• Bekerja langsung dengan lab AI dan tim produk AI pada masalah yang belum memiliki panduan.

• Membangun di atas platform yang sudah berfungsi, sehingga waktu Anda dihabiskan untuk hal yang sulit, bukan infrastruktur dasar.

• Memegang kendali atas keputusan teknis pada program Anda, dan melihat hasil karya Anda menjadi sebuah produk.

• Bergabung dengan tim senior kompak yang memiliki akses langsung ke GM, Principal Engineers kami, dan Head of AI Research.

Strategic Project Leads kami menjalankan program pelanggan mulai dari panggilan scoping pertama hingga pengiriman data akhir. Anda adalah mitra teknis dan pembangun mereka. Pelanggan meminta hal-hal yang belum pernah dibangun sebelumnya: penggunaan AI di dunia nyata selama berminggu-minggu, ditangkap dalam konteksnya, dan diserahkan sebagai data yang dapat digunakan oleh lab untuk melatih atau mengevaluasi model. Tugas Anda adalah mencari tahu caranya. Sebagian di antaranya sudah dapat dilakukan oleh platform kami, sebagian memerlukan konfigurasinya, dan sebagian harus dibangun dari awal. Mengetahui perbedaan tersebut adalah inti dari pekerjaan ini.

Program yang akan Anda kerjakan

• Penggunaan produk AI jangka panjang di dunia nyata, yang ditangkap selama berhari-hari dan berminggu-minggu.

• Perbandingan model berdampingan yang dinilai oleh orang-orang yang sesuai dengan profil tertentu.

• Data penilaian dan preferensi manusia, yang dikirimkan dalam format yang dapat diserap oleh pipeline pelatihan.

• Siklus umpan balik yang menghubungkan perilaku pengguna nyata dengan keputusan model dan produk.

Apa yang akan Anda lakukan

Menentukan ruang lingkup dan merancang program

• Mengubah brief pelanggan yang masih abstrak menjadi rencana teknis dalam hitungan hari, bersama dengan Project Lead.

• Memutuskan apa yang akan digunakan ulang, dikembangkan, atau dibangun dari awal, serta membuktikan kesenjangannya sebelum Anda menulis kode.

• Menuliskan ruang lingkup secara jelas: apa yang akan kami kirimkan, cara kerjanya, dan hal apa saja yang bisa salah.

Membangun dan merilis

• Membangun alur penangkapan data, logika tugas, data pipeline, dan pengiriman lintas web, seluler, dan backend.

• Merilis kode produksi yang berinteraksi langsung dengan partisipan nyata di ujung sana.

• Menggunakan agen coding dan eval sebagai bagian dari cara Anda bekerja, dan menularkan kebiasaan tersebut kepada orang lain.

Membangun kepercayaan pada data

• Bertanggung jawab atas proses redaksi, validasi, asal-usul data (provenance), dan pengiriman data yang bersih.

• Merancang pemeriksaan kualitas dan jalur peninjauan manusia, serta mengukur apakah proses tersebut berhasil.

• Bekerja sama dengan tim riset kami agar data yang Anda kirimkan memiliki bukti keandalan yang kuat.

Mengubah temuan lapangan menjadi produk

• Bekerja sama dengan core engineering untuk mengintegrasikan proses build yang berulang ke dalam platform.

• Memberi tahu kami apa yang terus-menerus diminta oleh pelanggan, dan membantu memutuskan apa yang akan kami bangun selanjutnya.

Keleluasaan. Area-area ini adalah inti, bukan keseluruhan daftar. Anda akan memiliki kebebasan nyata untuk mengusulkan jenis program baru dan kapabilitas platform seiring dengan perkembangan pasar.

Tahun pertama yang baik

• Beberapa program pelanggan telah ditentukan ruang lingkupnya dan dirilis, dengan nama Anda yang disebut oleh pelanggan.

• Proses dari penandatanganan scope hingga data pertama menjadi jauh lebih cepat.

• Dua atau lebih hasil build kustom telah diintegrasikan ke dalam platform inti.

• Project Leads berhenti bertanya "bisakah kita melakukan ini?" dan mulai bertanya "seberapa cepat?"