AI Research Engineer

Wilayah: Amerika Serikat. Sumber lowongan: Jobicy. Lamar melalui halaman sumber.

Di Dscout, kami sedang membangun platform riset UX yang paling fleksibel dan kuat di pasaran—yang dipercaya oleh merek-merek ternama dunia di bidang keuangan (JP Morgan Chase, Intuit, Charles Schwab, PayPal), perawatan kesehatan (Aya, Headspace), barang konsumsi (Keen, Verizon, Target, Northface), dan teknologi (Google, Amazon, Facebook, Meta, Spotify, AirBnB). Tools kami membantu tim memahami secara mendalam manusia di balik produk mereka, sehingga mereka dapat membangun produk yang lebih baik. Kami sedang memperluas tim kami yang cerdas dan bersemangat, dan kami sangat ingin Anda bergabung dengan kami.

Di Dscout, kami sedang membangun lapisan berbasis manusia yang mengajarkan AI untuk bekerja di dunia nyata dan membuktikan bahwa AI tetap selaras di sana. Kami sedang memperluas tim kami yang cerdas dan bersemangat, dan kami sangat ingin Anda bergabung dengan kami.

Dscout AI Training & Evals membangun data manusia dan eval yang menunjukkan apakah AI berfungsi untuk orang sungguhan. Selama sepuluh tahun, Dscout telah menangkap bagaimana orang berperilaku dalam konteks nyata, dengan persetujuan dan ketelitian ilmiah. Dscout AI Training & Evals mengarahkan mesin tersebut ke AI: perilaku dan penilaian manusia yang disetujui, diubah menjadi data pelatihan, eval, dan benchmark yang dipercaya oleh tim AI.

Model unggul dalam benchmark tetapi tetap mengejutkan orang di lapangan. Sebuah benchmark menyatakan seberapa mampu sebuah model. Benchmark tidak menyatakan apakah model tersebut berfungsi untuk orang yang menggunakannya, selama berminggu-minggu, dalam kerumitan kehidupan nyata. Kesenjangan itulah tempat kami bekerja.

Kami melayani para AI researcher, para pembuat produk yang meluncurkan produk bersama mereka, dan tim riset yang bermitra dengan keduanya. Kami adalah unit baru di dalam perusahaan yang mapan: pelanggan langsung, platform yang matang (React, Elixir, Python, Swift, Kotlin; bersertifikasi SOC 2 dan HITRUST), tim senior yang kecil, dan ruang untuk berkembang. Kami bekerja secara AI-native. Agents menulis kode, eval memfilter perubahan, dan kami bertujuan untuk melakukan dalam beberapa bulan apa yang biasanya membutuhkan waktu bertahun-tahun.

Catatan dari Chief AI Officer & GM kami. Masalah AI yang paling sulit muncul ketika sebuah model bertemu dengan orang sungguhan, dengan tools mereka, gangguan mereka, dan tujuan mereka. Pelanggan kami membutuhkan mitra yang dapat merancang solusinya, membangunnya, dan meluncurkannya dengan cepat. Ground Truth berada di titik temu antara penerapan dan riset: apa yang kami pelajari di lapangan membentuk sains, dan sains membentuk apa yang kami luncurkan. Ayo bangun bersama kami.

Why this seat

• Kerjakan masalah yang belum diselesaikan oleh industri: mengukur apakah AI bekerja untuk orang sungguhan, dalam waktu nyata.

• Pelajari sesuatu yang tidak dimiliki oleh sebagian besar eval: partisipan nyata, yang melakukan tugas nyata dalam konteks mereka sendiri.

• Miliki benchmark tersebut. Anda yang merintisnya, bukan bergabung dengan tim yang sudah memilikinya.

• Publikasikan. Metode dan benchmark dikirimkan ke komunitas riset, dengan kepenulisan utama (first authorship) pada benchmark tersebut.

• Bergabunglah dengan tim senior kecil dengan akses langsung ke Head of AI Research dan GM.

Ini adalah peran yang mengutamakan riset yang berfokus pada pertanyaan-pertanyaan di mana rubrik, benchmark, atau metode yang tepat belum ada. Anda akan menemukan kesenjangan, mengusulkan arah yang berani, dan membawa proyek dari hipotesis pertama melalui eksperimen dan pembuatan benchmark hingga publikasi. Anda juga akan membangun: sains tersebut harus berjalan di dalam program pelanggan yang sedang berjalan.

What you will do

Rubrik dan sains QA

• Merancang rubrik dan menguji apakah rubrik tersebut mengukur apa yang diklaim: validitas, reliabilitas, dan sensitivitas.

• Mengukur seberapa reliabel penilai manusia, dan kapan perbedaan pendapat merupakan derau (noise) versus sinyal nyata.

• Mengkalibrasi penilai AI terhadap penilaian manusia yang sesungguhnya, dan mempelajari kapan mereka menyimpang darinya.

• Membangun sinyal kualitas yang memberikan bukti di balik setiap titik data yang kami kirimkan.

Benchmark jangka panjang untuk pengguna nyata

• Merancang benchmark pertama Dscout: pengguna nyata, dalam konteks nyata, dalam jangka panjang. Tugas multi-minggu lintas tools, bukan prompt satu kali.

• Menentukan protokol, desain tugas, penilaian, dan rilis. Bekerja sama dengan tim pengiriman kami untuk pekerjaan lapangan.

• Mencari tahu cara menjaga benchmark yang terus berkembang tetap akurat seiring waktu: pergeseran (drift), kontaminasi, tingkat kesulitan, dan apa yang dihitung sebagai perubahan yang bermakna.

• Menulis makalah (paper) dan bertanggung jawab atas rilis publik.

Penilaian manusia sebagai sinyal pelatihan dan eval

• Mempelajari kapan umpan balik manusia di dunia nyata meningkatkan model dan kapan umpan balik tersebut menambah derau.

• Menjelajahi bagaimana data preferensi dan penilaian dari orang-orang yang mewakili populasi berbeda dari data ahli.

• Mengubah temuan menjadi metode yang dapat dijalankan oleh forward deployed engineers dan tim pengiriman kami di lapangan.

Arah riset baru

• Area-area ini adalah intinya, bukan keseluruhan daftarnya. Anda akan memiliki keleluasaan yang signifikan untuk mengusulkan program baru, seperti mengkalibrasi simulasi pengguna terhadap perilaku nyata, kolaborasi manusia-AI, dan evaluasi perilaku dari agents.

• Menulis bersama (co-author) dengan lab luar dan akademisi dalam studi yang membutuhkan data pengguna nyata. Membantu mengelola kelompok baca makalah kami.

A good first year

• Kerangka kerja QA dan rubrik yang berjalan pada program pelanggan langsung, dengan validitas yang didokumentasikan.

• Benchmark v0 dirilis, dengan makalah yang dikirimkan ke venue terkemuka.

• Setidaknya satu tim eksternal menggunakan atau mengutip pekerjaan kami.