Korean AI Evaluation Specialist (South Korea)

Opportunity Overview
Handshake is looking for Korean speakers based in South Korea to help make AI responses more personalized. This is not a traditional job — you'll share your own real-world experience using ChatGPT and help evaluate and rank AI responses so future models can better tailor their answers to individual users.
This is an ongoing, project-based opportunity you can take on alongside your current role.
기회 개요
Handshake는 한국에 거주하며 한국어를 사용하는 분들을 찾고 있습니다. AI 응답을 더욱 개인화하는 데 도움을 주실 분을 모십니다. 이것은 전통적인 직업이 아닙니다 — ChatGPT를 사용하신 실제 경험을 공유하고, AI가 생성한 응답을 평가하고 순위를 매기는 작업을 통해 향후 모델이 개별 사용자에게 더 맞춤화된 답변을 제공할 수 있도록 도와주시게 됩니다.
이는 지속적인 프로젝트 기반의 기회로, 현재 하시는 일과 병행하여 진행하실 수 있습니다.

What You'll Do

• Complete tasks on Handshake's annotation platform using your own real-world experience with AI tools

• Compare and evaluate AI-generated responses, sharing your honest preferences and reasoning

• Provide clear written feedback that helps AI better understand and personalize responses for individual users

• Complete tasks at your own pace with no set schedule or minimum hour requirement

• Handshake의 어노테이션 플랫폼에서 AI 도구를 사용한 실제 경험을 바탕으로 작업을 완료합니다

• AI가 생성한 응답을 비교 및 평가하고, 솔직한 선호도와 그 이유를 공유합니다

Qualifications
Ideal candidates meet all of the following:

• Location — Based in South Korea and able to work remotely in an asynchronous, self-directed capacity

• Language — Fluent in Korean, both written and spoken, with strong written communication skills for explaining your reasoning clearly. Good working understanding of English (ideally B2 level) as the platform, instructions, and training materials will all be in English.

• AI experience — Prior hands-on experience using ChatGPT or similar AI chat assistants, with enough familiarity to compare responses thoughtfully and articulate what makes one answer better suited to a given user than another

• Judgment — Comfortable forming and defending your own preferences between two AI-generated responses, even when the differences are subtle

• 언어 — 한국어에 능통해야 하며(읽기 및 쓰기 모두), 본인의 판단 근거를 명확하게 설명할 수 있는 우수한 작문 능력이 필요합니다. 플랫폼, 안내 사항, 교육 자료가 모두 영어로 제공되므로 영어에 대한 실무적인 이해도(가급적 B2 수준)도 필요합니다.

• AI 경험 — ChatGPT 또는 유사한 AI 챗봇을 실제로 사용해 본 경험이 있어야 하며, 응답을 신중하게 비교하고 특정 사용자에게 어떤 답변이 더 적합한지 명확히 설명할 수 있는 충분한 이해가 필요합니다

Required for all applicants

• Comfortable sharing your own ChatGPT conversation history for research and product improvement purposes (handled confidentially)

• Strong written communication in Korean, with good understanding of English

• Ability to work independently in a remote, asynchronous environment

• 연구 및 제품 개선 목적으로 본인의 ChatGPT 대화 기록을 공유하는 데 동의해야 합니다 (비밀이 보장되어 처리됩니다)

About
Handshake AI

Terms of service