한 줄 요약, 해결해야 할 문제
“ChatGPT 쓰는데 왜 나만 엉뚱한 답이 나올까?”
역할, 맥락, 형식, 제약조건. 이 네 가지 구조를 넣느냐 안 넣느냐의 차이였다.
ChatGPT 프롬프트 작성법, 대체 뭐가 문제인 걸까
한국 직장인 3명 중 2명이 업무에 AI를 사용하고, 그중 85%가 ChatGPT를 선택했다는 조사 결과가 있다.
그런데 이상한 일이 벌어지고 있다.
같은 ChatGPT를 쓰는데, 누군가는 보고서 초안을 5분 만에 뽑아내고, 누군가는 30분을 붙잡고도 “이걸 쓸 수 있나” 싶은 결과물을 받고 있다.
한국은행 보고서에 따르면 국내 근로자의 51.8%가 업무에 생성형 AI를 활용하고 있고, 이 수치는 미국 26.5%의 약 2배다. 활용률은 높은데, 실제 체감 생산성 향상은 주 40시간 기준 평균 1.5시간 절감에 그쳤다.
왜 그럴까.
주변에서 너무 많이 듣는 이야기라 한번 제대로 파고들어 봤다.
원인은 질문하는 방식 자체에 있었다
여기저기 자료를 취합해보니, 패턴 하나가 보였다.
결과물이 안 좋은 사람들의 프롬프트에는 공통점이 있었다. 그냥 “해줘”로 끝나는 한 줄짜리 명령이다.
“마케팅 기획안 써줘.”
“블로그 글 만들어줘.”
이렇게 던지면 ChatGPT는 어디서든 들을 수 있는 평범한 답을 내놓을 수밖에 없다.
프롬프트 엔지니어링 교육 효과를 측정한 KCI 등재 연구에 따르면, 교육 전 학생들의 AI 활용 자신감은 5점 만점에 2.68이었다. 교육 후에는 4.22로 뛰었다. 프롬프트를 어떻게 구조화하는지 배운 것만으로 자신감과 결과 품질이 동시에 올라간 것이다.
1,500편의 프롬프트 엔지니어링 논문을 분석한 Medium 리서치 아티클에서는 이런 사실이 확인됐다. 체계적으로 프롬프트를 개선한 그룹은 12개월 뒤 성능이 156% 향상됐고, 한 번 만들고 방치한 그룹은 오히려 성능이 떨어졌다.
핵심은 단순했다. 구조가 있느냐 없느냐.
4가지 구조, 정확히 뭔지 정리해봤다
여러 연구 자료와 실무 가이드를 조합해보니, 결국 네 가지로 압축됐다.
첫 번째, 역할이다. “너는 10년차 마케팅 디렉터야”처럼 AI에게 전문가 페르소나를 입히는 것이다. Anthropic의 프롬프트 엔지니어링 가이드에서도 역할 부여가 응답의 톤, 정확도, 깊이를 조절하는 핵심 변수라고 설명하고 있다.
다만, 여기서 흥미로운 반전이 있다. 일부 연구에서는 역할 프롬프팅이 최신 모델에서 큰 효과가 없다는 결과도 나왔다. 반대로 여전히 효과적이라는 실무자 의견도 많다. 결국 역할 부여와 구체적 맥락을 함께 넣었을 때 효과가 극대화된다는 것이 현재까지의 중론이다.
두 번째, 맥락이다. “신제품 출시를 앞둔 중소 화장품 회사 상황이야”처럼 배경 정보를 넣으면 AI가 엉뚱한 방향으로 가지 않는다.
세 번째, 형식이다. “표 3개와 500자 요약, 그리고 결론 1문장으로 만들어줘”라고 지정하는 것이다. LinkedIn에 게재된 프롬프트 17가지 황금률에서도 형식 지정이 결과 품질을 좌우하는 핵심 요소로 꼽혔다.
네 번째, 제약조건이다. “전문용어 없이, 중학생도 이해할 수 있게”라는 식으로 경계를 정해주는 것이다. Nature에 게재된 프롬프트 엔지니어링 연구에서도 제약조건의 명확성이 응답의 일관성과 신뢰도를 결정짓는다고 밝혔다.
“진짜 되나?” 실제 사용자들의 반응을 추적해봤다
카이스트 김대식 교수는 AI 20년 연구 경험을 바탕으로 챗GPT 사용의 3가지 필수 원칙을 공개한 바 있다. 핵심은 “AI에게 질문하는 법을 먼저 배워야 한다”는 것이었다.
Threads에서 화제가 된 한 포스트는 “한국인 93%가 ChatGPT를 잘못 쓰고 있다”는 제목으로 퍼졌다. 이 글에서 소개된 7가지 프롬프트 구조를 적용한 사용자들의 반응을 보면, “같은 ChatGPT 맞냐”는 댓글이 반복적으로 등장한다.
Reddit에서도 비슷한 패턴이 발견됐다. “99%의 사람들이 ChatGPT를 잘못 사용하고 있다”는 글에서 가장 많이 공감받은 포인트는 “프롬프트를 문서화하고 반복 개선하라”는 것이었다.
리뷰들을 종합해보면 이런 패턴이 보인다.
구체적인 사용 기간과 전후 비교를 언급한 후기일수록 신뢰도가 높았다. “3주간 매일 보고서 작성에 적용했더니, 수정 횟수가 5번에서 1번으로 줄었다”는 식의 후기다. 반면 “대박입니다!” 한 줄짜리 후기는 판단 근거가 되기 어렵다.
이 문제를 해결하는 루틴은 이렇게 생겼다
검색해보니, 실제로 효과를 본 사람들 사이에서 반복되는 루틴이 있었다.
1단계는 템플릿 만들기다. 자주 쓰는 업무별로 역할, 맥락, 형식, 제약조건 프레임을 미리 만들어둔다.
2단계는 결과 평가하기다. 나온 결과물에 1점에서 5점을 매기고, 3점 이하면 프롬프트의 어떤 요소가 부족했는지 기록한다.
3단계는 반복 개선하기다. MDPI에 게재된 프롬프트 품질 연구에 따르면, 피드백 루프를 반복할수록 프롬프트 품질이 눈에 띄게 올라갔다.
왜 루틴이 필요한가.
1,500편 논문 분석 결과가 말해준다. 프롬프트는 한 번 만들면 끝이 아니다. 모델이 업데이트되고, 업무 맥락이 바뀌면 같은 프롬프트도 성능이 떨어진다. 지속적 개선 프로세스를 적용한 그룹만이 156% 성능 향상을 달성했다.
솔직하게 말하면, 이건 불안의 문제이기도 하다
한겨레 보도에 따르면 “AI가 내 업무를 위협할 것”이라는 한국인의 불안감은 주요 10개국 중 최상위권이었다.
문화일보 조사에서는 AI 기술 발전 속도를 못 따라간다는 불안감을 경험한 직장인이 68%에 달했다.
그런데 연합뉴스 보도를 보면, AI를 가장 적극적으로 활용하는 세대는 35세에서 39세였다. 불안을 느끼면서도 가장 빠르게 적응하고 있는 세대. 대한민국 중년의 현실이다.
불안하니까 쓰고, 쓰니까 또 모르는 게 생기고, 모르니까 더 불안해진다.
이 악순환을 끊는 방법은 의외로 단순하다. 질문의 구조를 바꾸는 것. 도구를 잘 쓰면 불안은 자연히 줄어든다.
판단은 여러분의 몫이다
여기까지 취합된 사실을 정리하면 이렇다.
한국 직장인 61.5%가 이미 업무에 AI를 사용하고 있다. 그런데 프롬프트를 구조화해서 쓰는 사람은 극소수다. 구조화된 프롬프트는 비용을 76% 줄이면서 같은 품질을 유지할 수 있다는 연구 결과가 있고, 12개월간 체계적으로 개선하면 성능이 156% 올라간다는 데이터가 존재한다.
Google Cloud의 프롬프트 엔지니어링 가이드에서도, KISTI의 ChatGPT 추론 능력 향상 프롬프트 연구에서도, 결론은 같다. 구조가 결과를 바꾼다.
맞다 틀리다는 판단하지 않는다. 데이터가 가리키는 방향만 정리했다.
같은 도구를 쓰면서 다른 결과를 얻고 싶다면, 바꿔야 할 건 도구가 아니라 질문하는 방식일 수 있다.