시즌 3 — 사용자에서 제작자로 · 번외 2
프롬프트 엔지니어링 다음은 무엇이었나? — 질문하는 AI에서 일하고 검증하는 AI로
2023년에는 AI에게 질문을 잘하는 기술이 중요했습니다. 2026년에는 AI가 자료를 찾고, 도구를 쓰고, 결과를 검증하도록 일하는 환경을 설계하는 기술이 주목받고 있어요.
LLM 활용·컨텍스트 · 에이전트 · 하네스 · 평가·11분 읽기
🧪 이 글의 그림은 전부 개념도이고, 예시로 든 행사 수치는 원리를 보여 주기 위한 가상 사례입니다. 대신 글 끝에 지금 쓰는 AI로 바로 해 볼 수 있는 세 가지 비교 실험을 붙여 두었어요.
⚡ 3분 요약
- 프롬프트는 원하는 일을 분명하게 설명합니다. 하지만 아무리 잘 써도 모델이 모르는 사실을 만들어 주지는 못해요.
- RAG·컨텍스트는 필요한 근거와 현재 작업 상황을 넣어 줍니다. 자료가 많아질수록 "무엇을 넣을까"보다 "무엇을 빼고 지금 무엇만 넣을까"가 기술이 됩니다.
- 에이전트는 도구를 써서 여러 단계를 직접 처리하고, 스킬은 검증된 작업 절차를 필요할 때 불러와 재사용합니다.
- 하네스는 에이전트가 일하는 환경 — 권한·실행 기록·테스트·복구 경로 — 을 설계하고, 평가(Evals)는 "완료했습니다"라는 말 대신 실제 결과를 검사합니다.
- 새 기술은 옛 기술을 지우지 않습니다. 각 단계는 앞 단계가 못 막던 빈틈 하나씩을 메우며 그 위에 쌓였어요.
👉 한 문장으로 — AI 활용 기술은 "질문을 잘하는 기술"에서 "AI가 검증 가능한 일을 하도록 설계하는 기술"로 옮겨 가고 있습니다.
"당신은 20년 경력의 전문가입니다." 한때 이런 문장 하나가 AI를 잘 쓰는 비결처럼 소개됐습니다. 그런데 요즘은 프롬프트보다 컨텍스트, 스킬, 에이전트, 하네스, 평가를 이야기합니다. 유행어만 바뀐 걸까요? 아닙니다. AI가 맡는 일이 달라졌기 때문이에요.
시즌 3 본편에서는 언어모델을 직접 만들고(1편), 그 학습 방식을 로또 데이터에 돌려 매주 채점했습니다(2·3편). 이번 번외편은 방향을 반대로 돌려, 이미 만들어진 모델에게 일을 맡기는 기술이 지난 몇 년 동안 어떻게 바뀌어 왔는지 정리합니다. 만들어 본 사람의 눈으로 보면 이 흐름이 꽤 자연스럽게 읽혀요 — 모델이 할 수 없는 일을 하나씩 모델 바깥에서 채워 온 역사거든요.
하지만 없는 사실을 불러오지는 못합니다.
STEP 12022~2026년, 무엇이 달라졌나 — 교체가 아니라 적층
기술은 어느 날 갑자기 교체되지 않습니다. 기존 기술 위에 부족한 기능이 하나씩 더해집니다. 아래 그림은 각 기술이 처음 발명된 연도가 아니라 산업과 개발 현장에서 관심이 커진 대략적인 시기를 보여 줍니다. 계단 아래쪽 띠를 보세요 — 새 단계가 올라설 때마다 앞 단계는 사라지지 않고 바닥에 깔립니다.
※ RAG(2020년 논문), 도구를 쓰는 에이전트(2022년 ReAct 등), 소프트웨어 테스트는 위 시기보다 훨씬 앞서 연구·사용됐습니다. 이 그림은 최초 발명 연대표가 아니라 생성형 AI 활용 방식의 무게중심이 이동한 과정입니다.
STEP 2왜 좋은 프롬프트만으로는 부족했나
AI에게 "지난주 우리 학교 축제의 성과를 분석해 줘"라고 했다고 해 봅시다. 행사 자료가 없다면 모델은 참석자 수와 지출액을 알 방법이 없습니다. 여기에 "당신은 20년 경력의 분석 전문가입니다"를 붙인다고 해결될까요?
❌ 자세한 지시만 준 경우
"전문적인 보고서를 작성하세요. 만족도와 예산 집행률도 분석하세요."
실제 자료가 없으니 모델이 내놓는 수치는 검증할 수 없습니다. 그럴듯하게 지어낼 수도 있어요.
✅ 실제 자료도 함께 준 경우
참석자 120명 · 총지출 8만 원 · 만족도 조사는 실시하지 않음
어떤 숫자가 확인됐고 어떤 것은 모르는지 구별할 수 있습니다. "만족도는 조사하지 않아 알 수 없음"이라고 쓸 근거가 생겨요.
수치는 작동 원리를 보여 주기 위한 가상의 행사 사례입니다.
프롬프트는 작업을 설명하지만, 없는 사실을 제공하지는 않습니다. 1편에서 직접 만든 1억 6천만 파라미터 모델도 그랬어요. 조금만 어려운 질문을 하면 그럴듯한 거짓말을 했는데, 그건 질문을 못 해서가 아니라 답할 재료가 가중치 안에 없어서였습니다. 그래서 사람들은 모델에 자료를 연결하는 방법을 찾기 시작했습니다.
STEP 3RAG와 컨텍스트, 그리고 에이전트 — 찾아 주는 AI에서 일하는 AI로
RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 질문과 관련된 문서를 먼저 검색하고, 그 내용을 모델에 함께 넣어 답을 생성하는 구조입니다(시즌 2 14편에서 그림으로 뜯어봤죠). 한 번 찾고, 한 번 답합니다.
그런데 일이 "답변"에서 "작업"으로 바뀌면 이야기가 달라집니다. 실제 파일을 읽고, 숫자를 계산하고, 보고서를 저장해야 한다면요. 답을 생성하는 것과 파일을 저장하는 것은 다른 일입니다. AI 에이전트는 외부 도구를 이용해 여러 단계를 수행하도록 설계되고, 목표를 채울 때까지 루프를 돕니다(시즌 2 15편).
아래 줄에서 중요한 차이 하나. 언어모델이 계산기를 "직접 손으로 조작"하는 게 아닙니다. 모델은 "이 도구를 이 값으로 불러 달라"는 텍스트를 생성할 뿐이고, 그 호출을 허용하고 실행해 결과를 돌려주는 건 바깥 시스템이에요. 1편에서 본 그대로입니다 — 모델이 할 줄 아는 건 끝까지 "다음 토큰 맞히기"뿐이니까요.
루프가 돌기 시작하면 새 문제가 생깁니다. 문서가 수만 개, 대화가 수십 턴, 중간 결과가 수백 줄로 쌓이면 무엇을 지금 모델에게 보여 줄지를 정해야 해요. 모든 걸 다 넣으면 정작 중요한 정보가 묻힙니다. 이것이 컨텍스트 엔지니어링입니다. 2025년 Anthropic의 기술 글은 컨텍스트를 한정된 자원으로 보고, 필요한 정보를 간결하고 정확하게 골라 넣는 접근을 강조했어요.
STEP 4에이전트 스킬 — 같은 방법을 매번 설명하지 않는다
보고서를 쓸 때마다 "자료 확인 → 수치 검사 → 표 작성 → 최종 검토"를 처음부터 설명할 필요가 있을까요? 반복해서 쓰는 작업 방법은 스킬(Skills)로 정리해 둘 수 있습니다. 지침 문서 하나에 양식·검사 스크립트·참고 자료를 한 폴더로 묶어 두고, 필요한 순간에만 불러오는 방식이에요.
📁 report-writing-skill/
├── SKILL.md ← 언제·어떻게 쓸지 설명 (항상 먼저 읽히는 부분) ├── templates/ ← 보고서 양식 ├── scripts/ ← 수치 검사 프로그램 └── references/ ← 검증 기준·참고 자료 (필요할 때만 읽음)
설명을 위해 만든 예시 구조입니다. 제품마다 실제 구성은 다를 수 있어요.
2025년 10월 Anthropic은 Agent Skills를 지침·스크립트·참고 자료를 필요한 순간에 불러오는 방식으로 소개했습니다. 핵심은 STEP 3의 컨텍스트 문제와 맞닿아 있어요 — 모든 절차를 처음부터 컨텍스트에 밀어 넣는 대신, 짧은 설명만 들고 있다가 해당 작업이 오면 나머지를 펼치는 겁니다.
오해하기 쉬운 점 하나. 스킬은 AI가 모든 작업을 저절로 기억한다는 뜻이 아닙니다. 사람이 검증해 둔 절차를 다시 불러와 쓴다는 뜻이에요. 그러니 스킬 안의 절차 자체가 틀렸다면, AI는 그 틀린 절차를 아주 성실하게 반복합니다. 스킬도 검증 대상입니다.
STEP 5하네스 엔지니어링 — AI에게 작업장과 안전장치를 만든다
에이전트가 파일을 고치다 중간에 멈추거나, 잘못된 도구를 반복해서 부르거나, 권한 없는 자료를 건드리면 어떻게 될까요? 프롬프트를 더 길게 쓰는 것만으로는 이런 문제를 완전히 막을 수 없습니다. 말로 하는 부탁은 확률적으로 지켜질 뿐이니까요.
하네스 엔지니어링(Harness Engineering)은 모델이 일할 수 있도록 실행 환경·도구·권한·상태 기록·테스트·복구 경로를 모델 바깥에 설계하는 일입니다. 말(馬)에 채우는 마구(harness)처럼, 힘은 모델이 내고 방향과 한계는 장치가 정합니다.
그림에서 LLM이 차지하는 자리를 보세요. 한가운데 있지만 가장 작은 상자입니다. 2026년 2월 OpenAI가 공개한 하네스 엔지니어링 사례도 같은 이야기를 합니다 — 에이전트가 안정적으로 일하게 만드는 건 더 똑똑한 지시문이 아니라 환경, 명세, 자동 피드백 루프라는 것이죠. 모델은 엔진이고, 하네스는 차체와 브레이크입니다.
STEP 6평가(Evals) — "완료했다"와 "정말 완료됐다"는 다르다
AI가 "보고서를 저장했습니다"라고 말했습니다. 그런데 저장된 파일이 없다면 성공일까요? 당연히 아닙니다. 모델의 말은 그 자체로 하나의 생성된 텍스트일 뿐이라서, 최종 결과는 따로 확인해야 합니다.
2026년 1월 Anthropic은 AI 에이전트 평가 가이드에서, 실제 실패 사례에서 평가 항목을 뽑고 에이전트의 실행 과정과 최종 상태를 관찰하는 방법을 정리했습니다. 여기서부터 AI 시스템의 품질은 "말을 얼마나 잘했나"가 아니라 실제로 무엇이 바뀌었고, 그 결과가 올바른가로 판단됩니다.
🔗 시즌 3 본편과 이어지는 선 — 2·3편의 로또 실험이 사실 이 구조였습니다. 매주 추첨 전에 조합을 먼저 공개해 두고, 추첨 후에 실제 당첨번호로 채점했죠. 기준(이론값 평균 0.8개)도 실험 전에 정해 뒀고요. "트랜스포머가 앞선다"는 인상은 9회차 4,100조합을 채점하자 전체 평균 0.786으로 이론값에 붙어 버렸습니다. 결과를 미리 정한 기준으로, 모델 밖에서 채점하는 것 — 에이전트 평가가 말하는 것도 정확히 그겁니다.
한눈에 비교 — 프롬프트는 사라진 것이 아니다
새 기술은 이전 기술을 지우지 않습니다. 각자 해결하는 문제가 다를 뿐이에요.
AI 활용 기술별 역할 비교
| 기술 | 핵심 질문 | 해결하는 문제 |
|---|---|---|
| 프롬프트 엔지니어링 | 어떻게 지시할까? | 모호한 목표와 출력 형식 |
| RAG | 어떤 근거를 찾을까? | 외부 자료 부족 |
| 컨텍스트 엔지니어링 | 지금 무엇을 알아야 할까? | 정보 과부하와 관련성 |
| 에이전트 | 어떤 순서로 도구를 쓸까? | 여러 단계의 실제 작업 |
| 스킬 | 어떤 절차를 재사용할까? | 반복 지시와 일관성 |
| 하네스 엔지니어링 | 어떻게 제어·복구할까? | 실행 신뢰성과 권한 |
| 평가(Evals) | 실제로 성공했을까? | 검증되지 않은 완료 주장 |
간단한 질문에는 잘 쓴 프롬프트 하나로 충분합니다. 하지만 파일을 고치고, 데이터를 계산하고, 며칠에 걸쳐 일하는 시스템이라면 표의 아래쪽 장치가 하나씩 필요해집니다. 어디까지 필요한지는 일의 크기가 정합니다.
🧪 직접 확인 — 같은 AI에게 조건만 바꿔 주면?
모델은 그대로 두고, 주는 정보만 조금씩 늘려 보세요. 지금 쓰는 어떤 AI로도 5분이면 됩니다.
입력 조건을 바꿔 가며 결과를 비교하는 세 가지 실험
실험 A · 지시만
"우리 동아리 행사 보고서를 객관적으로 작성해 줘."
실험 B · 자료 추가
"참석자 120명, 지출액 8만 원. 만족도 조사는 실시하지 않았다. 이 자료로 보고서를 써 줘."
실험 C · 검증 기준 추가
"자료에 없는 숫자는 쓰지 말고, 참석자·지출액을 원자료와 대조해 줘. 조사하지 않은 항목은 따로 구분해 줘."
숫자는 가상 사례입니다. 모델과 설정에 따라 실제 응답은 다를 수 있어요.
관찰할 것: 없는 숫자를 지어냈는지, 준 수치를 정확히 반영했는지, 모르는 정보를 모른다고 표시하는지. 다만 실험 C의 "스스로 대조해 줘"도 독립 검증을 대신하지는 못합니다. 대조하는 것도 같은 모델이니까요. 중요한 숫자는 계산기나 자동 검사 프로그램처럼 모델과 분리된 도구로 확인하세요 — STEP 6의 오른쪽 상자가 바로 그 자리입니다.
✅ 30초 복습 — 오늘 배운 것
- ✔프롬프트는 일을 설명한다 — 하지만 없는 사실을 만들어 주지는 못한다.
- ✔RAG와 컨텍스트는 필요한 정보를 준다 — 자료가 많아질수록 "지금 무엇만 넣을까"가 기술이 된다.
- ✔에이전트는 도구로 여러 단계를 실행하고, 스킬은 검증된 절차를 필요할 때 불러온다. 도구를 실제로 실행하는 건 모델 바깥 프로그램이다.
- ✔하네스는 권한·기록·테스트·복구를 모델 밖에 설계하고, 평가는 "끝냈습니다"라는 말 대신 실제 상태를 검사한다.
- ✔교체가 아니라 적층 — 2026년의 하네스 안에도 프롬프트는 여전히 맨 아래에 있다.
- 🧪지시만 / 자료 추가 / 검증 기준 추가 — 세 조건으로 같은 AI에게 물어보면, 이 글의 단계가 한 화면에서 보인다.
RAG와 에이전트, 그림으로 한 번 더 뜯어보기
이 글의 STEP 3은 시즌 2의 두 편을 한 장으로 압축한 것입니다.
검색이 어떻게 근거가 되는지(14편), 모델이 어떻게 도구를 "부르는지"(15편)를 그림으로 따라가 보면
하네스와 평가가 왜 모델 바깥에 있어야 하는지가 더 또렷해집니다.
🔎 RAG를 그림으로 뜯어보기 → AI 에이전트를 그림으로 뜯어보기 →
numlm.com/blog/14-rag-guide · numlm.com/blog/15-ai-agent-tool-use
한 발 더 들어가고 싶다면
- 모델 안쪽이 궁금하다면: 시즌 3 본편 1편 "ChatGPT를 내 컴퓨터 한 대로 만들 수 있을까?"에서 이 글의 한가운데 작은 상자(LLM)가 어떻게 만들어지는지 실제 학습 로그로 볼 수 있습니다. 지식은 사전학습이, 형식과 태도는 미세조정이 만든다는 구분이 STEP 2의 "없는 사실" 문제와 그대로 이어져요.
- 평가가 실제로 어떻게 돌아가는지 보고 싶다면: 본편 2편 "AI로 로또 번호를 맞힐 수 있을까?"와 3편 "AI 로또 실험 9주 결산"은 사전 공개 → 사후 채점 → 우연 확률 계산이라는 평가 절차를 처음부터 끝까지 보여 줍니다.
- 이론 페이지: LLM의 사전학습·미세조정·정렬 단계는 너멜엠 LLM 이론에서 단계별로 다룹니다.
참고 자료
각 기술의 정의와 시기는 다음 원문을 기준으로 썼습니다. 연대표의 연도는 "관심이 커진 시기"를 단순화한 것이고, 기술의 기원은 아래 논문들이 더 앞섭니다.
- Lewis 외 (2020) — "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks", NeurIPS 2020. RAG라는 이름과 구조의 원전 · 원문(arXiv)
- Yao 외 (2023) — "ReAct: Synergizing Reasoning and Acting in Language Models", ICLR 2023. 생각과 도구 실행을 번갈아 하는 에이전트 루프의 대표 연구 · 원문(arXiv)
- Anthropic (2025) — "Effective context engineering for AI agents". 컨텍스트를 한정된 자원으로 보고 골라 넣는 접근 · 원문(Anthropic)
- Anthropic (2025.10) — "Equipping agents for the real world with Agent Skills". 지침·스크립트·참고 자료를 필요할 때 불러오는 스킬 구조 · 원문(Anthropic)
- OpenAI (2026.02) — "Harness engineering". 에이전트가 안정적으로 개발하도록 만드는 환경·명세·자동 피드백 루프 사례 · 원문(OpenAI)
- Anthropic (2026.01) — "Demystifying evals for AI agents". 실제 실패 사례에서 평가 항목을 만들고 최종 상태를 관찰하는 방법 · 원문(Anthropic)
마무리 — 사람의 일은 "무엇을 성공이라 부를지" 정하는 것
이 흐름을 한 줄로 줄이면, 모델이 할 수 없는 일을 하나씩 모델 바깥으로 옮겨 온 역사입니다. 모르는 사실은 검색으로, 손이 없으니 도구로, 기억이 짧으니 컨텍스트와 스킬로, 말만으로는 못 믿으니 하네스와 평가로. 1편에서 직접 만들어 본 모델이 끝까지 "다음 토큰 맞히기" 기계였다는 걸 떠올리면, 이 순서가 왜 이렇게 흘러왔는지 납득이 됩니다.
그래서 사람의 역할도 바뀝니다. "무슨 말을 써야 AI가 잘 답할까?"를 넘어 무엇을 성공으로 볼지, 어떤 자료와 도구를 허용할지, 결과를 어떻게 검증할지를 정하는 쪽으로요. 좋은 AI 시스템은 뛰어난 모델 하나가 아니라, 그 모델을 올바르게 쓰는 설계와 검증 위에서 만들어집니다.
성공의 기준을 정하는 건 여전히 사람입니다.
너멜엠(NumLM) — 확률부터 LLM까지, 원리부터 제대로 배우는 자기주도 학습 플랫폼
#프롬프트엔지니어링 #컨텍스트엔지니어링 #AI에이전트 #하네스엔지니어링 #RAG #AI평가 #AI공부
※ 이 글은 LLM 도구를 활용해 초안을 작성한 뒤, 인용한 기술 문서와 논문은 발행 전 원문을 확인해 편집했습니다. 예시 수치는 설명용 가상 사례입니다. 본문에 사실과 다른 부분을 발견하시면 댓글로 알려주시면 즉시 반영하겠습니다.