검증할 수 없으면 논문이 아니다.
AI도 같은 규칙으로 씁니다.
「생성형 AI를 활용한 연구논문 작성 실무」 수강생 자료입니다. 약속드린 대로 그날 실제로 진행한 순서를 그대로 따라 하는 실행 가이드를 올렸습니다. 막혔던 지점과 대처까지 적었으니, 처음부터 혼자 재현하실 수 있습니다.
구요한 — 커맨드스페이스 대표 · 차의과학대학교 겸임교수 · KIRD 객원교수
Plan그날 네 시간 — 무엇을 다뤘나
교육계획안의 구성입니다. 다만 당일에는 여러분 환경에 맞춰 순서를 바꿔 진행했습니다 — 실제로 진행한 순서는 실행 가이드에 있습니다.
| 시간 | 주제 | 무엇을 손에 넣고 가시는가 |
|---|---|---|
| 13:00–15:00 1교시 | 생성형 AI를 활용한 연구논문 작성 환경 설정 · 문헌 탐색 · 연구질문 · 논문 구조 | 연구 자료를 AI가 읽을 수 있는 상태로 바꾸는 법 · 환각 인용을 만들지 않는 3단 탐색 구조 · 연구질문을 좁히는 반론 대화법 · 빈 화면에서 시작하지 않는 초안 작성 |
| 15:00–17:00 2교시 | 연구 데이터 분석과 논문 완성 정리·분석 · 결과 검증 · 시각화 · 개작 | 재현 가능한 분석을 만드는 로그와 코드북 · 숫자가 아니라 계산 과정을 받아내는 법 · 주장과 일치하는 그림 만들기 · AI 교정의 실패 패턴과 방어법 |
| 17:00–18:00 3교시 | AI 활용 시 연구윤리 이효빈 사무총장 (대학연구윤리협의회) | 제 파트가 "작동하는가"를 다룬다면, 이 시간은 "해도 되는가"를 다룹니다. 두 시간은 이어지는 한 쌍입니다. |
Your Questions먼저 물어보신 것들
사전 설문에 주신 요청입니다. 강의는 이 질문들에 답하는 순서로 짜여 있었습니다.
| 주신 요청 | 언제 다루나 |
|---|---|
| 바로 적용 가능한 쉬운 코드 또는 프롬프트 | 전 구간 · 아래 프롬프트 라이브러리에 전문 공개 |
| 연구 논문 작성 전 구성부터 실제 논문 작성 활용까지 전단계 | 1교시 전체 → 2교시 전체 · 이 순서가 그대로 오늘의 구성입니다 |
| 투고 저널 스타일에 맞춰 포맷 맞추는 법, 올바른 레퍼런스 찾기 | 1교시 14:00 레퍼런스 · 2교시 16:37 투고 서식 |
| 논문에 쓰는 표나 그림을 AI로 제작하는 방법 | 2교시 16:00 · 만드는 절차와 프롬프트까지 |
| 논문 데이터 검증 | 2교시 15:30 · 오늘의 핵심 블록입니다 |
| 연구 설계 및 데이터 정리 | 1교시 14:30 설계 · 2교시 15:12 정리 |
| 통계 및 그래프, 표 설정 | 2교시 15:30~16:20 |
| 초안 도출, 레퍼런스 도출, 그래프 결과 도출이 어렵다 | 세 가지가 각각 1교시 14:45 · 14:00 · 2교시 16:00 |
| 잘못된 정보 찾아내는 방법 | 13:20부터 · 이건 오늘 강의 전체의 척추입니다 |
One Line그 네 시간을 한 문장으로
그래서 오늘 외우실 것은 프롬프트가 아니라 절차입니다.
심사할 때 여러분은 이미 묻고 계십니다 — 이 근거가 실재하는가, 이 분석이 재현되는가, 이 숫자에 계산 과정이 있는가. 같은 질문을 AI 결과에 던지면 됩니다. 새로 배우는 규율이 아니라, 이미 가진 규율을 옮기는 일입니다.
v1 → v2 → v3같은 질문, 세 가지 방식
실습 키트는 같은 데이터에 같은 질문을 세 번 던지도록 만들어져 있습니다. 차이가 곧 강의 내용입니다.
| 방식 | 결과 | 한계 | |
|---|---|---|---|
| v1 | 그냥 물어본다 | 일반론이 나옵니다 | 재현 안 됨 · 근거 없음 · 두 번 물으면 답이 다름 |
| v2 | 맥락을 다 실어 물어본다 | 확 좋아집니다 | 다음 품목 데이터가 오면 30줄을 또 씁니다. 옆자리는 이 프롬프트의 존재를 모릅니다 |
| v3 | 규칙을 폴더에 심어 둔다 | 한 줄이면 됩니다 | 처음 한 번 설계하는 수고. 대신 규칙이 영속하고 로그가 곧 근거가 됩니다 |
Hands-on실습 체크포인트
키트의 데이터는 분석법 밸리데이션 기록 121행입니다. 함정 5종이 의도적으로 심어져 있고, AI가 그걸 몇 개나 스스로 잡아내는지가 채점표입니다.
그냥 물어보면 무엇이 안 나오는가
분석법 밸리데이션 데이터 분석해줘.
30줄을 실으면 어디까지 좋아지는가
너는 규제과학 분야 분석법 밸리데이션 데이터 분석 조교다. [데이터 배경] - 첨부한 validation_recovery.csv 는 잔류물질 분석법 밸리데이션 기록이다. - 3명의 분석자가 두 달간 번갈아 입력해서 표기 불일치가 있을 수 있다. - 컬럼: sample_id, analysis_date, matrix, spike_level_ppb, prep_method(A/B/C), instrument, analyst, recovery_pct, rsd_pct, note [연구 질문] - 어떤 전처리 방법과 농도 구간에서 회수율 80~120%, RSD 5% 이하를 안정적으로 만족하는가? [작업 규칙] - 먼저 데이터 품질 문제(결측·단위 혼입·표기 불일치·이상치)를 전수 점검하고 표로 보고할 것 - 원본을 수정하지 말고 정리 과정을 코드로 보여줄 것 - 통계 검정은 가정 확인과 함께, p-값과 효과 크기를 같이 보고할 것 - 분석자·장비 간 차이가 교란요인인지 반드시 확인할 것 - 결과는 (1) 요약 3줄 (2) 상세 분석 (3) 보고서용 그래프 제안 순서로 이 규칙대로 분석을 시작해.
규칙을 폴더에 심고 한 줄로 일 시키기
키트 폴더에서 Claude Code(또는 Codex)를 연 뒤, 이 한 줄이면 됩니다. 규칙은 CLAUDE.md 가 대신 지킵니다.
연구질문에 답해줘: 어떤 전처리 방법과 농도 구간에서 회수율 80~120%, RSD 5% 이하를 만족해?
notes/analysis-log.md 와 figures/ 에 산출물이 파일로 남으면 통과입니다.AI가 함정을 몇 개 잡았는가
키트의 data/codebook.md 에 심어 둔 함정이 적혀 있습니다. AI가 스스로 보고한 것만 셉니다.
| 함정 | 놓치면 생기는 일 |
|---|---|
| ① 단위 혼입 — 농도 일부가 다른 단위 | 농도 구간 결론이 뒤집힙니다 |
| ② 표기 불일치 — 같은 값이 여러 표기 | 그룹 수가 부풀려집니다 |
| ③ 결측 — 반응변수 일부 공란 | 조용히 빠지면 특정 조건이 과대평가됩니다 |
| ④ 교락 — 분석자와 장비가 분리 안 됨 | "전처리 B가 좋다"가 사실은 장비 효과일 수 있습니다. 가장 중요 |
| ⑤ 이상치 — note 컬럼에 원인 단서 | 근거 없이 지우면 안 되고, 근거를 찾아 처리해야 합니다 |
| 채점 항목 | v1 한 줄 | v2 맥락 | v3 하네스 |
|---|---|---|---|
| 판정 기준이 어디서 왔나 | AI가 정함 | 내 프롬프트 | 파일(codebook) |
| 제외 규칙을 누가 정했나 | AI가 정하고 사후 통보 | 내가 지시 | 규칙 + 로그에 근거 |
| 근거가 어디 남았나 | 채팅창 | 채팅창 | 분석 로그 파일 |
| 다음 데이터에 재사용 | 안 됨 | 서른 줄 다시 입력 | 폴더만 복사 |
| 후임자가 같은 결과 | 불가 | 프롬프트를 물려받아야 | 폴더를 열면 됨 |
논문에 그대로 들어가는 표 · 그림 · 캡션
앞 실습에서 받은 결과를 재료로 씁니다. 세 개를 순서대로 던지십시오. 표 → 그림 → 캡션입니다.
앞에서 정리한 데이터로 논문용 Table 1을 만들어라. [표 요건] - 행: 전처리 방법(A/B/C) x 첨가농도(10/50/200 ppb) - 열: n, 회수율 평균+-표준편차, RSD 평균, 회수율 80~120% 충족 비율, RSD 5% 이하 충족 비율 - 판정 기준(회수율 80~120%, RSD 5% 이하)을 표 각주에 명시 [반드시 함께 줄 것] 1. 이 표를 만든 코드 전문 2. 각 셀에 들어간 행 수 n - 셀마다 전부 3. 제외된 행이 있으면 몇 건을 왜 제외했는지 n이 8 미만인 셀은 숫자를 쓰지 말고 '판정보류'로 표시해라. 작은 n에 평균을 쓰면 표가 거짓말을 한다.
회수율 분포를 박스플롯으로 그려라. [요건] - x축: 첨가농도(10/50/200 ppb), 색 구분: 전처리 방법(A/B/C) - 판정 기준선 80%와 120%를 수평선으로 넣고 범례에 '판정 기준'이라고 적어라 - x축 라벨에 각 군의 n을 함께 표기 (예: "10 ppb (n=39)") - 개체 점을 박스 위에 겹쳐 뿌려라(jitter). 평균만 보이면 분산이 숨는다 - 300 dpi, 축 라벨에 단위 표기, 한글이 깨지지 않게 - 파일로 저장하고 경로를 알려줘 [금지] - 데이터에 없는 구간을 보간해 선으로 잇지 마라 - y축을 0에서 시작하지 않을 거면 그 사실을 알려줘 (캡션에 써야 한다)
방금 만든 표와 그림의 캡션을 각각 써라. [캡션에 반드시 들어갈 것] - n (표는 셀별, 그림은 군별) - 에러바나 박스가 무엇인지 - 표준편차인가 표준오차인가 사분위인가 신뢰구간인가. '오차'라고만 쓰지 마라 - 적용한 판정 기준과 그 출처 - 제외된 데이터가 있으면 몇 건을 어떤 근거로 제외했는지 [금지] - 그림이 보여주지 않는 것을 캡션에서 주장하지 마라 - 인과 표현을 쓰지 마라. "B가 회수율을 높인다"가 아니라 "B에서 회수율이 높게 관찰되었다" - 통계적 유의성을 쓸 거면 어떤 검정인지 함께 써라
투고 서식 맞추기 — 네 단계로 쪼갠다
목표 저널의 저자 안내문을 붙여넣고 돌립니다. 목표 저널이 아직 없으면 1단계만 해도 됩니다. 저녁에 저널 하나 정해서 다시 돌려 보시는 게 오늘의 숙제입니다.
목표 저널의 저자 안내문을 아래에 붙여넣는다. 내 원고를 이 서식에 맞추는 작업을 네 단계로 나눠서 해라. 한 단계씩 끝내고 다음으로 넘어가라. [저자 안내문] (여기에 붙여넣기) [내 원고] (여기에 붙여넣기 - 없으면 '초안 없음'이라고 쓰고 1단계와 4단계만 해라) [1단계 · 인용 스타일 변환] - 안내문이 요구하는 인용 스타일로 참고문헌 목록을 변환해라 - 변환 후 저자명과 연도를 원본과 하나씩 대조한 결과를 표로 보여라 - 원본에 없던 문헌을 추가하지 마라. 확신이 없는 항목은 [확인 필요]로 표시해라 [2단계 · 그림과 표 요건 대조] - 안내문의 그림/표 요건을 항목별로 뽑고, 내 것이 통과인지 미달인지 판정해라 - 판정 근거를 한 줄씩 붙여라. 원고에서 확인할 수 없는 항목은 '확인 불가'로 표시해라 [3단계 · 분량 제한] - 초과했으면 어디를 얼마나 줄여야 하는지 제시해라 - 줄인 버전을 만들었으면 무엇을 왜 뺐는지 목록을 반드시 함께 내라 - 주장이나 한계 서술을 조용히 빼지 마라. 그건 분량 조정이 아니라 내용 변경이다 [4단계 · 투고 전 체크리스트] - 안내문이 요구하는 제출물 전부를 체크리스트로 추출해라 - 내가 아직 준비하지 않은 항목을 목록 앞쪽에 배치해라
CLI터미널에서 하시려면 — Claude Code · Codex
오늘 강사 화면은 이 방식입니다. 웹 챗으로 따라오셔도 실습은 전부 됩니다. 다만 v3 하네스는 파일과 실행이 있어야 완성되므로, 나중에 본인 업무에 심으실 때 참고하시라고 절차를 그대로 적어 둡니다.
CLAUDE.md, Codex는 AGENTS.md를 읽습니다. 그런데 상위 폴더의 규칙 파일까지 자동으로 딸려 옵니다. 그래서 "규칙 없이 그냥 물어보면 어떻게 되나"를 보려면 규칙이 없는 폴더에서 해야 합니다. 같은 폴더에서 세 가지를 다 돌리면 v1이 실패하지 않고, 비교가 성립하지 않습니다.폴더 세 개를 만듭니다
mkdir -p ~/Desktop/practice/{v1-bare/data,v2-context/data,v3-harness/{data,notes,clean,figures}}
# 키트의 validation_recovery.csv 를 세 폴더의 data/ 에 각각 복사
# codebook.md 는 v3-harness/data/ 에만
# CLAUDE.md (= AGENTS.md) 는 v3-harness/ 루트에만| 폴더 | 들어 있는 것 | 여기서 던지는 것 |
|---|---|---|
v1-bare/ | 데이터만 | Checkpoint 1 한 줄 |
v2-context/ | 데이터만 | Checkpoint 2 서른 줄 |
v3-harness/ | 데이터 + codebook.md + 규칙 파일 | Checkpoint 3 한 줄 |
실행
cd ~/Desktop/practice/v3-harness && claude
cd ~/Desktop/practice/v3-harness && codex
v3-harness/ 에는 CLAUDE.md 와 AGENTS.md 가 내용이 같은 채로 나란히 있습니다. Claude Code로 열면 전자를, Codex로 열면 후자를 읽습니다. 도구를 바꿔도 하네스는 따라옵니다 — 이게 규칙을 채팅창이 아니라 파일에 두는 값입니다.규칙 파일 — 이 한 장이 v3의 전부입니다
아래를 복사해 본인 업무 폴더에 CLAUDE.md(Claude Code) 또는 AGENTS.md(Codex)로 저장하시면 됩니다. 중괄호 부분만 본인 업무로 바꾸십시오. 오늘 이후 하실 일은 프롬프트를 외우는 게 아니라 이 파일 한 장을 쓰는 것입니다.
# {분석 대상} 데이터 분석 - 작업 규칙
이 폴더에서 데이터 분석을 요청받으면 아래 규칙을 묻지 말고 지킨다.
## 역할
{분야} 데이터 분석 조교. 결론을 빨리 내는 것보다 결론에 이른 과정을 남기는 것이 우선이다.
## 데이터
- 원본은 `data/{파일명}.csv`. 절대 수정하지 않는다.
- 컬럼 정의와 알려진 문제는 `data/codebook.md` 를 먼저 읽는다.
- 정리한 데이터는 `clean/` 에 새 파일로 쓴다.
## 분석 순서 (건너뛰지 않는다)
1. 품질 점검 먼저. 결측/단위 혼입/표기 불일치/이상치/중복을 전수 점검하고 표로 보고한다.
문제를 발견하면 임의 삭제하지 말고 판정 근거와 함께 처리 방침을 제시한 뒤 진행한다.
2. 교란요인 확인. {분석자/장비/분석일} 이 결과와 교락되어 있는지 반드시 확인한다.
교락이 있으면 그 사실을 결론보다 먼저 보고한다.
3. 가정 확인 후 검정. 정규성과 등분산을 확인하고, 위반 시 대안 검정을 쓴다.
p-값만 쓰지 말고 효과 크기와 신뢰구간을 함께 보고한다.
4. 판정 기준 명시. {회수율 80~120%, RSD 5% 이하} 를 기본 기준으로 하되,
적용한 기준을 결과에 명시한다.
## 산출물
- 코드: 실행 가능한 형태로 제시하고, 직접 실행해 결과를 확인한다.
- 그림: `figures/` 에 저장. 파일명은 `fig-{번호}-{내용}.png`. 축 라벨/단위/n 수를 반드시 넣는다.
- 로그: 모든 분석은 `notes/analysis-log.md` 에 날짜/질문/수행한 처리/판단 근거/결과를
append 한다. 덮어쓰지 않는다.
## 보고 형식
1. 요약 3줄
2. 데이터 품질 점검 결과
3. 상세 분석 (가정 확인 -> 검정 -> 효과 크기)
4. 보고서용 그래프 제안
5. 불확실한 것 / 이 데이터로는 답할 수 없는 것 - 반드시 별도 항목으로
## 금지
- 데이터에 없는 값을 추정해 채우지 않는다.
- 통계적으로 뒷받침되지 않는 인과 주장을 하지 않는다. 관찰된 연관으로만 서술한다.
- 결측을 조용히 제외하지 않는다. 제외했으면 몇 건을 왜 제외했는지 보고한다.규칙이 있으면 무엇이 달라지나 — 오늘 실측
| 규칙 없는 폴더 | 하네스 폴더 | |
|---|---|---|
| 판정 기준 | AI가 정함 회수율 70~120%, RSD 20% 이하 | codebook.md 에서 읽음80~120%, RSD 5% 이하 |
| 결론 | 적합률 100% · 부적합 0건 | 10 ppb 합격률 54.1% 어느 전처리로도 기준 미달 |
| 남는 파일 | 정리본과 스크립트 이름은 AI가 지음 | clean/ figures/ scripts/notes/analysis-log.md |
| 왜 그렇게 판단했나 | 채팅창에만 | 로그 파일에 — 제외한 건수와 근거까지 |
Prompt Library프롬프트 라이브러리
강의에서 쓰는 프롬프트 전문입니다. 각 블록의 복사 버튼을 누르면 그대로 붙여넣을 수 있습니다. 도메인 예시는 본인 업무에 맞게 바꿔 쓰시면 됩니다.
② 검색 전략 설계 — 답이 아니라 검색식을 받는다
블록 3 실습. 문헌 탐색의 첫 단계. AI에게 문헌 자체를 요구하지 않고, 내가 데이터베이스에서 직접 검색할 때 쓸 검색식과 스크리닝 기준만 받는다. AI가 답을 주려고 하면 프롬프트가 잘못 들어간 것이다.
너는 규제과학 분야 문헌 조사 조교다. 중요한 제약이 하나 있다: 너는 논문을 찾아주지 않는다. 내가 직접 데이터베이스에서 검색할 수 있도록 검색 전략만 설계한다. [내 상황] - 소속: 식품의약품안전평가원 연구분야 부서 - 주제: (여기에 본인 주제를 한 문장으로 — 예: 곡류 매트릭스에서 잔류농약 다성분 분석법의 전처리 방법별 회수율 안정성) - 목적: (예: 학술논문 서론의 선행연구 정리 / 위해평가 보고서 근거 수집 / 가이드라인 개정 검토) - 사용 가능한 DB: PubMed, Google Scholar, ScienceDirect, RISS, KCI, 그리고 FDA·EMA·ICH·OECD·Codex 공개 문서 [해야 할 일] 1. 핵심 개념을 3~4개 축으로 분해하고, 각 축의 동의어·유사어·MeSH 용어 후보를 나열한다. 2. 축을 조합한 검색식을 DB별로 3개씩 제안한다 (넓은 것 / 균형 / 좁은 것). 불리언 연산자와 필드 태그를 실제 문법대로 쓴다. 3. 포함/제외 기준을 표로 만든다. 각 기준마다 왜 이 기준인지를 한 줄씩 붙인다. 4. 규제 문서 쪽은 별도로: 어느 기관의 어떤 문서군을 봐야 하는지 목록화한다. 5. 이 주제에서 검색으로 놓치기 쉬운 자료 유형(회색문헌·기관보고서·표준시험법 등)을 지적한다. [금지] - 구체적인 논문 제목·저자·연도·DOI를 생성하지 마라. 한 편도 예시로 들지 마라. - 검색 결과를 요약하지 마라. 너는 검색하지 않았다.
③ 인용 검증 루프 — 다른 세션에서 역검
블록 3. 초안을 쓴 세션이 아니라 반드시 새 창·새 세션에서 던진다. Generator ≠ Verifier — 자기가 만든 것을 자기가 통과시키면 검증이 아니다. 투고 전·보고서 제출 전 필수 루프.
너는 인용 검증만 담당한다. 이 문서를 쓴 것은 네가 아니며, 너는 이 문서의 주장에 동의할 이유가 없다. 의심하는 것이 네 일이다. 아래 인용 목록을 한 건씩 검증하고 결과를 표로 보고해라. [검증 항목 — 건마다 5개 전부] 1. 서지정보 정합성 — 저자·연도·제목·학술지 조합이 서로 맞는가? 어긋나는 조합이 있으면 지적해라. 2. DOI/식별자 — 형식이 유효한가? 형식만으로 판단할 수 없는 부분은 '확인 불가, 사람이 직접 열어볼 것'으로 표시해라. 3. 주장-근거 일치 — 본문에서 이 문헌을 근거로 편 주장이, 그 문헌이 실제로 할 만한 주장인가? 과잉 일반화·범위 초과 인용을 지적해라. 4. 철회·정정 — 철회(retraction)나 정정(correction) 가능성을 확인할 수 있는가? 확인할 수 없으면 '사람이 확인 필요'로 표시해라. 5. 최신성 — 가이드라인·고시·표준시험법 인용이라면 이것이 현행 개정본인가? 개정 이력을 확인해야 하는 항목을 표시해라. [출력 형식] | 번호 | 인용 | 판정(통과/의심/확인불가) | 문제 | 사람이 확인할 것 | [절대 규칙] - 확신이 없으면 '확인 불가'로 표시해라. 추측으로 통과시키지 마라. - 없는 정보를 채워 넣지 마라. 모르는 것은 모른다고 써라. - 마지막에 '이 목록에서 가장 먼저 사람이 직접 확인해야 할 3건'을 우선순위로 뽑아라. [검증할 인용 목록] (여기에 붙여넣기)
④ 규제 가이드라인 비교표 — 공개 문서만, 반입 제약 없음
블록 3. 이 청중에게 가장 즉각적인 ROI가 나오는 작업. 입력도 공개(FDA/EMA/ICH/OECD), 출력도 공개(안내서·비교자료)라 데이터 반입 제약이 전혀 없다. 국제조화 대응 문서 작성과 기존 안내서 개정 검토에 그대로 쓴다.
너는 규제 문서 비교 분석 조교다. 여러 규제기관의 공개 문서를 같은 스키마로 정렬하는 일을 한다. [비교 대상] - 주제: (예: 생성형 AI를 활용한 의료기기의 안전성·유효성 평가 / 분석법 밸리데이션 요구사항 / 특정 물질군의 잔류허용기준 설정 원칙) - 기관: FDA, EMA, PMDA, ICH, OECD, Codex 중 해당하는 것 — 내가 첨부하거나 지정한 문서만 사용한다 - 국내 대응: 관련 고시·민원인 안내서 (내가 제공) [비교 스키마 — 이 항목으로 표를 만든다] 1. 적용 범위 (무엇에 적용되고 무엇은 제외되는가) 2. 핵심 정의 (같은 용어를 다르게 정의하는 지점이 있는가) 3. 제출자료 요건 4. 판정 기준 / 허용 범위 5. 문서 지위 (구속력 있는 규정인가, 권고인가, draft인가) 6. 발행·개정 시점 [출력 규칙] - 표의 모든 셀에 출처를 함께 적어라: [기관명, 문서명, 해당 절/페이지]. 출처를 적을 수 없는 내용은 셀에 쓰지 마라. - 내가 제공하지 않은 문서의 내용을 채워 넣지 마라. 해당 기관 문서를 내가 주지 않았으면 그 열은 '미확보'로 비워라. - 표 아래에 두 가지를 별도로 정리해라: (a) 기관 간 차이가 실질적인 지점 — 용어만 다른 것과 요건이 다른 것을 구분 (b) 빈 칸 목록 — 이 비교를 완성하려면 어떤 문서를 더 확보해야 하는지 [금지] - 문서 제목·번호·발행일을 지어내지 마라. - 확인되지 않은 내용을 '일반적으로 ~한다'로 서술하지 마라.
⑤ 연구질문 반론기 — 심사위원 입장에서 무너뜨리기
블록 4 실습. 연구질문을 세운 직후, 설계에 들어가기 전. 답이 아니라 지적만 받는 것이 핵심이며, 즉답하지 못하는 지적이 나오면 그것이 진짜 약점이다.
너는 이 연구계획을 심사하는 위원이다. 통과시킬 이유를 찾지 말고 반려할 이유를 찾아라. 호의적으로 읽지 마라. [내 연구질문] (여기에 한 문장으로) [내 상황] - 분야: (예: 잔류물질 분석 / 독성평가 / 의료기기 심사 / 위해평가) - 확보한 자료: (예: 밸리데이션 기록 121건, 선행연구 8편, 관련 고시 2건) - 가용 자원: (기간·장비·인력 제약) [해야 할 일] 1. 이 연구질문의 약점을 5개 지적해라. 각 지적이 다음 중 어디에 해당하는지 분류해라 — 범위(너무 넓거나 좁음) / 측정 가능성(무엇을 어떻게 잴지 불명) / 비교 타당성(비교군이 부적절) / 교란(다른 요인으로 설명될 수 있음) / 기여도(답을 알아내도 그래서 무엇이 달라지는가). 2. 5개 중 가장 치명적인 것 1개를 골라 이유를 설명해라. 3. PICO 틀(대상/조건/비교/측정 가능한 종점)로 이 질문을 분해하고, 채워지지 않은 칸을 표시해라. 4. 이 연구질문의 결과를 오염시킬 수 있는 교란요인 후보를 나열해라. 설계 단계에서 통제할 수 있는 것과 없는 것을 구분해라. [중요한 금지] - 각 지적에 대해 내가 어떻게 답하면 되는지는 쓰지 마라. 해결책을 제시하지 마라. 지적만 해라. - 격려하지 마라. '좋은 질문입니다' 같은 서두를 쓰지 마라. - 약점이 5개가 안 되면 억지로 채우지 말고, 몇 개인지 말하고 그 이유를 설명해라.
⑦ IMRaD 뼈대 + 빈 칸 진단
블록 5 실습. 초안을 쓰기 전. 문장을 받는 게 목적이 아니라 내 재료가 어디까지 준비됐는가를 보는 게 목적이다. 빈 칸이 하나도 안 나오면 AI가 지어낸 것이다.
너는 논문 구조 설계 조교다. 문장을 많이 쓰는 것보다, 내가 아직 갖추지 못한 것을 정확히 알려주는 것이 훨씬 중요하다. [내 연구] - 연구질문: (한 문장) - 목표 지면: (예: KCI 등재 국문 학술지 / SCI 국제지 / 기관 보고서) [내가 지금 가진 것 — 솔직하게] - 선행연구: (예: 8편 읽고 메모함 / 3편만 초록 봄 / 아직 없음) - 방법 기록: (예: SOP 있음 / 실험노트에 흩어져 있음 / 아직 안 함) - 결과: (예: 분석 완료 / 데이터만 있음 / 아직 수집 중) - 해석 메모: (있음 / 없음) - 한계 기록: (있음 / 없음) [해야 할 일] 1. 아래 표를 채워라. | 절 | 이 절이 대답할 질문 | 내가 가진 재료로 쓸 수 있는가 | 쓸 수 있다면 소제목 2~3개 | 못 쓴다면 무엇이 필요한가 | |---|---|---|---|---| | Introduction | | | | | | Methods | | | | | | Results | | | | | | Discussion | | | | | | Limitations | | | | | 2. 재료가 부족한 절은 문장을 지어내지 말고 [근거 미확보 — 필요한 것: ○○] 로 남겨라. 3. 표 아래에 '다음에 할 일' 3개를 우선순위대로 적어라. 글쓰기가 아니라 재료 확보 작업으로 적어라. [금지] - 내가 가지고 있다고 말하지 않은 내용을 채우지 마라. - 선행연구를 예시로라도 생성하지 마라. - 모든 칸을 채우려고 하지 마라. 빈 칸이 이 작업의 결과물이다.
⑧ CONTEXT.md — 논문 작성 하네스 견본 (오늘의 최종 산출물)
블록 5 마무리 + 강의 후 각자 작업. 프롬프트가 아니라 파일이다. 본인 연구 폴더 루트에 이 내용으로 CONTEXT.md(Claude Code는 CLAUDE.md, Codex는 AGENTS.md)를 만든다. 폐쇄망이면 ChatGPT/Claude Projects의 '프로젝트 지침'에 붙여넣으면 절반의 하네스가 된다. 중괄호 부분을 본인 업무에 맞게 고쳐 쓴다.
# CONTEXT.md — 연구논문 작성 작업 규칙
이 폴더에서 문헌 정리·글쓰기를 요청받으면 아래 규칙을 묻지 말고 지킨다.
## 역할
{식품의약품안전평가원 ○○과} 연구 담당자의 논문 작성 조교.
빠르게 문장을 만드는 것보다 **근거를 잃지 않는 것**이 우선이다.
## 연구 컨텍스트
- 분야: {잔류물질 분석법 / 독성평가 / 의료기기 심사 / 위해평가 …}
- 현재 과제: {한 문장}
- 목표 지면: {학술지명 또는 보고서 서식}
- 적용 기준: {회수율 80~120%, RSD 5% 이하 등 판정 기준 / 인용 스타일}
## 자료의 위치
- 확보한 원문: `sources/` — **여기 없는 문헌은 존재하지 않는 것으로 취급한다.**
- 내가 읽고 쓴 것: `notes/`
- 네가 만든 초안: `draft/` — **본문이 아니다.** 내가 검토해야 본문이 된다.
- 그림·표: `figures/`
## 문헌 규칙 (가장 중요)
1. `sources/` 와 레퍼런스 라이브러리 **밖의 문헌을 인용하지 않는다.** 뒷받침할 문헌이 없으면 '라이브러리에 없다'고 말한다.
2. 저자·연도·제목·DOI를 **지어내지 않는다.** 확신이 없으면 [출처 미확보] 로 표시한다.
3. 인용할 때는 `sources/` 의 **어느 파일 몇 페이지**에서 왔는지 함께 적는다.
4. 숫자는 출처 있는 것만 쓴다. 근사·추정은 [추정] 으로 표시한다.
5. 고시·가이드라인을 인용할 때는 **개정 차수와 시행일**을 함께 적는다. 확인 불가면 [개정본 확인 필요].
## 작성 규칙
- 재료가 없는 절은 채우지 말고 [근거 미확보 — 필요한 것: ○○] 로 남긴다.
- **Results 에는 해석을 쓰지 않는다.** 해석은 Discussion 에만.
- 관찰된 연관을 인과로 서술하지 않는다. 'A가 B를 높인다'가 아니라 'A 조건에서 B가 높게 관찰되었다'.
- 한계는 반드시 별도 항목으로. **이 자료로는 답할 수 없는 것**을 명시한다.
- 내 문체를 평준화하지 않는다. 문장을 고쳤으면 **무엇을 왜 고쳤는지** 함께 적는다.
## 산출물
- 초안은 `draft/{절이름}-{날짜}.md` 로 저장한다. 기존 파일을 덮어쓰지 않는다.
- 작성·수정 이력은 `notes/writing-log.md` 에 append 한다 — 날짜 · 무엇을 · 어떤 근거로.
## 보고 형식
1. 한 일 요약 3줄
2. 사용한 근거 목록 (파일명 + 위치)
3. 산출물
4. **불확실한 것 / 이 자료로는 쓸 수 없는 것** — 반드시 별도 항목으로
## 금지
- 라이브러리에 없는 문헌 생성
- 출처 없는 수치
- 내가 검토하지 않은 문장을 본문 위치에 쓰는 것결과 검증 — 숫자 말고 계산 과정을 내놓게 하기
AI가 분석 결과를 내놓은 직후 항상 던진다. 2교시의 핵심 프롬프트다. 이 절차를 통과하지 못한 숫자는 보고서에 쓰지 않는다는 기준을 개인 규칙으로 삼는다. 여섯 달 뒤 리비전에서 전처리 기준이 무엇이었냐는 질문이 왔을 때, 기억을 짜내는 대신 코드와 로그를 여는 사람이 되는 갈림길이 여기다.
방금 낸 결론의 숫자를 그대로 믿지 않겠다. 다음을 순서대로 제시해라. 1. 그 숫자를 만든 코드 전문. 실행 가능한 형태로. 2. 코드를 실제로 실행한 출력. 요약하지 말고 원문 그대로. 3. 계산에 사용한 행 수 n, 제외한 행 수와 제외 사유. 4. 난수가 개입하는 처리가 있으면 시드 값. 없으면 없다고 명시. 5. 이 코드를 다시 실행하면 같은 숫자가 나오는가. 나오지 않는다면 어느 지점 때문인가. 6. 중간 산출물(정리된 데이터)을 clean/ 에 파일로 저장하고 경로를 알려줘. 숫자 하나를 바꾸려면 어느 줄을 고쳐야 하는지까지 알 수 있어야 한다.
교란요인 점검 — 교락을 먼저 묻는다
실습 체크포인트 ④. 이 데이터에 심어 둔 다섯 함정 중 가장 중요한 것이고, 놓치면 결론 자체가 뒤집힌다. 규제과학 종사자에게는 낯선 개념이 아니라 이미 심사할 때 보는 것이다. 문제는 AI에게 시킬 때 이 질문을 안 한다는 것이고, 그래서 규칙 파일에 못 박아 매번 자동으로 묻게 만든다.
결론을 내기 전에 교란요인부터 확인해라. 1. analyst(분석자) × instrument(장비) 교차표를 만들어라. 각 칸의 n을 표시하고 빈 칸이 있으면 강조해라. 2. prep_method(전처리) × instrument, prep_method × analyst 교차표도 같이 만들어라. 3. analysis_date(분석일)와 결과 사이에 추세가 있는지 확인해라. 장비 점검이나 재분석 기록이 note 컬럼에 있으면 함께 대조해라. 4. 위 결과를 바탕으로 판정해라. "전처리 B의 회수율이 높다"는 결론이 전처리 효과인가, 아니면 특정 분석자나 특정 장비의 효과와 분리되지 않는가. 5. 분리되지 않는다면 이 데이터로 답할 수 있는 질문과 답할 수 없는 질문을 각각 명시해라. 교락이 있으면 그 사실을 결론보다 먼저 보고해라.
역검 — 만든 세션이 아닌 곳에서 검증한다
분석 직후와 논문 초안 직후, 두 번 쓴다. 만든 쪽이 검증하지 않는다는 원칙의 실행 도구다. 같은 세션에게 이거 맞아? 라고 물으면 십중팔구 맞다고 한다. 새 세션을 열고 코드와 결론만 붙이는 것이 핵심이다. 시험하는 부서와 검토하는 부서를 분리하는 것과 같은 이유다.
아래는 다른 세션에서 수행된 데이터 분석의 코드와 결론이다. 너는 이 분석을 비판적으로 검토하는 역할이다. 작성자를 옹호하지 마라. [코드] (여기에 코드 붙여넣기) [결론] (여기에 결론 문장 붙여넣기) 다음을 점검해라. 1. 코드가 실제로 결론을 뒷받침하는가. 코드가 계산하지 않은 것을 결론이 주장하고 있지 않은가. 2. 제외된 행이 있다면 그 제외가 결과를 어느 방향으로 움직이는가. 3. 검정의 가정이 확인되었는가. 확인되지 않았다면 결론이 얼마나 약해지는가. 4. 관찰된 연관이 인과로 서술된 곳이 있는가. 5. 이 분석으로는 답할 수 없는데 답한 것처럼 쓰인 문장이 있는가. 문제가 없으면 없다고 말해도 좋다. 다만 각 항목마다 판단 근거를 써라.
AI 교정 방어 — 무엇을 고쳤는지 표시하게 하기
AI를 문장 교정기로 쓸 때 항상 함께 던진다. 자연스럽게 고쳐 달라고만 하면 결과물이 읽기는 편해지고 정확도는 떨어진다. 수정 지점을 표시하게 하는 것이 핵심이다. 통째로 다시 써서 돌려받으면 무엇이 바뀌었는지 알 수 없고, 그 순간 원고의 저자가 흐려진다. AI 산출물은 draft 폴더에 두고 내가 읽고 판단한 문장만 본문으로 올린다.
아래 원고의 문장을 다듬어라. 다만 다음을 반드시 지켜라. 1. 용어를 바꾸지 마라. 회수율, 첨가농도, 정밀성, 매트릭스, 전처리 같은 분야 용어를 일반 용어로 치환하는 것을 금지한다. 2. 주장의 강도를 바꾸지 마라. 내가 단정한 것을 완화하지 말고, 내가 조심스럽게 쓴 것을 세게 만들지 마라. 3. 인용을 추가하거나 변경하지 마라. 저자, 연도, 문헌을 새로 만들어 넣는 것을 금지한다. 4. 수정한 부분마다 [수정] 표시를 하고, 무엇을 왜 고쳤는지 한 줄로 밝혀라. 5. 고치지 않는 편이 낫다고 판단한 문장은 그대로 두고 그 이유를 말해라. 전체를 새로 쓰지 마라. 고친 자리를 내가 볼 수 있어야 한다.
Boundary무엇을 넣어도 되는가 — 실무 구분
이 청중에게 가장 현실적인 제약입니다. 미승인 품목 심사자료, 기업 제출 비공개 자료, 개인정보가 포함된 데이터는 외부 AI 서비스에 올리는 것 자체가 별개의 문제입니다. 강의에서는 그 제약을 인정한 위에서 되는 작업을 어떻게 설계하는가만 다룹니다.
validation_recovery.csv 는 교보재용으로 생성한 가상 데이터이며(시드 고정), 실제 시험 기록이 아닙니다. 실습에 실제 업무 자료를 쓰지 마세요.Downloads드리고 가는 것
Upcoming다가오는 행사
요즘 제가 진행하는 세미나와 컨퍼런스입니다. 궁금하시면 오세요.
① Obsidian 101 기록하고 연결하기 · ② PKM for AI Agent 지식 설계부터 Claude Code까지 · ③ LLM Wiki 내 자료로 만드는 AI 지식베이스 · ④ AI Agent Workflow 내 지식으로 반복 업무 설계하기
