용어 풀이
55개 용어.
연구 설계 11
통계청 인구 분포를 바탕으로 만든 가상 인물. 성·연령·지역·학력·직업 등 속성과 생활 서사를 가지며 실존 인물이 아님.
세 차례 모두 같은 계열의 AI 모델(Claude Opus)로 응답한 것으로 판정된 페르소나. 반복 일치도 계산에만 사용함.
미래상 평가를 요약한 여섯 관점(기대, 체감성, 소외, 불안, 신뢰, 수용도). 1~5점이며 검증된 심리 척도가 아니라 관측 요약임.
단계적 도입, 구체적 생활 변화 수용, 추세 대비 미래상 지지 문항을 합친 복합 점수. 무조건적 찬성을 뜻하지 않음.
①지능강국 ②초장수 ③에너지 ④생활권 확장 ⑤룰메이커 ⑥포용. 자료 코드는 S1~S6.
L1은 STEPI 작성 원문을 유지한 공통 문항(73), L2는 시계열·심층 확장 문항(117). 합계 190문항.
AI 응답이 일부 선택지에 과도하게 몰리는 현상. 실제 태도인지 모델 특성인지 구분이 필요함.
같은 페르소나 200명에게 8개 AI 모델로 같은 설문을 응답시킨 비교 설계.
극단·취약 조건을 가진 합성 페르소나 20명. 평균이 가리는 우려를 찾는 발견용이며 검증용이 아님.
합성 페르소나 7명이 한 탁자에서 4라운드 토론하는 형식. 쟁점 발굴 보조 자료이며 사람 원탁회의를 대신하지 않음.
페르소나에 주는 근거의 깊이(본인 문서, 프로파일 카드, 통계 클론, 무작위)만 바꿔 응답 차이를 잰 사전 실험.
거버넌스 6
수집이나 실행 설정을 해시와 함께 고정해 이후 바뀌지 않게 하는 절차.
본문 수치를 읽은 저장 분석 파일 번호. 부록 D 표에 경로, 인용 키, SHA-256 앞 12자리를 적음.
파일 내용으로 계산하는 고유값. 같으면 같은 파일임을 확인하지만 내용이 옳다는 뜻은 아님.
응답을 만드는 AI와 그것을 점검·집계하는 코드(또는 별도 호출)를 나누는 원칙.
같은 수치를 다른 코드로 다시 계산해 일치를 확인하는 절차. 공통 오류는 놓칠 수 있음.
보고서 초안에서 발주기관의 회신으로만 채울 수 있는 값을 표시한 자리.
통계·그림 38
사전에 정한 확증 기준이 아니라 결과 점검·탐색 목적으로 계산한 수치라는 표시임. 정책 결론의 단독 근거로 쓰지 않음.
인구통계 속성을 부여해 LLM이 생성한 가상 응답자임. 실제 시민이나 여론 표본이 아님.
같은 페르소나에게 같은 설문을 세 번 실행한 차수임. 3차 응답(1,000명, 모두 같은 모델)이 기본 분석 자료임.
같은 페르소나가 매번 같은 점수를 내는 정도(0~1)임. .75 이상 안정, .50~.75 조건부, .50 미만 불안정으로 판정함.
추정값이 표본에 따라 흔들릴 수 있는 범위임. 대부분 페르소나를 다시 뽑아 반복 계산(부트스트랩)해 구함.
표본에서 무작위로 다시 뽑아 같은 계산을 수백~수천 번 반복해 결과의 흔들림을 재는 방법임.
문항 단위의 반복 일치도(1=완전 일치, 0=우연 수준)임.
응답이 여러 값에 얼마나 고르게 퍼졌는지 나타내는 값(비트)임. 0이면 모두 같은 답임.
두 차 점수의 차이를 평균 치우침과 개인 차이의 95% 범위로 보여 주는 일치도 분석임.
여러 문항이 몇 개의 공통 차원(요인)으로 묶이는지 찾거나(탐색적), 미리 정한 묶음이 맞는지 확인하는(확인적) 방법임.
무작위 자료와 비교해 의미 있는 요인 수를 정하는 방법임.
요인·성분 하나가 설명하는 정보의 양임. 클수록 중요한 차원임.
문항이 특정 요인과 얼마나 강하게 묶이는지 나타내는 값(−1~1)임.
상관이 1을 넘는 등 수학적으로 성립할 수 없는 추정 결과임. 참고로만 제시하고 추론에 쓰지 않음.
두 집단 평균 차이를 흩어진 정도로 나눈 값임. 대략 0.2 작음, 0.5 중간, 0.8 큼으로 읽음.
다른 요인을 함께 고려했을 때 한 요인이 추가로 설명하는 몫(0~1)임.
모형이 결과 점수의 차이를 설명하는 비율(0~1)임.
다른 속성 구성을 똑같이 맞췄다고 가정하고 계산한 집단 평균임.
두 점수의 조합(같이 오르거나 서로 어긋날 때)에 따라 결과가 어떻게 변하는지 곡면으로 보는 분석임.
a1·a2는 두 점수가 같이 오를 때의 기울기·휨, a3·a4는 두 점수가 어긋날 때의 기울기·휨임.
점수가 비슷한 응답자끼리 k개 집단으로 나누는 방법임.
전체 평균을 0, 표준편차를 1로 맞춘 점수임. 0보다 크면 평균보다 높음.
군집이 서로 잘 떨어져 있는 정도(−1~1)임. 0.25 미만이면 구조가 약하다고 봄.
모형의 적합과 복잡도를 함께 따진 값으로, 낮을수록 선호함. 기준마다 척도가 달라 같은 기준 안에서만 비교함.
무작위 자료보다 군집이 얼마나 뚜렷한지로 군집 수를 판단하는 지표임.
두 가지 집단 배정이 우연을 넘어 얼마나 일치하는지(1=완전 일치, 0=우연 수준)임.
주제 언급처럼 예/아니오 응답의 패턴이 비슷한 사람들을 보이지 않는 계층으로 묶는 방법임.
머신러닝 모형의 예측값을 각 특성의 몫으로 나눈 값임. 인과효과가 아님.
각각 비선형 머신러닝 모형과 선형 회귀 모형임. 예측력 비교에 사용함.
두 집단을 얼마나 잘 구분하는지(0.5=우연, 1=완벽)와 그 곡선임.
두 주제 구성 비율이 얼마나 다른지 나타내는 값(0=같음)임.
두 순위가 얼마나 비슷한 순서인지(1=같은 순서)임.
두 주제 중 하나라도 언급한 사람 가운데 둘 다 언급한 사람의 비율임.
페르소나 언급률에서 사람 언급률을 뺀 값임. 층 동일가중은 연령·성별 6개 층의 차이를 같은 비중으로 평균한 주 분석값임.
매우 짧거나 같은 글자를 반복한 응답을 제외하는 규칙임. 형식상 양쪽 공통이지만 실제로는 사람 응답이 주로 제외됨.
실질적으로 의미 있다고 볼 최소 차이의 잠정 후보값(예: 언급률 5%p, 수용도 0.10점)임. 아직 승인되지 않음.
같은 200명 페르소나를 8개 LLM이 각각 응답하게 해 모델에 따른 차이를 본 도구 민감도 실험임.
같은 설문에서 동시에 측정한 점수끼리는 측정 방식 때문에 서로 닮아 보이는 현상임.
다가오는 행사
요즘 제가 진행하는 세미나와 컨퍼런스입니다. 궁금하시면 오세요.
