CMDSPACE데이터셋 설명
실제 ASIMOV 데이터로 합니다
★ 진위ASIMOV Benchmark는 실재하는 공개 벤치마크입니다. Google DeepMind + Princeton(Pierre Sermanet, Anirudha Majumdar 등)이 CoRL 2025로 공개한 로봇 semantic/physical safety 벤치마크 family. 논문 arXiv:2503.08663 · 공식 asimov-benchmark.github.io · 데이터
gs://gresearch/robotics/(공개 GCS).1. 우리가 실제로 받은 것
이번 준비에서 GCS builder(anon)로 실 subset 3종을 다운로드·검증하고(총 36MB), claude.ai에 올릴 수 있게 변환했습니다.
| 실 데이터 | 규모 | 내용/출처 | 세션 사용 |
|---|---|---|---|
실 asimov_real_cases.csv | 24건 | asimov_injury_val — 실제 병원 부상 보고서 기반 상황 | SCN-05 배치 분류 |
실 images/*.png | 6장 | asimov_multimodal_auto_val — 실제 로봇 장면 이미지 | SCN-06 멀티모달 |
실 asimov_constitution_pairs.md | 3건 | injury_val의 prompt_with/without_constitution 원본 필드 | SCN-08 헌법 전후 |
실 data/cache/*/*.tfrecord | 3 subset | injury 304 · multimodal 50 · dilemmas 34 (원천 바이너리) | 변환 원천 |
tfrecord는 바이너리라 claude.ai에 직접 못 올립니다. 그래서 위 CSV·PNG·MD로 변환해 둔 것. 더 큰 규모는
scripts/03_cache_datasets.py로 확장 캐싱 → 같은 CSV 파이프라인 재사용.2. 대표샘플은 왜 쓰고, 왜 의미 있나
가상이 아니라 “통제된 대표”
sample_cases.csv(14건)는 실 스키마(context·instruction·label)를 그대로 따르되, 12개 위험 유형을 균등 배치하고 결정론적 정답(골든 reference_category_summary.md)을 갖췄습니다. 덕분에 2시간 세션에서 Claude 분류의 정확도를 즉석 검증할 수 있습니다 — 수십만 건 원본에선 불가능한 것. 실데이터와 컬럼이 같아 1:1 교체됩니다. 권장 순서: 대표(깔끔한 데모+정확도 검증) → 실 ASIMOV(진짜라는 신뢰).3. “15,000개”는?
CTO님이 말씀하신 “15,000개 테스트셋”은 공개 자료상 단일 세트로는 존재하지 않습니다. ASIMOV는 수십만 situations ~ 수백만 instructions 규모의 family이고, 가장 가까운 대규모 축은 Multimodal-Auto train ≈ 11,080 contexts. 세션 초반에 이걸 정확히 프레이밍하고, 원본 15,000건이 별도로 있으면 같은 taxonomy·batch pipeline으로 확장합니다.