캡처와 조종석 —
구조를 만들었다면, 입구와 손
Part 1이 지식이 사는 집(볼트·위키)이었다면, 이 페이지는 지식이 들어오는 입구(음성·현장 캡처)와 AI 직원들을 부리는 손(관제탑·리모컨)입니다. 전부 제가 매일 쓰거나 직접 만들고 있는 시스템의 실물 이야기입니다.
지식관리의 병목은 정리가 아니라 캡처입니다
캡처 ①음성 파이프라인 — 목에 건 녹음기가 회사 기억이 되기까지
매일 가동 중 Plaud 녹음기 + 자체 앱·스킬 + 볼트 착륙 레인
Plaud 목걸이형 녹음기로 회의·통화·현장 대화를 녹음하면, 클라우드 전사를 거쳐 직접 만든 앱과 7종의 에이전트 스킬이 그 전사본을 볼트의 정해진 자리(전사 인박스 레인)로 끌어옵니다. 여기서 끝이 아닙니다 — 에이전트가 두 개의 전사 엔진 결과를 교차 분석(듀얼 전사)해 화자 이름을 확정하고, 녹취록이 아니라 한 줄 요약 + 핵심 인사이트 + 체크박스 액션 아이템이 붙은 의사결정 문서로 만들어 저장합니다.
오늘 이 특강 자체가 그 산출물입니다. 7월 14일 김길호 대표님과의 통화 한 통이 이 파이프라인을 거쳐 '어떤 질문을 받았고, 무엇을 약속했는지'가 남은 노트가 됐고, 그 노트가 오늘 강의의 설계도가 됐습니다.
| 단계 | 비유 (건설·인테리어) | 실제 |
|---|---|---|
| 캡처 | 레미콘 트럭 | Plaud 녹음 / 워치 음성 메모 |
| 착륙 레인 | 타설 지점 | 볼트의 전사 전용 인박스 (Plaud / STT / 수동 3레인) |
| 가공 | 양생·마감 공정 | 듀얼 전사 → 화자 확정 → 요약·액션 아이템 → 회의록·강의자산으로 분류 |
캡처 ②전역 받아쓰기 — 4개 엔진을 하청처럼 나눠 쓴다
엔진 체인 가동 전역 받아쓰기는 최근 구축 · 검증 중
음성→텍스트(STT) 엔진은 하나를 고르는 게 아니라 용도별로 체인을 짭니다. 기밀이 섞인 짧은 받아쓰기는 내 컴퓨터 안에서 도는 로컬 엔진이 먼저(웜 상태 0.7초·외부 전송 없음), 화자 구분이 필요한 다자 회의는 화자 분리가 되는 클라우드 엔진, 실패하면 폴백. 하청 4곳을 공정별로 나눠 쓰는 것과 같습니다.
그리고 우리 회사 용어집을 엔진에 미리 주입합니다. 실측 사례: 범용 엔진은 제 제품명 'OmniControl'을 '크메드스페이스'로 받아썼지만, 어휘를 주입한 로컬 엔진은 정확했습니다. 여러분 회사라면 공법 이름·자재명·발주처명이 그 용어집입니다.
캡처 ③메타 글래스 — 현장의 두 손이 자유로워진다 (준비 중)
해외 구매분 세팅 중 · 검증 기준까지 설계된 실험
현장에서는 폰을 꺼내는 순간 이미 기록이 유실됩니다 — 두 손에 도면과 자재가 들려 있으니까요. 그래서 다음 실험은 스마트 글래스(Meta 글래스, 한국 미출시라 해외 구매분 세팅 중)입니다. 구조는 세 층입니다: 안경은 눈과 귀(사진·음성 캡처), 스마트폰이 두뇌(공식 SDK 기반 동반 앱이 OCR·전사·비식별화), 회사 지식창고가 장기기억(볼트 인박스에 원본과 AI 해석을 분리 저장).
| 설계 원칙 | 내용 |
|---|---|
| 블랙박스가 아니다 | 상시 녹화 아님 — 버튼을 누른 순간만 찍히고, 촬영 표시등이 켜집니다. 개인정보 보호법(시행령 제27조의2, 이동형 촬영기기 촬영 사실 표시 의무)과 현장 동의 설계가 기능보다 먼저입니다 |
| 현장 시나리오 | 현장 워크스루 중 하자·자재·시공 상태를 1인칭으로 찍고 음성 관찰을 덧붙이면 → 시간순 증거팩과 체크리스트 초안이 만들어지는 구조 |
| 중단 기준까지 정해둔 실험 | 2주간 캡처 20건 중 70% 이상이 실제 쓸모 있으면 계속, 폰보다 번거로우면 접는다 |
조종석 ①OmniControl — 비서실장을 두는 법
매일 가동 중 직접 만든 에이전트 관제탑 (맥 상주)
AI 직원(에이전트 세션)을 여럿 부리기 시작하면, 진짜 어려움은 일 시키기가 아니라 관리입니다. 누가 끝났고, 누가 내 결정을 기다리고, 누가 에러가 났는지. OmniControl은 그 관리 업무 자체를 맡는 비서실장입니다 — 모든 세션의 상태 변화를 수집해서, 푸시 제목 한 줄이 아니라 "무엇을 했고, 결과가 뭐고, 어떤 결정이 필요한지" 요약된 한국어 브리핑으로 올립니다. 결재판에 원문 서류 뭉치가 아니라 요약본이 올라오는 것과 같습니다.
그리고 무인 야간 당직이 돌아갑니다. 매일 밤 그날의 세션·커밋·산출물을 수집해 데일리 노트 초안을 쓰고, 새벽에 전날 기록을 확정하고, 매주 일요일 주간 회고 초안을 올립니다. 사람이 쓰는 것은 데일리의 '사람 한 줄'과 위클리의 '결정 한 줄'뿐 — 기록은 시스템이 하고, 판단만 사람이 합니다. 소음 관리도 설계돼 있습니다: 여러 에이전트가 동시에 끝나도 알림을 묶고, 회의 중(집중 모드)엔 자동 무음.
음성 왕복도 됩니다. 단축키를 누른 채 말하면 지정 세션에 지시가 들어가고(주입 전 3초 확인 카드 — 되돌릴 수 없는 실행은 반드시 확인을 거칩니다), 이동 중엔 브리핑이 제 목소리를 복제한 음성으로 낭독되고 메신저 음성 답장으로 지시를 내립니다. 운전 중에도 '확인 → 결정 → 지시'가 흐릅니다.
조종석 ②CmdPilot — 주머니 속 결재판
매일 가동 중 폰 웹앱 (설치 불필요) · 사설망 전용
침대에서, 이동 중에, 회의 틈에 — 폰을 열면 결재 대기 카드가 보입니다. 카드를 탭하면 그 에이전트의 터미널 화면이 바로 열리고, 승인하거나 지시를 보냅니다. 맥의 화면 포커스는 뺏지 않으니 책상의 작업은 그대로 흐릅니다. 접속은 개인 사설망(Tailscale) 전용이라 공인 인터넷에 아무것도 열려 있지 않고, 대화 기록이 기계 밖으로 나가지 않습니다 — 인증 토큰도 맥에만 남고 폰으로는 내려가지 않습니다.
가동 중 vs 준비 중 — 정직한 상태표
오늘 말씀드린 것의 현재 상태입니다. 이 표 자체가 운영 문화입니다.
| 시스템 | 상태 | 비고 |
|---|---|---|
| Plaud → 볼트 음성 파이프라인 (듀얼 전사 포함) | ✅ 매일 가동 | 수개월째 실운영 · 오늘 특강의 설계도가 그 산출물 |
| 워치 음성 메모 → 볼트 레인 | ✅ 가동 | 2025년 중반부터 |
| STT 4엔진 체인 + 용어집 주입 | ✅ 가동 | 데몬·CLI·자가진단 포함 |
| 전역 받아쓰기 (커서 위치 삽입) | 🔶 구축 완료 · 검증 중 | 상용 앱 대체가 목표, 병행 검증 예정 |
| OmniControl 관제탑 · 무인 스케줄 · CmdPilot | ✅ 매일 가동 | 데일리·위클리 노트가 매일 밤 자동 작성됨 |
| 메타 글래스 현장 캡처 | 🔷 준비 중 (실험 설계 완료) | 해외 구매분 세팅 중 · 통과/중단 기준 정의됨 |