클로드 코드로 영상 편집하는 법, 대본부터 시작하세요

Wendy Zhang · 2026년 11월 19일 · 9분 분량

노트북으로 얼굴 나오는 영상을 편집하는 크리에이터와 삼각대에 세운 iPhone

얼굴 나오는 영상을 편집할 때 시간을 가장 많이 잡아먹는 건 컷 자체가 아니라 찾는 일입니다. 어디서 말이 꼬였는지, 몇 번째 테이크가 깔끔했는지, 그 앞의 숨 고르는 구간은 얼마나 잘라야 하는지 타임라인을 앞뒤로 훑는 일이죠. 클로드 영상 편집은 이 반복 작업을 한 줄 지시로 바꿉니다. 원하는 컷을 말로 설명하면 클로드 코드(Claude Code)가 ffmpeg 명령을 만들어 내 컴퓨터에서 실행합니다. 결과를 좌우하는 건 클로드에게 넘기는 텍스트예요. 클로드 코드는 영상을 보는 대신 타임스탬프와 단어를 읽고 편집하기 때문에, 아래 흐름은 촬영할 때 읽는 대본에서 시작합니다.

클로드 코드로 영상을 편집할 수 있습니다. 클로드 코드는 내 컴퓨터에서 ffmpeg 명령을 작성하고 실행해 영상을 자르고 붙이고 자막을 입힙니다. 영상 파일을 직접 재생해 보는 방식이 아니라, 타임스탬프가 들어 있는 자막 파일 같은 텍스트를 읽고 "NG 컷을 전부 잘라 줘" 같은 지시를 정확한 컷으로 바꾸는 방식이에요. 자막 파일이 남길 부분과 버릴 부분을 정확히 표시할수록 편집이 깔끔해집니다.

Claude로 영상을 편집할 수 있나요?

어떤 Claude를 말하느냐에 따라 답이 달라집니다. Claude 채팅 앱은 대화용이고, Anthropic이 안내하는 업로드 지원 형식은 문서와 이미지라서 영상 편집을 하는 곳은 아니에요. 클로드 코드는 다릅니다. Anthropic이 만든 코딩 에이전트로, 터미널에서 돌아가며 내 컴퓨터의 명령줄 프로그램을 실행할 수 있습니다. 대부분의 영상 변환기 뒤에서 일하는 오픈소스 도구 ffmpeg도 그중 하나예요.

그래서 Claude Code 영상 편집은 텍스트 문제가 됩니다. 클로드 코드는 .srt 자막 파일이나 대본 같은 파일을 읽고, 남길 시간 구간을 계산한 뒤, 나머지를 잘라 내는 ffmpeg 명령을 씁니다. 기본 설정에서는 셸 명령을 실행하기 전에 매번 허락을 구하기 때문에 모든 컷을 실행 전에 확인할 수 있어요. 정지 이미지도 볼 수 있습니다. ffmpeg로 특정 시점의 프레임을 PNG로 뽑으면 클로드가 그 그림을 읽고 확인하는 식입니다.

클로드 코드는 영상을 간접적으로 편집합니다. 자막이나 대본 같은 텍스트 파일을 읽어 남길 시간 구간을 정하고, 사용자의 컴퓨터에서 ffmpeg를 실행해 컷을 만듭니다. 기본 권한 모드에서는 셸 명령마다 승인을 받습니다. PNG 같은 이미지 파일은 직접 읽을 수 있고, 영상 파일은 ffmpeg를 거쳐 처리합니다.

시작 전에 준비할 것

  • 클로드 코드. Mac에서는 curl -fsSL https://claude.ai/install.sh | bash로 설치하고, 작업할 폴더에서 claude를 입력하면 시작됩니다. Pro, Max, Team, Enterprise 요금제나 Console 계정이 필요하며, 최신 조건은 Anthropic의 Claude Code 설치 안내에 정리돼 있어요. Codex를 써도 됩니다. 아래에 따로 정리했습니다.
  • ffmpeg. Mac에서는 brew install ffmpeg로 설치합니다. 클로드 코드에 설치를 부탁해도 되고, 이때도 명령을 승인한 뒤에 실행됩니다.
  • 영상과 자막, 대본. 영상 하나당 폴더 하나에 영상 파일, .srt 자막, 텍스트 대본을 넣어 둡니다. 다음 두 단계에서 세 파일이 모두 만들어집니다.

이 목록에 편집 프로그램은 없습니다. 음악이나 B롤은 나중에 캡컷이나 Premiere Pro, DaVinci Resolve에서 얹으면 되고, 러프 컷은 폴더 안에서 끝납니다.

1단계: 대본을 보며 촬영하기

에이전트가 NG 테이크를 지우려면 어떤 테이크가 NG인지 알려 주는 무언가가 필요합니다. 단순한 받아쓰기로는 부족해요. 받아쓰기는 실제로 한 말만 보여 줄 뿐, 원래 하려던 말은 보여 주지 않으니까요. 대본은 이걸 알려 줍니다. 대본과 맞지 않는 말은 같은 줄을 다시 읽은 것이거나 즉석에서 덧붙인 말이기 때문입니다.

그러니 대본을 띄워 놓고 찍으세요. Teleprompter Scrolling Scripts의 카메라 모드는 iPhone, iPad, Mac에서 카메라 미리보기 위로 대본을 흘려 보여 주고, 글자 영역을 렌즈 바로 아래로 옮길 수 있어 시선이 카메라에서 벗어나지 않습니다. 처음부터 끝까지 읽다가 한 줄이 꼬이면 잠깐 멈추고 그 줄을 다시 읽으면 됩니다. 녹화를 멈추고 처음부터 다시 찍을 필요가 없어요. 녹화마다 그때 읽은 대본이 그대로 함께 저장되기 때문에, 나중에 대본을 고쳐도 그 테이크의 비교 기준은 바뀌지 않습니다. 앱은 무료로 받아 계정 없이 쓰고, 워터마크도 붙지 않습니다.

스마트폰으로 찍을 때의 구도, 조명, 소리는 아이폰으로 얼굴 나오는 영상 촬영하기에서 자세히 다룹니다.

2단계: 자막, 대본, 오디오 내보내기

녹화의 내보내기 메뉴에서 자막 내보내기(.srt), 대본 내보내기(.txt), 오디오(.m4a) 중 필요한 것을 고릅니다. 한 번에 찍은 여러 테이크는 함께 선택해서 한꺼번에 내보낼 수 있어요. 자막은 백그라운드에서 만들어지고 프로젝트 화면에 진행 카드가 떠서, 그동안 앱에서 다른 작업을 계속할 수 있습니다.

이 자막은 단순한 받아쓰기가 아닙니다. 저희는 앱이 들은 내용을 대본 전체와 비교하도록 만들었습니다. 두 버전의 파일을 비교하는 diff와 같은 방식이에요. 제대로 읽은 줄은 대본에 쓴 단어, 맞춤법, 문장부호 그대로 나오고, 문장 단위로, 문장이 길면 절 단위로 나뉩니다. 같은 줄을 여러 번 읽었다면 마지막에 읽은 것을 진짜 줄로 남기고, 앞선 시도는 [다시]가 붙은 별도 자막으로 만듭니다. 대본에 없는 말에는 [애드리브]가 붙어요. 이 표시는 앱 언어로 나오며, 한국어 앱에서는 이렇게 보입니다. 자막의 시작과 끝은 목소리가 쉬는 지점으로 옮겨지기 때문에 자막 경계에서 자르면 단어 중간이 아니라 무음 구간에서 잘립니다.

14
00:00:41,020 --> 00:00:44,180
[다시] 처음 영상을 찍을 때 가장 많이 하는 실수는

15
00:00:45,300 --> 00:00:48,960
처음 영상을 찍을 때 가장 많이 하는 실수는 첫 문장입니다.

핵심은 이 두 표시입니다. "[다시]나 [애드리브]로 시작하는 자막 구간을 전부 지워 줘"는 에이전트가 밀리초 단위로 그대로 따를 수 있는 지시예요. 살리고 싶은 애드리브가 있다면 넘기기 전에 자막 파일을 열어 그 줄의 표시만 지우면 됩니다.

대본에 맞춘 자막은 AI 편집을 정확하게 만듭니다. 녹화를 촬영 때 읽은 대본과 비교하면 말한 구간마다 대본 줄인지, 같은 줄을 다시 읽은 것인지, 대본에 없는 말인지 나눌 수 있습니다. 뒤의 두 가지에 [다시]와 [애드리브]를 붙여 두면 편집 에이전트가 지울 시간 구간 목록을 정확히 얻게 됩니다.

3단계: 클로드 코드에 NG 컷 자르기 맡기기

영상, .srt, .txt를 한 폴더에 넣고 그 폴더에서 터미널을 연 뒤 claude를 입력합니다. 그다음 편집자에게 일을 맡기듯 설명하세요.

이 폴더에 intro.mov, intro.srt, intro.txt가 있어.
intro.srt에서 [다시]나 [애드리브]로 시작하는 자막 구간을
intro.mov에서 모두 잘라 줘. 오디오 싱크는 유지하고,
컷마다 앞뒤로 0.15초 여유를 남겨 줘.
결과는 intro-cut.mp4로 저장하고 지운 구간 목록도 보여 줘.

클로드 코드는 자막 파일을 읽어 표시된 시간 구간을 모으고, 실행하기 전에 ffmpeg 명령을 먼저 보여 줍니다. 컷이 몇 개 안 되면 대략 이런 모양이고, 지우는 자막 구간마다 between()이 하나씩 들어갑니다.

ffmpeg -i intro.mov \
  -vf "select='not(between(t,41.02,44.18)+between(t,77.40,80.05))',setpts=N/FRAME_RATE/TB" \
  -af "aselect='not(between(t,41.02,44.18)+between(t,77.40,80.05))',asetpts=N/SR/TB" \
  intro-cut.mp4

select와 aselect 필터는 각 구간 안의 프레임과 오디오 샘플을 버리고, setpts와 asetpts는 생긴 빈틈을 메워 화면과 소리가 계속 맞게 합니다. 각 필터의 설명은 ffmpeg 필터 문서에 있어요. 컷이 수십 개인 긴 영상이라면 남길 구간을 따로 잘라 이어 붙여 달라고 하면 더 빠릅니다. 어느 쪽이든 명령을 승인하면 폴더에 새 파일이 생깁니다.

4단계: 쉬는 구간 줄이고 자막 입히기

NG 컷이 빠지면 남은 일은 두 가지이고, 둘 다 에이전트에게 한 문장씩만 더 말하면 됩니다.

쉬는 구간. 자막과 자막 사이가 0.6초보다 길면 줄여 달라고 하세요. 자막 경계가 이미 목소리가 쉬는 지점에 맞춰져 있어서 단어를 깎지 않고 호흡만 빠르게 다듬어집니다.

자막. 컷을 하나 할 때마다 그 뒤의 타이밍이 전부 당겨지니 새 자막 파일도 맞춰 달라고 합니다. "지운 자막은 빼고, 나머지 자막 시간을 intro-cut.mp4에 맞게 당겨서 intro-cut.srt로 저장해 줘." 이 파일은 유튜브에 영상과 함께 올려 자막으로 쓰거나, 캡컷에서 불러와 스타일을 입혀 쇼츠나 릴스용 자막으로 쓸 수 있어요. 화면에 바로 새기고 싶다면 ffmpeg의 subtitles 필터(-vf subtitles=intro-cut.srt)로 입혀 달라고 하면 됩니다.

5단계: 올리기 전에 컷 확인하기

결과물은 정상 속도로 보면서 컷 지점마다 소리를 들어 보세요. 자주 보이는 문제는 두 가지입니다. 한 박자 일찍 잘린 컷, 그리고 두 테이크 사이에서 머리 위치가 튀는 점프 컷이에요. 앞의 경우는 그 컷의 여유를 늘려 달라고 하면 됩니다. 뒤의 경우는 컷 직전과 직후 프레임을 뽑아 비교해 달라고 하세요. 튀는 게 눈에 보이면 캡컷에서 B롤을 덮거나 뒤쪽 테이크를 살짝 확대해 자연스럽게 이어 줍니다.

한 번 잘 맞은 지시문은 남겨 두세요. 스킬이나 프로젝트 폴더의 CLAUDE.md 파일에 저장해 두면, 다음 영상부터는 "오늘 녹화도 늘 하던 대로 컷해 줘" 한 줄이면 됩니다.

Codex로도 같은 편집이 됩니다

OpenAI의 코딩 에이전트 Codex로도 같은 흐름을 그대로 쓸 수 있습니다. 명령줄 버전을 curl -fsSL https://chatgpt.com/codex/install.sh | sh로 설치하고(OpenAI의 Codex CLI 문서에 npm, Homebrew 설치 방법도 나와 있습니다) ChatGPT 계정으로 로그인한 뒤(Codex는 ChatGPT 요금제에 포함되며 사용 한도는 요금제마다 다릅니다), 파일이 있는 폴더에서 codex를 실행하세요. 3단계의 지시문을 그대로 붙여 넣으면 됩니다. 클로드 코드처럼 Codex도 승인 설정을 바꾸지 않는 한 명령을 실행하기 전에 허락을 구하기 때문에, ffmpeg 명령을 같은 방식으로 확인할 수 있어요.

에이전트보다 중요한 건 입력입니다. 둘 다 같은 .srt 파일을 읽고 ffmpeg 명령을 쓰며, 무엇을 지울지 자막이 정확히 알려 주면 둘 다 컷을 제대로 해냅니다.

에이전트에 맡길 일, 캡컷에서 마무리할 일

에이전트는 말과 숫자로 설명할 수 있는 편집에 강합니다. 이 구간들 지우기, 일정 길이 이상 쉬는 구간 줄이기, 자막 넣기, 9:16 버전 뽑기, 여러 파일 한꺼번에 변환하기 같은 일이요. 반면 어떤 B롤이 어울리는지, 음악을 어디서 키울지, 색을 어떻게 맞출지처럼 화면을 보고 판단하는 일은 사람 눈이 더 빠릅니다.

현실적인 분담은 러프 컷은 에이전트, 마무리는 캡컷입니다. 캡컷에서 자막 스타일과 음악, B롤을 얹고, 더 세밀한 작업이 필요하면 Premiere Pro나 DaVinci Resolve로 넘기면 돼요. 캡컷 안의 프롬프터와 전용 앱의 차이는 캡컷 프롬프터와 전용 앱 비교에 정리했습니다. Remotion과 클로드 코드로 모션 그래픽을 만들거나, 커뮤니티가 만든 MCP 서버로 에이전트를 DaVinci Resolve나 Premiere Pro에 연결하는 크리에이터도 있습니다. 어떤 도구를 더하든 러프 컷의 출발점은 같습니다. 대본, NG를 표시한 자막, 그리고 지시문 하나입니다.

자주 묻는 질문

클로드로 영상 편집이 정말 되나요?

됩니다. 클로드 코드는 내 컴퓨터에서 돌아가며 ffmpeg를 실행할 수 있어서, 말로 한 지시만으로 영상을 자르고, 다듬고, 이어 붙이고, 자막을 넣고, 변환합니다. 영상을 직접 보는 대신 자막 파일과 대본 같은 텍스트를 읽고 작업하기 때문에, 타임스탬프가 정확한 자막을 줄수록 결과가 좋아집니다.

클로드 코드가 영상을 직접 볼 수 있나요?

영상 파일을 재생하지는 않지만 내용을 파악하는 방법은 두 가지가 있습니다. ffmpeg로 프레임을 PNG 이미지로 뽑아 달라고 하면 클로드가 그 이미지를 읽고 설명할 수 있고, 무슨 말을 했는지는 자막 파일로 알려 주면 됩니다. 프레임과 타임스탬프를 함께 주면 화면에서 언제 무슨 일이 일어나는지 파악합니다.

ffmpeg를 몰라도 클로드 코드로 편집할 수 있나요?

몰라도 됩니다. 편집 내용을 말로 설명하면 클로드 코드가 명령을 씁니다. 그래도 승인하기 전에 명령을 한 번 읽어 보는 게 좋아요. 입력 파일과 출력 파일 이름, 시간 구간을 확인하면 오타로 원본 녹화를 덮어쓰는 일을 막을 수 있습니다.

자막 파일의 [다시]와 [애드리브]는 무슨 뜻인가요?

Teleprompter Scrolling Scripts는 녹화를 촬영 때 읽은 대본과 비교합니다. [다시]는 다시 읽은 줄의 앞선 시도, [애드리브]는 대본에 없는 말을 표시해요. 두 표시 모두 자막 텍스트 맨 앞에 붙어 있어서 편집 프로그램이나 AI 에이전트가 해당 구간을 쉽게 찾아 지울 수 있습니다.

클로드 코드는 무료인가요?

클로드 코드는 유료 Claude 요금제(Pro, Max, Team, Enterprise)나 사용량만큼 과금되는 Console 계정이 필요하고, 무료 Claude 요금제에는 포함되지 않습니다. ffmpeg는 무료 오픈소스이고, Teleprompter Scrolling Scripts도 자막, 대본, 오디오 내보내기까지 무료로 받아 쓸 수 있습니다.

한국어로 녹화해도 자막이 제대로 나오나요?

네. 앱은 모든 대본 언어에서 문장과 절의 문장부호를 기준으로 자막을 나누고, 한국어·중국어·일본어는 글자 단위로 비교합니다. 음성 인식은 최근 iPhone과 Mac에서 대부분의 언어를 기기 안에서 처리하고, 그렇지 않은 경우 Apple의 음성 인식 서비스를 쓰며, 이때는 설정에서 음성 인식 권한을 켜야 합니다.

깔끔한 녹화에서 시작하세요

클로드 영상 편집의 품질은 클로드가 읽는 메모의 품질을 따라갑니다. 대본을 보며 찍고, 어떤 줄이 NG였는지 이미 아는 자막을 내보내면 나머지 정리는 클로드 코드나 Codex가 맡습니다. 어떤 앱이 무료로 어디까지 되는지는 iPhone·iPad 무료 프롬프터 앱 비교에서 확인할 수 있어요.

Wendy Zhang Wendy ZhangWendy Zhang은 Teleprompter Scrolling Scripts를 혼자 만들고 있어요. 너무 무겁거나 너무 비싸거나 열려면 인터넷이 필요한 프롬프터 앱을 여러 개 거친 끝에 직접 만들기로 했습니다. 자신을 촬영한다는 일의 구조 — 스크롤 속도, 대본 쓰는 방식, 그리고 한 번의 촬영이 쓸 만한 결과가 되는지를 가르는 앱 쪽의 판단 — 에 대해 씁니다.

대본을 보며 찍고, 깔끔한 자막으로 내보내기

Teleprompter Scrolling Scripts는 iPhone·iPad·Mac에서 카메라 위로 대본을 흘려 주고, NG와 애드리브가 표시된 자막을 내보내 클로드 코드나 Codex, 캡컷에 바로 넘길 수 있게 해 줍니다. 무료이고 계정도 필요 없어요.

무료 프롬프터 사이트 열기 무료 앱 받기