Whisper 사용법: 한국어 녹음을 텍스트와 자막으로 변환하는 방법
회의에서 중요한 내용을 열심히 받아 적었는데, 정작 이야기를 놓친 경험이 있나요? 혹은 휴대전화로 찍은 영상에 자막을 붙이고 싶지만 몇십 분 동안 말을 일일이 옮겨 적을 엄두가 나지 않을 수도 있습니다. 이럴 때 도움이 되는 도구가 Whisper(위스퍼)입니다. 음성 녹음 파일을 읽고 사람이 말한 내용을 글자로 옮기는 AI입니다. 한국어 녹음을 글 문서로 만들 수도 있고, 영상 편집기에 넣을 수 있는 시간표가 붙은 자막 파일도 만들 수 있습니다.
이 글에서는 컴퓨터에 설치하는 오픈소스 Whisper를 기준으로 녹음 파일 준비 → 설치 → 한국어 텍스트 추출 → SRT 자막 만들기 → 결과 검수 순서로 살펴보겠습니다. 코딩을 잘 몰라도 명령어를 복사해 처음 한 번 실행하는 것이 목표입니다. 이 설명은 2026년 10월 16일 공개된 공식 프로젝트 문서를 기준으로 작성했습니다. 화면이나 지원 모델은 달라질 수 있으며, 아래 명령어는 사용법 안내를 위한 예시입니다. 작성자가 별도 컴퓨터에서 파일을 실행해 성공했다고 주장하는 실측 후기는 아닙니다.
이 글의 순서
1. Whisper로 무엇을 할 수 있나요?
일상적인 예시 세 가지를 떠올려 보세요.
- 인터뷰: 대화 녹음 파일을 텍스트로 바꿔 중요 문장을 찾기 쉽게 만듭니다.
- 영상 제작: 말한 시점에 맞춰 표시할 자막 파일을 만듭니다.
- 학습: 강의 녹음에서 이해하지 못한 구간을 찾아 다시 듣는 데 활용합니다. 여기서 기억할 것은 전사와 요약은 다르다는 점입니다. Whisper는 기본적으로 녹음에서 들리는 말을 옮기는 도구입니다. 자동으로 회의 결론을 검증하거나 모든 발언의 의도를 판단하는 도구는 아닙니다. 요약이 필요하다면 사람이 원문을 확인한 뒤 별도 단계에서 처리하는 편이 안전합니다.
같은 녹음, 다른 결과물
가상의 10초 녹음에 "오늘은 AI로 음성 녹음을 글자로 바꾸는 방법을 알아보겠습니다"라는 말이 들어 있다고 가정해 보겠습니다. 텍스트(.txt)에는 말한 문장이 일반 글처럼 저장됩니다. 자막(.srt)에는 그 문장과 함께 대략 언제 화면에 표시할지 알려 주는 시간이 저장됩니다. 실제 파일의 문장·구두점·시간은 AI의 판단에 따라 달라질 수 있습니다.
2. 컴퓨터에서 실행하는 Whisper와 API는 다른가요?
‘Whisper 무료’라는 설명을 보고 시작했다가 결제 화면을 발견했다는 이야기가 나오는 이유는 사용 방식이 다르기 때문입니다.
| 비교 | 컴퓨터에 설치하는 Whisper | OpenAI 음성 전사 API |
|---|---|---|
| 처리 위치 | 내 컴퓨터에서 모델 실행 | 서비스로 음성 파일 요청 |
| 사용 준비 | Python·Whisper·FFmpeg 설치 | API 계정·인증키·코드 |
| 비용 | 소프트웨어 자체의 분당 API 요금 없음. 컴퓨터 자원·전력·저장공간 필요 | 계정 사용량에 따른 별도 API 요금 가능 |
| 녹음 데이터 | 원칙적으로 로컬 전사. 설치·다운로드 등 네트워크 작업은 별도 | 전사할 음성을 서비스에 업로드 |
| 추천 상황 | 개인 컴퓨터에서 파일을 처리하고 싶을 때 | 프로그램·서비스에 전사 기능을 연결할 때 |
이 글의 실습에는 OpenAI API 키가 필요하지 않습니다. 대신 처음 설치할 때 인터넷이 필요하고, 긴 녹음은 컴퓨터 성능에 따라 처리하는 데 시간이 걸릴 수 있습니다. 컴퓨터가 어렵거나 회사의 설치 제한이 있다면 관리자가 허용한 다른 전사 서비스를 이용하는 편이 더 적합할 수도 있습니다.
3. 시작하기 전에 준비할 것
먼저 자신이 사용하거나 녹음·보관할 권한이 있는 짧은 한국어 MP3 파일 한 개를 준비하세요. 예를 들어 본인이 20~30초 정도 읽은 문장을 휴대전화로 녹음한 뒤 컴퓨터에 옮길 수 있습니다.
이 글에서는 파일 이름을 sample.mp3라고 가정합니다. 실제 파일명이 다르다면 명령어의 이름도 바꿔야 합니다.
설치에 필요한 도구는 세 가지입니다.
- Python: Whisper 프로그램을 설치하고 실행하는 기반 환경.
- FFmpeg: MP3 등 오디오 파일을 읽고 처리하도록 돕는 도구.
- Whisper: 음성을 글자로 변환하는 오픈소스 프로그램. 처음에는 소음이 적고 한 사람이 또박또박 말하는 녹음으로 시작하는 것이 좋습니다. 다른 사람의 목소리가 들어 있다면 녹음의 적법성, 사용 동의와 보관·공유 권한부터 확인하세요.
4. Python과 FFmpeg 준비하기
컴퓨터 종류에 따라 방법이 다릅니다. 아래 명령어는 예시이므로 이미 Python과 FFmpeg가 설치되어 있다면 중복 설치할 필요가 없습니다.
macOS
1단계. 터미널을 열고 python3 --version을 입력해 Python이 준비됐는지 확인합니다.
2단계. Homebrew를 사용하고 있다면 다음 명령으로 FFmpeg를 설치할 수 있습니다.
brew install ffmpeg
Homebrew가 없다면 이 명령만으로 설치되지는 않습니다. Homebrew 공식 안내에서 설치 조건을 먼저 확인하세요.
Windows
1단계. PowerShell을 열고 py --version 또는 python --version을 입력합니다. 명령어가 없다면 Python 공식 설치 방법을 확인합니다.
2단계. Chocolatey를 이미 사용한다면 다음 명령으로 FFmpeg를 설치할 수 있습니다.
choco install ffmpeg
Chocolatey가 설치되어 있지 않으면 명령이 작동하지 않습니다. 관리자 권한이 요구될 수 있으며, 회사 PC라면 설치 정책을 확인하세요. FFmpeg 공식 배포 경로에서 운영체제에 맞는 설치 방법을 살펴보는 것도 좋습니다.
Ubuntu·Debian Linux
sudo apt update && sudo apt install ffmpeg
이 명령은 해당 계열의 패키지 관리 환경에서 사용하며 시스템 관리자 권한이 필요할 수 있습니다.
FFmpeg 확인하기
설치했다면 터미널이나 PowerShell에서 다음을 입력합니다.
ffmpeg -version
버전 정보가 나오면 명령어를 실행할 수 있는 상태입니다. '명령을 찾을 수 없다'는 오류가 뜨면 설치 경로나 환경변수 PATH 설정을 확인하세요.
5. Whisper 설치하기
Python이 준비됐다면 터미널에서 다음 명령을 실행합니다.
python -m pip install -U openai-whisper
macOS처럼 python 명령이 없고 python3만 있다면 다음을 사용합니다.
python3 -m pip install -U openai-whisper
Windows에서는 환경에 따라 py -m pip install -U openai-whisper가 필요할 수 있습니다.
설치할 때 추가 라이브러리를 내려받으므로 인터넷 연결과 여유 저장공간이 필요합니다. Python 버전, PyTorch 호환성, 컴퓨터 운영체제에 따라 설치가 실패할 수 있습니다. 안정적인 첫 실행을 원한다면 OpenAI Whisper 공식 README의 최신 설치 안내를 확인하세요. 현재 README는 Python 3.8~3.11 및 최근 PyTorch와의 호환을 기대한다고 밝히지만, 프로젝트 환경은 바뀔 수 있으므로 설치 시 다시 확인하세요.
설치가 끝났으면 다음을 입력합니다.
whisper --help
사용 가능한 옵션 설명이 나오면 Whisper 명령을 찾을 수 있는 상태입니다. 이것만으로 실제 녹음 인식이 성공했다고 판단하는 것은 아닙니다.
6. 한국어 녹음 파일을 TXT로 변환하기
실습이 조금 더 구체적으로 보이도록 sample.mp3 파일을 기준으로 진행하겠습니다.
1단계. 녹음 파일을 작업 폴더에 넣습니다. 파일 이름에 공백이 있다면 명령어에서 큰따옴표로 감싸는 것이 안전합니다.
2단계. 터미널이나 PowerShell에서 파일이 들어 있는 폴더로 이동합니다. 경로를 이동하는 방법을 모르겠다면 파일 탐색기에서 현재 위치를 먼저 확인하세요.
3단계. 다음 명령을 입력합니다.
whisper "sample.mp3" --model small --language Korean --task transcribe --output_format txt
처음 보면 길어 보이지만 의미는 단순합니다.
"sample.mp3": 읽을 녹음 파일.--model small: 사용할 모델의 크기. 속도와 정확도는 컴퓨터와 녹음 상태에 따라 달라집니다.--language Korean: 녹음 언어가 한국어라는 안내.--task transcribe: 번역하지 않고 들리는 언어로 글자를 만들기.--output_format txt: 결과를 일반 텍스트 파일로 저장하기. 처음 실행할 때 필요한 모델 데이터를 내려받을 수 있습니다. 모델 다운로드가 완료되고 전사가 끝나면 기본적으로 명령을 실행한 폴더에sample.txt파일이 생성됩니다. 예를 들어 앞서 준비한 가상 문장을 녹음했다면 다음처럼 읽을 수 있습니다.
오늘은 AI로 음성 녹음을 글자로 바꾸는 방법을 알아보겠습니다. 위 문장은 형식을 보여 주기 위한 가상 예시입니다. 실제 전사 결과는 말한 내용과 녹음 상태에 따라 달라집니다.
7. SRT 자막 파일로 바꾸기
텍스트 파일은 읽기 편하지만 영상에 넣는 자막에는 언제 어떤 문장을 보여 줄지가 필요합니다. SRT 파일에는 문장과 시작·종료 시간이 함께 들어갑니다. 같은 녹음 파일에서 자막만 만들고 싶다면 다음처럼 실행합니다.
whisper "sample.mp3" --model small --language Korean --task transcribe --output_format srt
완료되면 기본적으로 같은 폴더에서 sample.srt를 찾을 수 있습니다.
파일 내용은 대략 아래 형식입니다. 다음 숫자와 시간은 이해를 돕기 위해 임의로 작성한 예시입니다.
1
00:00:00,000 --> 00:00:03,200
오늘은 AI로 음성 녹음을
2
00:00:03,200 --> 00:00:06,500
글자로 바꾸는 방법을 알아보겠습니다.
첫 줄은 자막 순서이고, 00:00:00,000 --> 00:00:03,200은 자막이 나타났다가 사라질 시간입니다. 그 아래에 실제로 화면에 표시할 문장이 들어갑니다.
이 파일을 SRT를 지원하는 영상 편집기나 자막 도구로 가져와 영상과 맞춰 보면 됩니다. 파일이 생성됐다는 이유로 자막이 영상과 완벽하게 일치하는 것은 아닙니다. 시작 시간, 문장 구분, 줄 길이를 확인하고 직접 조정해야 합니다.
TXT와 SRT를 모두 받고 싶다면
Whisper는 출력 형식 옵션으로 all을 제공하며, 여러 결과 형식을 함께 만들 수 있습니다.
whisper "sample.mp3" --model small --language Korean --task transcribe --output_format all
텍스트만 필요하면 txt, 자막만 필요하면 srt, 여러 유형을 비교해 보고 싶다면 all을 고르면 됩니다. 다른 폴더에 저장하고 싶을 때는 --output_dir 옵션을 사용할 수 있습니다.
8. 정확도를 높이려면 무엇을 확인해야 할까요?
음성 인식 결과는 편리하지만 녹음되지 않은 문장이 섞이거나, 실제 발언을 잘못 인식할 수 있습니다. 특히 중요한 자료라면 원음과 반드시 대조하세요. 녹음 단계: 마이크 가까이서 또박또박 말하고, 에어컨·음악·TV 소음을 줄이면 도움이 될 수 있습니다. 여러 사람이 동시에 말하는 상황은 구별하기 어렵습니다. 전사 단계: 한국어라면 한국어를 명시하고, 속도가 너무 느리면 작은 모델을 검토하세요. 작은 모델이 무조건 나쁘거나 큰 모델이 항상 정답인 것은 아닙니다.
실측 없이 성능 순위를 단정할 수 없습니다. 검수 단계: 이름·숫자·날짜·영문 약어·전문용어를 원음과 대조합니다. “3월 6일”을 “3월 16일”로 잘못 옮기면 단순 오타가 아니라 내용의 의미가 바뀔 수 있습니다. 자막 단계: 시작·종료 시간을 확인하고, 너무 긴 문장은 읽기 좋은 길이로 나누세요. 무음 구간에서 의미 없는 문장이 나타나지 않는지도 살펴봅니다.
사람을 자동으로 구분해 주나요?
여러 사람의 목소리를 Whisper가 언제나 자동으로 “화자 1, 화자 2”라고 정확하게 붙여 주는 것은 아닙니다. 화자 구분이 필요하면 해당 기능을 지원하는 별도 워크플로나 도구를 검토해야 합니다.
한국어를 영어 자막으로 바꾸고 싶다면?
한국어 음성을 한국어 글자로 적는 전사와 영어로 옮기는 번역은 다른 작업입니다. Whisper 일부 다국어 모델은 영어 번역을 지원하지만, 위 실습의 --task transcribe는 번역 명령이 아닙니다. 특히 turbo 모델은 공식 안내에서 영어 번역용으로 권장하지 않으므로 번역 목적의 모델 선택을 별도로 확인해야 합니다.
9. 처음에 자주 만나는 오류 해결
whisper 명령을 찾을 수 없다고 나와요
Whisper가 현재 Python 환경에 설치됐는지 확인하세요. Python을 여러 개 설치했다면 패키지가 다른 환경에 들어갔을 수 있습니다. python -m pip show openai-whisper로 설치 여부를 확인하고 필요하면 같은 Python 환경에서 다시 설치합니다.
ffmpeg를 찾을 수 없다고 나와요
FFmpeg 설치 여부와 PATH를 확인하세요. FFmpeg가 정상 실행되는지 ffmpeg -version으로 별도 검증하는 것이 좋습니다.
녹음 파일을 찾을 수 없다고 해요
명령어를 실행한 폴더와 실제 파일 위치가 다를 가능성이 큽니다. 파일 이름·확장자·대소문자·공백을 확인하고, 필요하면 파일의 전체 경로를 큰따옴표로 감싸 입력합니다.
처리 속도가 너무 느려요
긴 파일과 큰 모델은 CPU에서 시간이 많이 걸릴 수 있습니다. 짧은 파일로 다시 시험하고, 컴퓨터 자원이 부족하면 small보다 작은 다국어 모델인 base나 tiny의 정확도·속도 절충을 검토하세요. 한국어에는 영어 전용 .en 모델을 선택하지 마세요.
아무 말도 하지 않았는데 이상한 문장이 생성돼요
Whisper는 무음이나 소음 구간에서 실제로 말하지 않은 문장을 만들어 낼 수 있습니다. 소리 없는 구간, 배경음악, 길게 반복된 문장을 확인하고 원음과 대조하세요. AI가 만든 문장을 확인 없이 인용하거나 회의 발언으로 확정하면 안 됩니다.
자막 시간이 조금씩 어긋나요
자동 생성된 구간 시간이 영상과 완전히 같다고 보장되지 않습니다. 영상 편집기에서 첫 구간과 마지막 구간을 확인하고 필요한 경우 자막 시간과 줄 나눔을 직접 보정하세요.
10. 녹음 내용과 개인정보를 안전하게 다루는 법
로컬 Whisper를 쓴다고 해서 모든 데이터 위험이 자동으로 사라지지는 않습니다. 녹음 파일 자체가 공유 드라이브에 있거나 자동 백업되는지, 컴퓨터 접근 권한은 적절한지 확인해야 합니다. 이 실습의 로컬 전사는 녹음을 API 서버에 보내는 절차가 아니지만, 프로그램·모델 설치를 위한 인터넷 다운로드 등 별도의 네트워크 작업은 있습니다. 클라우드 전사 API를 이용한다면 녹음 파일 업로드, 이용약관, 보존 정책과 비용 조건을 별도로 확인해야 합니다. 특히 회의 녹음, 고객 통화, 의료 상담, 학생 음성은 동의·보안·관계 법령 및 조직 규정이 중요합니다. 단순히 기술적으로 전사가 가능하다고 해서 무단 녹음·전재·배포가 허용되는 것은 아닙니다.
자주 묻는 질문(FAQ)
Q. Whisper는 무료인가요?
이 글에서 소개한 로컬 오픈소스 Whisper 프로그램은 별도 음성 전사 API 분당 요금 없이 실행할 수 있습니다. 다만 장비·전기·디스크 공간·설치 작업이 필요합니다. OpenAI의 클라우드 음성 전사 API는 별도 과금 구조이므로 같은 의미의 무료 서비스가 아닙니다.
Q. 한국어도 사용할 수 있나요?
예. 다국어 Whisper 모델은 한국어 인식을 지원하며 --language Korean으로 언어를 지정할 수 있습니다. 다만 발음·소음·녹음 상태에 따라 정확도는 달라집니다.
Q. 코딩을 몰라도 할 수 있나요?
완성된 프로그램 코드를 작성할 필요는 없지만 Python과 FFmpeg를 설치하고 터미널 명령어를 실행해야 합니다. 운영체제별 설치 환경이 어려운 사람에게는 더 간단한 인터페이스를 제공하는 검증된 앱이 적합할 수 있습니다.
Q. MP3 외에 WAV 파일도 되나요?
Whisper는 FFmpeg를 통해 여러 음성 형식을 처리합니다. 예를 들어 sample.wav로 파일명을 바꿔 동일한 형식의 명령어를 사용할 수 있습니다. 손상된 파일이나 특수 코덱은 별도 확인이 필요합니다.
Q. 영상 파일도 텍스트로 바꿀 수 있나요?
FFmpeg가 읽을 수 있는 지원 영상 파일에 오디오가 들어 있다면 처리할 수 있습니다. 단, 영상 자체의 화면에 적힌 글자를 인식하거나 장면을 설명하는 기능과는 다릅니다.
Q. 결과가 정확하지 않으면 어떻게 하나요?
조용한 환경에서 다시 녹음하거나 모델 크기·언어 설정을 점검하세요. 이름과 숫자 등 중요한 부분은 원음을 직접 들어 반드시 수정해야 합니다.
Q. SRT 파일을 만든 뒤 바로 업로드해도 될까요?
형식이 지원되는 편집기·플랫폼에 가져올 수는 있지만, 시간과 문장을 먼저 점검해야 합니다. 저작권·녹음 동의·민감정보 삭제 여부도 함께 확인하세요.
결론: 처음에는 짧은 한국어 녹음 하나로 시작하세요
Whisper를 한 번에 모두 익히려 하지 않아도 괜찮습니다. ① 짧은 녹음 준비 → ② Python·FFmpeg 확인 → ③ Whisper 설치 → ④ TXT 생성 → ⑤ SRT 생성 → ⑥ 원음과 비교만 해 보면 전체 흐름을 이해할 수 있습니다. 처음에는 20~30초짜리 본인 음성을 사용하는 것이 좋습니다. 글자로 옮긴 결과가 실제 말한 내용과 얼마나 비슷한지 확인한 뒤 인터뷰나 강의처럼 긴 파일로 넓혀 가세요. 무엇보다 AI가 만들어 준 자막은 완성본이 아니라 사람이 검수할 초안이라는 점을 기억하면 유용합니다.
함께 읽으면 좋은 글
- API란 무엇일까? 앱과 AI가 연결되는 원리 쉽게 설명 — 로컬 프로그램과 클라우드 API 처리의 차이를 함께 확인합니다.
- 코드란 무엇일까? HTML·CSS·JavaScript와 AI 코딩 쉽게 이해하기 — 명령 예시와 텍스트 결과가 어떻게 다뤄지는지 알아봅니다.