OpenVPN, 같은 이름의 세 가지를 구분 못 하면 연결이 안 됩니다

먼저 결론부터 적습니다. “OpenVPN이 안 된다”는 질문의 절반은 기능 문제가 아니라 대상을 잘못 고른 문제입니다. OpenVPN이라는 이름은 최소 세 가지를 동시에 가리킵니다. ①통신 규격인 프로토콜, ②직접 VPN 서버를 세울 때 쓰는 서버 소프트웨어, ③그 서버에 접속하기 위해 기기에 까는 클라이언트 앱입니다. 회사에서 받은 설정 파일로 접속하려는 사람과, 유료 VPN 앱에서 프로토콜을 고르려는 사람과, 집에 VPN 서버를 세우려는 사람이 전부 같은 단어를 검색하고 있어서 나오는 답이 서로 안 맞는 것입니다.

지금 어느 쪽인지 30초로 가르기

• 회사·학교에서 .ovpn 파일이나 아이디·비밀번호를 받았다 → 필요한 건 ③ 클라이언트 앱뿐입니다. 서버는 이미 상대가 운영하고 있습니다.
• NordVPN·Surfshark 같은 상용 VPN을 쓰는데 설정에서 프로토콜을 고르라고 한다 → 필요한 건 ① 프로토콜 지식입니다. 아무것도 설치하지 않아도 됩니다.
• 집이나 사무실 네트워크에 밖에서 들어가고 싶다 → 필요한 건 ② 서버 구축입니다. 난이도와 책임이 앞의 두 가지와 완전히 다릅니다.

이 세 갈래를 섞어서 검색하면, 서버 설치 문서를 읽으며 왜 내 아이폰에서 안 되는지 고민하게 됩니다.

① 프로토콜로서의 OpenVPN

OpenVPN은 2001년 공개된 오픈소스 VPN 프로토콜입니다. 암호화에 OpenSSL 계열 라이브러리와 TLS를 쓰고, 소스가 공개돼 있어 오랫동안 외부 검토를 받아 왔습니다. 오래됐다는 점이 단점처럼 들리지만, VPN에서는 “오래 공개된 채로 살아남았다”는 것이 신뢰의 근거가 됩니다. 프로토콜 사양과 문서는 OpenVPN 공식 사이트에서 확인할 수 있습니다.

실제 설정에서 만나게 되는 선택지는 대개 UDP냐 TCP냐 하나입니다.

• UDP — 기본값입니다. 빠릅니다. 패킷이 몇 개 사라져도 다시 보내지 않고 넘어가기 때문에 스트리밍·게임처럼 지연이 중요한 용도에 맞습니다.
• TCP — 느립니다. 대신 빠진 패킷을 다시 챙기기 때문에 회선이 불안정할 때 끊김이 덜합니다. 그리고 TCP 443번 포트를 쓰면 통신 모양이 일반 HTTPS와 비슷해져, UDP를 통째로 막아 둔 네트워크에서도 붙는 경우가 있습니다.

접속이 아예 안 될 때 UDP↔TCP를 바꿔보는 것이 가장 먼저 해볼 조치인 이유가 여기 있습니다. 다만 회사나 학교가 의도적으로 VPN을 막아 둔 네트워크라면, 우회 시도 자체가 내부 정보보안 규정 위반이 될 수 있습니다. 기술적으로 뚫리는지와 뚫어도 되는지는 별개의 문제입니다. 차단 상황별 판단은 회사·학교 와이파이에서 VPN이 차단됐을 때에 정리해 두었습니다.

OpenVPN과 WireGuard, 뭐가 다른가

요즘 상용 VPN 앱의 프로토콜 목록에는 OpenVPN 옆에 WireGuard 계열이 같이 있습니다. NordVPN의 NordLynx처럼 브랜드 이름을 붙여 놓은 경우도 많습니다.

둘의 성격은 이렇게 갈립니다. WireGuard는 코드베이스가 훨씬 작고 암호화 방식을 몇 가지로 고정해 두었습니다. 검토할 코드가 적으니 취약점이 숨을 자리가 적고, 연결도 빠르게 붙습니다. 체감 속도만 놓고 보면 대체로 WireGuard 쪽이 유리합니다. 설계 문서는 WireGuard 공식 사이트에 공개돼 있습니다.

반대로 OpenVPN은 설정 가능한 항목이 많고, 앞서 말한 TCP 443 같은 “막힌 곳에서 비집고 들어가는” 수단이 있습니다. 기업 장비와의 호환성도 넓습니다. 그래서 평소에는 WireGuard 계열, 안 붙을 때 OpenVPN TCP로 쓰는 조합이 현실적입니다. 속도가 문제라면 프로토콜 교체 전에 VPN 속도 느릴 때 확인할 것부터 보는 편이 빠릅니다. 서버 거리와 혼잡도가 원인인 경우가 더 흔하기 때문입니다.

② 서버 소프트웨어로서의 OpenVPN

직접 서버를 세우는 쪽입니다. 크게 커뮤니티 에디션과 상용 제품인 Access Server로 나뉘고, 후자는 무료로 쓸 수 있는 동시 접속 수가 제한돼 있어 그 이상은 유료 구독이 됩니다. 제한 수치와 요금은 시점마다 바뀌므로 공식 페이지에서 직접 확인하세요. 이 글에 금액을 적어 두면 금세 틀린 정보가 됩니다.

여기서 꼭 짚어야 할 것은 자체 서버는 프라이버시 도구가 아니라는 점입니다. 집 회선에 VPN 서버를 세우면 밖에서 집 네트워크에 들어갈 수는 있지만, 밖으로 나가는 트래픽은 결국 내 집 IP로 나갑니다. 즉 익명성은 조금도 늘지 않고, 오히려 내 실명 회선에 모든 활동이 묶입니다. 해외 서버 IP가 필요한 목적이라면 자체 서버 구축은 답이 아닙니다. 공유기 단에서 VPN을 다루는 방법은 공유기에 VPN 설정하는 법에 따로 정리해 두었습니다.

③ 클라이언트 앱으로서의 OpenVPN

.ovpn 파일을 받았다면 이 단계만 하면 됩니다. 공식 앱은 OpenVPN Connect이고, 안드로이드에는 커뮤니티에서 오래 유지돼 온 대체 앱도 있습니다. 설정 파일을 앱에 불러오고 계정 정보를 넣으면 끝입니다.

주의할 지점은 앱이 아니라 설정 파일의 출처입니다. .ovpn 파일에는 접속할 서버 주소가 들어 있습니다. 즉 그 파일을 넣는 순간 내 인터넷 트래픽 전부가 파일에 적힌 누군가의 서버를 지나갑니다. 인터넷에 떠도는 무료 공개 설정 파일 모음을 받아 쓰는 경우가 있는데, 그 서버를 누가 운영하고 무엇을 기록하는지 확인할 방법이 사실상 없습니다. 암호화가 걸려 있어도 그 끝단에 있는 사람은 볼 수 있습니다. 출처가 불분명한 VPN을 걸러내는 기준은 무료 VPN 앱 다운로드 전 체크리스트와 같습니다. 회사에서 받은 파일이라면 문제가 없지만, 그때는 반대로 회사 쪽에서 접속 기록을 남기고 있다는 점을 알아 두는 편이 좋습니다. 이 부분은 재택근무 회사 VPN에서 개인 활동이 보이는가에서 다뤘습니다.

연결이 안 될 때 보는 순서

1. 프로토콜·포트 바꾸기 — UDP가 막혔는지 TCP 443으로 시도해 봅니다.
2. 인증 정보 확인 — 회사 VPN은 사내 계정 비밀번호를 바꾸면 VPN도 같이 바뀌는 구조가 흔합니다. OTP를 함께 쓰는 곳이라면 시간 동기화도 봅니다.
3. 설정 파일 만료 확인 — .ovpn에 들어 있는 인증서에는 유효기간이 있습니다. 어제까지 되던 것이 오늘 안 된다면 파일 재발급 대상일 수 있습니다.
4. 연결은 됐는데 인터넷이 안 되는 경우 — 이건 인증 문제가 아니라 경로·DNS 설정 문제입니다. 증상이 다르므로 VPN은 연결됐는데 인터넷이 안 될 때를 보세요.

자주 나오는 질문

OpenVPN 자체는 무료인가요? — 프로토콜과 커뮤니티 에디션 서버는 오픈소스로 공개돼 있습니다. 다만 “프로토콜이 무료”라는 것과 “쓸 만한 해외 서버를 공짜로 쓸 수 있다”는 것은 전혀 다른 얘기입니다. 서버는 누군가 돈을 내고 돌리고 있습니다.

상용 VPN을 쓰는데 OpenVPN을 따로 깔아야 하나요? — 아닙니다. 상용 VPN 앱 안에 이미 구현돼 있어 설정에서 고르기만 하면 됩니다. 따로 설치해야 하는 경우는 그 업체가 수동 설정용 .ovpn 파일을 제공할 때뿐입니다.

속도가 느린데 OpenVPN 탓인가요? — 프로토콜 영향도 있지만, 서버까지의 물리적 거리와 그 서버의 혼잡도가 대체로 더 큽니다. 프로토콜부터 바꾸기 전에 가까운 서버로 옮겨 보는 것이 순서입니다.

정리

OpenVPN을 검색하기 전에 내가 서 있는 자리를 먼저 정하면 답이 하나로 좁혀집니다. 설정 파일을 받았으면 앱만 깔면 되고, 상용 VPN을 쓰는 중이면 UDP·TCP 선택만 하면 되고, 서버를 세우려는 것이라면 그건 익명성이 아니라 원격 접속을 위한 작업입니다. 그리고 어느 경우든 남이 만든 .ovpn 파일을 아무 데서나 받아 쓰지 않는 것이 가장 중요한 원칙입니다.