[6주차 과제] #1 ai hub 와 코랩, 그리고 ngrok

코랩에서 ai hub 데이터를 가져와서 수행하려 했으나..

라고 떠버렸다...

 

앗, 코랩에서 AI 허브는 해외에서의 데이터 다운로드를 제한하고 있습니다.라는 에러가 발생했군요!

이 에러가 발생하는 이유는 구글 코랩의 서버(컴퓨터)가 주로 미국 등 해외에 위치해 있기 때문입니다.

AI-Hub는 보안 및 정책상 대한민국 외의 (해외 IP) 접근을 차단하고 있어서, 코랩 환경에서 aihubshell 명령어를 직접 실행하면 지금처럼 502 에러와 함께 다운로드가 막히게 됩니다.

A100 고용량 RAM 런타임을 쓰시면서 이 문제를 해결할 수 있는 가장 확실한 방법들을 알려드릴게요.

🛠️ 해결 방법 (우회 및 대안)
방법 1: 내 컴퓨터(로컬)에 다운로드 후 구글 드라이브로 업로드 (가장 추천)코랩 환경에서는 다운로드가 막히므로, 한국 IP인 본인의 PC나 노트북에서 데이터를 먼저 받은 뒤 코랩으로 가져오는 방식입니다.내 PC(윈도우/맥) 환경에서 다운로드:AI-Hub 공식 홈페이지에서 제공하는 다운로더 프로그램을 PC에 설치합니다.PC에서 원하는 데이터셋(datasetkey 86)을 다운로드합니다.구글 드라이브에 업로드:다운로드받은 zip 파일들을 본인의 구글 드라이브 특정 폴더(예: Colab Notebooks/emotion_data/)에 업로드합니다.코랩에서 마운트하여 사용:코랩 노트북에서 구글 드라이브를 연동하여 드라이브에 있는 파일을 직접 압축 해제하거나 학습에 사용합니다. (※ 아까 전 셀에서 drive.mount 오류가 났던 것도 런타임이 변경되면서 구글 계정 인증 세션이 꼬였을 확률이 높습니다. 런타임을 다시 시작한 후 마운트를 재시도해 보세요!)

방법 2: 국내 클라우드 서비스 이용 (네이버 부스트코스, 가비아 등)만약 로컬 PC 사양이 낮거나 대용량 데이터를 구글 드라이브에 올리기 부담스러우시다면, 국내 IP를 제공하는 국내 GPU 클라우드(네이버 클라우드, 가비아 등)를 이용하시면 AI-Hub 명령어가 서버 내에서 바로 작동합니다. 다만 이는 유료 비용이 추가로 발생할 수 있습니다.💡 현재 코랩 상태 요약보안 비밀 키 설정은 아주 완벽하게 잘 적용하셨습니다! 코드의 문제가 아니라 구글 코랩 서버 위치(해외 IP) 때문에 AI-Hub 측에서 다운로드를 거부한 것이니, 귀찮으시더라도 "내 PC에 다운로드 ➡️ 구글 드라이브 업로드 ➡️ 코랩에서 불러오기" 순서로 진행하시는 것이 비용도 안 들고 가장 안전합니다.

라고 한다.. ㅠ

 

그래서 ngrok 사용해보기

 

 

---

 

ngrok 페이지에 처음 들어가서 로그인을 마치면 바로 install과 token 화면이 나온다.

 

🛠️ 내 컴퓨터에서 실행할 순서
1. ngrok 설치 (1번 단계)

맥을 쓰신다면 터미널에 brew install ngrok을 치시면 되고, 윈도우라면 홈페이지에서 다운로드받은 ngrok.exe 파일을 실행하시면 됩니다.

2. 인증 토큰 등록 (2번 단계)

터미널에 적혀있는 명령어 그대로 입력합니다. ($YOUR_AUTHTOKEN 부분에는 홈페이지에 적혀있던 본인의 실제 영어+숫자 비밀키가 들어가야 합니다.)

Bash
ngrok config add-authtoken 내_실제_토큰_값
3. ★중요★ 파이썬 서버 먼저 켜기

ngrok을 연결하기 전에, 데이터 파일이 있는 폴더 위치에서 터미널을 열고 내 컴퓨터를 임시 파일 서버로 만드는 명령어를 먼저 실행해야 합니다.

Bash
python -m http.server 8000
(이 창은 닫지 말고 그대로 띄워두세요!)

4. ngrok 통로 열기 (3번 단계 변형)

새로운 터미널 창을 하나 더 열고, 방금 켠 파이썬 서버 포트(8000)와 아까 발급받으신 고정 주소를 연결해 줍니다.

Bash
ngrok http --url=citation-veto-fructose.ngrok-free.dev 8000
이렇게 하시면 내 컴퓨터 세팅은 끝납니다!

이제 코랩 A100으로 돌아오셔서 새 코드 셀을 만들고 아래 명령어를 치면, 해외 IP 차단을 완벽하게 피해 내 컴퓨터에 있는 진짜 데이터셋 파일이 코랩 안으로 초고속 다운로드됩니다.

Python
# 코랩에서 실행할 코드
!wget https://citation-veto-fructose.ngrok-free.dev/실제_데이터_파일명.zip
여기까지 완료하신 후에 wget으로 파일이 잘 들어오는지 확인해 보세요!

 

따라서 진행하고 셀을 실행해본 결과

 

잘 다운로드가 된걸 볼 수 있다.

 

잘 되었다면, 압축을 풀고 데이터를 확인해보면 된다.

 

이러면 코랩에서 AI HUB 데이터를 가져와서 사용할 수 있다!

 

다만,,, 터미널은 계속 켜놔야하는 단점이 있다.

 

 

 

https://colab.research.google.com/drive/1sc47RkidTmjuOEvxBRy8akADo5GhGyNo?usp=sharing

Google Colab Notebook