크롤링 http 302 요청 response 조회

크롤링을 하는 당신

특정 요청에 대한 결과값을 받고 싶으나 302 redirect로 인하여 요청한 결과가 아니라 redirect한 결과를 받을 것이다.

 

이를 이미지로 도식화하자면 위와 같다.

내가 원하는 건 A요청에 대한 응답이지만 B응답이 와버리는 것이다. 필요 없는데...

 

그런 경우는 본인이 사용하는 http request에 분명 redirect를 제한하는 기능이 있을 것이다.

해당 기능을 비활성화하여 강제로 redirect를 하지 않도록 하면 된다.

그로 인하여 요청의 결과값이 error로 떨어지는 경우도 있으나 머 그건 알아서 하자.

 

node axios의 경우는 request option에 maxRedirects:0 이라고 설정하면 알아서 해당 요청의 redirect가 비활성화된다.

 

그러면 다음과 같이 원하는 A응답에 대한 결과를 받을 수 있다.

굿!