패스트캠퍼스 NODEJS 강의 후기 2탄

[패스트캠퍼스] Node.js 강의 후기. 솔직하게 파헤쳐보기

패캠 NODEJS 후기 2탄입니다!

서포터즈 수행을 통해 솔직한 후기를 남기며 노드 js 강의를 공짜로 수강할 수 있는 저에게는 핵이득인 좋은 이벤트!

하지만 지난번 후기를 작성하며 간략한 개요만 보고는 며칠간 회사 일이 바빠서 강의를 듣지 못했습니다. :<

 

오늘은 시간이 좀 나서 숙제도 할 겸 공부도 할 겸 NODEJS 강의를 틀었고, 점심 시간을 활용해서 수강했어요.

지난번에 cheerio까지 수강했던지라 그 3개의 강의를 들으면 딱 45분 정도 걸려서 적당할 것 같더라구요!

 

보시다시피 패캠 강의는 주제에 따라 6분짜리 짧은 내용도 있고, 30분 가까이 되는 강의도 있는데 그날 목표를 세워서 3~4개씩 듣는게 가장 피로도도 적고 이해 흐름도 끊기지 않아 좋은 것 같습니다. 

 

노드 js 강의를 아직 많이 듣지는 않았지만, 현재까지는 흐름이 끊기지 않아서 참 좋았던 것 같아요.

오늘 들은 내용까지만 정리를 해보자면,

지난번 강의에서 크롤링(스크래핑)의 개념이 무엇인지에 대해 다루고

=> axios와 cheerio를 사용해서 스크래핑을 NODEJS로 진행하는데

=> 티스토리에서 로딩중... 이라는 내용이 스크래핑되어서 뭔지 봤더니 '렌더링 지연'이라는 문제점이 있었고

=> 이를 해결하기 위한 Puppeteer를 소개하면서

=> 본격적으로 Puppeteer를 활용한 크롤링 강좌를 진행합니다.

로딩 중... 이라고 뜨는 부분 확인

 

Puppeteer이 뭐고 왜 써야 하는지에 대해서 이해가 된 상태에서 진행을 하다보니 30분짜리 강의가 지루하지 않게 진행되었던 것 같아요.

사실 크롤링을 하기 위한 툴들을 안써본건 아니고, 오픈 소스에서 괜찮은 예제를 받은 후에 사이트명, 변수명만 바꾼 후 사용했던 터라 크롤링을 하면서도 이게 어떻게 작동하는건지 잘 모르는 경우가 있었는데 그런 점들을 알게되어 유익했네요.

NODEJS에서 많이 쓴다! 정도만 알고 있었거든요 :)

 

Puppetter란?

노드js를 통해 크롬 브라우저를 실행. 뷰포트, 네트워크 환경 등 설정이 가능하며 마우스, 키보드, 터치 스크린 등을 코드를 통해 구현 가능

자세한 설명은 pptr.dev 사이트를 통해 확인 가능합니다.

pptr.dev

pptr.dev 에 나와있는 함수들을 하나하나 써보면서 실제 웹사이트의 데이터를 끌어와서 원하는 데이터를 뽑아보는 연습까지 해보니 어떤 식으로 쓰면 되겠다! 라는 느낌은 확 오더라구요. 물론 익숙해지기까지 다른 사이트에 몇번 연습해보면서 체득하는 시간은 있어야 할 것 같습니다. :)

파이썬을 메인으로 하던 개발자는 아니라서 파이썬으로 크롤링할 때 좀 버벅거리는 점이 많았는데, 노드js로 하다보니 함수만 좀 눈에 익으면 훨씬 속도는 빨라질 것 같다는 생각이 드네요. 

노드js를 활용한 사이드 프로젝트를 몇개 진행 중인데, 데이터 수집부에서 막힌 프로젝트들은 이번 기회에 서버에서 크롤링하여 데이터까지 만들어버리는 식으로 진행해도 좋을것같다는 생각이 듭니다.

 

NODEJS 강의가 궁금하시다면 아래 링크를 참조해주세요

https://bit.ly/3pdy7Wq

한 번에 끝내는 Node.js 웹 프로그래밍 초격차 패키지 Online | 패스트캠퍼스