C#에서 사용할 수 있는 크롤링 방법들27

요즘에는 파이썬과 셀레니움을 이용해서 크롤링을 간단하고 쉽게 할 수 있더라고요.

배우기도 쉽고 코드도 간결하며, 예제도 많아서 크롤링 초보자들도 유튜브나 티스토리에 

나오는 소스 코드를 복사해 붙여넣기만 하면 멋진 크롤링 도구를 금방 만들 수 있죠.

그런데 문제는 영상과 강의의 수준이 비슷하다는 점이에요. 

커리큘럼이 너무 비슷하고, 크롤링 방식이 다양한데도 불구하고 오직 셀레니움만 사용하는 

경우가 많아요. 

제가 더 찾아보지 않아서 모를 수도 있겠지만, 셀레니움 외에도 다양한 크롤링 방법이 있어요.

제가 사용하는 언어가 C#이다 보니, C#에서 사용할 수 있는 몇 가지 크롤링 방법을 소개할게요.

첫 번째는 셀레니움을 사용하는 방법입니다. 

셀레니움을 통해 동적 페이지를 그대로 가져오고 활용할 수 있습니다. 

HTML 엘리먼트에 접근해서 값을 가져오거나, input 박스에 텍스트를 넣고 버튼을 클릭하는 것도 

가능합니다. 

로그인도 자동으로 처리할 수 있고, 쿠키나 세션에 신경 쓸 필요가 없죠. 

다만 메모리를 많이 사용하거나 브라우저 창이 뜨는 게 조금 보기 싫을 수는 있습니다.

두 번째는 CefSharp입니다. 

동적 페이지를 크롤링할 때 주로 사용해요. 셀레니움과 비슷하지만 브라우저 창이 아니라 

WinForm에 내장하는 방식입니다. 

브라우저의 기본 기능을 모두 제어할 수 있으며, 웹 페이지의 로딩 상태에 따라 값을 가져오거나 

변경할 수도 있습니다. 

팝업이 뜨는 경우 본 창에서 열리게 처리할 수도 있고, 파일 다운로드 방식도 제어할 수 있습니다. 

브라우저를 숨길 수도 있어 사용자 입장에서 깔끔하게 크롤링할 수 있죠. 

단, .NET Framework 환경에서만 원활하게 작동합니다.

세 번째는 HttpClient입니다. 

주로 API 데이터(JSON)나 홈페이지 소스를 가져오는 데 사용합니다. 

크롤링 속도가 아주 좋습니다. 

CefSharp와 함께 사용하면 찰떡궁합이에요. 로그인이 필요한 페이지를 크롤링할 때는 CefSharp에서 

먼저 로그인 처리한 후, 쿠키 값을 HttpClient에 넣어 크롤링합니다. 

헤더 조작이나 POST, PUT 처리 시 BODY 데이터 삽입도 간단히 할 수 있는 장점이 있습니다.

네 번째는 WebView2입니다. 최근에는 CefSharp를 대체할 목적으로 도입해봤습니다. 

.NET 5, 6, 7, 8 모두 지원하며, 크롤링 속도는 CefSharp와 비슷한 것 같습니다. 

좀 더 활용을 해보고 .NET FRAMEWORK 환경을 벗어나기 위해서라도 이걸로 갈아타는게 

맞지 않을까 하네요.

혹시 다른 방법을 알고 계신 분들이 있다면 댓글로 알려주세요. 

숨은 고수님들은 댓글도 잘 안 남기시는 것 같네요. 

궁금한 점이 있으면 댓글 남겨주시고, 화이팅입니다!

 * C#+ .NET8 + WebView2 + Newtonsoft.Json 

PS)chat gpt한테 오탈자를 맡겼더니 내용까지 수정이 됐네요. 내용이 다소 기계적이군요 ㅎㅎ