쿠팡 크롤링 혼자 공부하면 만들수있나요?42
- 밀키스하얘
- 등록일 2022-01-26 16:48
- 조회수 18621
|
||
파워링크 
등록안내
등록안내
|
 0
 0
올타꾸나
크롤링 20년차 인데
개발자라면 그렇게 어렵지 않을거에요.
하지만 요즘 웹페이지는 html 소스에는 원하는 내용이 안나오는 경우가 있습니다. (웹브라우져로 접속하여 렌더링 하기 때문)
요즘은 파이썬이 정말 쉽게 되더군요.
20년 전에는 php 로 작업해서 요즘도 php 로 하고 있어요. 잘 안되면 파이선 / 노드 같이 사용하구요.
이런저런 문제 보시다보면 금방 하실수 있으실겁니다. |
|
|
0
1
 
셀레늄으로 시행착오 디버깅 해가면서 하시면 충분히 가능하다고 생각합니다
저도 비전공자로 파이썬 독학으로 배웠는데 제가 원하는 사이트는 다 크롤링 툴 만들어지더라구요 전공자들은 다 구조화 하고 설계해서 만든다던데 전 일단 어떻게든 돌아가게만 만들고 그다음에 모듈화 합니다ㅎㅎ |
|
0
0
버스,정류장
간단한것은 그리하셔도 되는데 Sw구조가 복잡해질수록 설계가 선행되지 않으면 구현이 어려워집니다. 쉬운길을 빙 돌아갈수밖에 없어지구요, 기능추가도 복잡해지죠. 불필요한 리소스들도 많아지구요. 처음에 요구사항(원하는 기능) 을 모두 뽑아서 염두해두고 코딩이 들어가야 하는데, 이게 설계인거죠.
|
|
|
0
0
갠춤해
https://www.coupang.com/robots.txt 보시면 가능한 페이지 나와있어요. 허용된 항목만 가능합니다. |
|
| 1 2 |
|
|
 |
|
| △ 이전글▽ 다음글 | 목록보기 |
|
먼가 멋지시네요
실질적 문맹