크롤링과 스크래핑의 차이는 뭘까요

스케줄러 프로그램을 계획하고 있는데
학교 일정이나 과제를 모아보게 할려구 셀레니움을 돌리려고 했는데
그러면 문제가 생기는거 같더라구요

흐음…
어차피 내가 일정 메모하려고 긁어서 붙이나
셀레니움이 자동으로 긁어주나 그게 그건데
학교 전산실이 아-주 보수적인 곳이라 크롤링 허락을 안해주는거 같더라구요
오픈소스 수업때 만드는거라 이런부분이 꽤 중요하더라구요
근데 이게 참 애매한거 같습니다
공부하는 학생이 일정을 등록하려고 일정 크롤링을 하면
이것은 학교 포털의 저작권을 침해한다고 봐야될까요?
오히려 크롤링 당당하게 할수 있는건 아닐까요?
돈내고 학교다니는데 마음대로 쓰지 못하는 느낌…
Robots.txt 가 전부 금지로 되어있어서 안하는게 낫다는 생각도 좀 드네요
저번에 깃 날려먹은것도 그렇고 괜히 했다가 일만 커지는건 아닌가 하는 생각이 드네요

해도 되나? ☞ 하면 안됨
해야 되나? ☞ 무조껀 해야됨

이게 생각나네요
맨날 군대에서 높으신분들이 이렇게 하면된다고 맨날 말하시는 문장이죠…허허

뭐 크롤링처럼 크롤러 여러개거 사이트 해집고 다니겠다는것도 아니고 하루에 한번 과제나 이런 테마만 가져오겠다는건데…여튼 그러네요 하하

웹 크롤러에 대한 글, 여기어때, 야놀자 정보 무단수집 맞다 같이 이익을 취하는게 아니라면 해도 괜찮지 않을까요…?
개인적으로 쓰시는 데에다가 하루 한 번이니, 하지만 마음이 불편하면 안 하시는게 맞을 듯 합니다.

2 Likes

일단 전산처에 공식적으루 메일 보냈습니다.
제생각엔 이거 편해서 학생들이 많이 쓸거같은데
그렇게 되면, 전산처에서 어~~~~너네 왜 내허락없이 크롤링해?
당장내려!!
할수도 있더라구요… 실제로 몇몇 서비스들이 그랬습니다 ㄷㄷ

편하고 좋을것 같은데요.

1 Like

그래서 긁어오는게 문제가 되지 않았으면 하는 바람입니다
지금 하고있는건 또 일정 보고 다른대에다 메모하구…귀차니즘이 발동해서
하나로 다 묶어버리고 싶다는 생각이 들었어요!!

학교 포털은! API를! 읍읍…

전혀 지원하지 않는것 같습니다…ㅠㅠ