(파이썬) 죄송합니다만 질문하나만 하겠습니다 ㅜ;

파이썬으로 크롤러를 제작중인데 …
사실 제작까지는 수월하게 했습니다만
얼마전에 들어본 "멀티프로세스"를 써보려고 하는데
그냥 일반적인 멀티프로세스는 되는데
동적으로 프로세스를 늘리거나 추가하고싶은데 혹시 어떻게 해야될까요
어디를 찾아봐도 안 나오네요 …

https://docs.python.org/ko/3/library/multiprocessing.html

일반적으로 process나 thread 동시 처리를 위해 여러 쓰레드를 만드는 작업은
생성할 때마다 메모리에 생성할 수 있는 공간을 탐색하는 것부터
실제 코드 공간을 배치시키는 것까지 소모되는 시간이 상대적으로 많이 발생합니다.

그래서 pool이라고해서 필요하다라고 여겨지는 수치를 그 전에 정해두고 그만큼
리소스를 미리 할당시켜놓은 다음 풀에다 작업을 하나씩 넘겨주는 방식으로
구현을 많이 합니다.

안녕하세요.

파이썬의 기본 멀티프로세스 pool은 아마 실행도중에 크기를 바꾸지 못할겁니다.
third party 도구를 이용하시거나 직접 구현하셔야겠네요.

참고하세요.