python 으로 restful API 호출 (비동기, 병렬)

 

회사에서 반복적으로 수행하는 업무 중 

인내력을 요구하는 것은 가끔씩 파이썬으로 만들고 있다.

사실 3번째 회사에서 잡무 보다 개발업무를 하고 싶어서 시작한 언어인데..

현재 회사에서 업무를 도와주고 있다. 

 

파이썬 스크립트로 깨잘깨잘 프로그램을 만드는 이유는

반복적인 업무 수행 결과를, 아니면 나를 믿지 못하는 것도 있지만

프로그램으로 규격화하면 다른 사람도 이 업무를 쉽게 인수인계 받을 거란 생각이 크다.

 

현재 회사에서 자동화 해본 업무

1. AWS 특정 리전 S3에서 LB 로그를 다운 받아 읽어서 특정 응답코드만 분류하여 구글스프레드 시트에 자동으로 붙여넣기

2. 작업 완료시점을 확인하며 Swagger 나 curl 로 restful API(GET/PUT) 를 호출하는 리빌드 업무를, requests 를 이용하여 자동 호출

3. 여러개 터미널을 띄워서 병렬로 restful API(PUT)를 호출하는 업무를, ThreadPoolExecutor 와 requests 를 이용하여 자동 호출

  - https://docs.python.org/ko/3.7/library/concurrent.futures.html 

concurrent.futures — 병렬 작업 실행하기 — Python 3.7.16 문서



3번을 만들면서 비동기 호출 테스트할 때는 grequests 를 사용해봤었다.

https://pypi.org/project/grequests/