Skip to content

Jinwook94/github-scraper

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

12 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

리포지토리에서 긁어오는게 아니라 organization 검색이나 AllGithub 검색 결과를 가져오는게 훨씬 편리함 그러나 그 경우는 동적 로딩 때문에 requests 로 못긁어와서 셀레니움 사용해야함 > 셀레니움 브랜치에서 작업

검색 대상 org Spring io Spring project woowacourse-team

To do

  1. data.py: Add Scraping Completion Time Calculation
  2. data.py: Add API
  3. scraper.py: Add Search All GitHub Results (using selenium)
  4. data.py: keywords_어노테이션 패키지명 포함한 값으로 넣어서 오류 적게
  • timesleep 36은 429 에러남 > 58 안정적

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages