go 写的爬虫。 自动整理 Github issue,并归类。
主要是 D2 Awesome Daily 的自动化工具。
- 执行
go run ./issuesClawler.go
- 程序每天自动执行一次,产生文件 2018/mm/dd.md 在根目录
- copy 内容到 d2-awesome , 记得增加 d2-awesome readme.md的对应日期
go 文件放在根目录,可创建文件自动提交处理 issue 的评论增加冒号替换,解决格式问题- 集成在 d2-awesome 项目实现自动提交
分享超过20+分页支持支持分类自定义
已无需初始化,支持任意类型,不限于以下几类
在使用 ios 的捷径分享的第一步时,选择分享的类型,目前爬虫支持的类型有:
- 新闻
- 开源项目
- 分享
- 教程
- 工具
- 招聘
- 设计
- 资源
- ......(可以自定义其他类别)
2018-11-21 23:47:03
- 代码美化
- 增加 git 提交
- fix ":" 导致 vuepress 转换报错
- 增加不完全 test 用例
2018-12-11
- issue 爬取增加时间限制,仅限 t-1 14:00以后的 open 状态的 issue,避免 issue 未及时关闭导致内容重复
2018-12-12
- 支持分页
- 支持指定目录操作