爬取招商银行-招银汇金财经新闻,调用github workflow定时抓取
爬取思路:URL重放,服务器不校验时间戳,导致相同时间校验头可无限重放获取最新数据。
通过redis保存已推送过的id来节省流量,并且保存Json至Redis内供外部调用。
键 | 说明 |
---|---|
CMB_ID | 推送过的最新消息ID |
CMB_JSON | 获取的消息Json字符串 |
自动调用Server酱或Wxpusher的API推送至微信。
脚本自动运行为5分钟一次,可修改workflow文件达到自己想要的效果。
-
fork本项目
-
申请server酱token,Server酱官网
-
申请Wxpusher的appToken,wxpusher官网
-
打开项目
Settings
→Secrets
页面,添加如下名称 说明 值实例 REDIS_HOST Redis主机/IP 127.0.0.1 REDIS_PORT Redis端口 6379 REDIS_PASSWORD Redis密码 123456 SERVERCHAN_TOKEN Server酱token - WXPUSHER_TOKEN Wxpusher appToken - -
打开
Action
页面,激活workflow,点击Enable
-
在自己的项目点个Star即可运行Workflow
Apache 2.0