5
新手入门 功能点介绍

【智能模式】【流程图模式】如何设置Webhook功能

2022-12-27 17:28:53
浏览 7806 次

摘要:本篇教程主要介绍了后羿采集器中Webhook功能的使用方法 免费下载软件

后羿采集器支持Webhook功能,通过使用该功能,后羿采集器可以将采集到的数据实时发布到用户的HTTP地址,用户需要自行开发Webhook接收端代码

Webhook的设置在启动任务的设置中,具体如下图所示:

开启Webhook功能之后,采集到的数据将以JSON格式进行发送。在任务采集结束时会发送一个采集结束的事件通知。

Webhook以HTTP POST的方式发送数据到用户的HTTP地址。

HTTP Header"Content-Type: application/json; charset=utf-8"

Webhook TokenTimestamp做md5运算后的结果可以与JSON数据的“sign”签名做校验,用来校验数据是否合法。

发送数据示例:

{
    "task_id": 3920415,                 // 采集任务ID,可在“全部任务列表”中查看
    "task_name": "Task Name",           // 采集任务名称
    "type": "data",                     // 此次webhook发送的是采集到的数据
    "urls": [                           // 采集任务的入口地址
        "http://www.88888.com/list",
        "http://www.88888.com/list2"
    ],
    "sign": "**********************",   // 签名算法为 md5(webhook_token+timestamp)
    "timestamp": 1555326657,            // 当前时间戳
    "data_list": [                      // 采集数据列表
        {
            "_id": "0000000000001",     // 数据ID
            "data": {
                "title": "风景",
                "url": "http://www.*****.com/scenery/"
            }                           // 采集字段内容
        },
        {
            "_id": "0000000000002",     // 数据ID
            "data": {
                "title": "风景2",
                "url": "http://www.*****.com/scenery2/"
            }                           // 采集字段内容
        }
    ]
}

发送采集结束通知示例:

{
    "task_id": 3920415,                 // 采集任务ID,可在“全部任务列表”中查看
    "task_name": "Task Name",           // 采集任务名称
    "type": "finish",                   // 此次webhook发送的是采集结束的通知
    "urls": [                           // 采集任务的入口地址
        "http://www.88888.com/list",
        "http://www.88888.com/list2"
    ],
    "sign": "**********************",   // 签名算法为 md5(webhook_token+timestamp)
    "timestamp": 1555326657             // 当前时间戳
}
分享到:
python爬虫 python数据采集 php爬虫 批量生成网址 批量下载图片 正则匹配邮箱 网页内容关键字提取 批量下载视频 数据自动整理成excel 网页下载成word
关闭