BsWC数据采集
2018-12-28 14:52 栏目:数据治理产品 查看()
通过数据抓取技术自动采集互联网上相关权威布平台的数据,为政务数据中心提供更全面的数据支撑。根据用户自定义的任务配置,批量而精确地分析、采集互联网网目标网页中的半结构化与非结构化数据,转化为结构化的记录,保存在本地数据库中,通过数据处理和加工,使之形成有效的数据资源,拓展数据归集来源。
产品包含以下功能:
一、全文检索
信息检索主要是对采集的信息进行全文检索
二、爬虫采集功能
通过互联网爬虫技术,根据用户需求,设定目标网站、采集频率、钻取深度和关键字过滤等信息,批量采集数据。
三、自定义采集功能
对某些指定的网站页面,实现对数据的自定义采集,设定页面参数的配置,通过定时的采集任务,批量采集数据。
四、数据处理
数据处理通过关键词对采集的结果数据进行过滤分析,一方面达到数据清洗的成效,一方面实现信息舆情的目的。
五、数据库管理
数据库管理主要是对采集的信息进行规整后入库,按文字、图片和视频等不同类型的数据进行管理。
扫二维码关注博晟科技微信公众号
我们在微信上24小时期待你的声音
郑重申明:博晟科技以外的任何单位或个人,不得使用该案例作为工作成功展示!