成功案例 - 招标网信息自动采集软件(网站信息自动抓取、爬虫、信息收集)

  • 一些做工程或贸易的人员经常需要关注各个招标网站关注相关的招标信息,以便开展和跟进业务。但是招标网站非常多,人工查询效率比较低,而且容易遗忘和遗漏,尤其对于那些做全国业务的人来说,要想实时全面了解全国的招标信息是件非常困难的事情。

    我们的这款网站信息自动采集软件可以帮助用户解决这个问题,只要实现设置好对应的网址、关键词和相关设置,软件就可以定时扫描并收集有用的招标信息,极大地提高了工作效率和信息筛选的准确性。

    事实上,不只是招标信息,该软件还适用于其它各类网站信息的自动抓取,还能设置动态网址(比如有些网址内包含有效期的)以及一些简单的分类、备注和标注功能。

    软件功能需求

    总体目标:软件可以定时扫描预先设定的网站(目录),根据关键词筛选出相关页面,并提供相关信息的处理、网页导航等。

    一、 网站设置
    可以进行网站的添加、删除和修改。相关的信息有:网站名称、网址(主页或某个目录)、所属区域、所属类别、备注信息。
    区域设置:用户可以按省、市、区县三个级别设置需要用到区域信息(然后在设置网站的时候可以选择)。
    分网站类:用户可以自己定义网站分类(比如医院类的、政府类的、私企类的),设置网站的时候选择对应的类别,便于今后按类别分析数据。
    当重复设置网站(地址相同)时提示用户。

  • 系统模块组织

  • 二、 关键词设置
    用户可以设置一个或多个关键词(组合),软件扫描网页内容的时候会根据这些关键词筛选出用户需要的页面。
  • 三、 任务定时设置
    用户可以设置软件的运行时间段和扫描频率。比如软件在每天8:00到19:00之间扫描预先设置好的网站,在这个时间段内,每隔2小时扫描一次。


  • 系统主要流程


  • 四、 扫描结果管理
    软件扫描到相关网站页面后,会以消息形式(比如在窗口右下角弹出一个提示)提醒用户,并以列表形式把页面信息展示出来,比如
    网站名称 页面标题 页面地址 信息发布日期 扫描时间 操作
    宜兴政采网 关于xxxx的招标公告 http://www 2016-8-8 2016-8-8 8:00 保存 删除
    用户可以通过点击页面标题打开页情进行浏览详情。此时该条记录通过变化颜色示意已被浏览过(比如变灰)。
    软件在执行扫描任务的时候需要有对应的进度显示(根据网站的总数和已经完成扫描的网站数计算进度)。
    若扫描到重复的页面(网页地址相同)则不再提示用户。
    若有打不开的站点或页面,则在扫描结束后的报告中提醒用户。
    假如此时用户认为该记录是有价值的,可以进行保存操作,今后就可以在【已保存页面】界面随时方便地再次浏览相关信息。
    保存的时候,用户可以添加对应的备注信息,以方便相关的业务开展。
    在【已保存页面】中,用户可以将记录标注成不同的颜色(用户自己定义颜色的意义),方便对相关业务进行区别处理。
  • 五、 其它说明
    版权功能:软件安装时需要计算对应的注册码后才能正常使用。软件只需要单机运行即可。
    软件按钮和字体偏大些,方便操作和信息的浏览。