源码排行
设为首页
收藏本站
源码首页
asp源码
php源码
.net源码
cgi源码
jsp源码
flash源码
VB
Delphi
Java
C/C++
模板
教程
方案
服务器软件
详细分类
源码搜索:
不限
名称
内容
源码首页
>>
JSP源码
>>
其它类别
>> WebSpider蓝蜘蛛网页抓取 v5.1
相关推荐
其它类别
分类排行
Struts+Hibernat
jsp+servlet+jav
简单的ajax入门,有视频哦
eWebEditor在线文本编
北雨在线教育系统v1.0.0商
通用WAP网站生成系统(Pow
雪人JSP探针
TurboShop网店系统 v
JSP 环境探针 v1.0
华软日期系统 1.0
其它类别
分类更新
尔善游戏多接口兑换支付平台 v
Bugzero(Bug跟踪管理
JDiy框架与javaWeb建
百度编辑器UEditor JS
Plone CMS v4.2.
Anynote 个人信息管理系
Jease Java CMS
开源文档管理系统Logical
tomexam在线考试系统
手机电话语音验证码java版源
JSP源码
分类排行
极品OA办公自动化系统标准版(
开源jsp论坛: jforum
极品OA普及版V2006
梦想年华JSP新闻发布系统1.
GJM-OA网络自动化办公系统
灵智电子政务网站系统
一个用JSP和Access做的
Jsp考试系统
NTsky新闻发布系统
jsp简单留言本
WebSpider蓝蜘蛛网页抓取 v5.1
源码类别:
JSP源码
-
其它类别
授权语言:共享软件 - 简体中文
应用平台:JSP环境 - mssql
发布时间:2008/9/27 10:47:00
更新时间:2009/2/23 12:15:39
源码大小:20.55 MB
完 整 性:100%
发布会员:
管理员
联系作者:
相关图片:暂无预览图片
简介
WebSpider蓝蜘蛛网页抓取工具5.1可以抓取互联网、wap网站上的任何网页,包括需要登录后才能访问的页面。对抓取到页面内容进行解析,得到结构化的信息,比如:新闻标题、作者、来源、正文等。支持列表页的自动翻页抓取,支持正文页多页合并,支持图片、文件的抓取,可以抓取静态网页,也可以抓取带参数的动态网页,功能极其强大。
用户指定要抓取的网站、抓取的网页类型(固定页面、分页显示的页面等等),并配置如何解析数据项(如新闻标题、作者、来源、正文等),系统可以根据配置信息自动实时抓取数据,启动抓取的时间也可以通过配置设定,真正做到“按需抓取,一次配置,永久抓取”。抓来的数据可以保存到数据库中。支持当前主流数据库,包括:Oracle、SQL Server、MySQL等。
本工具完全可以替代传统的编辑手工处理信息的模式,能够实时、准确、一天24*60不间断为企业提供最新资讯和情报,真正能为企业降低成本,提高竞争力。
本工具主要特点如下:
*适用范围广,可以抓取任何网页(包括登录后才能访问的网页)
*处理速度快,如果网络畅通,1小时可以抓取、解析10000个网页
*采用独特的重复数据过滤技术,支持增量式数据抓取,可以抓取实时数据,如:股票交易信息、天气预报等
*抓取信息的准确性高,系统提供了强大的数据校验功能,保证了数据的正确性
*支持断点续抓,在当机或出现异常情况后可以恢复抓取,继续后续的抓取工作,提高了系统的抓取效率
*对于列表页,支持翻页,可以抓取到所有列表页中的数据。对于正文页,可以对分页显示的内容自动进行合并;
*支持页面深度抓取,页面间可以一级一级地抓下去。比如,通过列表页抓取到正文页URL,然后再抓取正文页。各级页面可以分别入库;
*WEB操作界面,一处安装,随处使用
*分步解析,分步入库
*一次配置,永久抓取,一劳永逸
下载地址 (
)
[杭州下载点 +0]
[上海下载点 +0]
相关源码
WEB指纹识别源码WINUIM v1.0
开源电子商务系统iWebShop v3.2.15050500
sumwe评测网站程序(KesionCMS内核) v8.05
WeCenter(原Anwsion) 社会化问答系统 v3.12
kodexplorer web文件管理系统 v3.12
webstar留言板 v5.0 正式版
评论(
查看更多评论
)
·暂时还没有评论
发表评论:
验证码
联系我们
始于2002.09.22 Copyright
downcode.com
分享开源乐趣