皮皮网

1.如何使用soukey
2.网络采集工具，源码可以把数据放到数据库中的源码

如何使用soukey

       Soukey采摘【SoukeyMiner OpenSource】是一套免费开源的数据采集软件，面向于不同的用户，包括最终的使用者，也包括了技术爱好者。Soukey采摘开发语言为C#，遵循BSD许可协议，当前Soukey采摘已经在Sourceforge上建立了项目主页，本站不提供源代码下载，源代码需要到Sourceforge上下载， 同时需要使用SVN工具。使用Soukey采摘您可获得更多的利益：

        1、免费好用的数据采集软件；

        2、免费的论坛支持及博客技术支持；

        3、用户共享的数据采集任务；

        4、方便的不受限制的代码使用权利；

       ä¸»è¦åŠŸèƒ½ï¼š

       1 多任务、多线程，支持一个任务运行多个实例； 采集规则与运行实例分离的好处是修改任务信息后，并不影响已经运行的任务；

       2 支持图片、Flash及文件下载； 下载并不支持多线程处理，所以，也不建议采用此软件建立专业的下载任务；

       3 网址配置支持参数定制，及外部字典参数； 通过字典方式可扩展自定义的参数值；

       4 支持 Cookie、POST采集； 可记录Cookie，采集需要登录的网站数据，也可通过手工登录进行采集；

       5 支持导航、自动翻页； 可进行网址导航，譬如：通过新闻列表采集新闻内容；支持多层导航；

       6 可采集 Ajax数据； 关于Ajax技术网站，需要通过HTTP嗅探器探测其真实地址；推荐使用Fiddler；

       7 采集数据临时存储、断点续采； 临时存储数据格式为XML；

       8 支持数据导出，文件、数据库； 数据库支持Access、MS Sql Server、MySql，文件支持文本文件和Excel；数据导出支持手工和自动，手工导出仅支持文件形式；

       9 在线数据发布； 支持在线数据发布，数据发布支持Cookie；

        数据采集支持采集数据加工； 可对采集数据进行字符串替换、截取、附加等操作，可自动去除网页符号，支持正则；

        支持任务计划； 可定时执行任务，最小间隔为：0.5小时；

        支持任务触发器； 可触发Soukey采摘任务、数据库存储过程及可执行文件，支持采集完成及发布完成触发；

        提供网址编/ 解码工具； 支持UTF-8、GB、GBK、Big5；

        提供Mini 浏览器； 可用于Cookie及POST数据的捕获；

        支持简体中文及英文；

       åœ¨çº¿å¸®åŠ©ï¼š/product/buy.html 进行版本功能比较。

       Soukey采摘 唯一一款开源免费的源码软件，功能与火车头网络神采类似 ，源码源码传送门支持采集规则自定义，源码在此方面与火车头网络神采类似，源码注解校验pattern源码数据库发布支持Access、源码sqlserver及Mysql。源码如果具备一定的源码技术基础，建议使用soukey采摘，源码灵活不受限制，源码可以针对自己的源码网站规则进行修正。源代码可在/projects/soukeygetdata/ 下载。源码idea源码搜索键

       我个人采集经验，源码采集的源码数据一般很难满足数据库要求规则，一般都需要进行数据加工，ssm预约系统源码或者采用web方式发布数据。所以，建议选择可以带有一定数据加工的hadoop yarn源码分析采集软件，会很方便的。