1.soukey Դ?源码? ????
2.å¦ä½ä½¿ç¨soukey
soukey Դ?? ????
通用的采集软件都可以进行采集数据的发布,介绍三款软件,分析自己选择:
网络神采 共享版 采集规则自定义,源码可采集任意网站数据。分析可发布access、源码java编程思想第四版 源码mssql、分析上传课件资料源码mysql,源码付费后还可发布到oracle。分析但网络神采共享版对采集任务数据由最大限制,源码好像是分析只能采集条数据,用起来很不爽,源码其他的分析版本价格个人认为偏高。
火车头 免费版 采集规则配置起来略微复杂,源码源码应该学什么也可发布access、分析sqlserver、源码mysql及oracle。但免费版受限较大,图片源码解析此方面可以参看/product/buy.html 进行版本功能比较。
Soukey采摘 唯一一款开源免费的软件,功能与火车头网络神采类似 ,支持采集规则自定义,厦门朔源码平台在此方面与火车头网络神采类似,数据库发布支持Access、sqlserver及Mysql。如果具备一定的技术基础,建议使用soukey采摘,灵活不受限制,可以针对自己的网站规则进行修正。源代码可在/projects/soukeygetdata/ 下载。
我个人采集经验,采集的数据一般很难满足数据库要求规则,一般都需要进行数据加工,或者采用web方式发布数据。所以,建议选择可以带有一定数据加工的采集软件,会很方便的。
å¦ä½ä½¿ç¨soukey
SoukeyéæãSoukeyMiner OpenSourceãæ¯ä¸å¥å è´¹å¼æºçæ°æ®éé软件ï¼é¢åäºä¸åçç¨æ·ï¼å æ¬æç»ç使ç¨è ï¼ä¹å æ¬äºææ¯ç±å¥½è ãSoukeyéæå¼åè¯è¨ä¸ºC#ï¼éµå¾ªBSD许å¯åè®®ï¼å½åSoukeyéæå·²ç»å¨Sourceforgeä¸å»ºç«äºé¡¹ç®ä¸»é¡µï¼æ¬ç«ä¸æä¾æºä»£ç ä¸è½½ï¼æºä»£ç éè¦å°Sourceforgeä¸ä¸è½½ï¼ åæ¶éè¦ä½¿ç¨SVNå·¥å ·ã使ç¨Soukeyéææ¨å¯è·å¾æ´å¤çå©çï¼
1ãå 费好ç¨çæ°æ®éé软件ï¼
2ãå è´¹ç论åæ¯æåå客ææ¯æ¯æï¼
3ãç¨æ·å ±äº«çæ°æ®ééä»»å¡ï¼
4ãæ¹ä¾¿çä¸åéå¶ç代ç 使ç¨æå©ï¼
主è¦åè½ï¼
1 å¤ä»»å¡ãå¤çº¿ç¨ï¼æ¯æä¸ä¸ªä»»å¡è¿è¡å¤ä¸ªå®ä¾ï¼ ééè§åä¸è¿è¡å®ä¾å离ç好å¤æ¯ä¿®æ¹ä»»å¡ä¿¡æ¯åï¼å¹¶ä¸å½±åå·²ç»è¿è¡çä»»å¡ï¼
2 æ¯æå¾çãFlashåæ件ä¸è½½ï¼ ä¸è½½å¹¶ä¸æ¯æå¤çº¿ç¨å¤çï¼æ以ï¼ä¹ä¸å»ºè®®éç¨æ¤è½¯ä»¶å»ºç«ä¸ä¸çä¸è½½ä»»å¡ï¼
3 ç½åé ç½®æ¯æåæ°å®å¶ï¼åå¤é¨åå ¸åæ°ï¼ éè¿åå ¸æ¹å¼å¯æ©å±èªå®ä¹çåæ°å¼ï¼
4 æ¯æ CookieãPOSTééï¼ å¯è®°å½Cookieï¼éééè¦ç»å½çç½ç«æ°æ®ï¼ä¹å¯éè¿æå·¥ç»å½è¿è¡ééï¼
5 æ¯æ导èªãèªå¨ç¿»é¡µï¼ å¯è¿è¡ç½å导èªï¼è¬å¦ï¼éè¿æ°é»å表ééæ°é»å 容ï¼æ¯æå¤å±å¯¼èªï¼
6 å¯éé Ajaxæ°æ®ï¼ å ³äºAjaxææ¯ç½ç«ï¼éè¦éè¿HTTPå æ¢å¨æ¢æµå ¶çå®å°åï¼æ¨è使ç¨Fiddlerï¼
7 ééæ°æ®ä¸´æ¶åå¨ãæç¹ç»éï¼ ä¸´æ¶åå¨æ°æ®æ ¼å¼ä¸ºXMLï¼
8 æ¯ææ°æ®å¯¼åºï¼æ件ãæ°æ®åºï¼ æ°æ®åºæ¯æAccessãMS Sql ServerãMySqlï¼æ件æ¯æææ¬æ件åExcelï¼æ°æ®å¯¼åºæ¯ææå·¥åèªå¨ï¼æ工导åºä» æ¯ææ件形å¼ï¼
9 å¨çº¿æ°æ®åå¸ï¼ æ¯æå¨çº¿æ°æ®åå¸ï¼æ°æ®åå¸æ¯æCookieï¼
æ°æ®ééæ¯æééæ°æ®å å·¥ï¼ å¯å¯¹ééæ°æ®è¿è¡å符串æ¿æ¢ãæªåãéå çæä½ï¼å¯èªå¨å»é¤ç½é¡µç¬¦å·ï¼æ¯ææ£åï¼
æ¯æä»»å¡è®¡åï¼ å¯å®æ¶æ§è¡ä»»å¡ï¼æå°é´é为ï¼0.5å°æ¶ï¼
æ¯æä»»å¡è§¦åå¨ï¼ å¯è§¦åSoukeyéæä»»å¡ãæ°æ®åºåå¨è¿ç¨åå¯æ§è¡æ件ï¼æ¯æééå®æååå¸å®æ触åï¼
æä¾ç½åç¼/ 解ç å·¥å ·ï¼ æ¯æUTF-8ãGBãGBKãBig5ï¼
æä¾Mini æµè§å¨ï¼ å¯ç¨äºCookieåPOSTæ°æ®çæè·ï¼
æ¯æç®ä½ä¸æåè±æï¼
å¨çº¿å¸®å©ï¼/help/index.html
æ¯æ论åï¼/bbs/index.asp