皮皮网

1.爬虫是网络不是用 Node.js 更好？
2.如何使用nodejs做爬虫程序
3.nodejs课题来源研究现状(nodejs期末项目)
4.网络爬虫进阶（二）更加现代的无头浏览器 puppeteer 安装与使用

爬虫是不是用 Node.js 更好？

       ‍‍

       Node.js当然适合做爬虫，当然Python同样也适合。爬虫爬虫你所遭遇的源码问题充其量只是个程序逻辑问题，而不是网络语言问题。Nodejs做爬虫最大的爬虫爬虫优势大概在于更容易接入诸如下类的phantomjs/casperjs来搞一些更自动化的针对动态加载内容的爬取（当然Python也行，只不过没那么原生）。源码08cms家装源码单纯只是网络爬个数据，解析一下DOM，爬虫爬虫无论Php还是源码Java还是C++还是C#甚至是VBS都一样能玩得顺溜，代码量也不见得就会特别大。网络目前，爬虫爬虫Python做爬虫更多一些，源码抽奖源码是什么一方面可能是网络因为诸如Scrapy这样的总体分布框架更加完善而久经考验，而另一方面，爬虫爬虫爬下来的源码数据若不是自己做玩具，更多的情况下还需要做清洗、分析等相关工作，而不是闭眼存文件/数据库。这些数据处理相关环节中，Python的生态要比Node好太多。从头写一个原始的爬虫，Node.js 确实很方便，不过其它语言驱动浏览器也没复杂到哪里。部署包源码包写一个能工程实用的，比的其实是现有工具的成熟度，目前 Crawler 虽然已经很像 Scrapy 了，上手很快，但还是需要自己找个 cheerio 之类的来分析 dom，Scrapy 则是全集成的，当然 Crawler 也可随便换熟悉的 dom 处理框架也算一个好处啦。而搞一个x7运行的分布式爬虫系统，Scrapy 成熟度强的就不是一星半点儿logging/stats/telnet/email什么的都标配了，节点任务分配、调度都现成的飞机开发源码，相信假以时日，总会有人拿 Node.js 搞出一套同样强大的。简单的爬虫用啥都能写，python和js区别很小，选个自己喜欢的足够熟练的即可。复杂的爬虫语言不是关键问题，架构做大了之后也不是一种语言能很好解决的。

如何使用nodejs做爬虫程序

       1、建立项目craelr-demo

       å»ºç«‹ä¸€ä¸ªExpress项目，然后将app.js的文件内容全部删除，因为暂时不需要在Web端展示内容。当然我们也可以在空文件夹下直接 npm install express来使用需要的Express功能。

       2、目标网站分析

        如图，这是CNode首页一部分div标签，就是通过这一系列的id、class来定位需要的信息。

       3、使用superagent获取源数据

       superagent就是ajax API来使用的Http库，它的使用方法与jQuery差不多，通过它发起get请求，在回调函数中输出结果。

       ä»£ç å¦‚下：

       var express = require('express');

        var url = require('url'); //解析操作url

        var superagent = require('superagent'); //这三个外部依赖不要忘记npm install

        var cheerio = require('cheerio');

        var eventproxy = require('eventproxy');

        var targetUrl = 'odejs.org/';

        superagent.get(targetUrl)

            .end(function (err, res) {

                console.log(res);

            });

       4、使用cheerio解析

       cheerio充当服务器端的jQuery功能，先使用它的.load()来载入HTML，再通过CSS selector来筛选元素。

       ä»£ç å¦‚下：

       var $ = cheerio.load(res.text);

        //通过CSS selector来筛选数据

       $('#topic_list .topic_title').each(function (idx, element) {

            console.log(element);

        });

       5、使用eventproxy来并发抓取每个主题的内容

       eventproxy就是使用事件(并行)方法来解决这个问题。当所有的抓取完成后，eventproxy接收到事件消息自动帮你调用处理函数。

       ä»£ç å¦‚下：

       //第一步：得到一个 eventproxy 的实例

       var ep = new eventproxy();

        //第二步：定义监听事件的回调函数。

       //after方法为重复监听

       //params: eventname(String) 事件名,times(Number) 监听次数, callback 回调函数

       ep.after('topic_html', topicUrls.length, function(topics){

            // topics 是个数组，包含了 次 ep.emit('topic_html', pair) 中的那 个 pair

            //.map

            topics = topics.map(function(topicPair){

                //use cheerio

                var topicUrl = topicPair[0];

                var topicHtml = topicPair[1];

                var $ = cheerio.load(topicHtml);

                return ({

                    title: $('.topic_full_title').text().trim(),

                    href: topicUrl,

                    comment1: $('.reply_content').eq(0).text().trim()

                });

            });

            //outcome

            console.log('outcome:');

            console.log(topics);

        });

        //第三步：确定放出事件消息的

       topicUrls.forEach(function (topicUrl) {

            superagent.get(topicUrl)

                .end(function (err, res) {

                    console.log('fetch ' + topicUrl + ' successful');

                    ep.emit('topic_html', [topicUrl, res.text]);

                });

        });

       6、爬取结果分析

nodejs课题来源研究现状(nodejs期末项目)

       如何使用pm2启动nodejs

       1、pm2是一个node软件包，可以使用npm命令安装。（用root权限，校园知了app源码如果你仍然以yume用户登录，那么运行命令exit再次成为root用户）：npminstallpm2-g现在我们可以为我们的web应用使用pm2了。

       2、默认是false。如果设置成true，当应用程序变动时，pm2会自动重载。这里也可以设置你要监控的文件。

       3、运行pm2save，会将当前pm2所运行的应用保存在/root/.pm2/dump.pm2下，当开机重启时，运行pm2-root服务脚本，并且到/root/.pm2/dump.pm2下读取应用并启动。nodejs自带node.js自带服务nohub，不需要安装别的包。

       nodejs 中的某些文章，它就无法正确渲染。由于历史原因，google 已停止维护 phantom，转而开发了 puppeteer。

       puppeteer 是一个基于 nodejs 的无头浏览器，完全支持 ES6 特性。与 phantom 不同，puppeteer 可以嵌入到其他项目中，与 chrome 内核和 js 接口层紧密结合，使用起来更为方便。puppeteer 的官方文档在 puppeteer.bootcss.com/a...。

       安装 puppeteer 非常简单，只需在当前 nodejs 项目中安装即可。由于许多部署场景下没有浏览器内核，安装 puppeteer 会附带一个 chrome 内核。作为一个 nodejs 库，puppeteer 在 vscode 中提供了自动补全功能，使得使用更为便捷。

       接下来，我们尝试使用 puppeteer 爬取一个简单页面。静态页面爬取虽然简单，但我们可以尝试爬取我的网站 kirigaya.cn。使用 phantom 进行爬取时，会遇到一些问题，但 puppeteer 则可以很好地处理。运行后，输出的结果和生成的截图都相当完美。

       此外，我们还可以使用 puppeteer 爬取知乎上的，甚至爬取 B 站视频的截图并停留在 :。这说明，puppeteer 在爬虫领域具有强大的功能。

       需要注意的是，基于 puppeteer 的爬虫技术，网站登录验证码和一些奇怪的验证方式变得更容易被破解。如果对此感兴趣，欢迎在评论区留言。如果这篇文章受到好评，我可能会撰写一篇关于使用计算机视觉技术破解登录验证的文章。