1.python爬虫--微博评论--一键获取所有评论
2.如何在网页中查找源代码？
3.2023小红书web端搜索采集笔记视频点赞关注评论去水印接口源码nodejs
4.Diffusion Model原理详解及源码解析
5.分析一下点评网的图片反爬

python爬虫--微博评论--一键获取所有评论

       一键获取微博所有评论的方法

       首先，关注gzh获取源代码：文章地址：

       python爬虫--微博评论 (qq.com)

       效果预览如下：

       步骤：打开微博查看评论，评论确保点击“查看全部评论”，源码进入开发者模式，图片全局搜索评论关键字，评论下载评论文件。源码android looper源码检查页面加载，图片发现随着滚动页面加载更多评论，评论此行为关键。源码

       分析页面源代码，图片发现每个评论文件包含有ID、评论UID及max_id参数。源码ID和UID分别对应作者ID和文章ID，图片max_id参数控制评论加载。评论

       通过观察发现，源码前一个文件的max_id即为后一个文件的起始ID，以此类推。至此，已确定所有关键参数。

       接下来编写爬虫代码，分为两步：第一步，访问获取ID、UID；第二步，根据ID和UID访问评论文件，提取并保存评论。

       第一步实现，访问获取ID、UID，第二步实现，访问评论文件并提取评论至列表。使用for循环处理每个评论，最后将结果保存。

       封装函数，可输入不同文章链接ID以获取相应评论。

       完成代码后，实际运行以验证效果，关注gzh获取源代码及更多学习资源。

       源代码及文章地址：

       python爬虫--微博评论 (qq.com)

如何在网页中查找源代码？

       如何在浏览器中查看评论元素

1。首先用浏览器打开需要的网页，右键点击网页左侧的空空格。

       2.在弹出的界面中，我们点击review元素。

       4.结果显示在图中，类似wiki源码这样我们就可以看到review元素。

       5.右键点击网页左侧的空空格，弹出界面。我们可以点击查看源文件。

       6.结果如图，这样我们就可以看到网页的源代码了。

       网页包含哪六种元素？

       网页中的常见元素主要包括以下几种类型：文本、图象、动画、视频音乐、超链接、表格、表单和各类控件等。

       一、文本：文字能准确地表达信息的内容和含义，且同样信息量的文本字节往往比图象小，比较适合大信息量的网站。

       二、图像：在网页中使用GIF,JPEG(JPG),PN

       G三种图象格式，其中使用最广泛的是GIF和JPEG两种格式。

       说明：当用户使用所见即所得的网页设计软件在网页上添加其他非GIF，JPEG，或PNG格式的并保存时，这些软件通常会自动将少于8位颜色的转化为GIF格式，或将多于8位颜色的转化为JPEG.另外，JPG是静态图，GIF则可以是动态

       三、动画：主要指由FLASH软件制作的动画，由于其是准流媒体文件，加上矢量动画，文

       使其在网络运行具有强大优势，是网页设必学的软件。

       四、声音和视频：用于网络的声音文件的格式非常多，常用的有MIDI、WAV、MP3和AIF

       火狐浏览器中“查看元素”如何使用？

       ctrl+shift+C可以开启查看器功能。然后可以移动鼠标选择网页的内容，同时下方就可以看到对应的代码样式，可以直接在下方修改对应的代码，调试网页的内容。这个是ucosiiTCB部分源码火狐开发者功能的一个小功能，在菜单，开发者中还有其他很多很强悍的功能哦。

       网页的基本构成元素有没有光标？

       回车键，或者ctrl+回车键，如果你自己鼠标拉伸文本框的宽度，也可以让其自动换行；或者就用多行文本框

       JavaScript：怎么获得页面元素的id和name值？

       这个问题还是要在具体的实例中,解决会比较简单一点.那我简单列举两种情况下获取页面元素的id和name的方法吧.

       1.事件中

       每一个事件方法中都会带一个event事件的属性参数,这个参数中就包含一个targe属性名,值表示的就是触发事件的节点,那我们可以这样获取

       2.非事件中

       在非事件方法中,你想获取页面元素的id和name,那你首先就需要找到对应的节点.你可以用document对象找,当然还是建议用jquery

       节点获取了,那获取属性的方法还是跟上面的方法是一样的.

       在这里我们可以看出来,使用jquery方式更加简洁方便.重要的是码字少呀.还是建议用一下jquery.而且jquery对于浏览器兼容也做了部分优化.

       网页包括哪些元素？

       网页元素包括，文字、、音频、动画、视频。文字，符合排版要求。、音频、动画、视频，符合网络传输及专题需要，需要精选。

小红书web端搜索采集笔记视频点赞关注评论去水印接口源码nodejs

       本文旨在提供对小红书web端接口的概览，仅供学习与研究，严禁用于非法用途。请遵守法律法规，尊重版权。如有侵权，请及时告知，感谢配合。

       一、notejs接口调用方法（源码级别）：

       获取笔记信息：helpnow_get_note_by_id("笔记ID")

       获取当前用户信息：helpnow_self_info()

       获取用户信息：helpnow_user_info("用户ID")

       获取主页推荐：helpnow_home_feed(RECOMMEND)

       搜索笔记：helpnow_note_by_keyword("搜索关键字")

       获取用户笔记：helpnow_user_notes("用户ID")

       获取笔记评论：helpnow_note_comments("笔记ID")

       获取笔记子评论：helpnow_note_sub_comments("笔记ID", "父评论ID")

       评论笔记：helpnow.comment_note("笔记ID", "评论内容")

       删除笔记评论：helpnow.delete_note_comment("笔记ID", "评论ID")

       评论用户：helpnow.delete_note_comment("笔记ID", "评论ID", "评论内容")

       关注用户：helpnow.follow_user("用户ID")

       取关用户：helpnow.unfollow_user("用户ID")

       收藏笔记：helpnow.collect_note("笔记ID")

       取消收藏笔记：helpnow.uncollect_note("笔记ID")

       点赞笔记：helpnow.like_note("笔记ID")

       取消点赞笔记：helpnow.dislike_note("笔记ID")

       点赞评论：helpnow.like_comment("笔记ID", "评论ID")

       取消点赞评论：helpnow.dislike_comment("评论ID")

       获取二维码：helpnow.get_qrcode()

       检查二维码状态：helpnow.check_qrcode("二维码ID", "二维码编码")

       二、推荐部分小红书使用接口更新：

       以下是小红书推荐接口的代码示例，用于更新推荐内容。

       RECOMMEND = "homefeed_recommend"

       FASION = "homefeed.fashion_v3"

       FOOD = "homefeed.food_v3"

       COSMETICS = "homefeed.cosmetics_v3"

       MOVIE = "homefeed.movie_and_tv_v3"

       CAREER = "homefeed.career_v3"

       EMOTION = "homefeed.love_v3"

       HOURSE = "homefeed.household_product_v3"

       GAME = "homefeed.gaming_v3"

       TRAVEL = "homefeed.travel_v3"

       FITNESS = "homefeed.fitness_v3"

       三、已支持接口列表如下：

       包含以下接口用于访问与小红书相关的数据：

       小红书关键字搜索

       小红书用户信息详情

       小红书用户笔记列表

       小红书单个笔记详细数据

       小红书用户关注列表

       小红书用户粉丝列表

       小红书用户点赞的笔记列表

       小红书用户收藏的笔记列表

       小红书笔记的评论列表

       小红书单条评论下的回复列表

       小红书单个笔记关联的商品列表

       小红书商城店铺下的商品列表

       小红书话题页/poi页相关接口

Diffusion Model原理详解及源码解析

       Hello，大家好，我是小苏

       今天来为大家介绍Diffusion Model（扩散模型），在具体介绍之前呢，先来谈谈Diffusion Model主要是用来干什么的。其实啊，它对标的是生成对抗网络（GAN），只要GAN能干的事它基本都能干。在我一番体验Diffusion Model后，它给我的商城源码授权感觉是非常惊艳的。我之前用GAN网络来实现一些生成任务其实效果并不是很理想，而且往往训练很不稳定。但是换成Diffusion Model后生成的则非常逼真，也明显感觉到每一轮训练的结果相比之前都更加优异，也即训练更加稳定。

       说了这么多，我就是想告诉大家Diffusion Model值得一学。但是说实话，这部分的公式理解起来是有一定困难的，我想这也成为了想学这个技术的同学的拦路虎。那么本文将用通俗的语言和公式为大家介绍Diffusion Model，并且结合公式为大家梳理Diffusion Model的代码，探究其是如何通过代码实现的。如果你想弄懂这部分，请耐心读下去，相信你会有所收获。

       如果你准备好了的话，就让我们开始吧！！！

       Diffusion Model的整体思路如下图所示：

       其主要分为正向过程和逆向过程，正向过程类似于编码，逆向过程类似于解码。

       怎么样，大家现在的感觉如何？是不是知道了Diffusion Model大概是怎么样的过程了呢，但是又对里面的细节感到很迷惑，搞不懂这样是怎么还原出的。不用担心，后面我会慢慢为大家细细介绍。

       这一部分为大家介绍一下Diffusion Model正向过程和逆向过程的细节，主要通过推导一些公式来表示加噪前后图像间的关系。

       正向过程在整体思路部分我们已经知道了正向过程其实就是一个不断加噪的过程，于是我们考虑能不能用一些公式表示出加噪前后图像的关系呢。我想让大家先思考一下后一时刻的图像受哪些因素影响呢，更具体的说，比如[公式]由哪些量所决定呢？我想这个问题很简单，即[公式]是由[公式]和所加的噪声共同决定的，也就是说后一时刻的图像主要由两个量决定，其一是上一时刻图像，其二是所加噪声量。「这个很好理解，大家应该都能明白吧」明白了这点，对源码加密我们就可以用一个公式来表示[公式]时刻和[公式]时刻两个图像的关系，如下：

       [公式] ——公式1

       其中，[公式]表示[公式]时刻的图像，[公式]表示[公式]时刻图像，[公式]表示添加的高斯噪声，其服从N(0,1)分布。「注：N(0,1)表示标准高斯分布，其方差为1，均值为0」目前可以看出[公式]和[公式]、[公式]都有关系，这和我们前文所述后一时刻的图像由前一时刻图像和噪声决定相符合，这时你可能要问了，那么这个公式前面的[公式]和[公式]是什么呢，其实这个表示这两个量的权重大小，它们的平方和为1。

       接着我们再深入考虑，为什么设置这样的权重？这个权重的设置是我们预先设定的吗？其实呢，[公式]还和另外一个量[公式]有关，关系式如下：

       [公式] ——公式2

       其中，[公式]是预先给定的值，它是一个随时刻不断增大的值，论文中它的范围为[0.,0.]。既然[公式]越来越大，则[公式]越来越小，[公式]越来越小，[公式]越来越大。现在我们在来考虑公式1，[公式]的权重[公式]随着时刻增加越来越大，表明我们所加的高斯噪声越来越多，这和我们整体思路部分所述是一致的，即越往后所加的噪声越多。

       现在，我们已经得到了[公式]时刻和[公式]时刻两个图像的关系，但是[公式]时刻的图像是未知的。我们需要再由[公式]时刻推导出[公式]时刻图像，然后再由[公式]时刻推导出[公式]时刻图像，依此类推，直到由[公式]时刻推导出[公式]时刻图像即可。

       逆向过程是将高斯噪声还原为预期的过程。先来看看我们已知条件有什么，其实就一个[公式]时刻的高斯噪声。我们希望将[公式]时刻的高斯噪声变成[公式]时刻的图像，是很难一步到位的，因此我们思考能不能和正向过程一样，先考虑[公式]时刻图像和[公式]时刻的关系，然后一步步向前推导得出结论呢。好的，思路有了，那就先来想想如何由已知的[公式]时刻图像得到[公式]时刻图像叭。

       接着，我们利用贝叶斯公式来求解。公式如下：

       那么我们将利用贝叶斯公式来求[公式]时刻图像，公式如下：

       [公式] ——公式8

       公式8中[公式]我们可以求得，就是刚刚正向过程求的嘛。但[公式]和[公式]是未知的。又由公式7可知，可由[公式]得到每一时刻的图像，那当然可以得到[公式]和[公式]时刻的图像，故将公式8加一个[公式]作为已知条件，将公式8变成公式9，如下：

       [公式] ——公式9

       现在可以发现公式9右边3项都是可以算的啦，我们列出它们的公式和对应的分布，如下图所示：

       知道了公式9等式右边3项服从的分布，我们就可以计算出等式左边的[公式]。大家知道怎么计算嘛，这个很简单啦，没有什么技巧，就是纯算。在附录->高斯分布性质部分我们知道了高斯分布的表达式为：[公式]。那么我们只需要求出公式9等式右边3个高斯分布表达式，然后进行乘除运算即可求得[公式]。

       好了，我们上图中得到了式子[公式]其实就是[公式]的表达式了。知道了这个表达式有什么用呢，主要是求出均值和方差。首先我们应该知道对高斯分布进行乘除运算的结果仍然是高斯分布，也就是说[公式]服从高斯分布，那么他的表达式就为 [公式]，我们对比两个表达式，就可以计算出[公式]和[公式]，如下图所示：

       现在我们有了均值[公式]和方差[公式]就可以求出[公式]了，也就是求得了[公式]时刻的图像。推导到这里不知道大家听懂了多少呢？其实你动动小手来算一算你会发现它还是很简单的。但是不知道大家有没有发现一个问题，我们刚刚求得的最终结果[公式]和[公式]中含义一个[公式]，这个[公式]是什么啊，他是我们最后想要的结果，现在怎么当成已知量了呢？这一块确实有点奇怪，我们先来看看我们从哪里引入了[公式]。往上翻翻你会发现使用贝叶斯公式时我们利用了正向过程中推导的公式7来表示[公式]和[公式]，但是现在看来那个地方会引入一个新的未知量[公式]，该怎么办呢？这时我们考虑用公式7来反向估计[公式]，即反解公式7得出[公式]的表达式，如下：

       [公式] ——公式

       得到[公式]的估计值，此时将公式代入到上图的[公式]中，计算后得到最后估计的 [公式]，表达式如下：

       [公式] ——公式

       好了，现在在整理一下[公式]时刻图像的均值[公式]和方差[公式]，如下图所示：

       有了公式我们就可以估计出[公式]时刻的图像了，接着就可以一步步求出[公式]、[公式]、[公式]、[公式]的图像啦。

       这一小节原理详解部分就为大家介绍到这里了，大家听懂了多少呢。相信你阅读了此部分后，对Diffusion Model的原理其实已经有了哥大概的解了，但是肯定还有一些疑惑的地方，不用担心，代码部分会进一步帮助大家。

       代码下载及使用本次代码下载地址： Diffusion Model代码

       先来说说代码的使用吧，代码其实包含两个项目，一个的ddpm.py，另一个是ddpm_condition.py。大家可以理解为ddpm.py是最简单的扩散模型，ddpm_condition.py是ddpm.py的优化。本节会以ddpm.py为大家讲解。代码使用起来非常简单，首先在ddpm.py文件中指定数据集路径，即设置dataset_path的值，然后我们就可以运行代码了。需要注意的是，如果你使用的是CPU的话，那么你可能还需要修改一下代码中的device参数，这个就很简单啦，大家自己摸索摸索就能研究明白。

       这里来简单说说ddpm的意思，英文全称为Denoising Diffusion Probabilistic Model，中文译为去噪扩散概率模型。

       代码流程图这里我们直接来看论文中给的流程图好了，如下：

       看到这个图你大概率是懵逼的，我来稍稍为大家解释一下。首先这个图表示整个算法的流程分为了训练阶段（Training）和采样阶段（Sampling）。

       我们在正向过程中加入的噪声其实都是已知的，是可以作为真实值的。而逆向过程相当于一个去噪过程，我们用一个模型来预测噪声，让正向过程每一步加入的噪声和逆向过程对应步骤预测的噪声尽可能一致，而逆向过程预测噪声的方式就是丢入模型训练，其实就是Training中的第五步。

       代码解析首先，按照我们理论部分应该有一个正向过程，其最重要的就是最后得出的公式7，如下：

       [公式]

       那么我们在代码中看一看是如何利用这个公式7的，代码如下：

       Ɛ为随机的标准高斯分布，其实也就是真实值。大家可以看出，上式的返回值sqrt_alpha_hat * x + sqrt_one_minus_alpha_hat其实就表示公式7。注：这个代码我省略了很多细节，我只把关键的代码展示给大家看，要想完全明白，还需要大家记住调试调试了

       接着我们就通过一个模型预测噪声，如下：

       model的结构很简单，就是一个Unet结构，然后里面嵌套了几个Transformer机制，我就不带大家跳进去慢慢看了。现在有了预测值，也有了真实值Ɛ返回后Ɛ用noise表示，就可以计算他们的损失并不断迭代了。

       上述其实就是训练过程的大体结构，我省略了很多，要是大家有任何问题的话可以评论区留言讨论。现在来看看采样过程的代码吧！！！

       上述代码关键的就是 x = 1 / torch.sqrt(alpha) * (x - ((1 - alpha) / (torch.sqrt(1 - alpha_hat))) * predicted_noise) + torch.sqrt(beta) * noise这个公式，其对应着代码流程图中Sampling阶段中的第4步。需要注意一下这里的跟方差[公式]这个公式给的是[公式]，但其实在我们理论计算时为[公式]，这里做了近似处理计算，即[公式]和[公式]都是非常小且近似0的数，故把[公式]当成1计算，这里注意一下就好。

       代码小结可以看出，这一部分我所用的篇幅很少，只列出了关键的部分，很多细节需要大家自己感悟。比如代码中时刻T的用法，其实是较难理解的，代码中将其作为正余弦位置编码处理。如果你对位置编码不熟悉，可以看一下我的 这篇文章的附录部分，有详细的介绍位置编码，相信你读后会有所收获。

       参考链接由浅入深了解Diffusion

       附录高斯分布性质高斯分布又称正态分布，其表达式为：

       [公式]

       其中[公式]为均值，[公式]为方差。若随机变量服X从正态均值为[公式]，方差为[公式]的高斯分布，一般记为[公式]。此外，有一点大家需要知道，如果我们知道一个随机变量服从高斯分布，且知道他们的均值和方差，那么我们就能写出该随机变量的表达式。

       高斯分布还有一些非常好的性质，现举一些例子帮助大家理解。

       版权声明：本文为奥比中光3D视觉开发者社区特约作者授权原创发布，未经授权不得转载，本文仅做学术分享，版权归原作者所有，若涉及侵权内容请联系删文。

       3D视觉开发者社区是由奥比中光给所有开发者打造的分享与交流平台，旨在将3D视觉技术开放给开发者。平台为开发者提供3D视觉领域免费课程、奥比中光独家资源与专业技术支持。

       加入 3D视觉开发者社区学习行业前沿知识，赋能开发者技能提升！加入 3D视觉AI开放平台体验AI算法能力，助力开发者视觉算法落地！

       往期推荐：1、 开发者社区「运营官」招募启动啦！ - 知乎 (zhihu.com)

       2、 综述：基于点云的自动驾驶3D目标检测和分类方法 - 知乎 (zhihu.com)

       3、 最新综述：基于深度学习方式的单目物体姿态估计与跟踪 - 知乎 (zhihu.com)

分析一下点评网的反爬

       点评网的反爬策略在爬取点评网页时造成了一定的难度。在页面上，可以看到餐厅的评论条数为条，人均消费为元，但页面源码中只显示了一个数字1，其余数字以类似随机编码的css类形式呈现。

       点评网通过在数字后设置特定css类，对数字进行了反爬保护。当分析css类时，发现其原理在于通过不同的偏移位置显示背景上的数字。页面上显示的数字就像一个窗口，固定不动，而背景则移动至不同位置，以此显示相应数字。

       进一步探究，发现背景实为SVG格式，其中的数字在源码中可直接查看。理解其原理后，通过代码实现了解析过程。首先从网页中找到css文件url，接着在css中获取背景路径，进而获取SVG中的每个数字。

       解析css类与数字之间的对应关系，涉及建立字典以匹配特定css类与背景中的偏移量。以评论条数为例，实现获取点评网页上每家餐厅的评论条数，定义函数用于解析评论数量，并调用函数爬取页面中的数据。

       执行代码后，成功解析出餐厅的评论条数，与网页显示数据相符。这一过程展示了点评网反爬策略的应对方法，也揭示了网页源码中隐藏的数字展示机制。