1.初学Web前端推荐什么书籍学习?
2.AST详解与运用
3.浅度剖析 SeaBIOS 基础组件之 PCI 枚举
4.BoltDB源码解析(七)Put和Delete操作
初学Web前端推荐什么书籍学习?
做前端开发9年,论门路由路由推荐你下看下面的源码6本书《JavaScript DOM 编程艺术》超级前端畅销书,作为前端程序员必读两遍以上的解析书籍,这本书籍特别适合初学前端的器源新人,前端的论门路由路由核心技术就是JavaScript,同时也是源码个人主题源码前端的难点。而这本书非常适合入门,解析通俗易懂,器源生动的论门路由路由案例可以让初学者更好的进行理解。所提及的源码很多编程思想却适合低中级层次的前端开发者学习。
《JavaScript权威指南》同样是解析前端程序员必读的一本书籍,不仅适合初学者,器源还适合那些已经在做前端工作的论门路由路由程序员进行随时翻阅。里面涵盖了JavaScript的源码所有内容,以及web浏览器所实现的解析JavaScript
API。对于了解js的基础知识,比如对象,数组,语法,作用域,闭包等等都很有帮助。
《JavaScript 高级程序设计》 如果你想把JavaScript非常完全的系统学习一遍,我强烈推荐这本书,这本书可以一直保留,在用这本书的过程中还可以画下重点,以后可以作为参考,是工作中非常强力的帮手。面试的时候也可以很好的应用上,我们俗称的“红宝书”。《你不知道的JavaScript》这本书不适合前端的初学者,想要深入的了解JavaScript原理,这是每一个前端程序员必须要研究的一本书籍。要让不求甚解的JavaScript开发者迎难而上,深入语言内部,弄清楚JavaScript每一个零部件的用途。如果可以把这本书吃透,那么以后理解任何东西都可以很快的理解和掌握。
《Vue.js权威指南》 Vue作为现在前端的主流框架,在国内应用最为广泛,所以了解Vue原理必须要啃一本Vue的书籍。我之所以推荐这本,是因为这本书对于引导初用Vue的开发者有着质的提升。从基础知识到主流打包以及源码解析,还有很多实践的案例,都是一本不错的实用性书籍。主要内容包括数据绑定、metatrader 4 源码指令、表单控件绑定、过滤器、组件、表单验证、服务通信、路由和视图、vue-cli、测试开发和调试、源码解析及主流打包构建工具等。该书内容全面,讲解细致,示例丰富,适用于各层次的开发者。《编程之美》 无论是什么岗位的程序员,必读的一本书籍,没有读过这本书的程序员几乎都是假程序员。这本书有道算法和程序设计题目,这些题目大部分在近年的笔试,面试中出现过,或者是被微软员工热烈讨论过。作者试图从书中各种有趣的问题出发,引导读者发现问题,分析问题,解决问题,寻找更优的解法。可以大幅度提高自己的编程思维和对于这个行业的深入思考,最终变成技术大牛。如果不想买纸质版的书籍,到我的前端交流分享群进行下载PDF电子书。
常在这里回答问题,热爱技术,喜欢帮别人解答行业技术问题和行业知识。
如果大家对于学习前端有任何不懂的可以随时来问我,我给你提供一个非常不错的前端交流学习qun:前面是二九六,中间是二一二,后面是五六二。有问题就在里面问我,这样你可以少走很多弯路,做起来有效率,记得多跟有经验的人交流,别闭门造车。如果没有比较好的教程,也可以管我要。
你对此有什么见解,ruby源码阅读觉得小编推荐的这些前端书籍还靠谱吗?
评论区说出你的想法!
AST详解与运用
了解AST之前,我们先来简单陈述一下JavaScript引擎的工作原理:从上图中我们可以看到,JavaScript引擎做的第一件事情就是把JavaScript代码编译成抽象语法树,于是就有了本文对AST抽象语法树的浅析. 我们都知道,在传统的编译语言的流程中,程序的一段源代码在执行之前会经历三个步骤,统称为"编译":抽象语法树(abstract syntax code,AST)是源代码的抽象语法结构的树状表示,树上的每个节点都表示源代码中的一种结构,之所以说是抽象的,是因为抽象表示把js代码进行了结构化的转化,转化为一种数据结构。这种数据结构其实就是一个大的json对象,json我们都熟悉,他就像一颗枝繁叶茂的树。有树根,有树干,有树枝,有树叶,无论多小多大,都是一棵完整的树。 简单理解,就是把我们写的代码按照一定的规则转换成一种树形结构。 AST的作用不仅仅是用来在JavaScript引擎的编译上,我们在实际的开发过程中也是经常使用的,比如我们常用的babel插件将 ES6转化成ES5、使用 UglifyJS来压缩代码 、css预处理器、开发WebPack插件、Vue-cli前端自动化工具等等,这些底层原理都是基于AST来实现的,AST能力十分强大, 能够帮助开发者理解JavaScript这门语言的精髓。 我们先来看一组简单的AST树状结构: 经过转化,输出如下AST树状结构: 我们可以看到,一个标准的AST结构可以理解为一个json对象,那我们就可以通过一些方法去解析和操作它,这里我们先提供一个在线检测工具,大家可以自行去体验: esprima.org/demo/parse... AST编译流程图: 我们可以看到,AST工具会源代码经过四个阶段的转换: 词法分析scanner parser生成AST树 traverse对AST树遍历,进行增删改查 generator将更新后的AST转化成代码 Babel插件就是作用于抽象语法树。 Babel 的三个主要处理步骤分别是: 解析(parse),转换(transform),生成(generate)。 vue中AST主要运用在模板编译过程. vue中的模板编译主要分为三个步骤: 解析器要实现的功能就是将模板解析成AST,我们这里主要来分析一下代码解析阶段,这里主要运用的是parse()这个函数,事实上,解析器内部也分为好几个解析器,比如HTML解析器、文本解析器以及过滤解析器,其中最主要的就是HTML解析器。HTML解析器的作用就是解析HTML,它在解析HTML的过程中会不断触发各种钩子函数,我们来看看代码实现: 举个例子: 当上面这个模板被HTML解析器解析时,所触发的钩子函数依次是:start、chars、end。 所以HTML解析器在实现上是脱机辅助源码一个函数,它有两个参数----模板和选项,我们的模板是一小段一小段去截取与解析的,所以需要不断循环截取,我们来看看vue内部实现原理: 以上就是vue解析器生成AST语法树的主流程了,代码细节的地方还需要自己去解读源码,源码位置:\vue\packages\weex-template-compiler\build.js AST抽象语法树的知识点作为JavaScript中(任何编程语言中都有ast这个概念,这里就不过多赘述)相对基础的,也是最不可忽略的知识,带给我们的启发是无限可能的,它就像一把螺丝刀,能够拆解javascript这台庞大的机器,让我们能够看到一些本质的东西,同时也能通过它批量构建任何javascript代码。 小时候梦想改变世界,如今我们可以用自己写的程序,构建出我们所生活的网络世界,丰富多姿。 借用一句歌词: 我还是从前那个少年,没有一丝丝改变。时间只不过是考验,种在心中信念丝毫未减 。希望大家能够在软件开发的路途上坚定信念,越走越远.....浅度剖析 SeaBIOS 基础组件之 PCI 枚举
欢迎关注我的公众号:窗有老梅
本文是一篇关于《QEMU/KVM 源码解析与应用》系列读书笔记的番外篇,深入浅出地分析了 SeaBIOS 中 PCI 枚举的实现,并探讨了 PCI 体系下的几个有趣细节。以下内容将引导您了解 PCIe 总线基本架构、SeaBIOS PCI 枚举的实现、以及探讨设备如何得知自己的 bus、device 和 function 号,最后讨论一条总线上最多能挂载的设备数量。
在 PCIe 总线的基本架构中,图1展示了一个直观的总线结构图。理解 PCIe 总线中的 bridge 概念对于深入学习 PCI 架构至关重要,尽管关于 bridge 在 PCI 和 PCIe 下的不同含义,文中并未详细区分。
SeaBIOS 枚举 PCI 的基本流程如下:遍历一条 bus 上的所有 device,以实现系统对硬件设备的全面识别与管理。这一过程对于理解 BIOS 如何与硬件交互具有重要意义。
接下来,本文将深入探讨 PCI 枚举代码背后的一些有趣细节。首先,设备是如何知道自己的 bus 号的。设备的标识 BDF(bus device function)需要通过主机桥在 PCI 总线扫描时分配给设备,此过程基于 DFS(深度优先搜索)策略。当访问到一个 bridge 时,主机桥会为其分配 primary 和 secondary bus number,节日网站 源码subordinate bus number 则在 DFS 回溯到当前层时得知。设备在收到的配置报文中包含 bus 和 device 号,此时设备将其记录到寄存器中,类似于当有人敲门告诉你所在的门牌号,你便能知道自己所处的位置。
其次,设备如何得知自己的 device 号。设备的 device 号在与主机桥的交互过程中被确定,实际上,这是基于地址译码电路将 AD[:] 转换成片选信号,实现设备选择。PCI 总线推荐使用 AD[:] 进行地址译码,通过固化的映射关系,每种设备对应唯一的片选信号,从而确定设备号。
设备如何知道自己的 function 号?对于单 function 设备,function 号默认为 0。而对于多 function 设备或支持虚拟 function 的设备,function 号由设备内部管理,无需通过总线枚举确定。
一条总线上能挂载的设备数量受到多种因素限制。理论上,设备的 BDF 寄存器宽度允许最多 个设备。然而,实际限制还包括物理地址译码电路、负载能力,以及内存管理单元(MMU)对地址空间的支持。例如,AD[:] 的输入限制最多只能输出 路片选信号,实际的译码电路输入通常减少到 AD[:],进一步限制到 路。PCI 总线负载能力也限制了最多能挂接 个负载。
通过本文的深入探讨,您可以对 PCI 架构及其在 SeaBIOS 中的应用有更全面的理解,同时对设备识别和硬件交互过程有更深的洞察。
BoltDB源码解析(七)Put和Delete操作
Put和Delete的实现
上一篇文章我们了解了BoltDB的Get API的实现。现在,我们来探讨Put和Delete API的实现:
Put API的主要功能是将一对键值对插入到Bucket中,如果键已经存在,则更新对应的值。首先,进行一些限制条件的检查,例如Put操作是否由写事务发起的,因为Put只能由写事务调用。此外,还需要检查键和值的大小是否符合限制条件。需要注意的是,Put操作和Get操作一样,这里也使用了Cursor来定位键应该放置的位置。
在实际的Put操作中,会调用Cursor的一个不显眼的方法:
这个方法实际上非常有用,它从当前Bucket的B-tree的根节点开始,一直到Cursor定位到的leaf page,为每个page创建一个对应的node结构。当然,如果一个page已经有对应的node,就直接使用它。
为什么要这么做呢?这是因为事务篇中提到的修改操作具有“传染性”,修改B-tree的leaf节点会导致从root到leaf的所有page都需要修改,而BoltDB的修改操作都是在page对应的node里进行的,不是直接在page上修改,因此需要为这些page建立node结构。具体建立node结构的是Bucket的node方法:
Bucket的node方法有两处需要注意,一个是新建的node会被追加到parent node的children中,记录下这些修改的node之间的关系,这个children在node持久化时会有用(node.spill方法)。另一个是node的数据是如何从page中读取的,这是由node的read方法完成的。
node建立好之后,就在要修改的leaf对应的node上调用put方法:
node的put方法相对简单,它是在inodes数组上查找对应的位置,如果exact为true,表示找到了相同的key,直接更新value;如果exact为false,相当于找到了应该插入的位置,然后在对应的inode上记录数据。我们来看一下inodes数组的定义:
inodes数组是node实际存储数据的地方,由多个inode组成,每个不同的key对应一个不同的inode,inode之间是按key排序的。对于leaf节点来说,inode里使用key和value;对于branch节点来说,inode里使用key和pgid,pgid代表一个child page的id。value和pgid不会同时使用。
put方法结束后,当前的Put操作也就结束了。也就是说,Put操作所做的仅仅是把新增或修改的数据放入到它所在的page对应的node内存中。
顺便提一下Delete操作,它和Put操作非常类似,在建立起node结构之后,在对应的node的inodes数组中删除找到的key相等的inode就完成了,这里不再展开。
那么,什么时候会把这些node里的数据持久化到DB文件里呢?是在整个写事务commit的时候。
事务的Commit实现
下面是事务commit的代码简化,保留了重要部分:
Commit的整体流程比较长,下面一点一点进行说明。
tx.root.rebalance(),这个root是root Bucket,rebalance是对root Bucket下所有子Bucket的所有node进行rebalance。这是什么意思?注意node的初始数据虽然来自一个page,但在经历了一些Delete操作后,有些node里面的数据可能过少,这时会先把这个node和它的左兄弟或右兄弟node合并(node的rebalance方法),合并后node数会减少,但不存在node里数据过少的情况。这个操作对应于B-tree的merge操作,只不过这些node都是Go的内存结构,合并起来非常简单。当然,合并后把这些node spill到page的操作,需要的page总数也会减少。
tx.root.spill(),这个方法是把root Bucket下所有子Bucket的所有node的内容都写入这个事务分配的dirty page里。注意这些dirty page是这个事务临时分配在内存里的,结构和DB文件的page完全一样,但还不是mmap映射的DB的page。
刚开始看到spill这个方法时,感觉它代价有些高,感觉像是把整个B-tree都走了一遍。后来仔细看才发现不是这么回事。这个spill只对有node结构的节点进行处理,那些没修改过的page没有对应的node,根本不会处理。
注意在经过多次Put操作后,node里存放的数据可能出现一个page写不下的情况,比如insert了几千个key value。spill会先把这样的node split成多个大小合适的node(node的split方法),然后把这些node分别写入不同的page中。这个操作对应于B-tree的split操作。和rebalance方法类似的道理,因为这些node都是Go的内存结构,split起来非常容易。
if tx.meta.pgid > opgid,这个判断是看当前事务需要的page数是否大于事务执行前DB文件有的page数,如果大于,说明DB文件放不下了,就调用db.grow增大文件,以容纳新增的page。
紧接着是freelist的持久化操作,因为写事务可能使用了freelist里的一些page,同时也可能释放了一些page到freelist里,所以freelist很可能发生了变化,需要持久化。
tx.write(),这个方法就是把所有的临时分配的dirty page都写入DB文件对应的page里。
tx.writeMeta(),这个方法是把这个tx里的meta写到meta0或者meta1里面(写事务会交替写这两个meta page,这也是个常用技术,叫ping-pong buffer)。它的代码值得看一下:
首先把meta写到临时分配的buf里,然后用文件IO写到DB文件里,最后调用fdatasync,把OS文件的buffer cache持久化到磁盘上。至此,写事务的所有数据都已经落盘完毕。后面新开启的事务会因为这个meta的txid是最大的,而选择使用这个最新的meta page。而这个meta page包括最新的root bucket,最新的freelist,最新的pgid,这些总体构成了一个DB的最新版本,保证新开启的事务读到最新版本的数据。
看tx.write()和tx.writeMeta()的实现可以发现,写入数据用的是db.ops.writeAt,而这个方法默认值就是File.WriteAt方法,所以实际写入文件用的是文件IO,而不是直接写mmap内存。而BoltDB使用mmap一开始就把mmap映射的内存标记为只读的,压根不允许直接写mmap内存。为什么要这么做呢?
猜测可能是为了安全。前面讲到Get操作为了性能是zero copy的,发现Get返回来的value是mmap上数据的指针,如果mmap设置为可读写的,应用程序代码五花八门,可能会通过指针一不小心修改了mmap上的数据,这样的修改因为走的不是API是无法保证事务的。把mmap设置为只读的消除了这种可能性。反过来说,如果mmap设置为可读写的,Get就不能返回mmap上的指针了,为了安全一定要copy一份数据出来才行,降低了Get的性能。
这里还有个很自然而且很重要的问题是,如果事务commit失败了呢,BoltDB如何保证事务的原子性(ACID的A),确保这个写事务的所有操作,不论是落盘的,还是没落盘的,都不会生效?
原子性要求,不管是commit走到哪一步,哪怕是已经把修改的数据,甚至包括修改的freelist已经落盘,只要最终事务commit失败,都不能对正确性产生任何影响。这里的正确性是指,数据库的状态(有实际的key value数据,freelist, pgid等共同构成)必须是在这个写事务运行之前的状态,数据不能被破坏,这个写事务也不能留下可被后续事务读到的任何更新。
要做到原子性貌似挺难的,因为事务的commit里包括很多步骤,这些步骤都不是原子性的。不过重要的一点是,不论commit运行到哪一步,因为tx.writeMeta是最后一步,只有这一步运行成功commit才算成功,如果说commit失败了,那么tx.writeMeta一定是没运行,或者运行了半截,这个meta page没写完整,机器断电了。总之,这些情况下我们不会得到一个合法的新的meta page(这种情况下meta的validate方法会失败,因为meta的checksum不对)。这时候ping-pong buffer的meta page就起重要的作用了,因为交替写meta page的原因,即使这个写事务新的meta page没写成功,这个写事务运行前版本的meta page还在,而这个meta page包括这个写事务运行前的DB版本所有的状态(kv数据,freelist,pgid等)。这个meta page会被后续事务使用,就像那个失败的写事务从来没有运行过一样。而那个写事务留下的kv数据的page,freelist的page,即使是持久化了,也因为没有写成新的meta,没有机会被用到。
还有个自然的疑问,即使这个失败的写事务写的page因为没有合法的meta无法被引用,不会影响正确性,但无法被引用是不是也意味着这些page无法被回收,浪费了磁盘空间?
答案是也不会。在原来版本的meta里的free list和pgid的共同作用下,这些page会被视为free的,还可以使用,不会出现无法回收这些page的情况。
还有个疑问,既然BoltDB交替写meta0和meta1,是不是连续两个事务commit正好在写meta时失败,数据库就废了?
仔细研究发现,还是没事!因为写事务的txid也是meta的一部分,一个写事务失败,导致txid不会增长,下一次写事务的txid还是一样,meta的交替写是因为txid的变化引起的,既然没变化,就不交替了。所以下一个写事务即使写meta还失败了,也还是写的上一个写事务写的那个meta,不会把两个meta都写坏。
总结一下,ping-pong buffer的meta page真是设计得精巧,是BoltDB达到原子性的关键!