皮皮网

1.FREE SOLO - 自己动手实现Raft - 16 - leveldb源码分析与调试-2
2.LevelDB 源码剖析1 -- 原理
3.UE4 LevelSequence源码剖析（一）
4.同花顺LEVEL-2 BBD是什么意思
5.UE4 LevelSequence源码解析
6.FREE SOLO - 自己动手实现Raft - 17 - leveldb源码分析与调试-3

FREE SOLO - 自己动手实现Raft - 16 - leveldb源码分析与调试-2

       继续探讨leveldb的内部操作，首先解析写入过程。write-batch和leveldb key是核心数据结构，它们在数据写入中的角色至关重要。

       1. 数据写入流程：当通过DBImpl::Put或DB::Put添加键值对时，数据会被封装成write-batch。分站式论坛源码这个batch随后交给DBImpl::Write，最终由log::Writer::AddRecord负责将数据写入log。这样，数据便有了持久化的记录。

       2. 写入memtable：写入log后，数据还会被添加到memtable，便于快速查询。同样，DBImpl::Write通过MemTableInserter::Put调用MemTable::Add，将数据写入memtable，形成内存中的临时存储。

       3. 数据读取：对于查询，DBImpl::Get是起点，通过MemTable::Get调用SkipList::FindGreaterOrEqual在SortedTable的SkipList中搜索，提供即时的数据访问。

       总结：通过上述调用栈，我们可以对leveldb的写入和读取有更深入的理解。在后续的内容中，我们将关注大量数据写入对内存和磁盘影响的详细分析。

       期待在下次与您分享更多内容，再见！

       联系信息：email: castermode@gmail.com | 网站：vectordb.io | 项目未指定

LevelDB 源码剖析1 -- 原理

       LSM-Tree，全称Log-Structured Merge Tree，被广泛应用于数据库系统中，notify 源码如HBase、Cassandra、LevelDB和SQLite，甚至MongoDB 3.0也引入了可选的LSM-Tree引擎。这种数据结构旨在提供优于传统B+树或ISAM（Indexed Sequential Access Method）方法的写入吞吐量，通过避免随机的本地更新操作实现。

       LSM-Tree的核心思想基于磁盘性能的特性：随机访问速度远低于顺序访问，三个数量级的差距。因此，简单地将数据附加至文件尾部（日志或堆文件策略）可以提供接近理论极限的写入吞吐量。尽管这种方法足够简单且性能良好，但它有一个明显的缺点：从日志中随机读取数据需要花费更多时间，因为需要按时间顺序从近及远扫描日志直至找到所需键。因此，日志策略仅适用于简单的数据访问场景。

       为了应对更复杂的读取需求，如基于键的搜索、范围搜索等，LSM-Tree引入了一种改进策略，通过创建一系列排序文件来存储数据，每次写入都会生成一个新的文件，同时保留了日志系统优秀的写性能。在读取数据时，系统会检查所有文件，并定期合并文件以减少文件数量，从而提高读取性能。

       在LSM-Tree的基本算法中，写入数据按照顺序保存到一组较小的排序文件中。每个文件代表了一段时间内的bakaxl源码数据变更，且在写入前进行排序。内存表作为写入数据的缓冲区，用于保持键值的顺序。当内存表填满后，已排序的数据刷新到磁盘上的新文件。系统会周期性地执行合并操作，选择一些文件进行合并，以减少文件数量和删除冗余数据，同时维持读取性能。

       读取数据时，系统首先检查内存缓冲区，若未找到目标键，则以反向时间顺序检查各个文件，直到找到目标键。合并操作通过定期将文件合并在一起，控制文件数量和读取性能，即使文件数量增加，读取性能仍可保持在可接受范围内。通过使用内存中保存的页索引，可以优化读取操作，尤其是在文件末尾保留索引块，这通常比直接二进制搜索更高效。

       为了减少读取操作时访问的文件数量，新实现采用了分级合并（Leveled Compaction），即基于级别的文件合并策略。这不仅减少了最坏情况下需要访问的文件数量，还减少了单次压缩的副作用，同时提供更好的读取性能。分级合并与基本合并的isearching源码主要区别在于文件合并的策略，这使得工作负载扩展合并的影响更高效，同时减少总空间需求。

UE4 LevelSequence源码剖析（一）

       UE4的LevelSequence源码解析系列将分四部分探讨，本篇聚焦Runtime部分。Runtime代码主要位于UnrealEngine\Engine\Source\Runtime\MovieScene目录，结构上主要包括Channels、Evaluation、Sections和Tracks等核心模块。

       ALevelSequenceActor是Runtime的核心，负责逐帧更新，它包含UMovieSceneSequence和ULevelSequencePlayer。ALevelSequenceActor独立于GameThread更新，并且在Actor和ActorComponent更新之前，确保其在RuntTickGroup之前执行。

       IMovieScenePlaybackClient的关键接口用于绑定，编辑器通过IMovieSceneBindingOwnerInterface提供直观的蓝图绑定机制。UMovieSceneSequence是LevelSequence资源实例，它支持SpawnableObject和PossessableObject，便于控制对象的拥有和分离。

       ULevelSequencePlayer作为播放控制器，由ALevelSequenceActor的Tick更新，具有指定对象在World和Sublevel中的功能，还包含用于时间控制的FMovieSceneTimeController。UMovieSceneTrack作为底层架构，由UMovieSceneSections组成，每个Section封装了Section的帧范围和对应Channel的数据。

       序列的Eval过程涉及EvalTemplate和ExecutionTokens，它们协同工作模拟Track。FMovieSceneEvaluationTemplate定义了Track的coincola源码模拟行为，而ExecutionTokens则是模拟过程中的最小单元。真正的模拟操作在FMovieSceneExecutionTokens的Apply函数中执行，通过BlendingAccumulator进行结果融合。

       自定义UMovieSceneTrack需要定义自己的EvaluationTemplate，这部分将在编辑器拓展部分详细讲解。序列的Runtime部分展示了如何在GameThread中高效管理和模拟场景变化，为后续的解析奠定了基础。

同花顺LEVEL-2 BBD是什么意思

       是个公式,BBD源码如下,演示下面网址里有

       p2:=SUBSAMEDAY(&BIGBUYCOUNT2);

       b2:=SUBSAMEDAY(&WAITBUYCOUNT2);

       p3:=SUBSAMEDAY(&BIGBUYCOUNT1);

       b3:=SUBSAMEDAY(&WAITBUYCOUNT1);

       n2:=SUBSAMEDAY(&BIGSELLCOUNT2);

       m2:=SUBSAMEDAY(&WAITSELLCOUNT2);

       n3:=SUBSAMEDAY(&BIGSELLCOUNT1);

       m3:=SUBSAMEDAY(&WAITSELLCOUNT1);

       主力量比:SUM(p2+b2+p3+b3-n2-m2-n3-m3,0)/V*;

       特单量比:SUM(p3+b3-n3-m3,0)/V*;

       大单量比:SUM(p2+b2-n2-m2,0)/V*;

       主被量比:(SUM(p2+p3-n2-n3,0)-SUM(b2+b3-m2-m3,0))/V*;

       /zhibiaogongshi/.html

UE4 LevelSequence源码解析

       本文旨在总结UE4中LevelSequence工具的学习理解，内容涉及LevelSequence结构、插值数据提取及数据导出实例，同时也提供了一些实用技巧。

       LevelSequence在UE4中分为运行时Runtime和编辑器Editor两部分。Runtime中，主要文件位于/Runtime/MovieScene和/Runtime/MovieSceneTracks文件夹下，包括了LevelSequence资产在关卡中的组成形式和播放设置。在Editor中，文件位于/Editor/Sequencer文件夹下，包含了Sequence的组成部分和通用方法。每个ALevelSequenceActor包含UMovieSceneSequence和ULevelSequencePlayer，前者存储数据，后者负责播放。

       UMovieSceneSequence和ULevelSequencePlayer的结构，展示了Sequence资产与当前场景之间的关系。Sequence数据按Actor组织，每个Actor可以持有多种UMovieSceneTrack，用于记录不同属性，所有Track均继承自UMovieScenePropertyTrack。Track由多个Section组成，Section由UMovieSceneChannel存储关键帧数据。

       LevelSequence的模拟过程由Evaluation实现，现在主要由EntitySystem负责，以支持多线程提高效率，具体解释见文章：Performance at scale: Sequencer in Unreal Engine 4. - Unreal Engine。

       在实际模拟中，关键数据的提取是重点。对于Transform等float类型数据，Sequence编辑器支持以曲线方式灵活调整关键值之间的变化过程。MovieSceneFloatValue结构体用于存储关键帧数据，通过访问该值即可获得对应数据。

       导出数据的实例是将Sequence内属性（如Transform）导出为曲线。首先获取LevelSequence资产，然后获取绑定的Actor。利用获取的Actor，可以进一步获得轨道，并将对应数据存储到曲线中。

       一些技巧包括：某些特殊Component在Sequence中作为同等层级存在，可通过此方式获取Component的Track；相对位置配置在Instance Data中，可通过变量获取对应数据；实践体验Sequence生成过程，建议通过/Editor/SequencerRecord入手，直观看到生成流程。

       参考文章包括：UE4 LevelSequence源码剖析（一）- 知乎、UE4 LevelSequence源码剖析（二）- 知乎、UE4 LevelSequence源码剖析（三）- 知乎、Performance at scale: Sequencer in Unreal Engine 4. - Unreal Engine。

FREE SOLO - 自己动手实现Raft - - leveldb源码分析与调试-3

       leveldb的数据流动路径是单向的，从内存中的memtable流向不可变的memtable，最终写入到磁盘上的sorted table文件中。以下是几个关键状态的分析，来了解内存和磁盘上数据的分布。

       以下是分析所涉及的状态：

       1. 数据全在内存中

       随机写入条数据，观察到数据全部存储在memtable中，此时还没有进行compaction操作。

       2. 数据全在磁盘中

       写入大量数据，并等待数据完全落盘后重启leveldb。此时，数据全部存储在磁盘中，分布在不同的level中。在每个level的sstable文件中，可以看到key的最大值与最小值。

       3. 数据部分在内存中，部分在磁盘中

       随机写入条数据，发现内存中的memtable已满，触发compaction操作，数据开始写入到sstable文件。同时，继续写入的数据由于还未达到memtable上限，仍然保存在内存中。

       4. 总结

       通过观察不同数据写入量导致的数据在内存与磁盘间的流动，我们可以看到leveldb内部状态的转换。

       下篇文章将分析LRUCache数据状态的变化。敬请期待！

深入源码解析LevelDB

       深入源码解析LevelDB

       LevelDB总体架构中，sstable文件的生成过程遵循一系列精心设计的步骤。首先，遍历immutable memtable中的key-value对，这些对被写入data_block，每当data_block达到特定大小，构造一个额外的key-value对并写入index_block。在这里，key为data_block的最大key，value为该data_block在sstable中的偏移量和大小。同时，构造filter_block，默认使用bloom filter，用于判断查找的key是否存在于data_block中，显著提升读取性能。meta_index_block随后生成，存储所有filter_block在sstable中的偏移和大小，此策略允许在将来支持生成多个filter_block，进一步提升读取性能。meta_index_block和index_block的偏移和大小保存在sstable的脚注footer中。

       sstable中的block结构遵循一致的模式，包括data_block、index_block和meta_index_block。为提高空间效率，数据按照key的字典顺序存储，采用前缀压缩方法处理。查找某一key时，必须从第一个key开始遍历才能恢复，因此每间隔一定数量（block_restart_interval）的key-value，全量存储一个key，并设置一个restart point。每个block被划分为多个相邻的key-value组成的集合，进行前缀压缩，并在数据区后存储起始位置的偏移。每一个restart都指向一个前缀压缩集合的起始点的偏移位置。最后一个位存储restart数组的大小，表示该block中包含多少个前缀压缩集合。

       filter_block在写入data_block时同步存储，当一个new data_block完成，根据data_block偏移生成一份bit位图存入filter_block，并清空key集合，重新开始存储下一份key集合。

       写入流程涉及日志记录，包括db的sequence number、本次记录中的操作个数及操作的key-value键值对。WriteBatch的batch_data包含多个键值对，leveldb支持延迟写和停止写策略，导致写队列可能堆积多个WriteBatch。为了优化性能，写入时会合并多个WriteBatch的batch_data。日志文件只记录写入memtable中的key-value，每次申请新memtable时也生成新日志文件。

       在写入日志时，对日志文件进行划分为多个K的文件块，每次读写以这样的每K为单位。每次写入的日志记录可能占用1个或多个文件块，因此日志记录块分为Full、First、Middle、Last四种类型，读取时需要拼接。

       读取流程从sstable的层级结构开始，0层文件特别，可能存在key重合，因此需要遍历与查找key有重叠的所有文件，文件编号大的优先查找，因为存储最新数据。非0层文件，一层中的文件之间key不重合，利用版本信息中的元数据进行二分搜索快速定位，仅需查找一个sstable文件。

       LevelDB的sstable文件生成与合并管理版本，通过读取log文件恢复memtable，仅读取文件编号大于等于min_log的日志文件，然后从日志文件中读取key-value键值对。

       LevelDB的LruCache机制分为table cache和block cache，底层实现为个shard的LruCache。table cache缓存sstable的索引数据，类似于文件系统对inode的缓存；block cache缓存block数据，类似于Linux中的page cache。table cache默认大小为，实际缓存的是个sstable文件的索引信息。block cache默认缓存8M字节的block数据。LruCache底层实现包含两个双向链表和一个哈希表，用于管理缓存数据。

       深入了解LevelDB的源码解析，有助于优化数据库性能和理解其高效数据存储机制。