1.Memcached、源码Redis和MongoDB的源码区别
2.非关系数据库有哪些
3.高并发高性能的DB数据同步方案
4.MongoDB、Hbase、源码Redis 源码的优劣势及应用场景介绍
5.redis和mongodb哪个简单
6.像redis和mongodb等内存型数据库服务器重启数据丢失的问题

Memcached、Redis和MongoDB的源码区别

       一、Memcached

       Memcached?源码研究源码的工具是什么是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。源码它通过在内存中缓存数据和对象来减少读取数据库的源码次数，从而提供动态、源码数据库驱动网站的源码速度。Memcached基于一个存储键/值对的源码hashmap。

       端口（）

Memcached的源码优点

       Memcached可以利用多核优势，单实例吞吐量极高，源码可以达到几十万QPS（取决于key、源码value的源码字节大小以及服务器硬件性能，日常环境中QPS高峰大约在4-6w左右）。适用于最大程度扛量。

       []()

Memcached的局限性

       只支持简单的key/value数据结构，不像Redis可以支持丰富的数据类型。\ 无法进行持久化，数据不能备份，只能用于缓存使用，且重启后数据全部丢失。\ 无法进行数据同步，不能将MC中的数据迁移到其他MC实例中。\ Memcached内存分配采用Slab Allocation机制管理内存，value大小分布差异较大时会造成内存利用率降低，并引发低利用率时依然出现踢出等问题。需要用户注重value设计。

       应用场景：

       1.分布式应该，

       2.数据库前段缓存，

       3.服务器间数据共享。

二、Redis

       Redis是一个开源（BSD许可），内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。

       端口（）

Redis的模型源码大全优点

       支持多种数据结构，包括string(字符串)、 list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。\ 支持持久化操作，可以进行aof及rdb数据持久化到磁盘，从而进行数据备份或数据恢复等操作，较好的防止数据丢失的手段。\ 支持通过Replication进行数据复制，通过master-slave机制，可以实时进行数据的同步复制，支持多级复制和增量复制，master-slave机制是Redis进行HA的重要手段。\ 单线程请求，所有命令串行执行，并发情况下不需要考虑数据一致性问题。\ 支持pub/sub消息订阅机制，可以用来进行消息订阅与通知。\ 支持简单的事务需求，但业界使用场景很少，并不成熟。

Redis的局限性

       Redis只能使用单线程，性能受限于CPU性能，故单实例CPU最高才可能达到5-6wQPS每秒（取决于数据结构，数据大小以及服务器硬件性能，日常环境中QPS高峰大约在1-2w左右）。\ 支持简单的事务需求，但业界使用场景很少，并不成熟，既是优点也是缺点。\ Redis在string类型上会消耗较多内存，可以使用dict（hash表）压缩存储以降低内存耗用。

       Mc和Redis都是Key-Value类型，不适合在不同数据集之间建立关系，也不适合进行查询搜索。spring模块源码比如redis的keys pattern这种匹配操作，对redis的性能是灾难。

       应用场景：

       1.配合关系型数据库做高速缓存

       2.缓存高频次数据，降低数据库io

       3.分布式架构，做session共享

三、mongoDB

       mongoDB?是一种文档性的数据库。先解释一下文档的数据库，即可以存放xml、json、bson类型系那个的数据。

       这些数据具备自述性（self-describing），呈现分层的树状数据结构。redis可以用hash存放简单关系型数据。

       mongoDB?存放json格式数据。

       端口（）

       适合场景：事件记录、内容管理或者博客平台，比如评论系统。_

mongodb持久化原理

       mongodb与mysql不同，mysql的每一次更新操作都会直接写入硬盘，但是mongo不会，做为内存型数据库，数据操作会先写入内存，然后再会持久化到硬盘中去，那么mongo是如何持久化的呢\ mongodb在启动时，专门初始化一个线程不断循环（除非应用crash掉），用于在一定时间周期内来从defer队列中获取要持久化的数据并写入到磁盘的journal(日志)和mongofile(数据)处，当然因为它不是在用户添加记录时就写到磁盘上，所以按mongodb开发者说，它不会造成性能上的损耗，因为看过代码发现，当进行CUD操作时，记录(Record类型)都被放入到defer队列中以供延时批量（groupcommit）提交写入，但相信其中时间周期参数是个要认真考量的参数，系统为毫秒，如果该值更低的话，可能会造成频繁磁盘操作，过高又会造成系统宕机时数据丢失过。验证源码查询

MongoDB的数据文件

       MongoDB的数据文件很大。

       MongoDB采用的预分配空间的方式来防止文件碎片。

四、从以下几个维度做对比1、性能上：

       性能上都很出色，具体到细节，由于Redis只使用单核，而Memcached可以使用多核，所以平均每一个核上Redis在存储小数据时比Memcached性能更高。而在k以上的数据中，Memcached性能要高于Redis，虽然Redis最近也在存储大数据的性能上进行优化，但是比起?Memcached，还是稍有逊色。前两者性能差不多，大于?Mongodb。

2、内存空间和数据量大小：

       MemCached可以修改最大内存，采用LRU算法。

       Redis增加了VM的特性，突破了物理内存的限制。

       MongoDB 适合大数据量的存储，依赖操作系统 VM 做内存管理，吃内存也比较厉害，服务不要和别的服务在一起

3、操作便利上：

       MemCached数据结构单一，仅用来缓存数据

       Redis支持更加丰富的数据类型，也可以在服务器端直接对数据进行丰富的操作,这样可以减少网络IO次数和数据体积。

       Mongodb 支持丰富的数据表达，索引，最类似关系型数据库，支持的查询语言非常丰富。

4、可靠性上：

       MemCached不支持数据持久化，断电或重启后数据消失，但其稳定性是有保证的。

       Redis支持数据持久化和数据恢复，网站加锁源码允许单点故障，但是同时也会付出性能的代价。

       MongoDB 从 1.8 版本开始采用 binlog 方式支持持久化的可靠性。

5、应用场景：

       Memcached：动态系统中减轻数据库负载，提升性能；做缓存，适合多读少写，大数据量的情况（如人人网大量查询用户信息、好友信息、文章信息等）。

       Redis：适用于对读写效率要求都很高，数据处理业务复杂和对安全性要求较高的系统（如新浪微博的计数和微博发布部分系统，对数据安全性、读写要求都很高）。

       MongoDB:主要解决海量数据的访问效率问题。

       END

       如有问题请在下方留言。

       或关注我的公众号“孙三苗”（sunsanmiao），输入“****”。获得进一步帮助。

原文：/post/

非关系数据库有哪些

       非关系型数据库有很多种类，包括但不限于以下几种：Redis、MongoDB、Apache Cassandra等。

       非关系型数据库（NoSQL）是近年来随着互联网技术发展而兴起的一种数据库类型，与传统的关系型数据库相比，非关系型数据库更注重数据的存储和读取性能。以下是几种常见的非关系型数据库：

       Redis：Redis是一个开源的，存在内存中的数据结构存储系统，主要用作数据库、缓存和消息代理。它支持多种数据结构类型，包括字符串、哈希表、列表等，并能高效地执行这些操作。由于数据存储在内存中，Redis具有极高的读写性能。此外，Redis也支持持久化功能，可以将数据保存到硬盘中，确保数据的安全性和可靠性。

       MongoDB：MongoDB是一种面向文档的数据库管理系统，它是一个开源的NoSQL数据库。MongoDB中的数据以BSON（二进制JSON）格式存储，这是一种易于阅读和编写的数据格式。MongoDB支持动态查询、索引以及丰富的查询操作功能。由于其灵活的文档模型和高性能的数据处理能力，MongoDB在大数据处理领域得到了广泛的应用。

       Apache Cassandra：Apache Cassandra是一种高度可扩展的分布式NoSQL数据库系统。它采用键值对存储方式，并允许跨多个节点进行数据的复制和存储。Cassandra具有强大的容错能力，能够在节点故障的情况下保持系统的稳定运行。此外，Cassandra还支持分布式事务处理和高并发读写操作，适用于构建大规模的数据处理系统。

       除了上述几种常见的非关系型数据库外，还有其他一些如Amazon DynamoDB、Couchbase等也是常见的非关系型数据库选择。这些数据库在不同的应用场景和需求下都有其独特的优势和应用价值。

高并发高性能的DB数据同步方案

       在数据库系统生态中，数据同步机制对于支撑逻辑单元的数据冗余高可用至关重要。例如，Mysql、Redis和MongoDB等都支持多节点实例间的数据同步。当需要跨逻辑单元或跨数据中心的数据同步时，可以实现同城多机房的负载均衡、多机房互备、异地多数据中心容灾和多活。本文将介绍一款名为MongoShake的MongoDB数据同步框架。

       MongoShake从源库抓取oplog数据，通过不同的tunnel通道发送至目的库。源库支持多种类型，包括ReplicaSet、Sharding、Mongod等，目的库支持Mongos、Mongod等。现有通道类型包括直接写入、通过net/rpc、tcp、文件和Kafka等方式连接。

       在数据同步中，MongoShake支持表级别和文档级别的并发。然而，id级别的并发要求数据库中没有唯一索引约束，而表级别并发在表数量较少或分布不均的情况下性能不佳。因此，MongoShake提供了写入前的冲突检测功能，以解决表内唯一键冲突。目前，MongoShake仅支持唯一索引类型，不支持前缀索引、稀疏索引、TTL索引等其他索引。

       冲突检测功能的前提是MongoDB Schema一致，且不监听Oplog的System.indexes表改动。此外，MongoShake在同步过程中对索引的操作可能引发异常，如后台创建索引期间的写请求、前台创建索引导致的用户请求阻塞以及数据不一致情况下的处理方式。

       为了支持冲突检测，MongoShake修改了MongoDB内核，使其在Oplog中包含uk字段，标识涉及的唯一索引信息。处理流程包括将连续的oplog打包成batch，分析依赖关系并划分成多个段，以及对段内数据进行并发写入和段间顺序写入。存在依赖关系的oplog将被拆分到两个段中，以确保段内并发和段间顺序执行。

       通过插入barrier或基于关系依赖图进行拆分，MongoShake支持数据的并发处理和依赖关系的管理，从而提高数据同步性能。扩展应用场景包括修改数据异步刷盘场景，如个人属性、商品属性、订单信息和评论信息的修改等。对于微博评论内容，可以采用消息队列异步刷盘方式，通过分区和串行化处理实现高效的并发性能。

       欲了解更多分布式应用系统架构设计与实践内容，欢迎关注公众号：互联网架构师之路，获取最新架构材料。

MongoDB、Hbase、Redis 的优劣势及应用场景介绍

       NoSQL数据库在大数据时代的崛起，使其成为替代传统关系型数据库的有力选择。在面对快速增长的数据规模和复杂数据模型时，NoSQL凭借其易于扩展、大数据量处理与高性能以及灵活的数据模型，成功占据了数据库领域的主导地位。NoSQL数据库主要分为四大类：键值存储数据库、文档型数据库、列存储数据库和图形数据库，它们在实际应用中往往呈现出混合型特征。

       在NoSQL数据库中，MongoDB、Hbase、Redis是主流且具有代表性的解决方案。

       MongoDB是一款高性能、开源、无模式的文档型数据库，使用C++开发。它适用于替代传统关系型数据库或键/值存储方式，尤其在实时数据存储、非结构化数据处理和高伸缩性场景中表现出色。

       MongoDB的核心优势包括：

       更高的写负载与插入速度。

       处理大规模单表数据的能力，通过分割表实现。

       高可用性，实现节点故障转移。

       快速查询，支持二维空间索引。

       对非结构化数据的适应性强，添加新字段不影响旧表格。

       MongoDB的缺点主要集中在事务支持缺失、存储空间使用效率和维护工具的成熟度上。

       HBase是Apache Hadoop的一个子项目，基于Java实现，依托HDFS作为底层存储。它适合bigtable类型的数据存储，具备大容量、历史版本查询和水平切分扩展能力。然而，HBase在Java开发环境下配置较为复杂，API体验相对较差，且存在内存占用大、读取性能受限的问题。

       Redis是一个使用ANSI C语言编写的、支持网络、可内存持久化的Key-Value数据库，提供多种语言的API。Redis的核心优势包括丰富的数据结构、事务功能、高速读写性能。然而，Redis在持久化方案和内存管理上存在一定的限制，例如，集群方案的架构问题、快照与AOF持久化方式的性能影响，以及数据存储依赖内存，限制了存储规模。

       Redis适用于数据变化快、数据库大小预知且内存容量充足的应用场景，如微博、数据分析、实时数据搜集与实时通讯。

       MongoDB、Hbase、Redis分别在不同场景下展现出独特的价值与优势。选择适合的NoSQL数据库取决于具体的应用需求、数据模型、性能目标以及可扩展性需求。正确的选择和使用NoSQL数据库能够显著提升数据处理的效率和灵活性。

redis和mongodb哪个简单

       redis、memcahce 比较相似，但与 mongodb 完全不同，几乎没有可比性。

       æ€»çš„来说 redis/memcache 是基于内存的，讲究的是性能，多用作缓存层，比如说存放session。而 mongodb 是面向文档的，存储的是类似JSON的非结构化数据，查询起来非常方便，开发效率高，比较类似传统SQL关系型数据库。

       ä»Žä»¥ä¸‹å‡ ä¸ªç»´åº¦ï¼Œå¯¹redis、memcache、mongoDB 做了对比：

       ä½“积

       Redis是一个基于内存的键值数据库，它由C语言实现的，以单线程异步的方式工作，与Nginx/ NodeJS工作原理近似。所以文件非常小。编绎出来的主文件还不到 2Mb，在 Linux 服务器上初始只需要占用1Mb左右的内存。

       Mongodb安装包则要大的多，跟mySQL差不多，都是百兆级的。

       æ€§èƒ½

       éƒ½æ¯”较高，性能对我们来说应该都不是瓶颈

       æ€»ä½“来讲，TPS方面redis和memcache差不多，要大于mongodb

       æ“ä½œçš„便利性

       memcache数据结构单一

       redis丰富一些，数据操作方面，redis更好一些，较少的网络IO次数

       mongodb支持丰富的数据表达，索引，最类似关系型数据库，支持的查询语言非常丰富

       æŽ¨èå­¦ä¹ ã€Špython教程》

       å†…存空间的大小和数据量的大小

       redis在2.0版本后增加了自己的VM特性，突破物理内存的限制；可以对key value设置过期时间（类似memcache）

       memcache可以修改最大可用内存,采用LRU算法

       mongoDB适合大数据量的存储，依赖操作系统VM做内存管理，吃内存也比较厉害，服务不要和别的服务在一起

       å¯ç”¨æ€§ï¼ˆå•ç‚¹é—®é¢˜ï¼‰

       å¯¹äºŽå•ç‚¹é—®é¢˜ï¼Œ

       redis，依赖客户端来实现分布式读写；主从复制时，每次从节点重新连接主节点都要依赖整个快照,无增量复制，因性能和效率问题，

       æ‰€ä»¥å•ç‚¹é—®é¢˜æ¯”较复杂；不支持自动sharding,需要依赖程序设定一致hash 机制。

       ä¸€ç§æ›¿ä»£æ–¹æ¡ˆæ˜¯ï¼Œä¸ç”¨redis本身的复制机制，采用自己做主动复制（多份存储），或者改成增量复制的方式（需要自己实现），一致性问题和性能的权衡

       Memcache本身没有数据冗余机制，也没必要；对于故障预防，采用依赖成熟的hash或者环状的算法，解决单点故障引起的抖动问题。

       mongoDB支持master-slave,replicaset（内部采用paxos选举算法，自动故障恢复）,auto sharding机制，对客户端屏蔽了故障转移和切分机制。

       å¯é æ€§ï¼ˆæŒä¹…化）

       å¯¹äºŽæ•°æ®æŒä¹…化和数据恢复，

       redis支持（快照、AOF）：依赖快照进行持久化，aof增强了可靠性的同时，对性能有所影响

       memcache不支持，通常用在做缓存,提升性能；

       MongoDB从1.8版本开始采用binlog方式支持持久化的可靠性，备份还原方法

       7.数据一致性（事务支持）

       Memcache 在并发场景下，用cas保证一致性

       redis事务支持比较弱，只能保证事务中的每个操作连续执行

       mongoDB不支持事务

       8.数据分析

       mongoDB内置了数据分析的功能(mapreduce),其他不支持

       9.应用场景

       redis：数据量较小的更性能操作和运算上

       memcache：用于在动态系统中减少数据库负载，提升性能;做缓存，提高性能（适合读多写少，对于数据量比较大，可以采用sharding）

       MongoDB:主要解决海量数据的访问效率问题。

像redis和mongodb等内存型数据库服务器重启数据丢失的问题

       RDB主要用于备份数据和优化数据恢复过程。

       如果不配置save，服务启动时默认会配置一个空的保存策略。

       RDB的工作原理涉及在后台将Redis内存中的数据定期持久化到磁盘上的RDB文件中。

       在深入源码剖析前，让我们先了解与RDB相关的变量。

       启动时加载RDB文件的流程是：从配置文件中读取保存策略，启动后台子进程执行RDB文件加载。

       定时启动子进程保存RDB文件的流程为：根据配置的保存策略，启动子进程生成RDB文件。

       在子进程处理完毕后，主进程会进行一系列的处理以确保数据正确恢复。

       在diskless模式下，RDB处理主要涉及全量同步。这一模式下，启动子进程处理的核心区别在于生成RDB文件的方式。

       在diskless模式中，父进程接收RDB内容时会设置特定的handle，并使用rdbPipeReadHandler进行处理。

       处理完RDB文件后，父进程会处理子进程结束的事件，确保数据一致性。