1.[stl 源码分析] std::list::size 时间复杂度
2.线ç¨å®å
¨çlistä¹synchronizedListåCopyOnWriteArrayList
3.C#浅析C# List实现原理
4.深入理解 Python 虚拟机:列表(list)的类源实现原理及源码剖析
5.关于 List 的线程不安全
6.golang源码系列---手把手带你看list实现
[stl 源码分析] std::list::size 时间复杂度
在对Linux上C++项目进行性能压测时,一个意外的码l码发现是std::list::size方法的时间复杂度并非预期的高效。原来,类源这个接口在较低版本的码l码g++(如4.8.2)中是通过循环遍历整个列表来计算大小的,这导致了明显的类源性能瓶颈。@NagiS的码l码qq星溯源码提示揭示了这个问题可能与g++版本有关。
在功能测试阶段,类源CPU负载始终居高不下,码l码通过火焰图分析,类源std::list::size的码l码调用占据了大部分执行时间。火焰图的类源使用帮助我们深入了解了这一问题。
查阅相关测试源码(源自cplusplus.com),码l码在较低版本的类源g++中,std::list通过逐个节点遍历来获取列表长度,码l码这种操作无疑增加了时间复杂度。类源然而,对于更新的g++版本(如9),如_glibcxx_USE_CXX_ABI宏启用后,list的实现进行了优化。它不再依赖遍历,30秒源码而是利用成员变量_M_size直接存储列表大小,从而将获取大小的时间复杂度提升到了[公式],显著提高了性能。具体实现细节可在github上找到,如在/usr/include/c++/9/bits/目录下的代码。
线ç¨å®å ¨çlistä¹synchronizedListåCopyOnWriteArrayList
å¨ä¸ç¯æç« ä¸æ们已ç»ä»ç»äºå ¶ä»çä¸äºlistéåï¼å¦ArrayListãlinkedlistçãä¸æ¸ æ¥çå¯ä»¥çä¸ä¸ç¯æç« /p/ab5bf7ä½æ¯åArrayListè¿äºä¼åºç°çº¿ç¨ä¸å®å ¨çé®é¢ï¼æ们该ææ ·è§£å³å¢ï¼æ¥ä¸æ¥å°±æ¯è¦ä»ç»æ们线ç¨å®å ¨çlistéåsynchronizedListåCopyOnWriteArrayListã
synchronizedListç使ç¨æ¹å¼ï¼
ä»ä¸é¢ç使ç¨æ¹å¼ä¸æ们å¯ä»¥çåºï¼synchronizedListæ¯å°Listéåä½ä¸ºåæ°æ¥å建çsynchronizedListéåã
synchronizedList为ä»ä¹æ¯çº¿ç¨å®å ¨çå¢ï¼
æ们å æ¥çä¸ä¸ä»çæºç ï¼
æ们大æ¦è´´äºä¸äºå¸¸ç¨æ¹æ³çæºç ï¼ä»ä¸é¢çæºç ä¸æ们å¯ä»¥çåºï¼å ¶å®synchronizedList线ç¨å®å ¨çåå æ¯å 为å®å ä¹å¨æ¯ä¸ªæ¹æ³ä¸é½ä½¿ç¨äºsynchronizedåæ¥éã
synchronizedListå®æ¹ææ¡£ä¸ç»åºç使ç¨æ¹å¼æ¯ä»¥ä¸æ¹å¼ï¼
å¨ä»¥ä¸æºç ä¸æ们å¯ä»¥çåºï¼å®æ¹ææ¡£æ¯å»ºè®®æ们å¨éåçæ¶åå éå¤ççãä½æ¯æ¢ç¶å é¨æ¹æ³ä»¥åå äºéï¼ä¸ºä»ä¹å¨éåçæ¶åè¿éè¦å éå¢ï¼æ们æ¥çä¸ä¸å®çéåæ¹æ³ï¼
ä»ä»¥ä¸æºç å¯ä»¥çåºï¼è½ç¶å é¨æ¹æ³ä¸å¤§é¨åé½å·²ç»å äºéï¼ä½æ¯iteratoræ¹æ³å´æ²¡æå éå¤çãé£ä¹å¦ææ们å¨éåçæ¶åä¸å éä¼å¯¼è´ä»ä¹é®é¢å¢ï¼
è¯æ³æ们å¨éåçæ¶åï¼ä¸å éçæ åµä¸ï¼å¦ææ¤æ¶æå ¶ä»çº¿ç¨å¯¹æ¤éåè¿è¡addæè removeæä½ï¼é£ä¹è¿ä¸ªæ¶åå°±ä¼å¯¼è´æ°æ®ä¸¢å¤±æè æ¯èæ°æ®çé®é¢ï¼æ以å¦ææ们对æ°æ®çè¦æ±è¾é«ï¼æ³è¦é¿å è¿æ¹é¢é®é¢çè¯ï¼å¨éåçæ¶åä¹éè¦å éè¿è¡å¤çã
ä½æ¯æ¢ç¶æ¯ä½¿ç¨synchronizedå éè¿è¡å¤ççï¼é£è¯å®é¿å ä¸äºä¸äºéå¼éãæ没ææçæ´å¥½çæ¹å¼å¢ï¼é£å°±æ¯æ们å¦ä¸ä¸ªä¸»è¦ç并åéåCopyOnWriteArrayListã
CopyOnWriteArrayListæ¯å¨æ§è¡ä¿®æ¹æä½æ¶ï¼copyä¸ä»½æ°çæ°ç»è¿è¡ç¸å ³çæä½ï¼å¨æ§è¡å®ä¿®æ¹æä½åå°åæ¥éåæåæ°çéåæ¥å®æä¿®æ¹æä½ãå ·ä½æºç å¦ä¸ï¼
ä»ä»¥ä¸æºç æ们å¯ä»¥çåºï¼å®å¨æ§è¡addæ¹æ³åremoveæ¹æ³çæ¶åï¼åå«å建äºä¸ä¸ªå½åæ°ç»é¿åº¦+1å-1çæ°ç»ï¼å°æ°æ®copyå°æ°æ°ç»ä¸ï¼ç¶åæ§è¡ä¿®æ¹æä½ãä¿®æ¹å®ä¹åè°ç¨setArrayæ¹æ³æ¥æåæ°çæ°ç»ãå¨æ´ä¸ªè¿ç¨ä¸æ¯ä½¿ç¨ReentrantLockå¯éå ¥éæ¥ä¿è¯ä¸ä¼æå¤ä¸ªçº¿ç¨åæ¶copyä¸ä¸ªæ°çæ°ç»ï¼ä»èé æçæ··ä¹±ã并ä¸ä½¿ç¨volatile修饰æ°ç»æ¥ä¿è¯ä¿®æ¹åçå¯è§æ§ã读åæä½äºä¸å½±åï¼æ以å¨æ´ä¸ªè¿ç¨ä¸æ´ä¸ªæçæ¯é常é«çã
synchronizedListéå对æ°æ®è¦æ±è¾é«çæ åµï¼ä½æ¯å 为读åå ¨é½å éï¼æææçè¾ä½ã
CopyOnWriteArrayListæçè¾é«ï¼éå读å¤åå°çåºæ¯ï¼å 为å¨è¯»çæ¶å读çæ¯æ§éåï¼æ以å®çå®æ¶æ§ä¸é«ã
C#浅析C# List实现原理
C# List 实现原理详解
在面试中,我被问到List的初始化容量问题,暴露了自己在C#编程中的不足。List作为C#中最常见的可伸缩数组组件,常用于替代数组,其可扩展性避免了手动分配数组大小的麻烦,甚至有时作为链表使用。那么,它底层的工作机制如何呢?我们来深入了解其添加、插入、删除、索引操作以及排序等方面的实现。Add操作
在添加元素前,List会调用EnsureCapacity确保有足够的删除公司源码空间,如果容量不够,会按需扩容,初始容量为4,每次扩张都是翻倍:4, 8, , ...。然而,List使用数组作为底层数据结构,虽然索引访问快,扩容时会产生新的数组,造成内存浪费和GC压力。Insert操作
插入操作涉及Array.Copy,将指定索引后的元素后移,时间复杂度为O(n)。这可能导致性能降低和内存冗余。Remove操作
删除元素时,同样通过Array.Copy将指定索引后的元素前移,O(n)复杂度。删除元素后,后续元素需要移动,增加了内存消耗和GC负担。poppler源码下载索引访问与Find
直接使用数组下标访问速度快,但Find的线性查找可能导致O(n)效率。在Unity中,foreach可能导致额外的GC,尽管Unity5.5已解决这个问题,但仍需注意foreach可能增加垃圾对象。Clear操作
Clear并不会删除数组,仅清零元素并设_size为0,表示容量为0,避免内存浪费。foreach与Sort
foreach在Unity中可能增加额外GC,但已在新版本中解决。List的Sort使用快速排序,时间复杂度为O(nlogn)。总结与参考
深入理解List的实现原理,对提高C#编程效率至关重要。参考《Unity3D高级编程之进阶主程》第一章和List源码(list.cs),以优化代码和避免不必要的性能损失。深入理解 Python 虚拟机:列表(list)的ZB盒子源码实现原理及源码剖析
深入理解 Python 虚拟机:列表(list)的实现原理及源码剖析
在 Python 虚拟机中,列表作为基本数据类型之一,能够存储各种类型的数据并支持多种操作。本文将详细解析列表在 cpython 实现中的结构和关键操作的源代码。
列表结构解析
在 cpython 实现中,列表由一系列元素构成,每个元素由一个指针指向 Python 对象。列表还包含一个表示元素数量的字段,一个用于存储列表长度的字段,以及一个用于存储对象引用计数的字段。
创建和扩容机制
创建列表时,不会直接分配内存,而是将需要释放的内存地址保存在数组中,以便下次创建列表时复用。列表扩容时,通过检查当前容量并相应地增加,以适应新添加的元素。
插入和删除操作
插入元素时,将插入位置及其后元素后移一位。删除元素时,将后续元素前移,直至空位。
复制操作
列表复制分为浅拷贝和深拷贝。浅拷贝仅复制对象的指针,改变原始列表中的元素会影响复制后的列表。深拷贝则复制对象及其内部内容,确保复制后的列表独立于原始列表。
列表清理和反转
清空列表时,将元素数量字段设置为零,并减少所有对象的引用计数,以便在计数为零时自动释放内存。反转列表使用交换元素指针实现,不改变元素值。
总结
本文深入介绍了 Python 列表的内部实现,包括创建、扩容、插入、删除、复制、清理和反转等操作的源代码。理解这些细节有助于更高效地编写 Python 代码并深入掌握 Python 的内部机制。
关于 List 的线程不安全
讨论 List 数据结构在多线程环境下的安全性问题。首先,答案是否定的,因为 List 类在 Java 中并未提供线程安全的实现,以牺牲一致性保证了效率。以 ArrayList 为例,其核心方法 add(E e) 未加锁,如源码所示:
public boolean add(E e) { ensureCapacityInternal(size + 1); // Increments modCount!! elementData[size++] = e; return true; }
为提升性能和并发性,未对并发操作进行同步处理,从而可能导致并发修改异常(ConcurrentModificationException)。通过在模拟代码中执行并发添加操作即可复现该异常。
针对此问题,有以下几种解决策略:
1. **使用 Vector**:Vector 类提供了线程安全的 add 方法,通过 synchronized 关键字对方法进行同步,确保并发安全。但其性能表现低于无锁的实现,特别是在高并发场景下。
2. **利用 Collections.synchronizedList()**:此方法通过将非线程安全的 List 实例包装为同步的 List 实例,提供了一个简单的解决方式。通过以下代码即可实现:
java
List list = Collections.synchronizedList(new ArrayList());
3. **采用 CopyOnWriteArrayList**:此类在添加元素时不会修改原有数据结构,而是在添加后创建新的数据结构副本。核心源码揭示了这一实现机制,具体为使用 ReentrantLock 上锁,复制现有数组,添加元素至新数组,并最终释放锁。
综上所述,解决 List 类线程不安全问题的常见策略包括使用 Vector、Collections.synchronizedList() 方法或 CopyOnWriteArrayList 类。每种方法都有其适用场景和性能考量,开发者应根据具体需求选择合适的解决方案。
golang源码系列---手把手带你看list实现
本文提供Golang源码中双向链表实现的详细解析。
双向链表结构包含头节点对象root和链表长度,无需遍历获取长度,链表节点额外设指针指向链表,方便信息获取。
创建双向链表使用`list.New`函数,初始化链表。
`Init`方法可初始化或清空链表,链表结构内含占位头结点。
`Len`方法返回链表长度,由结构体字段存储,无需遍历。
`Front`与`Back`分别获取头结点和尾结点。
`InsertBefore`与`InsertAfter`方法在指定节点前后插入新节点,底层调用`insertValue`实现。
`PushFront`与`PushBack`方法分别在链表头部和尾部插入新节点。
`MoveToBack`与`MoveToFront`内部调用`move`方法,将节点移动至特定位置。
`MoveBefore`与`MoveAfter`将节点移动至指定节点前后。
`PushBackList`与`PushFrontList`方法分别在链表尾部或头部插入其他链表节点。
例如,原始链表A1 - A2 - A3与链表B1 - B2 - B3,`PushFrontList`结果为B1 - B2 - B3 - A1 - A2 - A3,`PushBackList`结果为A1 - A2 - A3 - B1 - B2 - B3。
Hadoop 的 Lists.newArrayList和正常的 new ArrayList()有什么区别?
这个方法在google工具类中也有,源码内容如下public static <E> ArrayList<E> newArrayList() {return new ArrayList();
}
内容是差不多的,唯一的好处就是可以少写泛型的部分。
这个方法有着丰富的重载:
Lists.newArrayList(E... elements)Lists.newArrayList(Iterable<? extends E> elements)
Lists.newArrayList(Iterator<? extends E> elements)
还有很多前缀扩展方法:
List<T> exactly = Lists.newArrayListWithCapacity();List<T> approx = Lists.newArrayListWithExpectedSize();
使得函数名变得更有可读性,一眼就看出方法的作用。
但是查看源码发现官方的注解里头是这么写的:
Creates a mutable, empty ArrayList instance (for Java 6 and earlier).
创建一个可变的空ArrayList(适用于java 6及之前的版本)
Note for Java 7 and later: this method is now unnecessary and should
be treated as deprecated. Instead, use the ArrayList constructor
directly, taking advantage of the new "diamond" syntax.
针对java 7及之后版本,本方法已不再有必要,应视之为过时的方法。取而代之你可以直接使用ArrayList的构造器,充分利用钻石运算符<>(可自动推断类型)。