1.如何系统地自学 Python
2.9987 用The底层ano实现Nesterov momentum的正确姿势
3.Bert4keras开源框架源码解析（一）概述
4.python能做什么

如何系统地自学 Python

       æ˜¯å¦éžå¸¸æƒ³å­¦å¥½ Python，一方面被琐事纠缠，一直没能动手，另一方面，担心学习成本太高，心里默默敲着退堂鼓？

       å¹¸è¿çš„是，Python 是一门初学者友好的编程语言，想要完全掌握它，你不必花上太多的时间和精力。

       Python 的设计哲学之一就是简单易学，体现在两个方面：

       è¯­æ³•ç®€æ´æ˜Žäº†ï¼šç›¸å¯¹ Ruby 和 Perl，它的语法特性不多不少，大多数都很简单直接，不玩儿玄学。

       åˆ‡å…¥ç‚¹å¾ˆå¤šï¼šPython 可以让你可以做很多事情，科学计算和数据分析、爬虫、Web 网站、游戏、命令行实用工具等等等等，总有一个是你感兴趣并且愿意投入时间的。

       åºŸè¯ä¸å¤šè¯´ï¼Œå­¦ä¼šä¸€é—¨è¯­è¨€çš„捷径只有一个： Getting Started

       ¶ 起步阶段

       ä»»ä½•ä¸€ç§ç¼–程语言都包含两个部分：硬知识和软知识，起步阶段的主要任务是掌握硬知识。

       ç¡¬çŸ¥è¯†

       â€œç¡¬çŸ¥è¯†â€æŒ‡çš„是编程语言的语法、算法和数据结构、编程范式等，例如：变量和类型、循环语句、分支、函数、类。这部分知识也是具有普适性的，看上去是掌握了一种语法，实际是建立了一种思维。例如：让一个 Java 程序员去学习 Python，他可以很快的将 Java 中的学到的面向对象的知识 map 到 Python 中来，因此能够快速掌握 Python 中面向对象的特性。

       å¦‚果你是刚开始学习编程的新手，一本可靠的语法书是非常重要的。它看上去可能非常枯燥乏味，但对于建立稳固的编程思维是必不可少。

       ä¸‹é¢åˆ—出了一些适合初学者入门的教学材料：

       å»–雪峰的 Python 教程    Python 中文教程的翘楚，专为刚刚步入程序世界的小白打造。    

       ç¬¨æ–¹æ³•å­¦ Python    è¿™æœ¬ä¹¦åœ¨è®²è§£ Python 的语法成分时，还附带大量可实践的例子，非常适合快速起步。    

       The Hitchhiker’s Guide to Python!    è¿™æœ¬æŒ‡å—着重于 Python 的最佳实践，不管你是 Python 专家还是新手，都能获得极大的帮助。    

       Python 的哲学：

用一种方法，最好是只有一种方法来做一件事。

       å­¦ä¹ ä¹Ÿæ˜¯ä¸€æ ·ï¼Œè™½ç„¶æŽ¨èäº†å¤šç§å­¦ä¹ èµ„料，但实际学习的时候，最好只选择其中的一个，坚持看完。

       å¿…要的时候，可能需要阅读讲解数据结构和算法的书，这些知识对于理解和使用 Python 中的对象模型有着很大的帮助。

       è½¯çŸ¥è¯†

       â€œè½¯çŸ¥è¯†â€åˆ™æ˜¯ç‰¹å®šè¯­è¨€çŽ¯å¢ƒä¸‹çš„语法技巧、类库的使用、IDE的选择等等。这一部分，即使完全不了解不会使用，也不会妨碍你去编程，只不过写出的程序，看上去显得“傻”了些。

       å¯¹è¿™äº›çŸ¥è¯†çš„学习，取决于你尝试解决的问题的领域和深度。对初学者而言，起步阶段极易走火，或者在选择 Python 版本时徘徊不决，一会儿看 2.7 一会儿又转到 3.0，或者徜徉在类库的大海中无法自拔，Scrapy，Numpy，Django 什么都要试试，或者参与编辑器圣战、大括号缩进探究、操作系统辩论赛等无意义活动，或者整天跪舔语法糖，老想着怎么一行代码把所有的事情做完，或者去构想圣洁的性能安全通用性健壮性全部满分的解决方案。

       å¾ˆå¤šâ€œå¤§ç‰›â€éƒ½ä¼šå‘Šè¯«åˆå­¦è€…，用这个用那个，少走弯路，这样反而把初学者推向了真正的弯路。

       è¿˜ä¸å¦‚告诉初学者，学习本来就是个需要你去走弯路出 Bug，只能脚踏实地，没有奇迹只有狗屎的过程。

       é€‰æ‹©ä¸€ä¸ªæ–¹å‘先走下去，哪怕脏丑差，走不动了再看看有没有更好的解决途径。

       è‡ªå·±èµ°äº†å¼¯è·¯ï¼Œä½ æ‰çŸ¥é“这么做的好处，才能理解为什么人们可以手写状态机去匹配却偏要发明正则表达式，为什么面向过程可以解决却偏要面向对象，为什么我可以操纵每一根指针却偏要自动管理内存，为什么我可以嵌套回调却偏要用 Promise...

       æ›´é‡è¦çš„是，你会明白，高层次的解决方法都是对低层次的封装，并不是任何情况下都是最有效最合适的。

       æŠ€æœ¯æ¶Œè¿›å°±åƒæ³¢æµªä¸€æ ·ï¼Œé‚£äº›é™ˆæ—§çš„封存已久的技术，消退了迟早还会涌回的。就像现在移动端应用、手游和 HTML5 的火热，某些方面不正在重演过去 PC 的那些历史么？

       å› æ­¤ï¼Œä¸è¦æ‹…心自己走错路误了终身，坚持并保持进步才是正道。

       èµ·æ­¥é˜¶æ®µçš„核心任务是掌握硬知识，软知识做适当了解，有了稳固的根，粗壮的枝干，才能长出浓密的叶子，结出甜美的果实。

       ¶ 发展阶段

       å®Œæˆäº†åŸºç¡€çŸ¥è¯†çš„学习，必定会感到一阵空虚，怀疑这些语法知识是不是真的有用。

       æ²¡é”™ï¼Œä½ çš„怀疑是非常正确的。要让 Python 发挥出它的价值，当然不能停留在语法层面。

       å‘展阶段的核心任务，就是“跳出 Python，拥抱世界”。

       åœ¨ä½ é¢å‰ä¼šæœ‰å¤šä¸ªåˆ†æ”¯ï¼šç§‘学计算和数据分析、爬虫、Web 网站、游戏、命令行实用工具等等等等，这些都不是仅仅知道 Python 语法就能解决的问题。

       æ‹¿çˆ¬è™«ä¸¾ä¾‹ï¼Œå¦‚果你对计算机网络，HTTP 协议，HTML，文本编码，JSON 一无所知，你能做好这部分的工作么？而你在起步阶段的基础知识也同样重要，如果你连循环递归怎么写都还要查文档，连 BFS 都不知道怎么实现，这就像工匠做石凳每次起锤都要思考锤子怎么使用一样，非常低效。

       åœ¨è¿™ä¸ªé˜¶æ®µï¼Œä¸å¯é¿å…è¦æŽ¥è§¦å¤§é‡ç±»åº“，阅读大量书籍的。

       ç±»åº“方面

       ã€ŒAwesome Python 项目」：vinta/awesome-python · GitHub

       è¿™é‡Œåˆ—出了你在尝试解决各种实际问题时，Python 社区已有的工具型类库，如下图所示：

       è¯·ç‚¹å‡»è¾“入图片描述

       vinta/awesome-python

       ä½ å¯ä»¥æŒ‰ç…§å®žé™…需求，寻找你需要的类库。

       è‡³äºŽç›¸å…³ç±»åº“如何使用，必须掌握的技能便是阅读文档。由于开源社区大多数文档都是英文写成的，所以，英语不好的同学，需要恶补下。

       ä¹¦ç±æ–¹é¢

       è¿™é‡Œæˆ‘只列出一些我觉得比较有一些帮助的书籍，详细的请看豆瓣的书评：

       ç§‘学和数据分析：

       ❖「集体智慧编程」：集体智慧编程 (豆瓣)

       ❖「数学之美」：数学之美 (豆瓣)

       ❖「统计学习方法」：统计学习方法 (豆瓣)

       ❖「Pattern Recognition And Machine Learning」：Pattern Recognition And Machine Learning (豆瓣)

       ❖「数据科学实战」：数据科学实战 (豆瓣)

       ❖「数据检索导论」：信息检索导论 (豆瓣)

       çˆ¬è™«ï¼š

       ❖「HTTP 权威指南」：HTTP权威指南 (豆瓣)

       Web 网站：

       ❖「HTML & CSS 设计与构建网站」：HTML & CSS设计与构建网站 (豆瓣)

       ...

       åˆ—到这里已经不需要继续了。

       èªæ˜Žçš„你一定会发现上面的大部分书籍，并不是讲 Python 的书，而更多的是专业知识。

       äº‹å®žä¸Šï¼Œè¿™é‡Œæ‰€è°““跳出 Python，拥抱世界”，其实是发现 Python 和专业知识相结合，能够解决很多实际问题。这个阶段能走到什么程度，更多的取决于自己的专业知识。

       ¶ 深入阶段

       è¿™ä¸ªé˜¶æ®µçš„你，对 Python 几乎了如指掌，那么你一定知道 Python 是用 C 语言实现的。

       å¯æ˜¯ Python 对象的“动态特征”是怎么用相对底层，连自动内存管理都没有的C语言实现的呢？这时候就不能停留在表面了，勇敢的拆开 Python 的黑盒子，深入到语言的内部，去看它的历史，读它的源码，才能真正理解它的设计思路。

       è¿™é‡ŒæŽ¨èä¸€æœ¬ä¹¦ï¼š

       ã€ŒPython 源码剖析」：Python源码剖析 (豆瓣)

       è¿™æœ¬ä¹¦æŠŠ Python 源码中最核心的部分，给出了详细的阐释，不过阅读此书需要对 C 语言内存模型和指针有着很好的理解。

       å¦å¤–，Python 本身是一门杂糅多种范式的动态语言，也就是说，相对于 C 的过程式、 Haskell 等的函数式、Java 基于类的面向对象而言，它都不够纯粹。换而言之，编程语言的“道学”，在 Python 中只能有限的体悟。学习某种编程范式时，从那些面向这种范式更加纯粹的语言出发，才能有更深刻的理解，也能了解到 Python 语言的根源。

       è¿™é‡ŒæŽ¨èä¸€é—¨å…¬å¼€è¯¾

       ã€Œç¼–程范式」：斯坦福大学公开课：编程范式

       è®²å¸ˆé«˜å±‹å»ºç“´ï¼Œä»Žå„种编程范式的代表语言出发，给出了每种编程范式最核心的思想。

       å€¼å¾—一提的是，这门课程对C语言有非常深入的讲解，例如C语言的范型和内存管理。这些知识，对阅读 Python 源码也有大有帮助。

       Python 的许多最佳实践都隐藏在那些众所周知的框架和类库中，例如 Django、Tornado 等等。在它们的源代码中淘金，也是个不错的选择。

       ¶  æœ€åŽçš„话

       æ¯ä¸ªäººå­¦ç¼–程的道路都是不一样的，其实大都殊途同归，没有迷路的人只有不能坚持的人！

       å¸Œæœ›æƒ³å­¦ Python 想学编程的同学，不要犹豫了，看完这篇文章，

       Just Getting Started  ï¼ï¼ï¼

用Theano实现Nesterov momentum的正确姿势

       这篇文章着重分享了如何在Theano环境中正确实现Nesterov momentum，尤其是源码源代在处理双向递归神经网络（bidirectional RNN）时遇到的问题与解决方案。首先，码底我们理解了深度神经网络（DNN）和RNN的层框基本结构，以及梯度下降法和Nesterov momentum的底层概念，这些是源码源代源码call graph分析神经网络训练的基础。

       在使用The码底ano训练神经网络时，通常需要构建一个符号运算图来表示网络结构，层框包括输入、底层参数共享内存和递归计算。源码源代Nesterov惯性法的码底实现关键在于如何正确处理网络参数的更新，避免不必要的层框变量复制和扫描运算符的增加。在处理双向RNN时，底层vueuse源码分析作者发现原始实现中过多的源码源代扫描运算符导致编译时间剧增，通过对比Lasagne的码底源代码，找到了问题所在并进行优化。

       正确的实现Nesterov momentum的步骤是，存储奇数步的参数值并在偶数步处求梯度，从而避免了变量的git源码基础重复存储。这在Theano代码中表现为：

       // 正确的实现

       params = ... # 偶数步的参数

       params_grad = ... # 在偶数步求得的梯度

       params = params - learning_rate * params_grad

       通过这种方式，作者成功地将编译时间从几个小时缩短到了几分钟，从而提高了训练效率。这个经历提醒我们，深入理解神经网络的数学原理和工具的底层机制对于高效实现至关重要。

Bert4keras开源框架源码解析（一）概述

       Bert4keras是linux 源码学习苏剑林大佬开源的一个文本预训练框架，相较于谷歌开源的bert源码，它更为简洁，对理解BERT以及相关预训练技术提供了很大的帮助。

       源码地址如下：

       代码主要分为三个部分，分别在三个文件夹中。

       在bert4keras文件夹中，集合源码汇总实现了BERT以及相关预训练技术的算法模型架构。examples文件夹则是基于预训练好的语言模型进行的一系列fine-tune实验任务。pretraining文件夹则负责从头预训练语言模型的实现。

       整体代码结构清晰，主要分为以下几部分：

       backend.py文件主要实现了一些自定义组件，例如各种激活函数。这个部分之所以命名为backend（后端），是因为keras框架基于模块化的高级深度学习开发框架，它并不仅仅依赖于一种底层张量库，而是对各种底层张量库进行高层模块封装，让底层库负责诸如张量积、卷积等操作。例如，底层库可能选择TensorFlow或Theano。

       在layers.py文件中，实现了自定义层，如embedding层、多头自注意力层等。

       optimizers.py文件则实现了优化器的定义。

       snippets.py文件包含了与算法模型无关的辅助函数，例如字符串格式转换、文件读取等。

       tokenizers.py文件负责分词器的实现。

       而model.py文件则是框架的核心，实现了BERT及相关预训练模型的算法架构。

       后续文章将详细解析这些代码文件，期待与大家共同进步。

python能做什么

       python的用途：

       Python的优势有必要作为第一步去了解，Python作为面向对象的脚本语言，优势就是数据处理和挖掘，这也注定了它和AI、互联网技术的紧密联系。

       ç½‘络爬虫。顾名思义，从互联网上爬取信息的脚本，主要由urllib、requests等库编写，实用性很强，小编就曾写过爬取5w数据量的爬虫。在大数据风靡的时代，爬虫绝对是新秀。

       äººå·¥æ™ºèƒ½ã€‚AI使Python一战成名，AI的实现可以通过tensorflow库。神经网络的核心在于激活函数、损失函数和数据，数据可以通过爬虫获得。训练时大量的数据运算又是Python的show time。

扩展资料：

       Python开发人员尽量避开不成熟或者不重要的优化。一些针对非重要部位的加快运行速度的补丁通常不会被合并到Python内。在某些对运行速度要求很高的情况，Python设计师倾向于使用JIT技术，或者用使用C/C++语言改写这部分程序。可用的JIT技术是PyPy。

       Python是完全面向对象的语言。函数、模块、数字、字符串都是对象。并且完全支持继承、重载、派生、多继承，有益于增强源代码的复用性。

       Python支持重载运算符和动态类型。相对于Lisp这种传统的函数式编程语言，Python对函数式设计只提供了有限的支持。有两个标准库(functools, itertools)提供了Haskell和Standard ML中久经考验的函数式程序设计工具。

       å‚考资料来源：百度百科-Python