【直播软件源码骗局】【killerrat源码】【uctcpip源码】golang 源码编译

1.golang Դ?源码????
2.如何编译arm linux的go
3.彻底解决Golang获取当前项目绝对路径问题
4.Golang源码分析Golang如何实现自举(一)
5.让你的Golang项目在IDE里跑起来(Goland使用入门-GOROOT、GOPATH、编译src、源码 pkg、编译bin、源码import)

golang 源码编译

golang Դ?编译直播软件源码骗局????

       大纲

       概述

       chan 是 golang 的核心结构,是源码与其他高级语言区别的显著特色之一,也是编译 goroutine 通信的关键要素。尽管广泛使用,源码但对其深入理解的编译人却不多。本文将从源码编译器的源码视角,全面剖析 channel 的编译用法。

       channel 的源码本质

       从实现角度来看,golang 的编译 channel 实质上是环形队列(ringbuffer)的实现。我们将 chan 称为管理结构,源码channel 中可以放置任何类型的对象,称为元素。

       channel 的使用方法

       我们从 channel 的使用方式入手,详细介绍 channel 的使用方法。

       channel 的创建

       创建 channel 时,用户通常有两种选择:创建带有缓冲区和不带缓冲区的 channel。这对应于 runtime/chan.go 文件中的 makechan 函数。

       channel 入队

       用户使用姿势:对应函数实现为 chansend,位于 runtime/chan.go 文件。

       channel 出队

       用户使用姿势:对应函数分别是 chanrecv1 和 chanrecv2,位于 runtime/chan.go 文件。

       结合 select 语句

       用户使用姿势:对应函数实现为 selectnbsend,位于 runtime/chan.go 文件中。

       结合 for-range 语句

       用户使用姿势:对应使用函数 chanrecv2,位于 runtime/chan.go 文件中。

       源码解析

       以上,我们通过宏观的用户使用姿势,了解了不同使用姿势对应的killerrat源码不同实现函数,接下来将详细分析这些函数的实现。

       makechan 函数

       负责 channel 的创建。在 go 程序中,当我们写类似 v := make(chan int) 的初始化语句时,就会调用不同类型对应的初始化函数,其中 channel 的初始化函数就是 makechen。

       runtime.makechan

       定义原型:

       通过这个,我们可以了解到,声明创建一个 channel 实际上是得到了一个 hchan 的指针,因此 channel 的核心结构就是基于 hchan 实现的。

       其中,t 参数指定元素类型,size 指定 channel 缓冲区槽位数量。如果是带缓冲区的 channel,那么 size 就是槽位数;如果没有指定,那么就是 0。

       makechan 函数执行了以下两件事:

       1. 参数校验:主要是越界或 limit 的校验。

       2. 初始化 hchan:分为三种情况:

       所以,我们看到除了 hchan 结构体本身的内存分配,该结构体初始化的关键在于四个字段:

       hchan 结构

       makechan 函数负责创建了 chan 的核心结构-hchan,接下来我们将详细分析 hchan 结构体本身。

       在 makechan 中,初始化时实际上只初始化了四个核心字段:

       我们使用 channel 时知道,channel 常常会因为两种情况而阻塞:1)投递时没有空间;2)取出时还没有元素。

       从以上描述来看,就涉及到 goroutine 阻塞和 goroutine 唤醒,这个功能与 recvq,sendq 这两个字段有关。

       waitq 类型实际上是一个双向列表的实现,与 linux 中的 LIST 实现非常相似。

       chansend 函数

       chansend 函数是在编译器解析到 c <- x 这样的代码时插入的,本质上就是uctcpip源码把一个用户元素投递到 hchan 的 ringbuffer 中。chansend 调用时,一般用户会遇到两种情况:

       接下来,我们看看 chansend 究竟做了什么。

       当我们在 golang 中执行 c <- x 这样的代码,意图将一个元素投递到 channel 时,实际上调用的是 chansend 函数。这个函数分几个场景来处理,总结来说:

       关于返回值:chansend 返回值标明元素是否成功入队,成功则返回 true,否则 false。

       select 的提前揭秘:

       golang 源代码经过编译会变成类似如下:

       而 selectnbasend 只是一个代理:

       小结:没错,chansend 功能就是这么简单,本质上就是一句话:将元素投递到 channel 中。

       chanrecv 函数

       对应的 golang 语句是 <- c。该函数实现了 channel 的元素出队功能。举个例子,编译对应一般如下:

       golang 语句:

       对应:

       golang 语句(这次的区别在于是否有返回值):

       对应:

       编译器在遇到 <- c 和 v, ok := <- c 的语句时,会换成对应的 chanrecv1,chanrecv2 函数,这两个函数本质上都是一个简单的封装,元素出队的实现函数是 chanrecv,我们详细分析这个函数。

       chanrecv 函数的返回值有两个值,selected,received,其中 selected 一般作为 select 结合的函数返回值,指明是否要进入 select-case 的代码分支,received 表明是否从队列中成功获取到元素,有几种情况:

       selectnbsend 函数

       该函数是 c <- v 结合到 select 时的函数,我们使用 select 的 case 里面如果是一个 chan 的表达式,那么编译器会转换成对应的 selectnbsend 函数,如下:

       对应编译函数逻辑如下:

       selectnbsend 本质上也就是xcos 源码个 chansend 的封装:

       chansend 的内部逻辑上面已经详细说明过,唯一不同的就是 block 参数被赋值为 false,也就是说,在 ringbuffer 没有空间的情况下也不会阻塞,直接返回。划重点:chan 在这里不会切走执行权限。

       selectnbrecv 函数

       该函数是 v := <- c 结合到 select 时的函数,我们使用 select 的 case 里面如果是一个 chan 的表达式,那么编译器会转换成对应的 selectnbsrecv 函数,如下:

       对应编译函数逻辑如下:

       selectnbrecv 本质上也就是个 chanrecv 的封装:

       chanrecv 的内部逻辑上面已经详细说明过,在 ringbuffer 没有元素的情况下也不会阻塞,直接返回。这里不会因此而切走调度权限。

       selectnbrecv2 函数

       该函数是 v, ok = <- c 结合到 select 时的函数,我们使用 select 的 case 里面如果是一个 chan 的表达式,那么编译器会转换成对应的 selectnbrecv2 函数,如下:

       对应编译函数逻辑如下:

       selectnbrecv2 本质上是个 chanrecv 的封装,只不过返回值不一样而已:

       chanrecv 的内部逻辑上面已经详细说明过,在 ringbuffer 没有元素的情况下也不会阻塞,直接返回。这里不会因此而切走调度权限。selectnbrecv2 与 selectnbrecv 函数的不同之处在于还有一个 ok 参数指明是否获取到了元素。

       chanrecv2 函数

       chan 可以与 for-range 结合使用,编译器会识别这种语法。如下:

       这个本质上是个 for 循环,我们知道 for 循环关键是拆分成三个部分:初始化、条件判断、条件递进。

       那么在我们 for-range 和 chan 结合起来之后,这三个关键因素又是怎么理解的呢?简述如下:

       init 初始化:无

       condition 条件判断:

       increment 条件递进:无

       当编译器遇到上面 chan 结合 for-range 写法时,会转换成 chanrecv2 的函数调用。目的是从 channel 中出队元素,返回值为 received。spack 源码首先看下 chanrecv2 的实现:

       chan 结合 for-range 编译之后的伪代码如下:

       划重点:从这个实现中,我们可以获取一个非常重要的信息,for-range 和 chan 的结束条件只有这个 chan 被 close 了,否则一直会处于这个死循环内部。为什么?注意看 chanrecv 接收的参数是 block=true,并且这个 for-range 是一个死循环,除非 chanrecv2 返回值为 false,才有可能跳出循环,而 chanrecv2 在 block=true 场景下返回值为 false 的唯一原因只有:这个 chan 是 close 状态。

       总结

       golang 的 chan 使用非常简单,这些简单的语法糖背后其实都是对应了相应的函数实现,这个翻译由编译器来完成。深入理解这些函数的实现,对于彻底理解 chan 的使用和限制条件是必不可少的。深入理解原理,知其然知其所以然,你才能随心所欲地使用 golang。

如何编译arm linux的go

       Golang也就是Go语言,现在已经发行到1.4.1版本了,语言特性优越性和背后Google强大靠山什么的就不多说了。Golang的官方提供了多个平台上的二进制安装包,遗憾的是并非没有发布ARM平台的二进制安装包。ARM平台没办法直接从官网下载二进制安装包来安装,好在Golang是支持多平台并且开源的语言,因此可以通过直接在ARM平台上编译源代码来安装。整个过程主要包括编译工具配置、获取Golang源代码、设置Golang编译环境变量、编译、配置Golang行环境变量等步骤。

       æ³¨ï¼šæœ¬æ–‡é€‰ç”¨æ ‘莓派做测试,因为树莓派是基于ARM平台的。

       1、编译工具配置

       æ®è¯´ä¸‹ä¸ªç‰ˆæœ¬çš„golang编译工具要使用golang自己来写,但目前还是使用C编译工具的。因此,首先要配置好C编译工具:

       1.1 在Ubuntu或Debian平台上可以使用sudo apt-get install gcc libc6-dev命令安装,树莓派的RaspBian系统是基于Debian修改的,所以可以使用这种方法安装。

       1.2 在RedHat或CentOS 6平台上可以使用sudo yum install gcc libc-devel命令安装。

       å®‰è£…完成后可以输入 gcc --version命令验证是否成功安装。

       2、获取golang源代码

       2.1 直接从官网下载源代码压缩包。

       golang官网提供golang的源代码压缩包,可以直接下载,最新的1.4.1版本源代码链接:/golang/go1.4.1.src.tar.gz

       2.2 使用git工具获取。

       golang使用git版本管理工具,也可以使用git获取golang源代码。推荐使用这个方法,因为以后可以随时获取最新的golang源代码。

       2.2.1 首先确认ARM平台上已经安装了git工具,可以使用git --version命令确认。一般linux平台都安装了git,没有的话可以自行安装,不同平台的安装方法可以参考:/download/linux

       2.2.2 克隆远程golang的git仓库到本地

       åœ¨ç»ˆç«¯cd到你想要安装golang的目录,确保该目录下没有名为go的目录。然后以下命令获取代码仓库:

       git clone /go

       å¤§é™†åœ°åŒºå¯èƒ½ä¼šèŽ·å–失败,在不翻墙的情况下我试了几次都没成功,原因大家都懂的。好在google已经将golang也托管到github上面,所以也可以通过下面命令获取:

       git clone /golang/go.git

       è§†ç½‘络情况,下载可能需要不少时间。我2M的带宽花了将近两个小时才下载完,虽然整个项目不过几十兆= =

       ä¸‹è½½å®ŒæˆåŽï¼Œå¯ä»¥çœ‹åˆ°ç›®å½•ä¸‹å¤šäº†ä¸€ä¸ªgo目录,里面即为golang的源代码,在终端上执行cd go命令进入该目录。

       æ‰§è¡Œä¸‹é¢å‘½ä»¤æ£€å‡ºgo1.4.1版本的源代码,因为现在已经有新的代码提交上去了,最新的代码可能不是最稳定的:

       git checkout go1.4.1

       è‡³æ­¤ï¼Œæœ€æ–°1.4.1发行版的源代码获取完毕

       3、设置golang的编译环境变量

       ä¸»è¦æœ‰GOROOT、GOOS、GOARCH、GOARM四个环境变量需要设置,先解释四个环境变量的意义。

       3.1 GOROOT

       ä¸»è¦ä»£è¡¨golang树结构目录的路径,也就是上面git检出的go目录。一般可以不用设置这个环境变量,因为编译的时候默认会以go目录下src子目录中的all.bash脚本运行时的父目录作为GOROOT的值。为了保险起见,可以直接设置为go目录的路径。

       3.2 GOOS和GOARCH

       åˆ†åˆ«ä»£è¡¨ç¼–译的目标系统和平台,可选值如下:

       GOOS GOARCH

       darwin

       darwin amd

       dragonfly

       dragonfly amd

       freebsd

       freebsd amd

       freebsd arm

       linux

       linux amd

       linux arm

       netbsd

       netbsd amd

       netbsd arm

       openbsd

       openbsd amd

       plan9

       plan9 amd

       solaris amd

       windows

       windows amd

       éœ€è¦æ³¨æ„çš„是这两个值代表的是目标系统和平台,而不是编译源代码的系统和平台。树莓派的RaspBian是linux系统,所以这些GOOS设置为linux,GOARCH设置为arm。

       3.3 GOARM

       è¡¨ç¤ºä½¿ç”¨çš„浮点运算协处理器版本号,只对arm平台有用,可选值有5,6,7。如果是在目标平台上编译源代码,这个值可以不设置,它会自动判断需要使用哪一个版本。

       æ€»ç»“下来,在树莓派上设置golang的编译环境变量,可编辑$HOME/.bashrc文件,在末尾添加下面内容:

       export GOROOT=你的go目录路径

       export GOOS=linux

       export GOARCH=arm

       ç¼–辑完后保存,执行source ~/.bashrc命令让修改生效。

       4、编译源代码

       çŽ¯å¢ƒå˜é‡é…ç½®å®Œæˆè‡ªåŽå°±å¯ä»¥å¼€å§‹ç¼–译源代码。在go目录下的src子目录中,主要有all.bash和make.bash两个脚本(另外还有两个all.bat和make.bat脚本适用于window平台)。编译实际上就是执行其中一个脚本,两者的区别在于all.bash在编译完成后还会执行一些测试套件。如果希望只编译不测试,可以运行make.bash脚本。使用cd命令进入go下src目录,执行./all.bash或者./make.bash命令即可开始编译。由于硬件情况不同,编译耗费的时间不同。在我的B型树莓派编译过程花费了将近半个小时,编译完成后执行的测试套件又花费了差不多一个小时,总共花费了一个半小时左右。

       5、配置golang运行环境变量

       ç¼–译完成后,go目录下会生成bin目录,里面就是go的运行脚本。为了以后使用方法,可以将这个bin路径添加到PATH环境变量中。同样编辑~/.bashrc文件,因为前面设置过GOROOT环境变量指向go目录了,所以只需要在末尾加上

       export PATH=$PATH:$GOROOT/bin

       ä¿å­˜åŽåŒæ ·æ‰§è¡Œsource ~/.bashrc命令让环境变量生效。

       è‡³æ­¤ï¼Œgolang源代码编译安装成功。执行go version应该就能看到当前golang的版本信息,表示编译安装成功。

彻底解决Golang获取当前项目绝对路径问题

       由于Golang是编译型语言,获取当前执行目录变得复杂。传统做法是通过启动传参或环境变量手动传递路径,但今天发现了一种更便捷的解决方案。

       Go程序有两种执行方式:go run和go build。这两种方式在获取当前执行路径时会产生不同的问题。

       下面直接展示代码示例。我们编写一个获取当前可执行文件路径的方法,然后通过go run和go build两种方式来测试。

       通过对比执行结果,我们发现go run获取到的路径是错误的。原因是go run会将源代码编译到系统TEMP或TMP环境变量目录中并启动执行,而go build只会在当前目录编译出可执行文件,并不会自动执行。

       我们可以简单理解为,go run main.go等价于go build & ./main。虽然两种执行方式最终都是一样的过程,但他们的执行目录却完全不一样了。

       在我查看服务日志(zap库)时,发现了一种新的解决方案。比如一条简单的日志,服务是通过go run启动的,但日志库却正确地打印出了程序路径D:/Projects/te-server/modules/es/es.go:。

       我发现这是通过runtime.Caller()实现的,而所有Golang日志库都会有runtime.Caller()这个调用。我以为找到了最终答案,然后写代码试了下,结果完全正确!但后来发现,在Linux上运行时,它会打印出Windows的路径,这让我很失望。

       我意识到,既然go run时可以通过runtime.Caller()获取到正确的结果,go build时也可以通过os.Executable()来获取到正确的路径;那如果我能判定当前程序是通过go run还是go build执行的,选择不同的路径获取方法,所有问题不就迎刃而解了吗。

       Go没有提供接口来区分程序是go run还是go build执行,但我们可以根据go run的执行原理来判断。我们可以直接在程序中对比os.Executable()获取到的路径是否与环境变量TEMP设置的路径相同,如果相同,说明是通过go run启动的,因为当前执行路径是在TEMP目录;不同的话自然是go build的启动方式。

       下面是完整代码:

       在windows执行

       在windows编译后上传到Linux执行

       对比结果,我们可以看到,在不同的系统中,不同的执行方式,我们封装的getCurrentAbPath方法最终都输出的正确的结果,perfect!

Golang源码分析Golang如何实现自举(一)

       本文旨在探索Golang如何实现自举这一复杂且关键的技术。在深入研究之前,让我们先回顾Golang的历史。Golang的开发始于年,其编译器在早期阶段是由C语言编写。直到Go 1.5版本,Golang才实现了自己的编译器。研究自举的最佳起点是理解从Go 1.2到Go 1.3的版本,这些版本对自举有重要影响,后续还将探讨Go 1.4。

       接下来,我们来了解一下Golang的编译过程。Golang的编译主要涉及几个阶段:词法解析、语法解析、优化器和生成机器码。这一过程始于用户输入的“go build”等命令,这些命令实际上触发了其他内部命令的执行。这些命令被封装在环境变量GOTOOLDIR中,具体位置因系统而异。尽管编译过程看似简单,但实际上包含了多个复杂步骤,包括词法解析、语法解析、优化器、生成机器码以及连接器和buildid过程。

       此外,本文还将介绍Golang的目录结构及其功能,包括API、文档、C头文件、依赖库、源代码、杂项脚本和测试目录。编译后生成的文件将被放置在bin和pkg目录中,其中bin目录包含go、godoc和gofmt等文件,pkg目录则包含动态链接库和工具命令。

       在编译Golang时,首先需要了解如何安装GCC环境。为了确保兼容性,推荐使用GCC 4.7.0或4.7.1版本。通过使用Docker镜像简化了GCC的安装过程,使得编译变得更为便捷。编译Golang的命令相对简单,通过执行./all即可完成编译过程。

       最后,本文对编译文件all.bash和make.bash进行了深入解析。all.bash脚本主要针对nix系统执行,而make.bash脚本则包含了编译过程的关键步骤,包括设置SELinux、编译dist文件、编译go_bootstrap文件,直至最终生成Golang可执行文件。通过分析这些脚本,我们可以深入了解Golang的自举过程,即如何通过go_bootstrap文件来编译生成最终的Golang。

       总结而言,Golang的自举过程是一个复杂且多步骤的技术,包含了从早期C语言编译器到自动生成编译器的转变。通过系列文章的深入探讨,我们可以更全面地理解Golang自举的实现细节及其背后的逻辑。本文仅是这一过程的起点,后续将详细解析自举的关键组件和流程。

让你的Golang项目在IDE里跑起来(Goland使用入门-GOROOT、GOPATH、src、 pkg、bin、import)

       启动你的Golang项目,避免反复配置的困扰,理解并掌握GOROOT、GOPATH、src、pkg和bin这几个关键目录至关重要。首先,一个基本的项目结构包括src目录存放源代码,bin存放编译后的可执行文件,而pkg则存放编译后的包文件。bin和pkg通常由go命令自动生成,你只需创建src来存放项目代码。

       创建一个简单的项目,例如命名为main,包含main.go文件。内容如下:

       创建好项目后,接下来就是在Goland中配置。你需要设置GOROOT,指向你的Go安装路径,这类似Java的JAVA_HOME。同时,配置GOPATH,指定你的项目源代码的根目录。

       Goland中,有两种GOPATH配置:Project GOPATH针对每个项目独立,Global GOPATH则适用于共享第三方包。在ToolBar的配置中,选择运行文件时,指定main.go所在的文件夹,输出文件夹为src的同级bin目录,工作目录即设置的GOPATH。

       注意,如果在多个项目中频繁切换,不要修改配置框中的目录,否则可能导致运行错误。例如,你可以这样配置:

       点击保存并运行,成功后你会看到bin目录自动创建。若需自定义输出文件名,可使用-o参数。

       在项目中引用其他模块或第三方包时,只需将相关代码放入src的子目录中,如添加一个calc文件夹下的add.go。注意,包名和文件夹名一致,函数名不因文件名改变而改变。

       对于第三方包的引用,如common库,只需在main中导入并调用即可。更多关于vendor工具的使用,可以关注我的后续更新。

       以上内容参考了《小议并实战go包------顺便说说go中的GOROOT,GOPATH和src,pkg,bin》一文,由OpenWrite博客发布。

更多内容请点击【综合】专栏