1.mycat 高可用
2.keepalive部署虚拟IP项目
3.关于linux学习路线的源码问题 请教前辈
4.Nginx如何实现Nginx的高可用负载均衡?看完我也会了!!源码
5.Keepalived原理与使用
mycat 高可用
mycat 高可用
mycat 可通过 zookeeper 集群进行配置文件管理。源码
1.1 搭建 zookeeper 集群
此处不做 zookeeper集群搭建讲解
1.2 配置mycat支持zookeeper
修改 mycat conf 目录下myid.properties
loadZk=true # zk集群地址,源码多个用",源码"隔开 zkURL=..3.:,..3.:,..3.: # zk集群内Mycat集群ID clusterId=mycat-cluster-1 # Mycat集群内本实例ID,禁止重复 myid=mycat_fz_ # Mycat集群内节点个数 clusterSize=3 #集群内所有节点的源码nplayer源码输出 id clusterNodes=mycat_fz_,mycat_fz_,mycat_fz_ #server booster ; booster install on db same server,will reset all minCon to 1 type=server boosterDataHosts=dataHost1
1.3 自定义配置
将需要修改的配置文件替换到 conf 目录中的 zkconf 目录下,只需要在一台机器修改即可,需要注意 conf目录中的 server.xml 中用户名和密码与 zkconf 中的不一致
1.4 上传配置
执行修改了配置文件的 mycat 下的bin 目录下的initzkdata.sh,上传配置文件,(在修改了配置文件的机器上执行)
./initzkdata.sh
1.5 启动所有 mycat
启动后发现其他 mycat conf 下的配置文件已经自动变化为修改的内容,是zookeeper 中下载的
2. 使用的是 lvs+keepalived 的方式
此处使用的是 lvs+keepalived 的方式实现mycat高可用负载均衡集群
2.1 配置环境
角色 主机IP 主机名 操作系统版本 软件版本
VIP ..3.
LVS-DR-Master ..3. keepalived CentOS6.9 Keepalived v1.2.,LVS 1.2.1
LVS-DR-Backup ..3. keepalived CentOS6.9 Keepalived v1.2.,源码LVS 1.2.1
mycat-Realserver ..3. mycat CentOS6.9 mycat v1.6.5
mycat-Realserver ..3. mycat CentOS6.9 mycat v1.6.5
mycat-Realserver ..3. mycat CentOS6.9 mycat v1.6.5
2.2 安装keepalived和ipvsadm
注意:ipvsadm并不是源码lvs,它只是源码lvs的配置工具。在 CentOS1.1 的源码内核版本中是默认支持的。因此,源码这里不需要重新安装。源码使用 yum 的源码安装方式,分别在 keepalived 和 keepalived 两台主机上安装 keepalived 和 ipvsadm。源码除了这种简易方式外,源码也可直接编译官方的源码包。安装步骤可参考文档。
2.3 配置Keepalived
2.3.1 master
vi /etc/keepalived/keepalived.conf
配置详细内容如下,注意优先级、状态、接口、虚拟IP地址、负载调度算法、服务器节点配置、检查间隔、会话保持时间、协议类型等参数设置。
2.3.2 backup
备份机配置与主机一致,除了优先级和状态修改外。
在配置文件中,特别需要注意的是interface的修改,根据实际情况进行相应的修改。
2.4 安装配置 mycat
安装mycat请参考相关文档。
2.4.1 绑定虚拟 vip
在mycat服务器上为lo:0绑定VIP地址、抑制ARP广播。
执行脚本./realserver.sh start在mycat和mycat、mycat三台主机上。
2.4.2 查看
运行 ifconfig 查看结果。
2.5 启动 keeplive
分别在keepalived和keepalived上启动Keepalived服务。
2.5.1 查看
通过ipvsadm -L 查看映射。
2.5.2 测试
通过一台装有 mysql的机器连接虚拟 ip 发现可以登录数据库。
2.5.3 查看转发
再次在 keepalived 的机器执行ipvsadm -L,发现被转到上面一次。
2.5.4 负载均衡方式
与配置相关,多次都指向一个机器,因为我们在 keepalived 的配置文件中persistence_timeout属性指定为,则代表秒内同一个机器来的请求会被 hash 一致性分配。如果想实现严格意义上面的轮询,修改为0即可。
keepalive部署虚拟IP项目
在..4.和..4.上部署虚拟IP,通过keepalive实现高可用性。
在..4.配置(主):
1. 安装依赖包(gcc, gcc-c++, kernel-devel, openssl-devel, popt, libnl, libnl-devel)。
2. 使用源码安装keepalive。
3. 创建软链接,将keepalive文件链接至系统路径。
4. 编辑配置文件(/etc/keepalive/keepalive.conf),cci指标源码教程设置router_id、虚拟路由ID、优先级和虚拟IP地址。
5. 重启服务。
在..4.配置(从):
1. 安装依赖包。
2. 使用源码安装keepalive。
3. 创建软链接。
4. 编辑配置文件(/etc/keepalive/keepalive.conf),设置为从机,并设置相关参数。
5. 重启服务。
Keepalived支持多种服务的高可用性,通过VRRP协议实现自动接管。
查看部署的虚拟IP使用命令:ip addr。
默认日志路径为:/var/log/messages。
在...(nat公网)上部署虚拟IP..4.5:
安装依赖包、源码安装keepalive、创建软链接、编辑配置文件、重启服务。
完成配置后,使用命令检查进程和端口,验证虚拟IP部署成功。
关于linux学习路线的问题 请教前辈
很多同学接触Linux不多,对Linux平台的开发更是一无所知。而现在的趋势越来越表明,作为一 个优秀的软件开发人员,或计算机IT行业从业人员,掌握Linux是一种很重要的谋生资源与手段。下来我将会结合自己的几年的个人开发经验,及对 Linux,更是类UNIX系统,及开源软件文化,谈谈Linux的学习方法与学习中应该注意的一些事。
就如同刚才说的,很多同学以前可能连Linux是什么都不知道,对UNIX更是一无所知。所以我们从最基础的讲起,对于Linux及UNIX的历史我们不做多谈,直接进入入门的学习。
Linux入门是很简单的,问题是你是否有耐心,是否爱折腾,是否不排斥重装一类的大修。没折腾可以说是学不好Linux的,鸟哥说过,要真正了解Linux的分区机制,对LVM使用相当熟练,没有次以上的Linux装机经验是积累不起来的,所以一定不要怕折腾。
由于大家之前都使用Windows,所以我也尽可能照顾这些“菜鸟”。我的推荐,如果你第一次接触Linux,公开源码app那么首先在虚拟机中尝试它。虚拟机我推荐Virtual Box,我并不主张使用VM,原因是VM是闭源的,并且是收费的,我不希望推动盗版。当然如果你的Money足够多,可以尝试VM,但我要说的是即使是VM,不一定就一定好。付费的软件不一定好。首先,Virtual Box很小巧,Windows平台下安装包在MB左右,而VM动辄MB,虽然功能强大,但资源消耗也多,何况你的需求Virtual Box完全能够满足。所以,还是自己选。如何使用虚拟机,是你的事,这个我不教你,因为很简单,不会的话Google或Baidu都可以,英文好的可以直接看官方文档。
现在介绍Linux发行版的知识。正如你所见,Linux发行版并非Linux,Linux仅是指操作系统的内核,作为科班出生的你不要让我解释,我也没时间。我推荐的发行版如下:
UBUNTU适合纯菜鸟,追求稳定的官方支持,对系统稳定性要求较弱,喜欢最新应用,相对来说不太喜欢折腾的开发者。
Debian,相对UBUNTU难很多的发行版,突出特点是稳定与容易使用的包管理系统,缺点是企业支持不足,为社区开发驱动。
Arch,追逐时尚的开发者的首选,优点是包更新相当快,无缝升级,一次安装基本可以一直运作下去,没有如UBUNTU那样的版本概念,说的专业点叫滚动升级,保持你的系统一定是最新的。缺点显然易见,不稳定。同时安装配置相对Debian再麻烦点。
Gentoo,股市看跌指标源码相对Arch再难点,考验使用者的综合水平,从系统安装到微调,内核编译都亲历亲为,是高手及黑客显示自己技术手段,按需配置符合自己要求的系统的首选。
Slackware与Gentoo类似。
CentOS,社区维护的RedHat的复刻版本,完全使用RedHat的源码重新编译生成,与RedHat的兼容性在理论上来说是最好的。如果你专注于Linux服务器,如网络管理,架站,那么CentOS是你的选择。
LFS,终极黑客显摆工具,完全从源代码安装,编译系统。安装前你得到的只有一份文档,你要做的就是照文档你的说明,一步步,一条条命令,一个个软件包的去构建你的Linux,完全由你自己控制,想要什么就是什么。如果你做出了LFS,证明你的Linux功底已经相当不错,如果你能拿LFS文档活学活用,再将Linux从源代码开始移植到嵌入式系统,我敢说中国的企业你可以混的很好。
你得挑一个适合你的系统,然后在虚拟机安装它,开始使用它。如果你想快速学会Linux,我有一个建议就是忘记图形界面,不要想图形界面能不能提供你问题的答案,而是满世界的去找,去问,如何用命令行解决你的问题。在这个过程中,你最好能将Linux的命令掌握的不错,起码常用的命令得知道,同时建立了自己的知识库,里面是你积累的各项知识。
再下个阶段,你需要学习的是Linux平台的C/C++开发,同时还有Bash脚本编程,如果你对Java兴趣很深还有Java。同样,建议你抛弃掉图形界面的IDE,从VIM开始,为什么是VIM,而不是源码数据采集Emacs,我无意挑起编辑器大战,但我觉得VIM适合初学者,适合手比较笨,脑袋比较慢的开发者。Emacs的键位太多,太复杂,我很畏惧。然后是GCC,Make,Eclipse(Java,C++或者)。虽然将C++列在了Eclipse中,但我并不推荐用IDE开发C++,因为这不是Linux的文化,容易让你忽略一些你应该注意的问题。IDE让你变懒,懒得跟猪一样。如果你对程序调试,测试工作很感兴趣,GDB也得学的很好,如果不是GDB也是必修课。这是开发的第一步,注意我并没有提过一句Linux系统API的内容,这个阶段也不要关心这个。你要做的就是积累经验,在Linux平台的开发经验。我推荐的书如下:C语言程序设计,谭浩强的也可以。C语言,白皮书当然更好。C++推荐C++ Primer Plus,Java我不喜欢,就不推荐了。工具方面推荐VIM的官方手册,GCC中文文档,GDB中文文档,GNU开源软件开发指导(电子书),汇编语言程序设计(让你对库,链接,内嵌汇编,编译器优化选项有初步了解,不必深度)。
如果你这个阶段过不了就不必往下做了,这是底线,最基础的基础,否则离开,不要霍霍Linux开发。不专业的Linux开发者作出的程序是与Linux文化或UNIX文化相背的,程序是走不远的,不可能像Bash,VIM这些神品一样。所以做不好干脆离开。
接下来进入Linux系统编程,不二选择,APUE,UNIX环境高级编程,一遍一遍的看,看遍都嫌少,如果你可以在大学将这本书翻烂,里面的内容都实践过,有作品,你口头表达能力够强,你可以在面试时说服所有的考官。(可能有点夸张,但APUE绝对是圣经一般的读物,即使是Windows程序员也从其中汲取养分,Google创始人的案头书籍,扎尔伯克的床头读物。)
这本书看完后你会对Linux系统编程有相当的了解,知道Linux与Windows平台间开发的差异在哪?它们的优缺点在哪?我的总结如下:做Windows平台开发,很苦,微软的系统API总在扩容,想使用最新潮,最高效的功能,最适合当前流行系统的功能你必须时刻学习。Linux不是,Linux系统的核心API就来个,记忆力好完全可以背下来。而且经久不变,为什么不变,因为要同UNIX兼容,符合POSIX标准。所以Linux平台的开发大多是专注于底层的或服务器编程。这是其优点,当然图形是Linux的软肋,但我站在一个开发者的角度,我无所谓,因为命令行我也可以适应,如果有更好的图形界面我就当作恩赐吧。另外,Windows闭源,系统做了什么你更本不知道,永远被微软牵着鼻子跑,想想如果微软说Win8不支持QQ,那腾讯不得哭死。而Linux完全开源,你不喜欢,可以自己改,只要你技术够。另外,Windows虽然使用的人多,但使用场合单一,专注与桌面。而Linux在各个方面都有发展,尤其在云计算,服务器软件,嵌入式领域,企业级应用上有广大前景,而且兼容性一流,由于支持POSIX可以无缝的运行在UNIX系统之上,不管是苹果的Mac还是IBM的AS系列,都是完全支持的。另外,Linux的开发环境支持也绝对是一流的,不管是C/C++,Java,Bash,Python,PHP,Javascript,。。。。。。就连C#也支持。而微软除Visual Stdio套件以外,都不怎么友好,不是吗?
如果你看完APUE的感触有很多,希望验证你的某些想法或经验,推荐UNIX程序设计艺术,世界顶级黑客将同你分享他的看法。
现在是时候做分流了。 大体上我分为四个方向:网络,图形,嵌入式,设备驱动。
如果选择网络,再细分,我对其他的不是他熟悉,只说服务器软件编写及高性能的并发程序编写吧。相对来说这是网络编程中技术含量最高的,也是底层的。需要很多的经验,看很多的书,做很多的项目。
我的看法是以下面的顺序来看书:
APUE再深读 – 尤其是进程,线程,IPC,套接字
多核程序设计 - Pthread一定得吃透了,你很NB
UNIX网络编程 – 卷一,卷二
TCP/IP网络详解 – 卷一 再看上面两本书时就该看了
5.TCP/IP 网络详解 – 卷二 我觉得看到卷二就差不多了,当然卷三看了更好,努力,争取看了
6.Lighttpd源代码 - 这个服务器也很有名了
7.Nginx源代码 – 相较于Apache,Nginx的源码较少,如果能看个大致,很NB。看源代码主要是要学习里面的套接字编程及并发控制,想想都激动。如果你有这些本事,可以试着往暴雪投简历,为他们写服务器后台,想一想全球的魔兽都运行在你的服务器软件上。
Linux内核 TCP/IP协议栈 – 深入了解TCP/IP的实现
如果你还喜欢驱动程序设计,可以看看更底层的协议,如链路层的,写什么路由器,网卡,网络设备的驱动及嵌入式系统软件应该也不成问题了。
当然一般的网络公司,就算百度级别的也该毫不犹豫的雇用你。只是看后面这些书需要时间与经验,所以岁以前办到吧!跳槽到给你未来的地方!
图形方向,我觉得图形方向也是很有前途的,以下几个方面。
Opengl的工业及游戏开发,国外较成熟。
影视动画特效,如皮克斯,也是国外较成熟。
GPU计算技术,可以应用在浏览器网页渲染上,GPU计算资源利用上,由于开源的原因,有很多的文档程序可以参考。如果能进火狐开发,或google做浏览器开发,应该会很好 。
嵌入式方向:嵌入式方向没说的,Linux很重要。
掌握多个架构,不仅X的,ARM的,单片机什么的也必须得懂。硬件不懂我预见你会死在半路上,我也想走嵌入式方向,但我觉得就学校教授嵌入式的方法,我连学电子的那帮学生都竞争不过。奉劝大家,一定得懂硬件再去做,如果走到嵌入式应用开发,只能祝你好运,不要碰上像Nokia,Hp这样的公司,否则你会很惨的。
驱动程序设计:软件开发周期是很长的,硬件不同,很快。每个月诞生那么多的新硬件,如何让他们在Linux上工作起来,这是你的工作。由于Linux的兼容性很好,如果不是太低层的驱动,基本C语言就可以搞定,系统架构的影响不大,因为有系统支持,你可能做些许更改就可以在ARM上使用PC的硬件了,所以做硬件驱动开发不像嵌入式,对硬件知识的要求很高。可以从事的方向也很多,如家电啊,特别是如索尼,日立,希捷,富士康这样的厂子,很稀缺的。
LDD – Linux驱动程序设计与内核编程的基础读物
深入理解Linux内核 – 进阶的
Linux源代码 – 永无止境的
当然你还的看个方面的书,如网络啊什么的。
Nginx如何实现Nginx的高可用负载均衡?看完我也会了!!
编写文章以介绍如何实现Nginx的高可用负载均衡,根据读者需求,提供了一个详细的指南。Keepalived被用于实现服务器的高可用性或热备,与Nginx结合,可以实现web前端服务的高可用性。Keepalived基于VRRP协议,通过虚拟路由器冗余协议将多台路由器虚拟为一个设备,主路由器(MASTER)负责对外提供虚拟路由器IP,而备份路由器(BACKUP)在主路由器失效时接管网络功能。VRRP协议通过多播数据传输,确保主路由器状态的及时更新。
为了实现Nginx的高可用负载均衡,首先需要准备和安装相关软件环境,包括操作系统、依赖库(如openssl、pcre、zlib)以及nginx-rtmp-module。在安装Nginx时,需要指定依赖库的源码解压目录,并确保Nginx配置文件的完整路径为/usr/local/nginx-1..1/conf/nginx.conf。
接下来,配置Nginx,包括修改欢迎首页内容以区分两个节点的Nginx实例。需要在服务器上执行特定命令编辑nginx.conf文件,并添加相应代码段。同时,开放Nginx所需的端口并配置防火墙,以确保Nginx服务的正常运行。
安装Keepalived以实现Nginx高可用性。从官方链接下载并上传或下载Keepalived(版本1.2.),解压后安装,确保将其安装为Linux系统服务。复制默认配置文件和服务脚本到默认路径,并设置开机启动。编写Nginx状态检测脚本,用于在Nginx服务异常时自动重启Keepalived服务。
最后,同时启动Nginx和Keepalived服务。通过虚拟IP地址访问Nginx,进行高可用性测试。如果主节点失效,备份节点将接管服务。整个过程确保了Nginx负载均衡的高可用性。
实现Keepalived + Nginx高可用负载均衡,不仅提高了系统的稳定性和可靠性,也为读者提供了详细的实施步骤。通过关注公众号获取更多技术资料,持续学习,实现技术能力的提升。
Keepalived原理与使用
部署与配置
安装部署可选择在镜像站下载安装或通过官网下载源码编译安装。
使用yum install keepalived或tar -zxvf keepalived-2.2.7.tar.gz、cd keepalived-2.2.7及./configure --prefix=/usr/local/keepalived --sysconf=/etc完成安装。
针对可能出现的依赖错误,按照提示安装对应依赖包。
完成安装后,需通过cd xxxx/keepalived-2.2.7/keepalived/etc将keepalived注册为系统服务,实现开机启动。
主服务器配置(Master)
完整的keepalived配置主要包含全局定义、VRRP实例定义及虚拟服务器定义三大部分。
虚拟服务器定义用于健康监测与流量分发,区别于nginx等反向代理服务,keepalived专注于四层流量分发。
若仅为高可用配置,虚拟服务器定义块非必要。
生产环境配置备服务器
配置完成后重启keepalived服务,实现高可用部署。
VIP无法ping通
若配置了vrrp_strict,防火墙会自动生成规则,导致无法ping通主节点VIP。可调整配置避免生成该规则,但生产环境不建议开启此功能。
非抢占模式下,未绑定VIP
keepalived部署分为抢占与非抢占模式。选择模式依据需求,稳定性要求高时,建议使用非抢占模式。
非抢占模式下,需配置以避免VIP无法绑定。
同一网段下,virtual_router_id(VRID)不能重复
VRID用于标识不同的VRRP组,同一网段下不能重复使用,否则可能引起错误。