1.冬训营丨高级威胁活动中C2的洋葱源码洋葱多样风格
2.Koa洋葱模型 从理解到实现
3.Golang-gin框架中间件原理
4.Koa 洋葱模型
5.Spark-Submit 源码剖析
冬训营丨高级威胁活动中C2的多样风格
C2是什么?它是指APT组织掌握的基础设施,即IP、网络域名、官网URL。洋葱源码洋葱作为动词,网络C2意味着命令与控制(Command and Control),官网素材系统源码APT组织基于各种网络基础设施,洋葱源码洋葱如广域网/公网、网络局域网/内网、官网Tor洋葱路由、洋葱源码洋葱卫星等,网络对已成功入侵的官网目标进行控制、指令下发、洋葱源码洋葱资源下发和数据回传。网络 在命令与控制过程中,官网APT组织通过OODA循环展开网空杀伤链,C2属于控制阶段。攻击方需要隐蔽自身行为和通信通道,即使被发现也难以定位真实的C2基础设施,甚至定位到基础设施也无法溯源到攻击方。攻击方为达成效果,使用了多种技术手段,包括Payload、信道、yolov5源码解读课程协议、报文、基础设施和C2节点。以下将从基础设施角度,探讨C2的多样风格。 案例一:APT组织入侵网站作为C2 年,安天发布报告指出,攻击者利用BBS漏洞入侵网站,上传Webshell和其他组件作为C2。Webshell作为跳板机,实现邮件发送、信息接收和恶意载荷下载。通过分析发现,攻击者可能使用自研Webshell,能够获取网站服务器信息。Webshell采用加密手段进行保护,但无法直接作为检测指标。 案例二:APT组织利用DDR作为C2 DDR是一种间谍活动策略,用于在未见面的情况下进行信息传递。越来越多APT组织将其用于合法Web服务作为C2,方便创建和测试环境,且加密报文难以直接封禁,对安全产品构成挑战。昨天股价 通达信源码 案例三:利用入侵的IoT设备作为C2 海莲花组织自年开始使用IoT设备转发流量,隐藏真实C2地址,通过设备取证可获取真实C2节点。 案例四:美国CIA自建C2基础设施控制平台蜂巢 年,维基解密公开了CIA使用的Hive源代码和开发日志,Hive是用于控制恶意软件基础设施的组件,通过可选身份验证隐藏C2节点。 案例五:使用可移动设备作为C2 APT组织在隔离网络中使用可移动设备作为C2,如在SolarWinds供应链攻击中,APT组织利用基于Cobalt Strike的SMB管道作为内网C2。 案例六:基于域名前置的隐蔽通道作为C2 APT组织使用域名前置隐蔽通道和Tor洋葱路由隐藏C2节点。 案例七:图拉组织利用卫星通信作为C2 图拉组织通过中东和非洲国家的卫星网络进行通信,很难追踪到具体位置。他们可能通过BGP劫持卫星通信协议作为C2信道。 案例八:利用其他组织的C2作为C2 年,图拉组织劫持伊朗APT组织的网络基础设施作为恶意软件下载服务器,将恶意软件植入目标网络。 结合案例,高级威胁活动中C2的多样风格得到抽象化总结。从威胁框架整体看,C2问题已不仅仅是单一维度。通过深入挖掘流量中的协议和文件格式,提升ATT&CK威胁框架的股票多头空头趋势指标源码覆盖度。在定位、观察和情报层面形成闭环,针对C2的多样化情况进行猎杀与捕获。Koa洋葱模型 从理解到实现
当使用Koa框架时,Middleware(中间件)的概念想必大家已不陌生。让我们从实例出发,通过自定义两个中间件——logTime用于打印时间戳,logUrl负责打印路由——来探索Koa的洋葱模型。 在index.js中,我们按顺序使用这两个中间件。启动服务并访问路由如/test,你会观察到两个现象:首先,你可能会疑惑:Koa的设计为何不按顺序从头到尾执行中间件?
其次,当中间件存在依赖关系时,如何确保前面的中间件能利用后续中间件的操作结果?比如,logUrl可能处理了url并添加了时间戳,logTime需要获取并打印这个时间戳。
这些现象揭示了Koa洋葱模型的设计原理:中间件的执行顺序是关键。外层(上游)中间件先执行,处理完后通过next函数传递控制权给内层(下游)中间件。这样可以确保每个中间件在适当的时机获取和操作数据,避免了单次链式调用时的依赖问题。 通过源码分析,通达信判断板块源码我们发现Koa的实现依赖于`koa-compose`库,它负责管理中间件的执行流程。我们需要对中间件数组进行包装,以便在调用next时传递必要的上下文信息。通过`bind`方法,我们得以保留和传递必要的参数,实现洋葱模型的逻辑。 总结来说,我们从现象出发,通过实例和源码理解了Koa洋葱模型的必要性和工作方式。通过自定义实现,我们加深了对这一模型的理解。Golang-gin框架中间件原理
什么是中间件
中间件是一个广泛的概念,其含义在不同领域有所不同。在bs/cs软件编程框架中,中间件可以理解为用于解耦业务和非业务代码的钩子函数,这些函数适用于所有或部分请求。
中间件的原理与钩子函数类似。在框架层面,程序运行到某个阶段会自动执行预设的函数,执行完毕后再回到跳出的那个阶段继续执行原函数。
在bs/cs开发中,为了在主体函数前后执行一些通用操作,常见的写法会预设一些钩子,如beforeXxxFunc、afterXxxFunc。但这只有两个函数,且是针对全局请求的。若要实现部分钩子函数针对某些请求,则需要做额外的业务外操作以达到目的。gin框架的中间件就解决了这些痛点。
中间件原理
原理1:每一条请求都处理自己所挂载的所有中间件和唯一主体函数。
普通的钩子函数如图所示:
优点:解耦了业务和非业务代码,非业务代码实现了统一封装使用。
缺点:若想针对某些主体函数不执行或执行其他beforeFunction,需要额外修改框架逻辑。
gin框架中间件如图:
优点:
原理2:洋葱模型。
洋葱模型,如图所示:
beforeFunc1和afterFunc1即是中间件1;afterFunc2和afterFunc2即是中间件2。
请求到来时从最外层开始执行中间件1,然后进入第二层,依次执行完所有中间件最后到达主体函数,接着再一层层往外走再次执行中间件2...中间件1...最后返回,有点像栈的概念。
gin中中间件的实现步骤1
首先,gin把中间件和主体函数统一定义为一个handleFunc。
源码:gin.go
不管是用use()方法注册中间件,还是用restful注册主体函数,类型都是HandlerFunc。
源码:routergroup.go
步骤2
把所有handleFunc装入一个数组或叫handleChain的东西。
步骤3
从handleChain的第一个元素开始执行,中间使用c.next、c.Abort等函数进行流程控制。
手动实现一个简单版本的中间件
运行结果:
Koa 洋葱模型
Koa 是一个轻量级的 web 框架,由 Express 的团队打造,旨在简化 web 应用与 API 开发。它利用 async 函数改进错误处理,没有固定中间件,而是提供便利方法构建服务端应用。
“洋葱模型”概念,通过一个简单的实例展示。输入 localhost:,控制台显示结果,中间件的执行顺序体现。Koa 中间件通过 next 函数分割,上半部分先执行,下半部分在后续中间件调用后执行。
实现洋葱模型的核心在于函数调用方法,自顶向下嵌套函数,形成类似结构。借助 JavaScript 事件循环机制,先执行同步代码,异步代码入队等待。调用父函数时,按序执行嵌套函数。
简版实现步骤:从第一个函数开始,依次将下个函数作为参数传入。这样,自底向上递归调用,最终只执行一次 next(),实现中间件链式调用。
Koa 洋葱模型的源码展示了核心逻辑,包括两关键点。另一种实现方式是逆序封装中间件,每次都将当前执行函数作为 next 参数传给前一个中间件,最终顺序执行所有中间件。
Spark-Submit 源码剖析
直奔主题吧:
常规Spark提交任务脚本如下:
其中几个关键的参数:
再看下cluster.conf配置参数,如下:
spark-submit提交一个job到spark集群中,大致的经历三个过程:
代码总Main入口如下:
Main支持两种模式CLI:SparkSubmit;SparkClass
首先是checkArgument做参数校验
而sparksubmit则是通过buildCommand来创建
buildCommand核心是AbstractCommandBuilder类
继续往下剥洋葱AbstractCommandBuilder如下:
定义Spark命令创建的方法一个抽象类,SparkSubmitCommandBuilder刚好是实现类如下
SparkSubmit种类可以分为以上6种。SparkSubmitCommandBuilder有两个构造方法有参数和无参数:
有参数中根据参数传入拆分三种方式,然后通过OptionParser解析Args,构造参数创建对象后核心方法是通过buildCommand,而buildCommand又是通过buildSparkSubmitCommand来生成具体提交。
buildSparkSubmitCommand会返回List的命令集合,分为两个部分去创建此List,
第一个如下加入Driver_memory参数
第二个是通过buildSparkSubmitArgs方法构建的具体参数是MASTER,DEPLOY_MODE,FILES,CLASS等等,这些就和我们上面截图中是对应上的。是通过OptionParser方式获取到。
那么到这里的话buildCommand就生成了一个完成sparksubmit参数的命令List
而生成命令之后执行的任务开启点在org.apache.spark.deploy.SparkSubmit.scala
继续往下剥洋葱SparkSubmit.scala代码入口如下:
SparkSubmit,kill,request都支持,后两个方法知识支持standalone和Mesos集群方式下。dosubmit作为函数入口,其中第一步是初始化LOG,然后初始化解析参数涉及到类
SparkSubmitArguments作为参数初始化类,继承SparkSubmitArgumentsParser类
其中env是测试用的,参数解析如下,parse方法继承了SparkSubmitArgumentsParser解析函数查找 args 中设置的--选项和值并解析为 name 和 value ,如 --master yarn-client 会被解析为值为 --master 的 name 和值为 yarn-client 的 value 。
这之后调用SparkSubmitArguments#handle(MASTER, "yarn-client")进行处理。
这个函数也很简单,根据参数 opt 及 value,设置各个成员的值。接上例,parse 中调用 handle("--master", "yarn-client")后,在 handle 函数中,master 成员将被赋值为 yarn-client。
回到SparkSubmit.scala通过SparkSubmitArguments生成了args,然后调用action来匹配动作是submit,kill,request_status,print_version。
直接看submit的action,doRunMain执行入口
其中prepareSubmitEnvironment初始化环境变量该方法返回一个四元 Tuple ,分别表示子进程参数、子进程 classpath 列表、系统属性 map 、子进程 main 方法。完成了提交环境的准备工作之后,接下来就将启动子进程。
runMain则是执行入口,入参则是执行参数SparkSubmitArguments
Main执行非常的简单:几个核心步骤
先是打印一串日志(可忽略),然后是创建了loader是把依赖包jar全部导入到项目中
然后是MainClass的生成,异常处理是ClassNotFoundException和NoClassDeffoundError
再者是生成Application,根据MainClass生成APP,最后调用start执行
具体执行是SparkApplication.scala,那么继续往下剥~
仔细阅读下SparkApplication还是挺深的,所以打算另外写篇继续深入研读~