流量复制工具之TCPCopy

作者: 羊yang678 | 来源:发表于2018-11-12 16:43 被阅读20次

流量复制

把线上的真实流量引流到测试环境,模拟线上用户操作,让测试机和真实的用户交互,让测试环境在正式灰度前暴露问题,增加上线信心

流量复制的常见方案

一、基于应用层的请求复制 

优点:实现简单

缺点:

1. 请求复制从应用层开始,要穿过整个协议栈,容易抢占应用资源,如连接资源

2.测试跟实际应用耦合在一起,容易影响线上机器,也无法复制大量请求

3. 很难控制网络延迟

二、基于底层数据包的请求复制

   无需穿透整个协议栈,可以从数据链路层或者网络层做流量复制,不走tcp层,这样对线上机器的影响就会少很多

流量复制的两种类型:

1. 实时复制 ,实时的把线上流量复制到测试机

2. 离线复制,先把流量复制下来,保存在PCAP抓包文件中,然后在测试机离线回放

使用场景:

压力测试 

回归测试

线上问题重现

架构及原理:

TCPCOPY包括三个部分:

1. tcpcopy :运行在线上机器,捕获线上请求

2. intercept: 运行在辅助机器,负责向tcpcopy发送响应信息。

3. 目标机器:被测机器

tcpcopy默认捕获网络层的包(也可以配置为捕获数据链路层的包),然后做一些必要的处理,将包发送给被测机器

tcpcopy拷贝一次流量访问的步骤如下:

① 一个客户请求到达线上机器;

② 拷贝IP层(或者数据链路层)的包到tcpcopy进程;

③ tcpcopy修改包的目的及源地址,发给目标测试机;

④ 拷贝的包到达目标测试机;

⑤ 目标测试机的应用处理访问,并返回结果给辅助机;

⑥ 返回结果在辅助机的数据链路层被截获,drop响应的body,copy返回的ip header;

⑦ 辅助机将响应header发送给线上机器的tcpcopy进程。

使用方式:

一、 实时复制流量

1. 目标机器配置路由 ,将响应包路由到辅助机

route add -net 1.1.1.0 netmask 255.255.255.0 gw 2.2.2.2

其中2.2.2.2 为辅助机, 1.1.1.0 为客户端地址

2. 辅助机捕获目标机器发来的响应包 (和抓包命令类似)

./intercept -F <filter> -i <device,>

例子:./intercept -i eth0 -F 'tcp and src port 8080' -d

捕获网卡 eth0 ,端口8080 基于tcp的包

3. 线上机器捕获包,并修改客户端地址,并把包发送给目标机器,等待辅助机发送响应包

./tcpcopy -x localServerPort-targetServerIP:targetServerPort -s <intercept server,> [-c <ip range,>]

例子:

 ./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0  -d        #全流量复制

./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0 -r 20 -d  #复制20%的流量

  ./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0  -n 2  -d  #复制2倍流量

二、离线复制流量

使用tcpdump抓包

 tcpdump -i eth0 -w test.pcap tcp and port 80 -c 100

流量回放

./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0 -i test.pcap

遇到的问题:

编译intercept程序时报错 pcap.h can not found .需要安装libpcap-dev包:

 apt-get install libpcap-dev

存在的问题:

1.  不支持加密协议https等 ,可以进行二次开发,但是略复杂

2.  可能会丢包:作者建议最好将三台机器部署在同一个网段,或者使用代理,可以降低丢包率

参考:

https://github.com/session-replay-tools/tcpcopy

http://www.cnblogs.com/zhengyun_ustc/p/tcpcopy.html

相关文章

  • 流量复制工具之TCPCopy

    流量复制 把线上的真实流量引流到测试环境,模拟线上用户操作,让测试机和真实的用户交互,让测试环境在正式灰度前暴露问...

  • Gor和Tcpcopy的差异

    关于gor和tcpcopy的介绍,可以参考流量复制导流工具研究 一、协议层面 tcpcopy是重放TCP流的工具,...

  • TCPCopy 线上流量复制工具

    点击链接加入QQ群 522720170(免费公开课、视频应有尽有):https://jq.qq.com/?_wv=...

  • TCPCopy使用简介

    1概述 tcpcopy是一种请求复制(所有基于tcp的packets)工具,可以把在线流量导入到测试系统中去...

  • 流量复制方案对比:TCPCopy vs Goreplay

    /root/goreplay --input-raw :7550 --output-http "http://12...

  • 利用 tcpcopy 引流做模拟在线测试

    一、工具介绍 Tcpcopy是一个分布式在线压力测试工具,可以将线上流量拷贝到测试机器,实时的模拟线上环境,达到在...

  • 利用tcpcopy引流做模拟在线测试(转)

    一、工具介绍 Tcpcopy是一个分布式在线压力测试工具,可以将线上流量拷贝到测试机器,实时的模拟线上环境,达到在...

  • tcpcopy工具介绍

    Tcpcopy是一个分布式在线压力测试工具,可以将线上流量拷贝到测试机器,实时的模拟线上环境,达到在程序不上线的情...

  • Linux流量复制工具

      对于一些有并发要求的业务,特别是对接外部流量时,产品上线前一定要做的就是压力测试,但是常规的压力测试并不能覆盖...

  • 流量复制 - 工具对比

    流量复制 线下的测试难以模拟真实流量, 尤其难以模拟正常流量混杂着各色异常流量;所以复制线上流量进行测试,能够覆盖...

网友评论

    本文标题:流量复制工具之TCPCopy

    本文链接:https://www.haomeiwen.com/subject/axucfqtx.html