tcp linux,linux系统有哪些
大家好,关于tcp linux很多朋友都还不太明白,不过没关系,因为今天小编就来为大家分享关于linux系统有哪些的知识点,相信应该可以解决大家的一些困惑和问题,如果碰巧可以解决您的问题,还望关注下本站哦,希望对各位有所帮助!
linux shell 脚本实现tcp/upd协议通讯
linux设备里面有个比较特殊的文件:
/dev/[tcp|upd]/host/port只要读取或者写入这个文件,相当于系统会尝试连接:host这台机器,对应port端口。如果主机以及端口存在,就建立一个socket连接。将在,/proc/self/fd目录下面,有对应的文件出现。
一、测试下:/dev/tcp/host/post文件
复制代码
代码如下:
[chengmo@centos5 shell]$ cat/dev/tcp/127.0.0.1/22
SSH-2.0-OpenSSH_5.1
#我的机器shell端口是:22
#实际:/dev/tcp根本没有这个目录,这是属于特殊设备
[chengmo@centos5 shell]$ cat/dev/tcp/127.0.0.1/223
-bash: connect:拒绝连接
-bash:/dev/tcp/127.0.0.1/223:拒绝连接
#223接口不存在,打开失败
[chengmo@centos5 shell]$ exec 8/dev/tcp/127.0.0.1/22
[chengmo@centos5 shell]$ ls-l/proc/self/fd/
总计 0
lrwx------ 1 chengmo chengmo 64 10-21 23:05 0-/dev/pts/0
lrwx------ 1 chengmo chengmo 64 10-21 23:05 1-/dev/pts/0
lrwx------ 1 chengmo chengmo 64 10-21 23:05 2-/dev/pts/0
lr-x------ 1 chengmo chengmo 64 10-21 23:05 3-/proc/22185/fd
lrwx------ 1 chengmo chengmo 64 10-21 23:05 8- socket:[15067661]
#文件描述符8,已经打开一个socket通讯通道,这个是一个可以读写socket通道,因为用:""打开
[chengmo@centos5 shell]$ exec 8-
#关闭通道
[chengmo@centos5 shell]$ ls-l/proc/self/fd/
总计 0
lrwx------ 1 chengmo chengmo 64 10-21 23:08 0-/dev/pts/0
lrwx------ 1 chengmo chengmo 64 10-21 23:08 1-/dev/pts/0
lrwx------ 1 chengmo chengmo 64 10-21 23:08 2-/dev/pts/0
lr-x------ 1 chengmo chengmo 64 10-21 23:08 3-/proc/22234/fd
二、通过重定向读取远程web服务器头信息
复制代码
代码如下:
#!/bin/sh
#testhttphead.sh
#实现通过主机名,端口读取web服务器header信息
#copyright chengmo,qq:8292669
if(($#2));then
echo"usage:$0 host port";
exit 1;
fi
#如果参数缺失,退出程序,返回状态1
exec 6/dev/tcp/$1/$2 2/dev/null;
#打开host的port可读写的socket连接,与文件描述符6连接
if(($?!=0));then
echo"open$1$2 error!";
exit 1;
fi
#如果打开失败,$?返回不为0,终止程序
echo-e"HEAD/ HTTP/1.1/n/n/n/n/n"6;
#将HEAD信息,发送给socket连接
cat6;
#从socket读取返回信息,显示为标准输出
exec 6-;
exec 6-;
#关闭socket的输入,输出
exit 0;
脚本建立后:存为testhttphead.sh
运行结果:
复制代码
代码如下:
[chengmo@centos5~/shell]$ sh testhttphead.sh www.baidu.com 80
HTTP/1.1 200 OK
Date: Thu, 21 Oct 2010 15:17:23 GMT
Server: BWS/1.0
Content-Length: 6218
Content-Type: text/html;charset=gb2312
Cache-Control: private
Expires: Thu, 21 Oct 2010 15:17:23 GMT
Set-Cookie: BAIDUID=1C40B2F8C676180FD887379A6E286DC1:FG=1; expires=Thu, 21-Oct-40 15:17:23 GMT; path=/; domain=.baidu.com
P3P: CP=" OTI DSP COR IVA OUR IND COM"
Connection: Keep-Alive
[chengmo@centos5~/shell]$ sh testhttphead.sh 127.0.0.1 8080
open 127.0.0.1 8080 error!
突然有个奇怪想法:
我们在windows时代就通过telnet可以实现tcp/upd协议通讯,那么如果用传统方法怎么实现呢?
复制代码
代码如下:
[chengmo@centos5~/shell]$ echo-e"HEAD/ HTTP/1.1/n/n/n/n/n"|telnet www.baidu.com 80
Trying 220.181.6.175...
Connected to www.baidu.com.
Escape character is'^]'.
Connection closed by foreign host.
#直接给发送,失败
[chengmo@centos5~/shell]$(telnet www.baidu.com 80)EOF
HEAD/ HTTP/1.1
EOF
Trying 220.181.6.175...
Connected to www.baidu.com.
Escape character is'^]'.
Connection closed by foreign host.
#重定向输入,还是失败?
找到正确方法:
复制代码
代码如下:
[chengmo@centos5 shell]$(echo-e"HEAD/ HTTP/1.1/n/n/n/n/n";sleep 2)|telnet www.baidu.com 80
Trying 220.181.6.175...
Connected to www.baidu.com.
Escape character is'^]'.
HTTP/1.1 200 OK
Date: Thu, 21 Oct 2010 15:51:58 GMT
Server: BWS/1.0
Content-Length: 6218
Content-Type: text/html;charset=gb2312
Cache-Control: private
Expires: Thu, 21 Oct 2010 15:51:58 GMT
Set-Cookie: BAIDUID=0B6A01ACECD5353E4247E088A8CB345A:FG=1; expires=Thu, 21-Oct-40 15:51:58 GMT; path=/; domain=.baidu.com
P3P: CP=" OTI DSP COR IVA OUR IND COM"
Connection: Keep-Alive
#成功了!加入sleep居然可以了,sleep改成1秒也可以
是不是由于sleep后,echo会推出2秒发给通道:telnet呢?推论可以从这2个方面推翻:
一个方面:通过()括的数据是一对命令,会作为一个子命令执行,一起执行完程序结束。每个命令echo语句,就直接发送到屏幕(也就是标准输出),只要有标准输出了,就会通过通道马上传个:telnet,如果接下来命令还有输出,会注意传给telnet,直到()内所有命令执行完,与通道连接就断开了。
再一个方面:如果说是起到推迟发送的话,什么时候有数据过来,发给telnet,什么时候telnet命令启动。跟你推迟一点还是早一点发送过来。没有关系。
这种类型命令,看出sleep,其实就是保持通道跟telnet连接2秒钟。通道连接着了,telnet终端输入也还在,因此可以保持从baidu服务器获得数据。
所以,延迟多久,还是跟服务器处理速度有关系。
如果通过echo向telnet发送数据,保持通道联通,使用sleep是个很好方法。
通过重定向给telnet输入参数这种方法,我还想不到怎么样实现延迟输入。有知道朋友,可以指点指点.
区别:
telnet与echo实现 http访问,与通过打开读写socket是不一样的,打开socket通道,是可以进行交换处理的。传入命令,活动结果,再传入命令,再获得结果。telnet通过echo就不能这样处理了。
三、通过shell脚本重定向实现监控memcache状态
复制代码
代码如下:
#!/bin/sh
#通过传入ip以及端口,发送指令获得返回数据
#copyright chengmo qq:8292669
#函数往往放到最上面
function sendmsg()
{
msg=$1;
echo"$1"8;
getout;
}
#向socket通道发送指令,并且调用获得返回参数
function getout()
{
#read命令-u从打开文件描述符 8读取数据,-d读取数据忽略掉:/r换行符
while read-u 8-d$'/r' name;
do
if ["${name}"=="END"-o"${name}"=="ERROR" ];then
break;
fi;
echo$name;
done
}
#由于:memcached每次通讯完毕,会返回:END或者ERROR(出错),通过判断是否是"END"觉得读取是不是结束,否则循环不会停止
if [$#-lt 2 ];then
echo"usage:$0 host port [command]";
exit 1;
fi;
[[$#-gt 2 ]]command=$3;
#设置默认值如果command为定义则为:stats
command="${command=stats}";
host="$1";
port="$2";
exec 8/dev/tcp/${host}/${port};
#打开通向通道是8
if ["$?"!="0" ];then
echo"open$host$port fail!";
exit 1;
fi
sendmsg"$command";
#发送指定命令
sendmsg"quit";
#发送退出通向命令
exec 8-;
exec 8-;
#关闭socket通道
exit 0;
这是通过重定向,实现socket通讯中,发送然后获取返回的例子。其实,上面代码看似一次只能发送一段。时间上。我们可以反复调用:sendmsg,捕捉输出数据。实现连续的,读与写操作。
实例截图:
其它实现方法:
其实通过:telnet也可以实现的。
[chengmo@centos5 shell]$(echo"stats";sleep 2)|telnet 127.0.0.1 11211
通过nc命令实现:
[chengmo@centos5 shell]$(echo"stats")|nc 127.0.0.1 11211
不需要加延迟,直接打开通道
第二个程序里面,看到shell完全可以处理交互设计了。如果按照这样,登陆ftp,pop3,stmp都可以类似实现。这些,我们通过shell socket类似程序实现,应该不困难,只是捕捉如发送解析的问题了。
查看linux中的TCP连接数
1)统计80端口连接数
2)统计httpd协议连接数
3)、统计已连接上的,状态为“established
4)、查出哪个IP地址连接最多,将其封了.
1、查看apache当前并发访问数:
对比httpd.conf中MaxClients的数字差距多少。
2、查看有多少个进程数:
3、可以使用如下参数查看数据
统计httpd进程数,连个请求会启动一个进程,使用于Apache服务器。
表示Apache能够处理1388个并发请求,这个值Apache可根据负载情况自动调整。
4341
netstat-an会打印系统当前网络链接状态,而grep-i"80"是用来提取与80端口有关的连接的,wc-l进行连接数统计。
最终返回的数字就是当前所有80端口的请求总数。
netstat-an会打印系统当前网络链接状态,而grep ESTABLISHED提取出已建立连接的信息。然后wc-l统计。
最终返回的数字就是当前所有80端口的已建立连接的总数。
查看Apache的并发请求数及其TCP连接状态:
TIME_WAIT 8947等待足够的时间以确保远程TCP接收到连接中断请求的确认
FIN_WAIT1 15等待远程TCP连接中断请求,或先前的连接中断请求的确认
FIN_WAIT2 1从远程TCP等待连接中断请求
ESTABLISHED 55代表一个打开的连接
SYN_RECV 21再收到和发送一个连接请求后等待对方对连接请求的确认
CLOSING 2没有任何连接状态
LAST_ACK 4等待原来的发向远程TCP的连接中断请求的确认
TCP连接状态详解
LISTEN:侦听来自远方的TCP端口的连接请求
SYN-SENT:再发送连接请求后等待匹配的连接请求
SYN-RECEIVED:再收到和发送一个连接请求后等待对方对连接请求的确认
ESTABLISHED:代表一个打开的连接
FIN-WAIT-1:等待远程TCP连接中断请求,或先前的连接中断请求的确认
FIN-WAIT-2:从远程TCP等待连接中断请求
CLOSE-WAIT:等待从本地用户发来的连接中断请求
CLOSING:等待远程TCP对连接中断的确认
LAST-ACK:等待原来的发向远程TCP的连接中断请求的确认
TIME-WAIT:等待足够的时间以确保远程TCP接收到连接中断请求的确认
CLOSED:没有任何连接状态
LAST_ACK 5
SYN_RECV 30
ESTABLISHED 1597
FIN_WAIT1 51
FIN_WAIT2 504
TIME_WAIT 1057
其中的
SYN_RECV表示正在等待处理的请求数;
ESTABLISHED表示正常数据传输状态;
TIME_WAIT表示处理完毕,等待超时结束的请求数。
查看Apache并发请求数及其TCP连接状态
查看httpd进程数(即prefork模式下Apache能够处理的并发请求数):
返回结果示例:
1388
表示Apache能够处理1388个并发请求,这个值Apache可根据负载情况自动调整,我这组服务器中每台的峰值曾达到过2002。
查看Apache的并发请求数及其TCP连接状态:
返回结果示例:
LAST_ACK 5
SYN_RECV 30
ESTABLISHED 1597
FIN_WAIT1 51
FIN_WAIT2 504
TIME_WAIT 1057
其中的SYN_RECV表示正在等待处理的请求数;ESTABLISHED表示正常数据传输状态;TIME_WAIT表示处理完毕,等待超时结束的请求数。
状态:描述
CLOSED:无连接是活动的或正在进行
LISTEN:服务器在等待进入呼叫
SYN_RECV:一个连接请求已经到达,等待确认
SYN_SENT:应用已经开始,打开一个连接
ESTABLISHED:正常数据传输状态
FIN_WAIT1:应用说它已经完成
FIN_WAIT2:另一边已同意释放
ITMED_WAIT:等待所有分组死掉
CLOSING:两边同时尝试关闭
TIME_WAIT:另一边已初始化一个释放
LAST_ACK:等待所有分组死掉
vim/etc/sysctl.conf
编辑文件,加入以下内容:
net.ipv4.tcp_syncookies= 1
net.ipv4.tcp_tw_reuse= 1
net.ipv4.tcp_tw_recycle= 1
net.ipv4.tcp_fin_timeout= 30
然后执行/sbin/sysctl-p让参数生效。
net.ipv4.tcp_syncookies= 1表示开启SYN cookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭;
net.ipv4.tcp_tw_reuse= 1表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭;
net.ipv4.tcp_tw_recycle= 1表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭。
net.ipv4.tcp_fin_timeout修改系统默认的 TIMEOUT时间
客户端与服务器端建立TCP/IP连接后关闭SOCKET后,服务器端连接的端口
状态为TIME_WAIT
是不是所有执行主动关闭的socket都会进入TIME_WAIT状态呢?
有没有什么情况使主动关闭的socket直接进入CLOSED状态呢?
主动关闭的一方在发送最后一个 ack后
就会进入 TIME_WAIT状态停留2MSL(max segment lifetime)时间
这个是TCP/IP必不可少的,也就是“解决”不了的。
也就是TCP/IP设计者本来是这么设计的
主要有两个原因
1。防止上一次连接中的包,迷路后重新出现,影响新连接
(经过2MSL,上一次连接中所有的重复包都会消失)
2。可靠的关闭TCP连接
在主动关闭方发送的最后一个 ack(fin),有可能丢失,这时被动方会重新发
fin,如果这时主动方处于 CLOSED状态,就会响应 rst而不是 ack。所以
主动方要处于 TIME_WAIT状态,而不能是 CLOSED。
TIME_WAIT并不会占用很大资源的,除非受到攻击。
还有,如果一方 send或 recv超时,就会直接进入 CLOSED状态
如何合理设置apache httpd的最大连接数?
手头有一个网站在线人数增多,访问时很慢。初步认为是服务器资源不足了,但经反复测试,一旦连接上,不断点击同一个页面上不同的链接,都能迅速打开,这种现象就是说明apache最大连接数已经满了,新的访客只能排队等待有空闲的链接,而如果一旦连接上,在keeyalive的存活时间内(KeepAliveTimeout,默认5秒)都不用重新打开连接,因此解决的方法就是加大apache的最大连接数。
1.在哪里设置?
apache 2.24,使用默认配置(FreeBSD默认不加载自定义MPM配置),默认最大连接数是250
在/usr/local/etc/apache22/httpd.conf中加载MPM配置(去掉前面的注释):
Include etc/apache22/extra/httpd-mpm.conf
可见的MPM配置在/usr/local/etc/apache22/extra/httpd-mpm.conf,但里面根据httpd的工作模式分了很多块,哪一部才是当前httpd的工作模式呢?可通过执行 apachectl-l来查看:
Compiled in modules:
core.c
prefork.c
http_core.c
mod_so.c
看到prefork字眼,因此可见当前httpd应该是工作在prefork模式,prefork模式的默认配置是:
<IfModule mpm_prefork_module>
StartServers 5
MinSpareServers 5
MaxSpareServers 10
MaxClients 150
MaxRequestsPerChild 0
</IfModule>
2.要加到多少?
连接数理论上当然是支持越大越好,但要在服务器的能力范围内,这跟服务器的CPU、内存、带宽等都有关系。
查看当前的连接数可以用:
ps aux| grep httpd| wc-l
或:
pgrep httpd|wc-l
计算httpd占用内存的平均数:
ps aux|grep-v grep|awk'/httpd/{sum+=$6;n++};END{print sum/n}'
由于基本都是静态页面,CPU消耗很低,每进程占用内存也不算多,大约200K。
服务器内存有2G,除去常规启动的服务大约需要500M(保守估计),还剩1.5G可用,那么理论上可以支持1.5 1024 1024*1024/200000= 8053.06368
约8K个进程,支持2W人同时访问应该是没有问题的(能保证其中8K的人访问很快,其他的可能需要等待1、2秒才能连上,而一旦连上就会很流畅)
控制最大连接数的MaxClients,因此可以尝试配置为:
<IfModule mpm_prefork_module>
StartServers 5
MinSpareServers 5
MaxSpareServers 10
ServerLimit 5500
MaxClients 5000
MaxRequestsPerChild 100
</IfModule>
注意,MaxClients默认最大为250,若要超过这个值就要显式设置ServerLimit,且ServerLimit要放在MaxClients之前,值要不小于MaxClients,不然重启httpd时会有提示。
重启httpd后,通过反复执行pgrep httpd|wc-l来观察连接数,可以看到连接数在达到MaxClients的设值后不再增加,但此时访问网站也很流畅,那就不用贪心再设置更高的值了,不然以后如果网站访问突增不小心就会耗光服务器内存,可根据以后访问压力趋势及内存的占用变化再逐渐调整,直到找到一个最优的设置值。
(MaxRequestsPerChild不能设置为0,可能会因内存泄露导致服务器崩溃)
更佳最大值计算的公式:
apache_max_process_with_good_perfermance<(total_hardware_memory/ apache_memory_per_process)* 2
apache_max_process= apache_max_process_with_good_perfermance* 1.5
附:
实时检测HTTPD连接数:
watch-n 1-d"pgrep httpd|wc-l"
畅谈linux下TCP(上)
tcp协议是互联网中最常用的协议,开发人员基本上天天和它打交道,对它进行深入了解。可以帮助我们排查定位bug和进行程序优化。下面我将就TCP几个点做深入的探讨
客户端:收到 ack后分配连接资源。发送数据
服务器:收到 syn后立即分配连接资源
客户端:收到ACK,立即分配资源
服务器:收到ACK,立即分配资源
既然三次握手也不是100%可靠,那四次,五次,六次。。。呢?其实都一样,不管多少次都有丢包问题。
client只发送一个 SYN, server分配一个tcb,放入syn队列中。这时候连接叫半连接状态;如果server收不到 client的ACK,会不停重试发送 ACK-SYN给client。重试间隔为 2的 N次方叠加(2^0, 2^1, 2^2....);直至超时才释放syn队列中的这个 TCB;
在半连接状态下,一方面会占用队列配额资源,另一方面占用内存资源。我们应该让半连接状态存在时间尽可能的小
当client向一个未打开的端口发起连接请求时,会收到一个RST回复包
当listen的 backlog和 somaxconn都设置了得时候,取两者min值
Recv-Q是accept队列当前个数, Send-Q设置最大值
这种SYN洪水攻击是一种常见攻击方式,就是利用半连接队列特性,占满syn队列的资源,导致 client无法连接上。
解决方案:
为什么不像握手那样合并成三次挥手?因为和刚开始连接情况,连接是大家都从0开始,关闭时有历史包袱的。server(被动关闭方)收到 client(主动关闭方)的关闭请求FIN包。这时候可能还有未发送完的数据,不能丢弃。所以需要分开。事实可能是这样
当然,在没有待发数据,并且允许 Delay ACK情况下, FIN-ACK合并还是非常常见的事情,这是三次挥手是可以的。
同上
CLOSE_WAIT是被动关闭方才有的状态。
被动关闭方 [收到 FIN包发送 ACK应答]到 [发送FIN,收到ACK ]期间的状态为 CLOSE_WAIT,这个状态仍然能发送数据。我们叫做半关闭,下面用个例子来分析:
这个是我实际生产环境碰到的一个问题,长连接会话场景,server端收到client的rpc call请求1,处理发现请求包有问题,就强制关闭结束这次会话,但是因为client发送第二次请求之前,并没有去调用recv,所以并不知道这个连接被server关闭,继续发送请求2,此时是半连接,能够成功发送到对端机器,但是recv结果后,遇到连接已经关闭错误。
如果 client和 server恰好同时发起关闭连接。这种情况下,两边都是主动连接,都会进入 TIME_WAIT状态
1、被动关闭方在LAST_ACK状态(已经发送FIN),等待主动关闭方的ACK应答,但是 ACK丢掉,主动方并不知道,以为成功关闭。因为没有TIME_WAIT等待时间,可以立即创建新的连接,新的连接发送SYN到前面那个未关闭的被动方,被动方认为是收到错误指令,会发送RST。导致创建连接失败。
2、主动关闭方断开连接,如果没有TIME_WAIT等待时间,可以马上建立一个新的连接,但是前一个已经断开连接的,延迟到达的数据包。被新建的连接接收,如果刚好seq和 ack字段都正确, seq在滑动窗口范围内(只能说机率非常小,但是还是有可能会发生),会被当成正确数据包接收,导致数据串包。如果不在window范围内,则没有影响(发送一个确认报文(ack字段为期望ack的序列号,seq为当前发送序列号),状态变保持原样)
TIME_WAIT问题比较比较常见,特别是CGI机器,并发量高,大量连接后段服务的tcp短连接。因此也衍生出了多种手段解决。虽然每种方法解决不是那么完美,但是带来的好处一般多于坏处。还是在日常工作中会使用。
1、改短TIME_WAIT等待时间
这个是第一个想到的解决办法,既然等待时间太长,就改成时间短,快速回收端口。但是实际情况往往不乐观,对于并发的机器,你改多短才能保证回收速度呢,有时候几秒钟就几万个连接。太短的话,就会有前面两种问题小概率发生。
2、禁止Socket lingering
这种情况下关闭连接,会直接抛弃缓冲区中待发送的数据,会发送一个RST给对端,相当于直接抛弃TIME_WAIT,进入CLOSE状态。同样因为取消了 TIME_WAIT状态,会有前面两种问题小概率发生。
3、tcp_tw_reuse
net.ipv4.tcp_tw_reuse选项是从 TIME_WAIT状态的队列中,选取条件:1、remote的 ip和端口相同, 2、选取一个时间戳小于当前时间戳;用来解决端口不足的尴尬。
现在端口可以复用了,看看如何面对前面TIME_WAIT那两种问题。我们仔细回顾用一下前面两种问题。都是在新建连接中收到老连接的包导致的问题,那么如果我能在新连接中识别出此包为非法包,是不是就可以丢掉这些无用包,解决问题呢。
需要实现这些功能,需要扩展一下tcp包头。增加时间戳字段。发送者在每次发送的时候。在tcp包头里面带上发送时候的时间戳。当接收者接收的时候,在ACK应答中除了TCP包头中带自己此时发送的时间戳,并且把收到的时间戳附加在后面。也就是说ACK包中有两个时间戳字段。结构如下:
那我们接下来一个个分析tcp_tw_reuse是如何解决TIME_WAIT的两个问题的
4、tcp_tw_recycle
tcp_tw_recycle也是借助 timestamp机制。顾名思义, tcp_tw_reuse是复用端口,并不会减少 TIME-WAIT数量。你去查询机器上TIME-WAIT数量,还是几千几万个,这点对有强迫症的同学感觉很不舒服。tcp_tw_recycle是提前回收 TIME-WAIT资源。会减少机器上 TIME-WAIT数量。
tcp_tw_recycle工作原理是。