centos 透明代理(openwrt全局透明代理)
大家好，centos 透明代理相信很多的网友都不是很明白，包括openwrt全局透明代理也是一样，不过没有关系，接下来就来为大家分享关于centos 透明代理和openwrt全局透明代理的一些知识点，大家可以关注收藏，免得下次来找不到哦，下面我们开始吧！
apache traffic server怎么配置webui
一介绍
Apache Traffic Server（ATS或TS）是一个高性能的、模块化的 HTTP代理和缓存服务器。Traffic Server最初是 Inktomi公司的商业产品，该公司在 2003年被 Yahoo收购，之后 Traffic Server一直在 Yahoo内部使用长达 4年，直到 2009年 8月 Yahoo向 Apache软件基金会（ASF）贡献了源代码，并于 2010年 4月成为了 ASF的顶级项目（Top-Level Project）。 Apache Traffic Server现在是一个开源项目，开发语言为C++。
Traffic Server的开发团队曾经由 Chuck Neerdaels领导，他也是 Harvest项目的早期创始人之一，Harvest项目后来发展为十分流行的 Squid项目；Leif Hedstrom直接管理着现在的 Traffic Server开发团队。目前 Chuck Neerdaels和 Leif Hedstrom都已加盟知名 CDN服务提供商 Akamai。
HTTP代理服务器是 HTTP服务器的一种实现，处于客户端（一般为浏览器）与另一个 HTTP服务器之间（通常指源服务器，Origin Server）。HTTP代理通常分为正向代理、反向代理和透明代理，我们主要关注的是反向代理（Reverse Proxy，见下图）反向代理服务器根据明确配置的映射规则来处理用户请求。反向代理服务器通常会设置一个较大的缓存区，服务器处理请求的同时将请求的内容缓存在服务器本地，当下次用户请求同一个对象时，服务器可直接从缓存区里取出对象，而不用去源服务器去取，起到了加速的效果。另外，配置反向代理的映射规则也能实现负载均衡的功能。除了 Traffic Server，常见的开源代理服务器还有 Squid，Varnish，Nginx，HAProxy。
Apache<wbr>Traffic<wbr>Server<wbr>简介
Traffic Server在 Yahoo内部使用了超过 4年，主要用于 CDN服务，CDN用于分发特定的 HTTP内容，通常是静态的内容如图片、JavaScript、CSS。下面是Traffic Server在 Yahoo CDN应用的一些情况：
超过 4年的使用中，缓存中没有出现已知的数据损坏（data corruption）；
作为反向代理，服务器方便部署和管理，并且大部分配置的更改可直接在线上服务器完成，而不用重启服务；
在高并发情况下扩展良好，支持 HTTP/1.1协议特性，如 SSL、Keep-Alive；
在世界范围内部署了超过 100台服务器；
在实际CDN中，每秒处理超过 350,000次请求，达到 30 Gbps，最大容量至少十倍于普通使用，以应对高峰时的大量请求；
在实际 CDN中，每台服务器有 20,000到 30,000的 keep-alive并发连接，其中有 1,000到 2,000的连接是一直很活跃的；
实验环境中，单台服务器每秒处理 105,000次请求，请求的对象是被缓存住的小文件；
实验环境中，请求大文件时，单台服务器达到 3.6 Gbps（4x GigE NIC bonded）。
二组件、机制
Traffic Server（TS）的组成
1.Traffic Server缓存
TS缓存包含一个高速的对象数据库，数据库根据 URL和相关头部来索引对象，对于同一对象可以缓存不同版本（如不同的编码、语言）。
当缓存空间满后，TS会移除过期的数据。
当磁盘出错时，TS将不再使用该块磁盘，转而使用剩下的磁盘。所有磁盘都出错时，TS将切换至 proxy-only模式，即只代理，不缓存。
可分区，即可以给指定的协议和源服务器划分一定数量的磁盘空间
2.RAM缓存
内存缓存区储存比较热门的对象，在流量的高峰期时能加快处理速度和降低磁盘负载。
3.主机数据库
储存 DNS信息，方便主机名到 IP地址的快速转换
储存每个主机的 HTTP版本，方便高级协议特性的使用
储存主机的可靠性和可用性信息
4.DNS解析器
TS原生实现了 DNS解析器，不依赖较慢的传统解析库。同时也降低了 DNS的流量。
5.Traffic Server进程
traffic_server进程负责接受连接，处理协议请求，然后从缓存或源服务器获取对象并返回
traffic_manager进程是 TS的命令和控制设施，负责启动、监控和配置 traffic_server进程，它也负责代理的端口配置、统计信息的接口、集群管理和虚拟 IP的故障转移。
如果 traffic_manager检测到 traffic_server进程失效，它立即重启 traffic_server进程并且维护一个连接队列，保存此时到来的请求，完全重启后这个队列里的连接将按顺序被处理。
traffic_cop进程监视 traffic_server和 traffic_manager进程，此进程周期性的查询 traffic_server和 traffic_manager进程的健康状况，如果查询在一定间隔时间内未返回或者返回信息不正确，traffic_cop将重启 traffic_manager和 traffic_server进程。
Apache<wbr>Traffic<wbr>Server<wbr>简介
6.管理工具
Traffic Line是命令行程序，可以用来快速监视 Traffic Server的性能和网络流量，也能配置 TS。
Traffic Shell也是命令行工具，进入该 shell后有自己一套语法，可代替 Traffic Line完成监控、配置任务。
通过 Traffic Line和 Traffic Shell对配置作出的修改将会自动写入配置文件中。
Traffic Server的底层机制
Apache Traffic Server不同于大部分开源代理服务器，它结合了两种技术来处理高并发：
异步事件处理（Asynchronous event processing）
多线程（Multi-threading）
Traffic Server在多 CPU、多核的硬件上扩展良好，能充分利用所有可用的 CPU和其他资源。
HTTP代理缓存相关机制
1. Traffic Server处理请求的过程
1）用户请求一个 web对象，TS收到请求
2）TS通过对象的地址，在对象数据库（缓存）中去定位该对象
a.如果对象在缓存中，TS会检查对象是否新鲜（fresh）
如果新鲜，TS从缓存里返回该对象给用户，此时称为缓存命中（cache hit）
如果不新鲜（stale），TS会连接源服务器去验证对象是否仍然新鲜，即重新验证（revalidation），如果仍然新鲜，TS立即将缓存中的副本返回给用户
b.如果对象不在缓存中（缓存未命中，cache miss），或者缓存的副本不再有效，TS会去源服务器获取对象，然后同时做下面两件事
将对象返回给用户
将对象放到本地缓存中
2. Traffic Server判断 HTTP对象是否新鲜（fresh）的过程
如果有 Expires或者 max-age头部直接定义缓存的过期时间，TS将对比当前时间和过期时间去判断对象是否新鲜
如果没有上述头部，TS将检查 Last-Modified和 Date头部（其中Date是源服务器返回对象的时间，如果没有 Last-Modified头部，TS会用对象写入缓存的时间以作代替），然后用以下公式算出新鲜的时间范围（freshness_limit，可理解为保质期）:
freshness_limit=( Date- Last-Modified) x 0.1
0.1这个参数可以作调整，并且能限制 freshness_limit的上下限，默认最小是 1小时，最大是 1天
如果没有 Expires头部或者没有 Last-Modified、Date头部，TS将使用默认的 fressness limit
另外，TS还会检查 cache.config配置文件中的 revalidate规则，该规则可以对特定的 HTTP对象设置特定的验证时间（特定的域名、IP、一定规则的 URL、特定的客户端等等）
3.缓存过期（stale），Traffic Server去源服务器重新验证对象可能的情况
仍然 fresh，TS重置 freshness_limit，并返回对象
对象新副本可用，TS缓存新对象，并同时返回给用户
源服务器上的对象不再存在，TS也不再返回该副本给用户
源服务器没有响应，TS返回过期的对象并发出警告。
更详细的说明请查看 Traffic Server管理文档中的 HTTP Proxy Caching部分
三安装、使用
Apache Traffic Server开源后添加了 64位支持，也移植到了常见的 Linux发行版、FreeBSD、OpenSolaris和 Mac OS X，开源之前 Yahoo Traffic Server一直运行在 32-bit Linux上。
（以 Apache Traffic Server 2.1.1 unstable为例在 32-bit Linux环境下进行安装测试）
安装
1.下载、解压
wget
wget
md5sum-c trafficserver-2.1.1-unstable.tar.bz2.md5
tar jxvf trafficserver-2.1.1-unstable.tar.bz2
cd trafficserver-2.1.1-unstable
2.编译、安装
查看 README说明文档，安装编译依赖的库（centos可参照 fedora依赖的软件包，pcre包替换为 pcre-devel即可）
./configure--help查看编译的一些选项
./configure（默认安装在/usr/local，如需修改，使用--prefix=PREFIX；参数中还有用户和用户组选项，这是 TS进程运行的身份，默认均为 nobody，centos可以不作修改，其他发行版可能需要修改，如./configure--with-group=nogroup）
make
make install以管理员身份执行
目录结构
默认目录
内容
/usr/local/var/log/trafficserver
运行时创建的日志文件
/usr/local/var/trafficserver
运行时的一系列文件
/usr/local/etc/trafficserver
配置文件
/usr/local/bin
可执行文件
/usr/local/libexec/trafficserver
插件
初步配置
records.config是 key-value格式的配置文件，负责大部分全局的选项设置，即主配置文件。
storage.config用于指定磁盘存储。
remap.config定义映射规则，用于请求的重写（rewrite），反向代理即在此配置。
records.config中关键的配置
CONFIG proxy.config.exec_thread.autoconfig INT 1
CONFIG proxy.config.exec_thread.autoconfig.scale FLOAT 2.0
CONFIG proxy.config.exec_thread.limit INT 2#经观察是每个核创建的线程数，官方文档中未提及
CONFIG proxy.config.cluster.ethernet_interface STRING eth0#设置以太网接口
CONFIG proxy.config.http.server_port INT 8080#监听端口，反向代理通常为80
LOCAL proxy.local.incoming_ip_to_bind STRING 0.0.0.0#绑定的 IP，可省略，默认即为 0.0.0.0
CONFIG proxy.config.http.cache.http INT 1#打开缓存功能
CONFIG proxy.config.cache.ram_cache.size INT 512M# RAM缓存大小
CONFIG proxy.config.reverse_proxy.enabled INT 1#打开
CONFIG proxy.config.url_remap.remap_required INT 1# 1为只反向代理，0为正向+反向代理
CONFIG proxy.config.url_remap.pristine_host_hdr INT 0
CONFIG proxy.config.ssl.enabled INT 0#关闭SSL
CONFIG proxy.config.ssl.server.cert.filename STRING server.pem
CONFIG proxy.config.http.server_max_connections INT 2000#同源服务器的最大连接数
CONFIG proxy.config.http.keep_alive_no_activity_timeout_out INT 60#当一个事务结束后同原服务器保持连接的时间
remap.config配置
map 通过 DNS轮询可实现负载均衡
reverse_map reverse_map能在源服务器有 HTTP重定向跳转时，修改重定向请求，即重写 Location头部内容
map
reverse_map
map
reverse_map
storage.config配置
/data1 67108864#指定一个或多个目录，注明缓存大小，也可直接指定 raw分区，详见storage.config中的注释说明
更详细的配置可参考官方管理指南
服务控制
运行/usr/local/bin/trafficserver start
结束/usr/local/bin/trafficserver stop
重启/usr/local/bin/trafficserver restart
命令行工具、监控
/usr/local/bin/traffic_line需用管理员身份执行
查看帮助 traffic_line-h
查看变量的值 traffic_line-r变量名（变量名见官方管理指南附录C，含 TS运行时统计数据）
给变量赋值 traffic_line-s变量名-v值（变量名见records.config）
不重启TS使配置生效 traffic_line-x
/usr/local/bin/traffic_shell需用管理员身份执行，进入后提示符为“%”
查看帮助 man traffic_shell（由于开发者疏忽，暂不能用）
show命令，如%show:cache-stats查看缓存统计，如命中情况，缓存大小；如%show:proxy-stats查看命中率
config命令，如%config:logging event disable关闭日志；如%config:cache clear，清除缓存，config命令作出的修改都会立即生效
/usr/local/bin/traffic_logcat日志查看工具
traffic_logcat-h获得帮助
查看二进制日志 traffic_logcat日志文件名
Traffic Server系统自身的运行日志可在/var/log/message中查看（centos），用于排错
traffic_logstats提供了基于日志的统计功能
四结论
Apache Traffic Server开源后功能在不断被开发，性能得到很大提升，社区也在逐渐发展，但除了 Yahoo之外还很少有其他实践，很多功能（如集群）的文档有待完善。Traffic Server丰富的插件开发是其一大亮点，模块化的特点使其拥有很好的扩展性和灵活性，再加上它的高性能，相信 Apache Traffic Server未来将在很多场景中替代传统的代理和缓存服务器而成为大家的首选。
如何在CentOS或RHEL上搭建Squid透明Web代理系统
使用透明代理有几个好处。首先，对最终用户来说，透明代理可以改善上网浏览体验，因为缓存了经常访问的网站内容，同时给他们带来的配置开销最小。对管理员来说，透明代理可用于执行各种管理政策，比如内容/URL/IP过滤和速率限制等。
代理服务器充当客户端和目的地服务器之间的中介。客户端将请求发送到代理服务器，随后代理服务器评估请求，并采取必要的动作。在本教程中，我们将使用Squid搭建一个Web代理服务器，而Squid是一种健壮的、可定制的、稳定的代理服务器。就个人而言，大概一年来我管理着一台拖有400多个客户端工作站的Squid服务器。虽然平均而言我大概一个月就要重启一次服务，但处理器和存储使用率、吞吐量以及客户端响应时间都表现不错。
我们将配置Squid以获得下列拓扑结构。CentOS/RHEL设备有一块网卡（eth0）连接到专有局域网，另一块网卡（eth1）则连接到互联网。
Squid的安装
想使用Squid搭建透明代理系统，我们首先要添加必要的iptables规则。这些规则应该会帮助你开始上手，不过务必要确保它们与任何的现有配置没有冲突。
# iptables-t nat-A POSTROUTING-o eth1-j MASQUERADE# iptables-t nat-A PREROUTING-i eth0-p tcp--dport 80-j REDIRECT--to-port 3128
第一条规则将引起来自eth1（广域网接口）的所有出站数据包都有eth1的源IP地址（也就是启用NAT）。第二条规则将把来自eth0（局域网接口）的所有入站HTTP数据包（发往TCP 80）重定向至Squid侦听端口（TCP 3128），而不是直接将其转发到广域网接口。
我们使用yum，开始安装Squid。
# yum install squid
现在，我们将改动Squid配置，将其变成透明代理系统。我们将局域网子网（比如10.10.10.0/24）定义为有效的客户端网络。不是来自该局域网子网的任何流量将被拒绝访问。
# vim/etc/squid/squid.conf visible_hostname proxy.example.tst http_port 3128 transparent##定义我们的网络## acl our_network src 10.10.10.0/24##确保我们的网络允许访问## http_access allow our_network##最后拒绝其他的所有流量## http_access deny all
现在我们开启Squid服务，确保它已被添加到启动项。
# service squid start# chkconfig squid on
鉴于Squid已搭建并运行起来，我们可以测试其功能了，为此只需监测Squid日志。从连接至该局域网的计算机访问任何URL，你应该会在日志中看到类似以下的内容。
# tailf/var/log/squid/access.log 1402987348.816 1048 10.10.10.10 TCP_MISS/302 752 GET DIRECT/173.194.39.178 text/html 1402987349.416 445 10.10.10.10 TCP_MISS/302 762 GET DIRECT/173.194.78. 94 text/html
据日志文件显示，IP地址为10.10.10.10的机器试图访问google.com，Squid处理了这个请求。
一种最基本的Squid代理服务器现已准备就绪。在本教程的余下部分，我们将调整Squid的一些参数，以控制出站流量。请注意：这仅仅为了演示。实际的政策应加以定制，以满足你的具体要求。
准备工作
在开始配置之前，我们先明确几个要点。
Squid配置解析
在阅读配置文件时，Squid以一种自上而下的方式来解析文件。自上而下地解析规则，直到发现匹配为止。一旦发现匹配，该规则就被执行；其下面的其他任何规则将被忽视。所以，添加过滤规则的最佳实践就是，按下列顺序指定规则。
explicit allow
explicit deny
allow entire LAN
deny all
Squid重启与Squid重新配置
一旦Squid配置经过改动，Squid服务就需要重启。重启服务可能需要一段时间，有时要几分钟，长短取决于活动连接的数量。在这个期间，局域网用户无法访问互联网。想避免这种服务中断，我们可以使用下面这个命令，而不是使用“service squid restart”。
# squid-k reconfigure
该命令将允许Squid使用更新后的参数来运行，而不需要重启本身。
按照IP地址过滤局域网主机
在这个演示中，我们想要搭建这样的Squid：禁止拥有IP地址10.10.10.24的主机和IP地址10.10.10.25的主机访问互联网。为此，我们创建了一个文本文件“denied-ip-file”，里面含有所有被拒绝访问的主机的IP地址，然后将该文件添加到Squid配置中。
# vim/etc/squid/denied-ip-file 10.10.10.24 10.10.10.25# vim/etc/squid/squid.conf##首先我们创建访问控制列表（ACL），隔离被拒绝访问的IP地址##acl denied-ip-list src"/etc/squid/denied-ip-file"##然后，我们应用ACL## http_access deny denied-ip-list##明确拒绝## http_access allow our_network##允许局域网## http_access deny all##拒绝所有deny all##
现在我们需要重启Squid服务。Squid将不再认可来自这些IP地址的请求。如果我们检查squid日志，就会发现来自这些主机的请求处于“TCP_DENIED”状态。
过滤黑名单中的网站
这个方法将只适用于HTTP。假设我们想阻止badsite.com和denysite.com，就可以将这两个网址添加到文件，并且将引用添加到squid.conf。
# vim/etc/squid/badsite-file badsite denysite# vim/etc/squid/squid.conf## ACL定义##acl badsite-list url_regex"/etc/squid/badsite-file"## ACL应用## http_access deny badsite-list http_access deny denied-ip-list##之前设置，但这里不起作用## http_access allow our_network http_access deny all
请注意：我们使用了ACL类型“url_regex”，这将与所请求的URL中的“badsite”和“denysite”这两个词相匹配。也就是说，凡是在URL中含有“badsite”或“denysite”（比如badsite.org、newdenysite.com或otherbadsite.net）的请求一律被阻止。
合并多个ACL
我们将创建一个访问列表，阻止IP地址为10.10.10.200的客户端和IP地址为10.10.10.201的客户端访问custom-block-site.com。其他任何客户端都能够访问该网站。为此，我们将首先创建一个访问列表以隔离这两个IP地址，然后创建另一个访问列表以隔离所需的网站。最后，我们将同时使用这两个访问列表，以满足要求。
# vim/etc/squid/custom-denied-list-file 10.10.10.200 10.10.10.201# vim/etc/squid/custom-block-website-file custom-block-site# vim/etc/squid/squid.conf acl custom-denied-list src"/etc/squid/custom-denied-list-file" acl custom-block-site url_regex"/etc/squid/custom-block-website-file"## ACL应用## http_access deny custom-denied-list custom-block-site http_access deny badsite-list##之前设置，但这里不起作用## http_access deny denied-ip-list##之前设置，但这里不起作用## http_access allow our_network http_access deny all# squid-k reconfigure
被阻止的主机现在应该无法访问上述网站了。日志文件/var/log/squid/access.log应该含有相应请求的“TCP_DENIED”。
设定最大下载文件大小
Squid可以用来控制最大的可下载文件大小。我们想把IP地址为10.10.10.200的主机和IP地址为10.10.10.201的主机的最大下载大小限制在50MB。我们之前已经创建了ACL“custom-denied-list”，以隔离来自这些源地址的流量。现在，我们将使用同一个访问列表来限制下载文件大小。
# vim/etc/squid/squid.conf reply_body_max_size 50 MB custom-denied-list# squid-k reconfigure
建立Squid缓存层次体系
Squid支持缓存的方式是，将经常访问的文件存储在本地存储系统中。设想一下：你的局域网上有100个用户在访问google.com。要是没有缓存功能，就要为每一个请求单独获取Google标识或涂鸦。Squid可以将标识或涂鸦存储在缓存中，以便从缓存来提供。这不仅改善了用户感觉得到的性能，还减少了带宽使用量。这可以说是一举两得。
想启用缓存功能，我们可以改动配置文件squid.conf。
# vim/etc/squid/squid.conf cache_dir ufs/var/spool/squid 100 16 256
数字100、16和256有下列含义。
•为Squid缓存分配100 MB存储空间。如果你愿意，也可以加大所分配的空间。
•16个目录（每个目录里面含有256个子目录）将用于存储缓存文件。这个参数不应该改动。
我们可以通过日志文件/var/log/squid/access.log来证实Squid缓存是否被启用。如果缓存成功命中，我们应该会看到标有“TCP_HIT”的项。
总而言之，Squid是一种功能强大的、基于行业标准的Web代理服务器，被全球各地的系统管理员们广泛使用。Squid提供了简易的访问控制功能，可用于管理来自局域网的流量。它既可以部署到大企业网络中，也可以部署到小公司网络中。
Linux系统下配置squid代理服务器的过程详解
简单记录一下Squid透明代理服务器的配置
环境：VirtualBox+ CentOS 6.0+ squid-3.1.4-1.el6.i686
0、检查squid是否默认安装，没有安装的先安装
代码如下:
[root@Slyar~]# rpm-qa squid
squid-3.1.4-1.el6.i686
1、虚拟机添加双网卡，全部设置桥接，配置IP，eth0作为外网，eth1作为内网，注意配置文件里的网卡MAC地址要和设备匹配!
代码如下:
[root@Slyar~]# vim/etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
ONBOOT=yes
TYPE=Ethernet
HWADDR=08:00:27:BC:6A:0D
IPADDR=172.17.1.221
PREFIX=24
GATEWAY=172.17.1.254
DNS1=172.16.5.133
NAME="System eth0"
p[root@Slyar~]# vim/etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE="eth1"
ONBOOT=yes
TYPE=Ethernet
HWADDR=08:00:27:20:52:B2
IPADDR=192.168.1.254
PREFIX=24
NAME="System eth1"
p[root@Slyar~]#/etc/init.d/network restart#重新启动网卡
配置之后无法上网的，注意用route命令看一下默认路由。建议eth1就不要设置网关了，省的麻烦，当然如果你愿意配置默认路由也没所谓。
2、配置squid及透明模式
代码如下:
[root@Slyar~]# cp/etc/squid/squid.conf/etc/squid/squid.conf.bak
[root@Slyar~]# vim/etc/squid/squid.conf
为了省事，我直接把下面这行改成 http_access allow all，读者可以自行修改允许范围。
代码如下:
# And finally deny all other access to this proxy
http_access deny all
切记一定要在配置文件最下方增加下面这条语句，否则squid无法启动!
代码如下:
visible_hostname localhost
如果你要使用透明模式，在端口后面增加关键字"transparent"。
不使用透明模式的话，这行不用改，进行第3步之后可以直接跳到第7步测试了。
代码如下:
# Squid normally listens to port 3128
http_port 3128 transparent
3、启动squid
代码如下:
[root@Slyar~]# service squid restart
4、为透明代理配置iptables，设置转发
为了省事，直接创建一个shell脚本，开启网卡间流量交换，开启NAT，设置DNS转发，设置80端口流量全部转发到3128端口交给squid处理。
代码如下:
[root@Slyar~]# vim squid.sh#创建脚本文件
代码如下:
#!/bin/bash
echo"1"/proc/sys/net/ipv4/ip_forward
modprobe iptable_nat
/sbin/iptables-t nat-A POSTROUTING-j MASQUERADE
iptables-t nat-A PREROUTING-p udp--dport 53-j DNAT--to 172.16.5.133
iptables-t nat-A PREROUTING-i eth1-p tcp-s 192.168.1.0/24--dport 80-j REDIRECT--to-ports 3128
p[root@Slyar~]# chmod o+x squid.sh#给脚本执行权限
[root@Slyar~]#./squid.sh#启动脚本
5、将iptables指定保存到配置文件
代码如下:
[root@Slyar~]# service iptables save
6、重新启动iptables
代码如下:
[root@Slyar~]# service iptables restart
7、测试squid透明代理
客户端设置IP地址:192.168.1.x/24
网关：192.168.1.254
DNS服务器：192.168.1.254
8、打开IE，不用设置代理(因为是透明代理)，输入www.如果能打开就成功。
9、补充非透明代理测试方法：打开IE-工具- Internet选项-连接-局域网设置-代理服务器，设置服务器IP为192.168.1.254，端口3128，确定。
