缓存服务varnish安装配置一、varnish优点1、数据存储，可以使用内存缓存，也可以使用磁盘大文件存储，减少小文件频繁读写2、充分利用多核cpu,支持http/1.1协议3、可以使用正则匹配缓存，配置灵活，思路清晰，管理端口，工具工具使用方便二、工作原理流程 三、安装及其配置官方地址https://www.varnish-cache.org/tar varnish-3.0.0.tar.gzcd varnish-3.0.0./configure --prefix=/usr/local/varnish3.0make && make install配置实例及说明vim /usr/local/varnish3.0/etc/varnish/default.vcl#设置后端服务backend test1 {    .host = "192.168.100.5";    .port = "80";    .connect_timeout = 1s;    .first_byte_timeout = 5s;    .between_bytes_timeout = 2s;}backend test2 {    .host = "192.168.100.6";    .port = "80";    .connect_timeout = 1s;    .first_byte_timeout = 5s;    .between_bytes_timeout = 2s;}#定义负载均衡director lb_test ra...

安装配置Varnish3.0手记 在内网的vps上安装Varnish的最新版3.0来用做测试Varnish有centos下的rpm和ubuntu下的deb二进制包下载，但我选择的是源码编译安装先下载 wget http://repo.varnish-cache.org/source/varnish-3.0.0.tar.gztar -xzvf varnish-3.0.0.tar.gz yum install gcc yum install gcc-c++ libstdc++-develyum install -y httpd-devel pcre perl pcre-devel zlib zlib-devel GeoIP GeoIP-devel Varnish需要pcre支持，如果服务器没有安装pcre-devel会提示需要指定prce目录。Centos服务器上使用yum install pcre-devel安装 解压varnish进行编译安装cd varnish-3.0.0./autogen.sh./configure --prefix=/usr/local/varnish PKG_CONFIG_PATH=/usr/lib/pkgconfig makemake install安装成功后,安装的目录是cd /usr/local/varnish/sbin./varnishd -V 查看版本，看是否安装成功测试varnish先编辑配置文件vi /usr/local/varnish/etc/varnish/default.vcl  # This is a basic VCL configuration file for varnish.  See the vcl(7)# man page for ...

varnish-3.0.2 安装配置文件  varnish的介绍很多，这里就不做过多的说明，直接贴上我的安装及配置方法，希望会对大家有用，仅供参考安装方法如下： wget -S http://repo.varnish-cache.org/source/varnish-3.0.2.tar.gz tar zxvf varnish-3.0.2.tar.gz cd varnish-3.0.2 ./configure --prefix=/usr/local/varnish --enable-dependency-trackin --enable-debugging-symbols --enable-developer-warnings make make install varnish No package 'libpcre' found 说是缺少 pcre。我安装nginx的时候用到了pcre 安装了的 使用以下办法 export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig  backend www { .host = "127.0.0.1"; .port = "80"; } backend blog { .host = "127.0.0.1"; .port = "80"; } director webbeta round-robin { {.backend=www;} {.backend=blog;} } acl purge { "127.0.0.1"; "localhost"; } sub vcl_recv { if (req...

Linux Shell删除一个目录下所有的文件夹 #!/bin/bash direc=$(pwd) for dir2del in $direc/* ; do if [ -d $dir2del ]; then rm -rf $dir2del fi done

Squid 2.6 2.7 3.0 3.1 以及 varnish 2.1.5 性能对比测试 感谢 xyy运营团队  总结说明： 使用压力测试软件siege，http_load对这几个代理软件进行测试，测试了不同大小的文件和各种并发数。 squid的版本选择，考虑到实际使用的一些需求，并参考了其他的一些文章（比如：http://www.php-oa.com/2009/12/02/cache%e8%bd%af%e4%bb%b6%e7%89%88%e6%9c%ac%e9%80%89%e6%8b%a9.html），没有选择比较老的squid 2.5。 每次测试前清除文件缓存并重启代理软件。 这个测试仅作为数据参考，并不能完全模拟生产环境那么复杂的网络请求（请求数，各种大小的文件请求）。 一、测试环境： 硬件：Intel Xeon E5410 @ 2.33GHz * 2，16G内存，SATA 500G * 4（RAID 10） 安装squid 2.7 ./configure -prefix=/opt/squid2.7 -enable-xmalloc-statistics  --enable-async-io=320 --with-maxfd=65536 -enable-useragent-log  -enable-referer-log -enable-epoll -disable-poll -enable-large-cache-files -disable-internal-dns  -enable-linux-netfilter -enable-truncate -enable-x-accelerator-vary  -enable-follow-x-f...

http_load 对squid 进行压力测试 本次压力测试的目的：    a. 查看单个squid  的在大量的url 访问时 Cache 命中率    b. 在此过程中，查看squid 的平均响应时间    c.  查看  cpu mem io 的瓶颈http_load 的配置安装， 网上很多，这里就不多话了在一台服务器上搭建一个回源webservice （这里用apache  要记得设置cache-control），将 域名 cdnxxx.com指向该台服务器的IP在cdnxxx.com的根目录 生成大量测试的小图片（因为主要是测试cache、热点命中率，所以图片一般小于35KB），准备20个jpg 小图片 放到src文件夹中，将src  拷贝到cdnxxx.com的根目录,在根目录创建0文件夹(mkdir 0)       a. 生成代码，用python写的,先在0这个目录下生成6000个jpg图片           '''Created on 2013-7-16 @author: xie''' #!/usr/bin/pythonimport string, random, os # create uri def UriTotal():    uri_total = 6000    dir_total = 20  ...

TIME_WAIT 问题及netstat状态描述1,netstat -n | awk '/^tcp/ {++state[$NF]} END {for(key in state) print key,"\t",state[key]}'会得到类似下面的结果，具体数字会有所不同：LAST_ACK 1SYN_RECV 14ESTABLISHED 79FIN_WAIT1 28FIN_WAIT2 3CLOSING 5TIME_WAIT 1669状态：描述CLOSED：无连接是活动的或正在进行LISTEN：服务器在等待进入呼叫SYN_RECV：一个连接请求已经到达，等待确认SYN_SENT：应用已经开始，打开一个连接ESTABLISHED：正常数据传输状态FIN_WAIT1：应用说它已经完成FIN_WAIT2：另一边已同意释放ITMED_WAIT：等待所有分组死掉CLOSING：两边同时尝试关闭TIME_WAIT：另一边已初始化一个释放LAST_ACK：等待所有分组死掉也就是说，这条命令可以把当前系统的网络连接状态分类汇总。inux下高并发的Squid服务器，TCP TIME_WAIT套接字数量经常达到两、三万， 服务器很容易被拖死。通过修改Linux内核参数，可以减少服务器的IME_WAIT套接字数量。 　　 vi /etc/sysctl.conf 　　增加以下几行： net.ipv4.tcp_fin_timeout = 30 net.ipv4.tcp_keepalive_time = 1200 net.ipv4.tcp_syncookies =&nb...

Squid动态URL日志不完整的问题 问题：当访问的URL为：http://cdnfox.com/xxx.php?sig=xxxxxxx时：日志为：1376378941      0 10.0.0.10 GET "http://cdnfox.com/xxx.php?"/1.1 - "image/jpeg" "curl/7.27.0" "-" TCP_MEM_HIT:NONE/- 200 21753URL后面的：sig=xxxxxxx 丢失了。解决方法：在squid.conf中添加：strip_query_terms off重新reload squid，日志正常。strip_query_terms默认为开启。是为了保护用户的隐私，而不在日志中记录“？”后面的参数。

Squid 2.7 +bind安装与基本配置 服务器： centos 6.3squid版本 squid-2.7.STABLE9bind版本 bind-9.9.2-P2.tar.gz先安装squid 所需的组件 , 关闭iptables, selinuxyum -y install gcc  perl make1.  在根目录创建maichuang目录， 并解压squid包[root@localhost /]# mkdir maichuang[root@localhost /]# cd /data[root@localhost data]# tar xzvf squid-2.7.STABLE9.tar.gz[root@localhost data]# cd squid-2.7.STABLE9 2. 编译安装squid[root@localhost squid-2.7.STABLE9]# ./configure --enable-kill-parent-hack --enable-large-cache-files --with-large-files --with-maxfd=344800 --enable-snmp --disable-ident-lookups --enable-carp --enable-async-io=160 --enable-storeio=ufs,aufs,diskd,null,coss --enable-epoll --enable-linux-netfilter --enable-stacktraces --enable-forward-log --enable-refe...

squid工作原理及3.1.4版本源代码安装配置实例指南 目录： ? 一.测试安装环境 ? 二.编译安装 ? 三.Squid工作模式及原理 n 3.1 SQUID如何工作 u 3.1.1 [传统代理] u 3.1.2[透明代理] u 3.1.3[反向代理] n 3.2 SQUID工作原理 u 3.2.1 SQUID缓存的存放方式： u 3.2.2SQUID的查询方式 u 3.2.3SQUID服务器之间的关系： u 3.2.4SQUID运作模式 ? 四.Squid 配置 n 4.1 主配置文档配置 n 4.2验证squid.conf的语法和配置 n 4.3初始化cache目录 n 4.4前台启动squid，查看是否报错 n 4.5透明代理设置 n 4.6反向代理设置 ? 五.Squid语法 ? 六.Squid优化 n 6.1 日志优化 n 6.2目录优化 n 6.3 Cache优化 n 6.4最大文件描述符数量限制优化 n 6.5 脚本优化优化 u 6.5.1 log脚本： u 6.5.2squid脚本： u 6.5.3Cache 脚本： ? 七.脚本用法 n 7.1 log脚本： n 7.2 squid脚本： n 7.3 Cache 脚本： ? 八.补充 n 8.1 打补丁 n 8.2 重运行configure n 8.3 nginx 与squid ? 九.Cachemgr.cgi监控squid运行状态 n 9.1 Cachemgr.cgi配置过程 n 9.2 生成口令文件 n 9.3 验证 ? 十.错误总结 n 10.1 权限问题 n 10.2 不能识别它自己的完...