autoDevops,CI,CD
在RHEL6.2上安装Squid，使用透明代理，最开始使用系统带的rpm包安装，调试参数后，起用服务，小流量的情况下，squid可以正常工作，但是一旦加载大流量，squid立即崩溃。 后来了解到squid2系列都不支持多核CPU，只有最新的3.2支持多核CPU，因此决定下载源码编译安装。 编译安装测试，一些小的麻烦不断产生，网上可以参考的资料很少，很多都是介绍做反向代理的。 3.2最主要的就是支持多核处理器，我们最开始使用workers参数，但是加载后查看squid的CPU使用率忽高忽低，曲线差不多跟正弦函数似的，客户端一会能打开网页，一会不能打开网页。卡了几天，然后决定换一个方式试试，没想到成功了。 cpu_affinity_map代替workers，能正常开启多进程，squid工作正常。我们的服务器是双CPU,12核24进程，下面是我们的参数： 1cpu_affinity_map process_numbers=1,2,3,4,5,6,7,8,9,10,11,12 2cores=1,3,5,7,9,11,13,15,17,19,21,23 这个参数的意思就是把squid进程和CPU核绑定。 squid官方的解释 01Option Name: cpu_affinity_map02Replaces: 03Requires: 04Default Value: none05Suggested Config: 06 07&n...
squid-2.6之Web反向代理加速实做/防盗链/防盗用/防爬虫 2.6相对2.5有了一些改变，大家可以去看：http://www.squid-cache.org/Versions/v2/2.6/squid-2.6.STABLE1-20060726-RELEASENOTES.html#s2 1. 下载squid2.6 http://www.squid-cache.org/Versions/v2/2.6/squid-2.6.STABLE1-20060726.tar.gz 2. 安装：
wwwtest137#tar xzvf squid-2.6.STABLE1-20060726.tar.gz
wwwtest137#cd squid-2.6.STABLE1-20060726
wwwtest137#configure --prefix=/usr/local/squid --enable-dlmalloc --with-pthreads --enable-poll --disable-internal-dns --enable-stacktrace --enable-removal-policies="heap,lru" --enable-delay-pools --enable-storeio="aufs,coss,diskd,ufs"
wwwtest137#make
wwwtest137#make install
安装完成了。 因为是测试的，所以相关的参数可能并不是比较完善的，但是使用是没有问题的。 3. 配置：以下是部分关键配置，其他与2.5的相同
#squid.conf
#服务器IP 192.168.1...
利用 squid 反向代理提高网站性能本文在介绍 squid 反向代理的工作原理的基础上，指出反向代理技术在提高网站访问速度，增强网站可用性、安全性方面有很好的用途。作者在具体的实验环境下，利用 DNS 轮询和 Squid 反向代理技术，实现了网站的负载均衡，从而提高了网站的可用性和可靠性。本文在介绍 squid 反向代理的工作原理的基础上，指出反向代理技术在提高网站访问速度，增强网站可用性、安全性方面有很好的用途。作者在具体的实验环境下，利用 DNS 轮询和 Squid 反向代理技术，实现了网站的负载均衡，从而提高了网站的可用性和可靠性。现在有许多大型的门户网站如 SINA 都采用 squid 反向代理技术来加速网站的访问速度，可将不同的 URL 请求分发到后台不同的 WEB 服务器上，同时互联网用户只能看到反向代理服务器的地址，加强了网站的访问安全。反向代理的概念反向代理服务器又称为 WEB 加速服务器，它位于 WEB 服务器的前端，充当 WEB 服务器的内容缓存器。其系统结构如图 1图 1. 系统结构反 向代理服务器是针对 WEB 服务器设置的，后台 WEB 服务器对互联网用户是透明的，用户只能看到反向代理服务器的地址，不清楚后台 WEB 服务器是如何组织架构的。当互联网...
Varnish加速网站图片显示 自从动态生成缩略图上线后，NFS客户端日志时常报无法响应的错误，怀疑是NFS机IO过大，所以想到使用Varnish给NFS机减压，将缩略图存放到内存中，减少读的压力，然后就有了篇博文。 简介： Varnish是一款高性能的开源HTTP加速器，网上评价比Squid更强，安装配置都很快速，方便。 一、安装：# wget http://repo.varnish-cache.org/source/varnish-2.1.5.tar.gz # tar zxvf varnish-2.1.5.tar.gz cd varnish-2.1.5 # ./configure –prefix=/usr/local/varnish # make && make install二、配置文件：# cp /usr/local/varnish/etc/varnish/default.vcl /usr/local/varnish/etc/varnish/default.vcl.bak# vi /usr/local/varnish/etc/varnish/default.vcl# 反向代理请求的后端Web服务器ip和端口backend default { .host = "192.168.1.1"; .port = "80";}sub vcl_recv { if (req.request != "GET" && req.request != "HEAD") { return(pipe); ...
Varnish无法分配内存导致自动重启子进程的问题今天发现我的Varnish2.0.3版在运行一段时间后就会自动重启子进程，导致缓存命中率低下（不到50%），查看/var/log/message发现果然存在Varnish不断重启新的子进程的现象，报错中基本上都带有Cannot allocatememory的提示。查询官方网站的性能优化页面后发现，当缓存的object数量级较大时可以进行一些优化。摘取相关信息如下:Running with many objects If you have many objects (more than 100000), you may need to set the following command line options:-p lru_interval=3600 (default: 2 seconds)If your cache servers cache most/all objects for a longer time, itmakes sense to increase the period before an object is moved to the LRUlist. This reduces the amount of lock operations necessary for LRU listaccess.-h classic,500009 (default: 16383)To keep hash lookups fast, you should not have more than 10 objectsper hash bucket. If you have 3 million objects, number of objectsshould be at least 300000. The numbe...
Varnish解决带参数的URL可能造成多份缓存的问题当Varnish遇到带参数的URL（这些参数还经常变）的时候，通常会存在同一个真正的URL存放多份缓存及缓存命中率低的情况，根据官方网站的文档说明，可以在sub_recv中加入如下段解决。 if (req.url ~ ".(jpg|gif|png)\?.*") { set req.url = regsub(req.url, "\?.*", ""); }但当实际设置了以后仍然会出现URL参数变化后Varnish返回miss，这说明Varnish实际上还是以全部req.url作为hash进行缓存的。有兴趣的同学可以自己试试:)我想了很久，最后终于发现这个重置了以后的req.url并没有作为sub_hash中hash key进行缓存，于是做了如下变通终于实现了按照不带参数的URL进行缓存以达到提高缓存命中率和避免多份缓存的目的。其实配置的方法很简单，即sub_hash { if (req.url ~ ".(jpg|gif|png)\?.*") { &nbs...
在CentOS5.2上搭建DNS服务器前段时间世纪互联的DNS服务出现了严重的问题，导致网站受影响了整整一天。为了避免以后再次出现类似的情况，还是自己搭两台DNS服务器吧。至少出问题的时候解决的快一些。安装环境操作系统: CentOS release 5.2 (Final)Kernel: 2.6.18-92.el5软件列表bind-9.6.0-P1.tar.gz openssl-0.9.8k.tar.gz 软件存放位置/data/software安装过程# groupadd -g 710 named# useradd named -u 710 -g named# mkdir /var/named# mkdir /var/log/named# chown -R named.named /var/named# chown -R named.named /var/log/named# cd /data/software/pkg# tar zxvf ../openssl-0.9.8k.tar.gz# cd openssl-0.9.8k# ./config# make && make install# cd ..# tar zxvf ../bind-9.6.0-P1.tar.gz# cd bind-9.6.0-P1# ./configure --prefix=/usr/local/named --with-openssl=/usr/local/ssl# make && make install# wget --user=ftp --password=ftp ftp://ftp.rs.internic.net/domain/db.cache -O /var/named/db.root/usr/local/named/sbin/rndc-confgen -a （生成的rndc.key文件...
用Squid搭建Cache服务器 其实本人实在是更喜欢Varnish一些，而线上用来跑css/js等静态文件cache的Varnish也确实运行的非常好，缓存的命中率也很高，性能也很好。但是因为是内存式的Cache，Varnish在缓存图片时当达到一定量的时候会出现无法分配内存导致重启子进程缓存丢失的情况。所以当图片数量级较大且访问量较大时，还是老老实实用Squid吧。安装环境操作系统: CentOS release 5.2 (Final)Kernel: 2.6.18-92.el5PAE软件列表squid-2.6.STABLE22.tar.gz 软件存放位置/data/software安装过程#/usr/sbin/groupadd squid -g 610#/usr/sbin/useradd -u 610 -g squid squid#mkdir /srv/scache#chmod +w /var/vcache#chown -R squid.squid /srv/scache#mkdir /var/log/squid#chmod +w /var/log/squid#chown -R squid.squid /var/log/squid#cd /data/software/pkg#tar zxvf ../squid-2.6.STABLE22.tar.gz#cd squid-2.6.STABLE22#./configure --prefix=/usr/local/squid#make && make install编辑Squid配置文件#vi /usr/local/squid/etc/squid.conf-------------------------华丽的分割线，以下都是...
用Varnish搭建Cache服务器前段时间图片服务器的连接数已经接近4W了（Windows服务器），为了减轻图片服务器的压力，尝试着用Varnish安装了一台Cache服务器用于图片的Cache，上线以后使用稳定，表现良好。先写下安装配置文档，还在精进中……欢迎大家互相交流安装环境操作系统: CentOS release 5.2 (Final)Kernel: 2.6.18-92.1.6.el5PAE软件列表varnish-1.1.2.tar.gz软件存放位置/data/software安装过程#/usr/sbin/groupadd www -g 48#/usr/sbin/useradd -u 48 -g www www#mkdir -p /var/vcache#chmod +w /var/vcache#chown -R www:www /var/vcache#mkdir -p /var/log/varnish#chmod +w /var/log/varnish#chown -R www:www /var/log/varnish#cd /data/software#tar zxvf varnish-1.1.2.tar.gz#cd varnish-1.1.2#./configure --prefix=/usr/local/varnish#make && make install编辑Varnish配置文件#vi /usr/local/varnish/vcl.confbackend webserver { set backend.host = "10.10.10.8"; set backend.port = "80";}acl purge { &quo...
利用Varnish构建Cache服务器公司最近需要用varnish和memcache做构架调整，现就自己做了一些前提准备，希望对大家有帮助！Varnish是一个非常不错的HTTP accelerator，具体我也不做多方面介绍了大家可以亲自尝试一下,just do it!"停止一切空谈!"。以下是我配置服务的过程贴出来和朋友们一起分享。在调试过程中感谢手机之家张建(ajian)[手之家目前利用他来代替Squid作为图片缓存服务器性能表现非常不错!~]帮忙调试排除问题!同时欢迎朋友们与我分享你的心得！一.Varnish安装wget http://downloads.sourceforge.net/varnish/varnish-2.0.2.tar.gz?modtime=1226669272&big_mirror=0mkdir /data/cachechown www.www /data/cache/ -Rchmod a+w /data/cache/ -R./configure --prefix=/usr/local/varnish && make && make install二.配置vcl.conf#vi /usr/local/varnish/etc/varnish/vcl.conf #贴出我的多域名虚拟主机配置,不做细节介绍. #Cache for linuxtone sites#backend vhostbackend img {.host = "219.235.244.11";.port = "8080";}backend www {.host = "211.101.76.140";.port = "80";}ba...
最新评论