ferragamo shoes timberland outlet tory burch north face coats Timberland Sale paul smith bags Paul Smith handbag dsquared sale tods UK

Warning: Cannot modify header information - headers already sent by (output started at /home/userdata/nick/index.php:2) in /home/userdata/nick/wp-includes/feed-rss2.php on line 8
So Tired!_! http://nick.workao.org for our good life, must to do something. let's do it! Wed, 08 Feb 2012 06:32:30 +0000 en hourly 1 http://wordpress.org/?v=3.2.1 GoAccess，Apache/Nginx 日志统计分析软件 http://nick.workao.org/index.php/linux/742 http://nick.workao.org/index.php/linux/742#comments Wed, 08 Feb 2012 06:32:28 +0000 Nick Xu http://nick.workao.org/?p=742 什么是GoAccess？

GoAccess是运行在Unix系统终端，开源、实时分析Apache日志（其实也能够分析Nginx日志）并且能够动态呈现的软件。它为系统管理员提供了一个快速、有价值的HTTP统计，动态的可视化的服务器报告。

它是做什么以及如何工作？

从本质上讲，GoAccess的工作方式是，它将解析众所周知的Apache访问日志文件 access log，GoAccess通过解析日志收集的数据，将会显示它的控制台或某个终端。收集到的信息或生成的报告将显示给在视觉、交互窗口的系统管理员用户。报告包括：

  • 综合统计
  • 访客排行榜
  • 请求文件排行榜
  • 请求的静态文件排行榜，如图片、JS文件、CSS文件等
  • 访问来源
  • 404页面
  • 访问者的操作系统
  • 访问者的浏览器
  • 浏览器和蜘蛛（搜索爬虫）
  • 主机，反向DNS，IP位置
  • HTTP状态码
  • 推介网站
  • 搜索关键词
  • 显示时不同的配色方案
  • 无限制日志文件的大小（决定了GoAccess的打开速度）

日志文件格式

GoAccess可以解析Apache的日志格式，通用日志格式（CLF）和组合日志格式（XLF/ ELF），包括虚拟主机. 它也能够解析Nginx日志. (如果你按照Apache日志的格式配置了Nginx日志)

GoAccess主页 http://goaccess.prosoftcorp.com/

安装方法

1、安装GoAccess需要一些系统支持库

Ncurses 提供字符终端处理库，包括面板和菜单
GLib C语言的函数库（大于2.0的版本）
GeoIP 通过IP，定位他的经纬度，国家/地区，省市，甚至街道等位置信息。(如果不需要这个不是必须的，配置时候去掉这个选项 –enable-geoip)

CentOS下yum安装

yum install ncurses-devel
yum install glib2-devel

Ubuntu下apt安装

apt-get install libglib2.0-dev
apt-get install libncursesw5-dev

2、安装GoAccess

CentOS下安装

wget http://sourceforge.net/projects/goaccess/files/0.4.2/goaccess-0.4.2.tar.gz
tar zxvf goaccess-0.4.2.tar.gz
cd goaccess-0.4.2
./configure --enable-utf8
make
make install

Ubuntu下安装

apt-get install goaccess

GoAccess使用介绍

启动参数介绍：

  • -b 流量消耗统计，如果想要提高解析速度，不要开启这个选项。缺省值为不开启此选项
  • -f 日志文件路径。
  • -s HTTP 状态码报告，为了能够更好的解析日志，选项被默认关闭。
  • -e 指定IP地址的访问统计。
  • -a 通过代理的请求统计。

菜单介绍

  • F1 帮助菜单
  • F5 刷新
  • q 退出当前口窗、菜单、或是当前查看的选项
  • o 打开当前的选项、菜单
  • c 改变窗口配色（目前只有两种 默认和绿色）
  • SHIFT + TAB 从当前选定模块向后切换
  • RIGHT 打开当前选中模块，查看详细信息
  • s 通过日期排序，只会在访问请求模块起作用
  • S 通过点击次数排序，只会在访问请求模块起作用
  • / 查看详细信息的窗口进行搜索
  • n 通过/进行查找后，查找下个匹配的内容的位置，如果没有则在窗口底部显示“search hit BOTTOM”
  • t 在查看详细信息窗口，移动指针到最顶部
  • b 在查看详细信息窗口，移动指针到最底部

使用实例

  • 最简单、快速的使用方式
goaccess -f /data1/logs/blog.wuwangwo.net/access.log
  • 产生完整、全面统计数据的使用方式
goaccess -f /data1/logs/blog.wuwangwo.net/access.log -a -s -b
  • 通过管道的方式将更多access log 通过GoAccess解析
zcat access.log.*.gz | goaccess

或者

zcat -f access.log* | goaccess
  • 另外一种通过管道使用GoAccess解析日志的方式
sed -n '/05/Dec/2010/,$ p' access.log | goaccess -s -b
  • 低优先级运行GoAccess的方式
nice -n 19 goaccess -f access.log -s -a -b
  • 如果你只把GoAccess安装到了一台服务器上
ssh user@server 'cat /var/log/apache2/access.log' | goaccess -s -a -b

注意事项

  1. 每一个详细信息窗口，只显示300条数据
  2. GoAccess 通过管道解析日志时将禁用实时解析的功能

总结

GoAceess 不是很大的一款软件却有着强大的功能即使软件可能还有些BUG，软件的更多介绍信息请查看GoAccess的官方网站«./GoAccess»，当前版本的官方手册页面 Man Page

]]> http://nick.workao.org/index.php/linux/742/feed 0 Nginx Block And Deny IP Address OR Network Subnets http://nick.workao.org/index.php/linux/740 http://nick.workao.org/index.php/linux/740#comments Wed, 08 Feb 2012 06:31:20 +0000 Nick Xu http://nick.workao.org/?p=740 How do I block or deny access based on the host name or IP address of the client visiting website under nginx web server?

Nginx comes with a simple module called ngx_http_access_module to allow or deny access to IP address. The syntax is as follows:

deny IP;
deny subnet;
allow IP;
allow subnet;
# block all ips
deny    all;
# allow all ips
allow    all;
Note rules are checked in the order of their record to the first match.

How Do I Configure Nginx To Block IPs?

Edit nginx.conf file, enter (note my nginx path is set to /usr/local/nginx/, replace this according to your setup):
# cd /usr/local/nginx/conf/
# vi nginx.conf

Add the following line in http section:

## Block spammers and other unwanted visitors  ##
include blockips.conf;
Save and close the file. Finally, create blockips.conf in /usr/local/nginx/conf/, enter:
# vi blockips.conf

Append / add entries as follows:

deny 1.2.3.4;
deny 91.212.45.0/24;
deny 91.212.65.0/24;

Save and close the file. Test the config file, enter:
# /usr/local/nginx/sbin/nginx -t

Sample outputs:

the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
configuration file /usr/local/nginx/conf/nginx.conf test is successful
Reload the new config, enter:
# /usr/local/nginx/sbin/nginx -s reload

How Do I Deny All and Allow Only Intranet/LAN IPs?

Edit config file as follows:

location / {
# block one workstation
deny    192.168.1.1;
# allow anyone in 192.168.1.0/24
allow   192.168.1.0/24;
# drop rest of the world
deny    all;
}
Granted access to network 192.168.1.0/24 with the exception of the address 192.168.1.1.

How Do I Customize HTTP 403 Forbidden Error Messages?

Create a file called error403.html in default document root, enter:
# cd /usr/local/nginx/html
# vi error403.html

<html>
<head><title>Error 403 – IP Address Blocked</title></head>
<body>
Your IP Address is blocked. If you this an error, please contact webmaster with your IP at webmaster@example.com
</body>
</html>

If SSI enabled, you can display the client IP easily from the html page itself:

Your IP Address is <!–#echo var=”REMOTE_ADDR” –> blocked.
Save and close the file. Edit your nginx.conf file, enter:
# vi nginx.conf

# redirect server error pages to the static page
error_page   403  /error403.html;
location = /error403.html {
root   html;
}
Save and close the file. Reload nginx, enter:
# /usr/local/nginx/sbin/nginx -s reload

See also:
Nginx Shell Script To Block Spamhaus Lasso Drop Spam IP Address

]]> http://nick.workao.org/index.php/linux/740/feed 0 [转]附近地点搜索初探，非geohash http://nick.workao.org/index.php/python/731 http://nick.workao.org/index.php/python/731#comments Tue, 07 Feb 2012 04:16:24 +0000 Nick Xu http://nick.workao.org/?p=731 附近地点搜索，顾名思义，就是搜索用户附近有哪些地点。随着GPS和带有GPS功能的移动设备的普及， 附近地点搜索也变得炙手可热。不过在网上却很少有这方面的讨论。本文的方法并不算最好， 但足以应付一般的应用了。

本文中，数据库采用MySQL，语言采用python。理论上别的数据库和语言也没问题， 但我们要在经纬度上设置两个索引，所以如果你的数据库不支持索引，或者不支持在一个查询中使用两个索引， 那就只能想别的办法了。

球面最短距离公式

球面上任意两点之间的距离计算公式可以参考维基百科上的下述文章，这里就不再赘述了。

值得一提的是，维基百科推荐使用Haversine公式，理由是Great-circle distance公式用到了大量余弦函数， 而两点间距离很短时（比如地球表面上相距几百米的两点），余弦函数会得出0.999…的结果， 会导致较大的舍入误差。而Haversine公式采用了正弦函数，即使距离很小，也能保持足够的有效数字。 以前采用三角函数表计算时的确会有这个问题，但经过实际验证，采用计算机来计算时，两个公式的区别不大。 稳妥起见，这里还是采用Haversine公式。

distance-haversin-distance.png

其中

distance-haversin.png
  • R为地球半径，可取平均值 6371km；
  • φ1, φ2 表示两点的纬度；
  • Δλ 表示两点经度的差值。

距离计算函数

下面就是计算球面间两点(lat0, lng)-(lat1, lng1)之间距离的函数。

from math import sin, asin, cos, radians, fabs, sqrt

EARTH_RADIUS=6371           # 地球平均半径，6371km

def hav(theta):
    s = sin(theta / 2)
    return s * s

def get_distance_hav(lat0, lng0, lat1, lng1):
    "用haversine公式计算球面两点间的距离。"
    # 经纬度转换成弧度
    lat0 = radians(lat0)
    lat1 = radians(lat1)
    lng0 = radians(lng0)
    lng1 = radians(lng1)

    dlng = fabs(lng0 - lng1)
    dlat = fabs(lat0 - lat1)
    h = hav(dlat) + cos(lat0) * cos(lat1) * hav(dlng)
    distance = 2 * EARTH_RADIUS * asin(sqrt(h))

    return distance

范围搜索算法

在庞大的地理数据库中搜索地点，索引是很重要的。但是，我们的需求是搜索附近地点， 例如，坐标(39.91, 116.37)附近500米内有什么地点？搜索条件是地点坐标与当前坐标之间的距离， 显然是无法应用索引的。

那么换个思路：首先算出“给定坐标附近500米”这个范围的坐标范围。 虽然它是个圆，但我们可以先求出该圆的外接正方形，然后拿正方形的经纬度范围去搜索数据库。

distance-map.png

如图，红色部分为要求的搜索范围，绿色部分为实际搜索范围。

先来求东西两侧的的范围边界。在haversin公式中令φ1 = φ2，可得

distance-lng.png

写成python代码就是

dlng = 2 * asin(sin(distance / (2 * EARTH_RADIUS)) / cos(lat))
dlng = degrees(dlng)        # 弧度转换成角度

然后求南北两侧的范围边界，在haversin公式中令 Δλ = 0，可得

distance-lat.png

写成python代码就是

dlat = distance / EARTH_RADIUS
dlng = degrees(dlat)     # 弧度转换成角度

这样，根据当前点坐标，我们可以得出搜索范围为

left-top    : (lat + dlat, lng - dlng)
right-top   : (lat + dlat, lng + dlng)
left-bottom : (lat - dlat, lng - dlng)
right-bottom: (lat - dlat, lng + dlng)

然后利用这个范围构造SQL语句，即可实现范围查询：

SELECT * FROM place WHERE lat > lat1 AND lat < lat2 AND lng > lng1 AND lng < lng2;

在lat和lng列上建立索引，能从一定程度上提高范围查询的效率。

不过，这样查询到的地点是正方形范围内的地点，一些结果与当前点的距离可能会超出给定的距离。 如果要求严格，可以遍历结果并计算与当前点之间的距离，并过滤掉不符合要求的结果。

总结

附近地点搜索条件是距离，而数据库中一般只保存地点的经纬度，因此无法直接查询。 本文将距离转化成经纬度范围，利用经纬度上的索引，提高查询效率。

]]> http://nick.workao.org/index.php/python/731/feed 0 [转]禁止爬虫访问技巧 http://nick.workao.org/index.php/linux/728 http://nick.workao.org/index.php/linux/728#comments Tue, 07 Feb 2012 03:35:48 +0000 Nick Xu http://nick.workao.org/?p=728

有时候，一些秘密的入口，一些被爬虫爬过便有暴露风险的目录，我们必须采用一切手段来保卫。禁止一切爬虫进入，尽管称不上完全保密，但基本上可以把秘密的传播变得可控。

1.robots.txt

在想要保密的那个目录或者入口的根目录创建robots.txt，然后在里面加入以下内容，则听话的爬虫如Google爬虫在抓到你的网站的时候就会悄然离去。

User-Agent: *
Disallow: /

2.htaccess

由于并不是所有搜索引擎都像Google那样Do No Evil，所以并不是所有爬虫都像Google爬虫那样听话的遵循Robots.txt里的描述，这个时候我们需要用到htaccess来强制屏蔽那些恶 心的坏爬虫们的访问，这种屏蔽是直接的屏蔽。我们可以在要保密的那个目录或者入口的根目录的.htaccess文件中加入以下内容：

RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} Indy\ Library [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus [or]
RewriteCond %{HTTP_USER_AGENT} ^BaiduSpider
RewriteRule ^.* – [F,L]

 

nginx 用 if 和 $http_user_agent。

如:

  1. location / {
  2.     root   /home/www/;
  4.     if ($http_user_agent ~* ”qihoobot”) {
  5.         return 403;
  6.     }
  7.     #…
  8. }
location / {
	root   /home/www/;

	if ($http_user_agent ~* "qihoobot") {
		return 403;
	}
	#...
}

然后重启 nginx

]]> http://nick.workao.org/index.php/linux/728/feed 0 转Linux流量监控工具 – iftop (最全面的iftop教程) http://nick.workao.org/index.php/linux/723 http://nick.workao.org/index.php/linux/723#comments Tue, 07 Feb 2012 01:34:54 +0000 Nick Xu http://nick.workao.org/?p=723 在类Unix系统中可以使用top查看系统资源、进程、内存占用等信息。查看网络状态可以使用netstat、nmap等工具。若要查看实时的网络流量，监控TCP/IP连接等，则可以使用iftop。

一、iftop是什么？

iftop是类似于top的实时流量监控工具。

官方网站：http://www.ex-parrot.com/~pdw/iftop/

二、iftop有什么用？

iftop可以用来监控网卡的实时流量（可以指定网段）、反向解析IP、显示端口信息等，详细的将会在后面的使用参数中说明。

三、安装iftop

安装方法1、编译安装

如果采用编译安装可以到iftop官网下载最新的源码包。

安装前需要已经安装好基本的编译所需的环境，比如make、gcc、autoconf等。安装iftop还需要安装libpcap和libcurses。

CentOS上安装所需依赖包：

yum install flex byacc  libpcap ncurses ncurses-devel libpcap-devel

Debian上安装所需依赖包：

apt-get install flex byacc  libpcap0.8 libncurses5

下载iftop

wget http://www.ex-parrot.com/pdw/iftop/download/iftop-0.17.tar.gz

tar zxvf iftop-0.17.tar.gz

cd iftop-0.17

./configure

make && make install

安装方法2：(懒人办法，最简单)

直接省略上面的步骤

CentOS系统：

yum install flex byacc  libpcap ncurses ncurses-devel

wget ftp://fr2.rpmfind.net/linux/dag/redhat/el5/en/i386/dag/RPMS/iftop-0.17-1.el5.rf.i386.rpm

rpm -ivh iftop-0.17-1.el5.rf.i386.rpm

Debian系统 运行：apt-get install iftop

四、运行iftop

直接运行： iftop

效果如下图：

五、相关参数及说明

1、iftop界面相关说明

界面上面显示的是类似刻度尺的刻度范围，为显示流量图形的长条作标尺用的。

中间的<= =>这两个左右箭头，表示的是流量的方向。

TX：发送流量
RX：接收流量
TOTAL：总流量
Cumm：运行iftop到目前时间的总流量
peak：流量峰值
rates：分别表示过去 2s 10s 40s 的平均流量

2、iftop相关参数

常用的参数

-i设定监测的网卡，如：# iftop -i eth1

-B 以bytes为单位显示流量(默认是bits)，如：# iftop -B

-n使host信息默认直接都显示IP，如：# iftop -n

-N使端口信息默认直接都显示端口号，如: # iftop -N

-F显示特定网段的进出流量，如# iftop -F 10.10.1.0/24或# iftop -F 10.10.1.0/255.255.255.0

-h（display this message），帮助，显示参数信息

-p使用这个参数后，中间的列表显示的本地主机信息，出现了本机以外的IP信息;

-b使流量图形条默认就显示;

-f这个暂时还不太会用，过滤计算包用的;

-P使host信息及端口信息默认就都显示;

-m设置界面最上边的刻度的最大值，刻度分五个大段显示，例：# iftop -m 100M

进入iftop画面后的一些操作命令(注意大小写)

按h切换是否显示帮助;

按n切换显示本机的IP或主机名;

按s切换是否显示本机的host信息;

按d切换是否显示远端目标主机的host信息;

按t切换显示格式为2行/1行/只显示发送流量/只显示接收流量;

按N切换显示端口号或端口服务名称;

按S切换是否显示本机的端口信息;

按D切换是否显示远端目标主机的端口信息;

按p切换是否显示端口信息;

按P切换暂停/继续显示;

按b切换是否显示平均流量图形条;

按B切换计算2秒或10秒或40秒内的平均流量;

按T切换是否显示每个连接的总流量;

按l打开屏幕过滤功能，输入要过滤的字符，比如ip,按回车后，屏幕就只显示这个IP相关的流量信息;

按L切换显示画面上边的刻度;刻度不同，流量图形条会有变化;

按j或按k可以向上或向下滚动屏幕显示的连接记录;

按1或2或3可以根据右侧显示的三列流量数据进行排序;

按<根据左边的本机名或IP排序;

按>根据远端目标主机的主机名或IP排序;

按o切换是否固定只显示当前的连接;

按f可以编辑过滤代码，这是翻译过来的说法，我还没用过这个！

按!可以使用shell命令，这个没用过！没搞明白啥命令在这好用呢！

按q退出监控。

六、常见问题

1、make: yacc: Command not found
make: *** [grammar.c] Error 127

解决方法：apt-get install byacc   /   yum install byacc

2、configure: error: Curses! Foiled again!
(Can’t find a curses library supporting mvchgat.)
Consider installing ncurses.

解决方法：apt-get install libncurses5-dev  /    yum  install ncurses-devel

]]> http://nick.workao.org/index.php/linux/723/feed 0 Nginx的防盗链和限速处理 http://nick.workao.org/index.php/linux/721 http://nick.workao.org/index.php/linux/721#comments Sun, 05 Feb 2012 07:59:31 +0000 Nick Xu http://nick.workao.org/?p=721 防盗链处理

1 简单的通过referer判断

location ~ .*\.(gif|jpg|jpeg|png|bmp|wma|mp3|swf)$ {
      valid_referers none blocked server_names *.163.com 163.com baidu.com；
      if ($invalid_referer) {return 403;}
    expires      30d;
}

2 NginxHttpAccessKeyModule 插件

这个需要安装额外的模块，下载模块源码，然后按照说明文档，将下载来的源码中”$HTTP_ACCESSKEY_MODULE” 替换成 “ngx_http_accesskey_module“,再

  1. ./configure –add-module=path/to/nginx-accesskey

完了以后再重新编译一次nginx，然后就可以在配置文件中使了。

location /download {
  accesskey             on;
  accesskey_hashmethod  md5;
  accesskey_arg         "key";
  accesskey_signature   "mypass$remote_addr";
}

这样一个下载的文件就需要 http://example.com/download/file.zip?key=09093abeac094 这样的形式进行下载
其中 key的值为 mypass和下载客户端ip 进行md5运算获得。比如在 php 中可以向如下方式输出针对客户ip的下载链接地址

  1. <?
  2. $ipkeyvalue = md5(“mypass”.$_SERVER['REMOTE_ADDR']);
  3. $out_keyfile_link=”<a href=http://example.com/download/testfile.rar?key=”.$ipkeyvalue.”>防盗链文件下载</a><br />”;
  4. echo $out_keyfile_link;
  5. ?>

这样当一个用户将访问地址拷贝给别人时，因为访问ip不同，就造成 md5(“mypass”.ipaddr) 值不同，达到防盗链目的。

限速处理

限速使用 limit_zone, limit_conn 以及 limit_rate 进行配置
首先在 http 段配置一个 limit_zone，然后在需要的地方使用 limit_conn 和 limit_rate 进行限速设置,如下一个简单的例子

http {
  limit_zone   one  $binary_remote_addr  10m;
  server {
    location /files/ {
      limit_conn   one  1;
      limit_rate 20k;
    }
  }
}

说明:
limit_zone，是针对每个IP定义一个存储session状态的容器。这个示例中定义了一个名叫one的10m大小的容器，这个名字会在后面的limit_conn中使用。

limit_conn one 1;
限制在one中记录状态的每个IP只能发起一个并发连接。

limit_rate 20k;
对每个连接限速20k. 注意，这里是对连接限速，而不是对IP限速。如果一个IP允许三个并发连接，那么这个IP就是限速为limit_rate×3，在设置的时候要根据自己的需要做设置调整，要不然会达不到自己希望的目的。

]]> http://nick.workao.org/index.php/linux/721/feed 0 [转]如何做一个可以执行的年度计划？附工具下载 http://nick.workao.org/index.php/other/713 http://nick.workao.org/index.php/other/713#comments Fri, 20 Jan 2012 02:58:25 +0000 Nick Xu http://nick.workao.org/?p=713 转眼间一年又过去了，2011年过的怎么样？愿望都实现了吗？2012年有什么打算呢？

这一次木立方俱乐部的活动主题是“如何做一个可执行的年度计划~”吸引到了25位朋友参加。

在活动的一开始，我们几个拿出去年制作的年度计划，给大家汇报了完成情况，比较有意思的是，基本上都是完成了80%左右~

看来大家的2011过的都蛮成功的（看看脸上的笑容就知道了！）。

对于2012年的计划，我们为大家提供了一套流程和工具，大家用了之后都说蛮不错的（提前一周就发给大家了）。

所以我也在博客上跟大家分享，这样一来，以后就不需要花太多的心思在方法和工具上，专注在自己深思考就好。

第一步：问正确的问题

年计划工具A

首先，大家可以用A4纸打印出上面的这个“年度计划小人儿”，他将帮助我们思考自己的规划。

图上面有8个问题，分别是：

  1. 你的个人核心价值观是什么？
  2. 个人发展所需要克服的矛盾：挡住你去路的大石头是什么？比如没有养成的某种习惯、一直没有克服的障碍
  3. 未来五年远景（有些人是三年）：你想要你五年后是一个什么样子？
  4. 未来两年目标：你对未来两年有什么想法？
  5. 2012个人主题：未来的一年都要完成哪些任务？
  6. 2012个人行动计划：具体的行动、周期、时间点
  7. 需要放弃的资源：精力是有限的，你愿意为了你的目标而主动放弃什么？
  8. 2012年主题词：用一个词概括你的2012

这个年度计划小人来自于图像引导师臧贤凯，所以你会发现这几个问题和图像中的身体有奇妙的联系：

  1. 个人价值观—是我们脑袋里一直存在的东西，只不过我们要把它描述出来
  2. 需要克服的矛盾—这些矛盾来自于我们的内心，而也只有我们内心的力量才能战胜它。
  3. 五年、两年目标—我们的双手必须牢牢抓住的东西
  4. 个人任务和行动计划—这需要我们迈开双脚去行动
  5. 需要放弃的资源—是我们背后的阴影，我们要向着有光的地方走去，就势必在身后留下长长的背影。
  6. 主题词—红旗！必须夺下来的红旗

U58847903 130c79ac7e6g213

我回答这8个问题用了几周的时间，问对了问题就会引发很多的思考，年计划真的不像想象的那么简单，不花一些精力去深思考，是没有办法完成的。

大家试试看吧！

第二步：梳理出行动

我们设计了一个Excel模板，方便大家使用。

特别值得一提的是，我们在里面加入了“预算”

比如说你想要学习沟通，想要报一个卡内基的课程，那么你需要多少预算？

如果你想要参加Toastmaster俱乐部，那么你需要多少会费？

你每月需要花在社交上的费用大概是多少？

如果你已经把任务分解到行动了的话，你就能从这张表格里得到全年的费用预算，一目了然

工具可以协助行动，工具还可以触发思考，你能把全年的行动规划下来吗？试试看？！

屏幕快照 2012 01 14 下午02 55 25

第三步：规划到月历

我会给计划制定时间节点，比如说：

  • 大概几月做研习会
  • 几月去参加课程
  • 项目这个月应该是什么进度

然后我会把他写在月历上，新的一月开始，这一个月的重点是什么，就心里清楚了。

我们除了在活动现场送给大家可以摆在桌上的月历之外，还提供一个电子版下载，可以打印出来使用，很方便咯。

屏幕快照 2012 01 14 下午03 02 40

第四步：和伙伴们分享

我们这次来参加活动的所有人都约定好：6月份和12月份的时候，我们还要聚在一起，分享年计划的执行情况，想起来就让人兴奋。

我以前对“分享”这个词不是很重视，当我开始在新浪微博发起“每月培养一个好习惯”的活动后，体会到了“分享”的可怕之处，互相的鼓励和打气能形成一个正向能量圈，很快乐的坚持下去。

所以，不管你的年计划是什么，希望你能和身边的朋友们分享，看看会发生什么。

结语：

制作年度计划四步法和工具下载：

第一步：思考并填写“年度计划小人儿” 年度计划小人儿.jpg

第二步：把“年度计划小人儿”里的“2012个人主题”拿出来，在表格里孵化出行动 2012个人成长实施计划（工具二）.xlsx

第三步：把有时间节点的或者周期性的行动，写在月历上 2012成长工具年历中文版.xls

第四步：希望大家把这些工具还有你的计划和朋友们一起分享。

]]> http://nick.workao.org/index.php/other/713/feed 0 三种web性能压力测试工具http_load webbench ab Siege http://nick.workao.org/index.php/linux/708 http://nick.workao.org/index.php/linux/708#comments Tue, 17 Jan 2012 03:36:44 +0000 Nick Xu http://nick.workao.org/?p=708 http_load

下载地址：http://www.acme.com/software/http_load/http_load-12mar2006.tar.gz

http_load以并行复用的方式运行，用以测试web服务器的吞吐量与负载。但是它不同于大多数压力测试工具，它可以以一个单一的进程运行，一般不会把客户机搞死。可以可以测试HTTPS类的网站请求。

命令格式：http_load  -p 并发访问进程数  -s 访问时间  需要访问的URL文件
参数介绍

        -p 并发访问进程数

        -f 总的访问次数

        -r 每秒的访问频率

        -s 总的访问时间

通常参数组合：-p –f；-r -s

引用
http_load -p 30 -s 60  urllist.txt准备URL文件：tst.list，文件格式是每行一个URL，URL最好超过50－100个测试效果比较好，另外，测试结果中主要的指标是 fetches/sec 这个选项，即服务器每秒能够响应的查询次数，用这个指标来衡量性能

 

引用
% ./http_load -rate 10 -seconds 60 urllist.txt
49 fetches, 4 max parallel, 289884 bytes, in 10.0148 seconds
5916 mean bytes/connection
4.89274 fetches/sec, 28945.5 bytes/sec
msecs/connect: 28.8932 mean, 44.243 max, 24.488 min
msecs/first-response: 63.5362 mean, 81.624 max, 57.803 min

4.89274 fetches/sec 这个值得就是说服务器每秒能够响应的查询次数为4.8左右
这个值得是根据 49 fetches / 10.0148 seconds 秒计算出来的


webbench
webbench是Linux下的一个网站压力测试工具，最多可以模拟3万个并发连接去测试网站的负载能力。
下载地址：

http://cid-9601b7b7f2063d42.skydrive.live.com/self.aspx/Public/webbench-1.5.tar.gz

安装
#tar zxvf webbench-1.5.tar.gz
#cd webbench-1.5
#make && make install
会在当前目录生成webbench可执行文件，直接可以使用了

用法：
webbench -c 并发数 -t 运行测试时间 URL
如：webbench -c 5000 -t 120 http://www.askwan.com


ab 

ab是Apache服务器自己带的性能测试工具，用它可以对指定的URL进行模拟访问，然后生成一份有关访问效率的报表，从中可以大概看出网站在高压力情况下的表现。

Windows下的ab.exe一般都在Apache安装目录的bin目录下。这里举几个我实际中用过的例子：

对http://localhost/dz7/index.php产生400次请求
ab -n 400 http://localhost/dz7/index.php
测试完成后，ab会输出测试的结果：

Benchmarking localhost (be patient)
Completed 100 requests
Completed 200 requests
Completed 300 requests
Completed 400 requests
Finished 400 requests

Server Software:        Apache/2.2.11
Server Hostname:        localhost
Server Port:            80

Document Path:          /dz7/index.php
Document Length:        7015 bytes

Concurrency Level:      1
Time taken for tests:   21.623 seconds
Complete requests:      400
Failed requests:        399
   (Connect: 0, Receive: 0, Length: 399, Exceptions: 0)
Write errors:           0
Total transferred:      2968811 bytes
HTML transferred:       2805205 bytes
Requests per second:    18.50 [#/sec] (mean)
Time per request:       54.057 [ms] (mean)
Time per request:       54.057 [ms] (mean, across all concurrent requests)
Transfer rate:          134.08 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   1.3      0      16
Processing:    31   54  64.5     47    1265
Waiting:       16   51  64.3     47    1250
Total:         31   54  64.5     47    1265

Percentage of the requests served within a certain time (ms)
  50%     47
  66%     47
  75%     47
  80%     47
  90%     47
  95%     62
  98%    141
  99%    187
 100%   1265 (longest request)

参数-n设定请求的次数；另外，还可以用-c来设定并发访问数，例如要模拟50个并发访问，可以用
ab -n 400 -c 50 http://localhost/dz7/index.php

此外，还有一个实际的问题，就是如何用ab来模拟已登录的用户的访问。绝大部分程序的登录机制都是用Cookie+Session来实现的，浏览器在每次请求时都发送一个Cookie，里面记录了Session的SID。你可以先在利用Firefox的Firebug插件来确定Cookie里的内容是什么。
firebug_cookie
从中可以看到表示登录用户的内容是“QfI_sid=55ySsk”。ab可以用-C（大写的C）来设定每次请求用发送的Cookie。所以
ab -n 400 -c 50 -C "QfI_sid=55ySsk" http://localhost/dz7/index.php
就可以模拟已登录用户的400次访问，并发数为50的情况。

最后再透露一个绝技：
ab --help

 

四、Siege
一款开源的压力测试工具，可以根据配置对一个WEB站点进行多用户的并发访问，记录每个用户所有请求过程的相应时间，并在一定数量的并发访问下重复进行。
官方：http://www.joedog.org/
Siege下载：http://soft.vpser.net/test/siege/siege-2.67.tar.gz
解压：
# tar -zxf siege-2.67.tar.gz
进入解压目录：
# cd siege-2.67/
安装：
#./configure ; make
#make install

使用
siege -c 200 -r 10 -f example.url
-c是并发量，-r是重复次数。 url文件就是一个文本，每行都是一个url，它会从里面随机访问的。

example.url内容:

http://www.licess.cn
http://www.vpser.net
http://soft.vpser.net

结果说明
Lifting the server siege… done.
Transactions: 3419263 hits //完成419263次处理
Availability: 100.00 % //100.00 % 成功率
Elapsed time: 5999.69 secs //总共用时
Data transferred: 84273.91 MB //共数据传输84273.91 MB
Response time: 0.37 secs //相应用时1.65秒：显示网络连接的速度
Transaction rate: 569.91 trans/sec //均每秒完成 569.91 次处理：表示服务器后
Throughput: 14.05 MB/sec //平均每秒传送数据
Concurrency: 213.42 //实际最高并发数
Successful transactions: 2564081 //成功处理次数
Failed transactions: 11 //失败处理次数
Longest transaction: 29.04 //每次传输所花最长时间
Shortest transaction: 0.00 //每次传输所花最短时间

]]> http://nick.workao.org/index.php/linux/708/feed 0 nginx做非80端口转发 http://nick.workao.org/index.php/linux/706 http://nick.workao.org/index.php/linux/706#comments Wed, 11 Jan 2012 10:13:32 +0000 Nick Xu http://nick.workao.org/?p=706 nginx可以很方便的配置成反向代理服务器
server {
listen 80;
server_name localhost;
location / {
proxy_pass http://147.16.24.175:9500;
proxy_set_header Host $host:80;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Via “nginx”;
}
}
但是如果nginx的监听端口不是默认的80端口，改为其他端口如81端口。
后端服务器中request.getServerPort()无法获得正确的端口，返回的仍然是80；
在response.sendRedirect()时，客户端可能无法获得正确的重定向url。
正确的配置方法为
在 $host之后加上端口号，如$host:81
server {
listen       83;
server_name  localhost;
location / {
proxy_pass  http://147.16.24.175:9500;
proxy_set_header   Host             $host:83;
proxy_set_header   X-Real-IP        $remote_addr;
proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
proxy_set_header Via    “nginx”;
}
}

]]> http://nick.workao.org/index.php/linux/706/feed 0 用geohash字符串实现附近地点搜索 http://nick.workao.org/index.php/python/698 http://nick.workao.org/index.php/python/698#comments Thu, 29 Dec 2011 06:37:39 +0000 Nick Xu http://nick.workao.org/?p=698

可以考虑使用geohash算法。

http://code.google.com/p/python-geohash/

geohash是一种地址编码，它能把二维的经纬度编码成一维的字符串。比如，北海公园的编码是wx4g0ec1。

geohash-intro-01.png

geohash有以下几个特点：

首先，geohash用一个字符串表示经度和纬度两个坐标。某些情况下无法在两列上同时应用索引 （例如MySQL 4之前的版本，Google App Engine的数据层等），利用geohash，只需在一列上应用索引即可。

其次，geohash表示的并不是一个点，而是一个矩形区域。比如编码wx4g0ec19，它表示的是一个矩形区域。 使用者可以发布地址编码，既能表明自己位于北海公园附近，又不至于暴露自己的精确坐标，有助于隐私保护。

第三，编码的前缀可以表示更大的区域。例如wx4g0ec1，它的前缀wx4g0e表示包含编码wx4g0ec1在内的更大范围。 这个特性可以用于附近地点搜索。首先根据用户当前坐标计算geohash（例如wx4g0ec1）然后取其前缀进行查询 （SELECT * FROM place WHERE geohash LIKE ‘wx4g0e%’），即可查询附近的所有地点。

geohash-intro-02.png

geohash的算法

下面以(39.92324, 116.3906)为例，介绍一下geohash的编码算法。首先将纬度范围(-90, 90)平分成两个区间(-90, 0)、(0, 90)， 如果目标纬度位于前一个区间，则编码为0，否则编码为1。由于39.92324属于(0, 90)，所以取编码为1。然后再将(0, 90)分成 (0, 45), (45, 90)两个区间，而39.92324位于(0, 45)，所以编码为0。以此类推，直到精度符合要求为止，得到纬度编码为1011 1000 1100 0111 1001。

纬度范围 划分区间0 划分区间1 39.92324所属区间
(-90, 90) (-90, 0.0) (0.0, 90) 1
(0.0, 90) (0.0, 45.0) (45.0, 90) 0
(0.0, 45.0) (0.0, 22.5) (22.5, 45.0) 1
(22.5, 45.0) (22.5, 33.75) (33.75, 45.0) 1
(33.75, 45.0) (33.75, 39.375) (39.375, 45.0) 1
(39.375, 45.0) (39.375, 42.1875) (42.1875, 45.0) 0
(39.375, 42.1875) (39.375, 40.7812) (40.7812, 42.1875) 0
(39.375, 40.7812) (39.375, 40.0781) (40.0781, 40.7812) 0
(39.375, 40.0781) (39.375, 39.7265) (39.7265, 40.0781) 1
(39.7265, 40.0781) (39.7265, 39.9023) (39.9023, 40.0781) 1
(39.9023, 40.0781) (39.9023, 39.9902) (39.9902, 40.0781) 0
(39.9023, 39.9902) (39.9023, 39.9462) (39.9462, 39.9902) 0
(39.9023, 39.9462) (39.9023, 39.9243) (39.9243, 39.9462) 0
(39.9023, 39.9243) (39.9023, 39.9133) (39.9133, 39.9243) 1
(39.9133, 39.9243) (39.9133, 39.9188) (39.9188, 39.9243) 1
(39.9188, 39.9243) (39.9188, 39.9215) (39.9215, 39.9243) 1

经度也用同样的算法，对(-180, 180)依次细分，得到116.3906的编码为1101 0010 1100 0100 0100。

经度范围 划分区间0 划分区间1 116.3906所属区间
(-180, 180) (-180, 0.0) (0.0, 180) 1
(0.0, 180) (0.0, 90.0) (90.0, 180) 1
(90.0, 180) (90.0, 135.0) (135.0, 180) 0
(90.0, 135.0) (90.0, 112.5) (112.5, 135.0) 1
(112.5, 135.0) (112.5, 123.75) (123.75, 135.0) 0
(112.5, 123.75) (112.5, 118.125) (118.125, 123.75) 0
(112.5, 118.125) (112.5, 115.312) (115.312, 118.125) 1
(115.312, 118.125) (115.312, 116.718) (116.718, 118.125) 0
(115.312, 116.718) (115.312, 116.015) (116.015, 116.718) 1
(116.015, 116.718) (116.015, 116.367) (116.367, 116.718) 1
(116.367, 116.718) (116.367, 116.542) (116.542, 116.718) 0
(116.367, 116.542) (116.367, 116.455) (116.455, 116.542) 0
(116.367, 116.455) (116.367, 116.411) (116.411, 116.455) 0
(116.367, 116.411) (116.367, 116.389) (116.389, 116.411) 1
(116.389, 116.411) (116.389, 116.400) (116.400, 116.411) 0
(116.389, 116.400) (116.389, 116.394) (116.394, 116.400) 0

接下来将经度和纬度的编码合并，奇数位是纬度，偶数位是经度，得到编码 11100 11101 00100 01111 00000 01101 01011 00001。

最后，用0-9、b-z（去掉a, i, l, o）这32个字母进行base32编码，得到(39.92324, 116.3906)的编码为wx4g0ec1。

十进制 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
base32 0 1 2 3 4 5 6 7 8 9 b c d e f g
十进制 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
base32 h j k m n p q r s t u v w x y z

解码算法与编码算法相反，先进行base32解码，然后分离出经纬度，最后根据二进制编码对经纬度范围进行细分即可，这里不再赘述。 不过由于geohash表示的是区间，编码越长越精确，但不可能解码出完全一致的地址。

geohash的应用：附近地址搜索

geohash的最大用途就是附近地址搜索了。不过，从geohash的编码算法中可以看出它的一个缺点：位于格子边界两侧的两点， 虽然十分接近，但编码会完全不同。实际应用中，可以同时搜索当前格子周围的8个格子，即可解决这个问题。

以geohash的python库为例，相关的geohash操作如下：

>>> import geohash
>>> geohash.encode(39.92324, 116.3906, 5)  # 编码，5表示编码长度
'wx4g0'
>>> geohash.expand('wx4g0')                # 求wx4g0格子及周围8个格子的编码
['wx4ep', 'wx4g1', 'wx4er', 'wx4g2', 'wx4g3', 'wx4dz', 'wx4fb', 'wx4fc', 'wx4g0']

最后，我们来看看本文开头提出的两个问题：速度慢，缓存命中率低。使用geohash查询附近地点，用的是字符串前缀匹配：

SELECT * FROM place WHERE geohash LIKE 'wx4g0%';

而前缀匹配可以利用geohash列上的索引，因此查询速度不会太慢。另外，即使用户坐标发生微小的变化， 也能编码成相同的geohash，这就保证了每次执行相同的SQL语句，使得缓存命中率大大提高。

]]> http://nick.workao.org/index.php/python/698/feed 0
֩` ֩` `ȥ Moncler Jackets Moncler Jackets Sale ֩` Moncler Monclair Moncler On Sale Moncler Online Outlet Moncler For Sale Monclers For Cheap Moncler Stores Moncler Cheap Authentic Moncler Jackets Moncler Outlets "Genuine Ugg Boots" Moncler Store moncler buy Moncler Jacket Down Down Jacket Moncler monclerforkids Moncler It Shop Moncler Uk Moncler Moncler Ski Mens Down Coat Jackets And Coats LeatherJackets For Men Real Ugg Boots "Classic Short Ugg Boots"
Abercrombie Sale Abercrombie Outlet Abercrombie Sale Abercrombie Jackets North Face Outlet ferragamo north face coat north face clothes ferragamo shoes timberland outlet spyder jackets paul smith spyder jacket salvatore ferragamo outlet spyder ski jacket tory burch sale Timberland Boots sale