如何对付那些破坏性的山寨爬虫

由于搜索引擎的泛滥,网络爬虫如今已经成为全球互联网的一大公害。除了专门做搜索的Google,Yahoo,微软,百度以外,几乎每个大型门户网站都有自己的搜索引擎,搜狐,腾讯,网易。再加上十分流氓的社区搜索奇虎等等,国内大大小小叫得出来名字得就几十家,还有各种不知名的几千几万家,另外还有国外各种奇奇怪怪的搜索引擎。只要你做的网站是内容丰富的网站,就避免不了被几千几万个爬虫每天爬来爬去。大的搜索引擎如G

标签:

Xshell中文乱码解决(vi乱码)

在经历了putty,winscp等中文版后门问题之后,我便一直在寻找一个管理linux的远程神器,直到我遇到了xshell,我发现我深深的爱上她了。但是在使用xshell的时候遇到了问题,连接的时候遇到中文会出来乱码,经过搜索解决问题了,分享给使用xshell的同学们。xshell中文乱码问题解决方法:vi /etc/sysconfig/i18nLANG="zh_CN.GB18030&q

标签:

helen的装逼时代

helen的装逼时代

标签:

mysql备份脚本(线上使用的)

线上使用的mysql备份脚本,使用mysqldump备份,在mysql master上使用的。在本地备份完成之后,同时传输一份备份文件至远程的ftp服务器上,实现异地备份。本机保存20天的备份文件, 远端保存60天的备份文件。脚本在服务器上运行了快两年了,很稳定。# 建立备份用户mysql> grant select,lock tables,reload,super,file,show vi

标签:

解决Linux计划任务不能运行的问题

系统环境(CentOS 5)Linux建立计划任务: (1)第一种方式,系统运行级的,配置/etc/crontab文件,如要每天15:18分执行/etc/daily下的所有脚本,就用以下格式: 分 时 日 月 星期 用户 命令 脚本路径或目录 18 15 * * * root run-parts /etc/cro

标签:

Web服务器性能/压力测试工具http_load、webbench、ab、Siege使用教程

一、http_load程序非常小,解压后也不到100Khttp_load以并行复用的方式运行,用以测试web服务器的吞吐量与负载。但是它不同于大多数压力测试工具,它可以以一个单一的进程运行,一般不会把客户机搞死。还可以测试HTTPS类的网站请求。下载地址:http://soft.vpser.net/test/http_load/http_load-12mar2006.tar.gz 安装很简单 #t

标签:

PHP代码审计PDF下载

1. 概述 22. 输入验证和输出显示 21. 命令注入 32. 跨站脚本 33. 文件包含 44. 代码注入 45. SQL注入 46. XPath注入 47. HTTP响应拆分 58. 文件管理 59. 文件上传 510. 变量覆盖 511. 动态函数 63. 会话安全 61. HTTPOnly设置 62. domain设置 63. path设置 64. cookies持续时间 65. sec

标签:

PHP漏洞全解1-9

1、命令注入(Command Injection)2、eval注入(Eval Injection)3、客户端脚本攻击(Script Insertion)4、跨网站脚本攻击(Cross Site Scripting, XSS)5、SQL注入攻击(SQL injection)6、跨网站请求伪造攻击(Cross Site Request Forgeries, CSRF)7、Session 会话劫持(Se

标签:

fail2ban阻止SSH和VSFTP暴力破解密码

用fail2ban阻止SSH和VSFTP暴力破解密码,这样服务器能清净许多。还有个denyhosts只能阻止ssh所以没用。一、下载安装#wget https://github.com/fail2ban/fail2ban/tarball/0.8.6下载下来一个0.8.6的文件名的文件,这个就是#tar zxvf 0.8.6解压后得到一个文件夹:fail2ban-fail2ban-a20d1f8#c

标签:

CentOS DNS resolv重起无效的解决方法

上上个星期重装安装了一台CentOS 6.2手动分配了一下ip地址,在/etc/resolv.conf这里设置好了DNS。之后可以上网鸟。重起机子后无后ping能网站了,打开/etc/resolv.conf发现又变回没测试之前的。原来直接修改/etc/resolv.conf不行。必须要在/etc/sysconfig/network-scripts/ifcfg-eth0里面最后加上dns的设置。要不

标签: