分类默认分类下的文章

挂载硬盘

作者: zhuangdebiao
时间: 2020-11-07 21:28
分类: 默认分类
评论

fdisk -l
mkfs.ext4 /dev/vdb
mount /dev/vdb /data
vi /etc/fstab
/dev/vdb /data ext4 defaults 0 0

交换分区是

/var/swapfile swap swap defaults 0 0

nginx 允许cors跨域头

作者: zhuangdebiao
时间: 2020-11-01 14:37
分类: 默认分类
评论

http://www.ruanyifeng.com/blog/2016/04/cors.html

如果需要跨域的预先检查,则响应options请求;
之后只要声明Origin和ExposeHeader即可;

    location / {
       if ($request_method = 'OPTIONS') {
            add_header 'access-control-allow-origin' '*' always; 
            add_header 'access-control-allow-methods' 'GET, POST, PATCH, PUT, DELETE, OPTIONS' always;                 
            add_header 'access-control-allow-credentials' 'false' always;# origin不能为*
            add_header 'access-control-allow-headers' 'iv, key, authorization, content-type, if-match, if-modified-since, if-none-match, if-unmodified-since, x-csrf-token, x-requested-with' always;                
            add_header 'access-control-max-age' '2592000' always;
            add_header 'content-type' 'text/plain';
            add_header 'content-length' 0;
            return 204;
        }           
        add_header 'access-control-allow-origin' '*' always;
        add_header 'access-control-expose-headers' 'date, logid' always;
        add_header 'logid' $request_id always;
    }

netstat

作者: zhuangdebiao
时间: 2020-10-29 10:38
分类: 默认分类
评论

常用
netstat -nutlp
netstat -natp
netstat -r

netstat命令各个参数

-a   或–all                             显示所有连线中的Socket。
-A                                       <网络类型>或–<网络类型> 列出该网络类型连线中的相关地址。
-c   或–continuous               持续列出网络状态。
-C 或–cache                       显示路由器配置的快取信息。
-e  或–extend                     显示网络其他相关信息。
-F  或 –fib                          显示FIB。
-g  或–groups                     显示多重广播功能群组组员名单。
-h  或–help                        在线帮助。
-i   或–interfaces                 显示网络界面信息表单。
-l  或–listening                    显示监控中的服务器的Socket。
-M   或–masquerade           显示伪装的网络连线。
-n  或–numeric                   直接使用IP地址，而不通过域名服务器。
-N   或–netlink或–symbolic  显示网络硬件外围设备的符号连接名称。
-o  或–timers                      显示计时器。
-p   或–programs                显示正在使用Socket的程序识别码和程序名称。
-r  或–route                        显示 Routing Table。
-s  或–statistice 显示网络工作信息统计表。
-t  或–tcp 显示TCP 传输协议的连线状况。
-u或–udp 显示UDP传输协议的连线状况。
-v或–verbose 显示指令执行过程。
-V 或–version 显示版本信息。
-w或–raw 显示RAW传输协议的连线状况。
-x或–unix 此参数的效果和指定”-A unix”参数相同。
–ip或–inet 此参数的效果和指定”-A inet”参数相同。

状态state枚举值

LISTEN：(Listening for a connection.)侦听来自远方的TCP端口的连接请求
SYN-SENT：(Active; sent SYN. Waiting for a matching connection request after having sent a connection request.)再发送连接请求后等待匹配的连接请求
SYN-RECEIVED：(Sent and received SYN. Waiting for a confirming connection request acknowledgment after having both received and sent connection requests.)再收到和发送一个连接请求后等待对方对连接请求的确认
ESTABLISHED：(Connection established.)代表一个打开的连接
FIN-WAIT-1：(Closed; sent FIN.)等待远程TCP连接中断请求，或先前的连接中断请求的确认
FIN-WAIT-2：(Closed; FIN is acknowledged; awaiting FIN.)从远程TCP等待连接中断请求
CLOSE-WAIT：(Received FIN; waiting to receive CLOSE.)等待从本地用户发来的连接中断请求
CLOSING：(Closed; exchanged FIN; waiting for FIN.)等待远程TCP对连接中断的确认
LAST-ACK：(Received FIN and CLOSE; waiting for FIN ACK.)等待原来的发向远程TCP的连接中断请求的确认
TIME-WAIT：(In 2 MSL (twice the maximum segment length) quiet wait after close. )等待足够的时间以确保远程TCP接收到连接中断请求的确认
CLOSED：(Connection is closed.)没有任何连接状态

网上常见的

netstat -ano来显示协议统计信息和TCP/IP网络连接

netstat -t/-u/-l/-r/-n【显示网络相关信息,-t:TCP协议,-u:UDP协议,-l:监听,-r:路由,-n:显示IP地址和端口号】

netstat -tlun【查看本机监听的端口】

netstat -an【查看本机所有的网络】

netstat -rn【查看本机路由表】

列出所有端口：netstat -a 

列出所有的TCP端口：netstat -at 

列出所有的UDP端口：netstat -au 

列出所有处于监听状态的socket：netstat -l 

列出所有监听TCP端口的socket：netstat -lt 

列出所有监听UDP端口的socket：netstat -lu 

找出程序运行的端口：netstat -ap | grep ssh 

找出运行在指定端口的进程：netstat -an | grep ':80'

1.查找请求数前20个IP（常用于查找攻来源）：
netstat -anlp|grep 80|grep tcp|awk '{print $5}'|awk -F: '{print $1}'|sort|uniq -c|sort -nr|head -n20
 
netstat -ant |awk '/:80/{split($5,ip,”:”);++A[ip[1]]}END{for(i in A) print A[i],i}' |sort -rn|head -n20
 
2.用tcpdump嗅探80端口的访问看看谁最高
tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F”.” '{print $1″.”$2″.”$3″.”$4}' | sort | uniq -c | sort -nr |head -20
 
3.查找较多time_wait连接
netstat -n|grep TIME_WAIT|awk '{print $5}'|sort|uniq -c|sort -rn|head -n20
 
4.找查较多的SYN连接
netstat -an | grep SYN | awk '{print $5}' | awk -F: '{print $1}' | sort | uniq -c | sort -nr | more
 
5.根据端口列进程
netstat -ntlp | grep 80 | awk '{print $7}' | cut -d/ -f1

nginx日志syslog同步

作者: zhuangdebiao
时间: 2020-10-22 18:39
分类: 默认分类
评论

vi /etc/rsyslog.conf
### 开启rsyslog端口
$ModLoad imudp
$UDPServerRun 514
# Provides TCP syslog reception
$ModLoad imtcp
$InputTCPServerRun 514
### 配置nginx日志的路径，上面我们nginx的facility为
local6，所以对应local6的位置local6.* /var/log/nginx.log

systemctl restart rsyslog


远程推送

客户机
vim /etc/rsyslog.conf
*.*                @@192.168.140.131
# @代表走的是udp协议，@@代表走的是TCP协议

logrotate：系统中进行日志滚动（切割）的工具:

第一个日志文件叫messages。所以每隔一段时间，将文件重命名（如：将messages重命名为messages.1），再重新创建一个文件叫messages。
以此类推，下一次messages.1重命名为messages.2，message重命名为messages.1，再新建一个messages...

syslog服务有两个进程：

　　　　syslogd（sys：系统）：专门负责记录非内核的其它设施产生的日志；

　　　　klogd（k：内核）：专门负责记录内核产生的日志；

　　　　klogd所记录的日志的详细程度个syslogd有着巨大不同，所以它们所产生的日志格式相差太大，因为它们两个各自独立为一个日志系统。

系统启动过程中，BIOS将控制权交给kernel（内核实现初始化了，屏幕上会产生许多信息）
--> 这些屏幕上的信息显示在物理终端上（物理终端对应的设备为/dev/console，而后来所看到的信息如给用户login登录时看到的信息为虚拟终端，ssh远程登录叫伪终端）
--> 这些信息在RedHat系列的系统上会被记录到/var/log/dmesg（可使用cat /var/log/dmesg查看，或者使用dmesg命令查看（dmesg专门用来打开/var/log/dmesg文件并显示），这些信息都是启动init程序之前产生的信息）
--> 系统控制权由内核转交给/sbin/init之后
--> 产生的信息由syslog记录（上面kernel产生的信息由klogd记录并放置于文件中）

syslog 配置文件 /etc/syslog.conf

每一行用来指定每一个facility子系统产生的哪个priority级别的日志记录到什么action位置上去

配置文件定义格式为：　　facility.priority　　　　action action前若加减少-表示异步写入

例如:

user.info  /var/log/db2/user_messages.log
mail.crit  /dev/console
*.debug /var/log/all_messages.log
auth.warning @host123.torolab.ibm.com

#
# Logging for INN news system.
#
news.crit           /var/log/news/news.crit
news.err            /var/log/news/news.err
news.notice         -/var/log/news/news.notice

syslogd记录的信息存放位置：

　　/var/log/messages：系统标准错误日志信息（大多数产生的错误信息都在其中）、非内核产生的引导信息（如系统初始化信息）、各子系统产生的信息。所以此文件是记录信息最多的，而且运行程序日积月累之后可能会变得越来越大的一个文件。当然，它会被多次进行滚动，以免一个文件变得过大。

　　/var/log/maillogs：邮件系统产生的信息；

　　/var/log/secure：与安全相关的信息；（权限要求严格（600权限），任何一个用户在登录时产生的登录信息，如账号密码输入是否有误、尝试登录过几次都在其中有记录）

　service syslog restart
　service syslog reload




facility：可以理解为日志的来源或设备，目前常用的facility有以下几种：

　　auth　　　　　　　　　　#认证相关的
　　authpriv　　　　　　　　#权限，授权相关的
　　cron　　　　　　　　　　#任务计划相关的
　　daemon　　　　　　　　　#守护进程相关
　　kern　　　　　　　　　　#内核相关的
　　lpr　　　　　　　　　　　#打印相关的
　　mail　　　　　　　　　　#邮件相关的
　　mark　　　　　　　　　　#标记相关的
　　news　　　　　　　　　　#新闻相关的
　　security　　　　　　　　#安全相关的，与auth类似
　　syslog　　　　　　　　　#syslog自己的
　　user　　　　　　　　　　#用户相关的
　　uucp　　　　　　　　　　#unix to unix cp相关的
　　local0 到 local7　　　#用户自定义使用
　　*　　　　　　　　　　　　#表示所有的facility


priority：（log level）日志的级别，一般有以下几种级别（从低到高）（级别越低，记录的信息越详细）

　　debug　　　　　　　　#程序或系统的调试信息
　　info　　　　　　　　 #一般信息
　　notice　　　　　　　 #不影响正常功能，需要注意的消息
　　warning/warn　　　 #可能影响系统功能，需要提醒用户的重要事件
　　err/error　　　　　 #错误信息
　　crit　　　　　　　　 #比较严重的
　　alert　　　　　　　　#必须马上处理的
　　emerg/panic　　　　#会导致系统不可用的
　　*　　　　　　　　　　#表示所有的日志级别
　　none　　　　　　　　 #根*相反，表示啥也没有

action（动作）：日志记录的位置

　　系统上的绝对路径        #普通文件，如：/var/log/xxx
　　|　　　　　　　　　　　　#管道，通过管道送给其它命令处理
　　终端　　　　　　　　　　 #终端，如：/dev/console
　　@HOST　　　　　　　　　 #远程主机，如：@10.0.0.1
　　用户　　　　　　　　　　 #系统用户，如：root
　　*　　　　　　　　　　　　#登录到系统上的所有用户，一般为emerg级别的日志是这样定义的

日志定义格式举例：


　　mail.info　　/var/log/mail.log　　#表示将mail相关的，级别为info及info以上级别的信息记录到/var/log/mail.log文件中
　　auth.=info　　@10.0.0.1　　　　　　#表示将auth有关的，级别为info的信息记录到10.0.0.1主机上去
　　　　　　　　　　　　　　　　　　　　　 #前提是10.0.0.1要能够接受其它主机发来的日志信息
　　user.!error　　　　　　　　　　　　　#与user.error相反
　　*.info　　　　　　　　　　　　　　　　#表示记录所有的日志信息的info级别
　　mail.*　　　　　　　　　　　　　　　　#表示记录mail相关的所有级别的信息
　　*.*　　　　　　　　　　　　　　　　　　#记录所有的日志信息的所有级别
　　cron.info;mail.info　　　　　　　　 #多个日志来源用";"隔开
　　cron,mail.info　　　　　　　　　　　 #与cron.info;mail.info意义相同
　　mail.*;mail.!=info　　　　　　　　　#表示记录mail相关的除了info级别之外的所有级别的信息

使用远程日志：

在/etc/syslconfig/syslog中加入SYSLOGD_OPTIONS="-r -c 5" 即-r选项并重启服务可实现将本机作为日志服务器使用（可接受其它主机的日志信息）
syslog传送日志的端口是UDP的514端口防火墙在默认的情况下是阻止所有的;关闭 service iptables stop和chkconfig iptables off

日志生产者

vi /etc/syslog.conf
*.* @10.0.0.1

格式: 日志的类型.日志的级别 日志存放的位置 
*表示所有的日志类型.所有的日志的级别的日志都将存放在10.0.0.1这台日志服务器上

service syslog restart

验证

cat /var/log/secure
Jun 8 00:58:05 10.0.0.2 useradd[15463]: new group: name=redhat, GID=500
Jun 8 00:58:05 10.0.0.2 useradd[15463]: new user: name=redhat, UID=500, GID=500, home=/home/redhat, shell=/bin/bash

nginx配置

# syslog表示使用syslog协议
# server=10.26.2.65 指明远程服务器地址，也可以指定本地
# facility=local7  设施,指明设备管道使用local7
# tag=nginx 标签表示在日志文件中显示时候的标题
# severity=info 表示日志级别
access_log syslog:server=10.26.2.65,facility=local7,tag=nginx,severity=info;

/etc/syslog.conf

自定义日志内容

log_format common "$remote_addr,$http_ip,$http_mac,$time_local,$status,$request_length,$bytes_sent,$body_bytes_sent,$http_user_agent,$http_referer,$request_method,$request_time,$request_uri,$server_protocol,$request_body,$http_token";
 
log_format main "$remote_addr,$http_ip,$http_mac,$time_local,$status,$request_length,$bytes_sent,$body_bytes_sent,$http_user_agent,$http_referer,$request_method,$request_time,$request_uri,$server_protocol,$request_body,$http_token";
     
access_log  logs/access.log  common;
 
access_log syslog:server=192.168.1.100:9999,facility=local7,tag=nginx,severity=info main;

map $http_upgrade $connection_upgrade {
    default upgrade;
    ''      close;
 }

扩展: PHP使用syslog日志

$facilities = array(
    LOG_AUTH,
    LOG_AUTHPRIV,
    LOG_CRON,
    LOG_DAEMON,
    LOG_KERN,
    LOG_LOCAL0, // 0-7
    LOG_LPR,
    LOG_MAIL,
    LOG_NEWS,
    LOG_SYSLOG,
    LOG_USER,
    LOG_UUCP,
);

openlog('test',NULL,LOG_LOCAL4); // https://www.php.net/manual/zh/function.openlog.php
syslog(LOG_WARNING,'msg'); // https://www.php.net/manual/zh/function.syslog.php
closelog();

openlog ( string $ident , int $option , int $facility ) : bool
syslog ( int $priority , string $message ) : bool
closelog ( void ) : bool 关闭用于通信的描述符并写入系统日志。closelog()是可选的。

nginx的get,post,文件上传的缓存配置

作者: zhuangdebiao
时间: 2020-10-22 18:13
分类: 默认分类
评论

get,post请求体超过nginx配置大小时,nginx会返回413,400,414等状态码

请求分为request_line,request_header,request_body,

requst_line与request_header策略相同,使用同一块buffer:

先以client_header_buffer_size分配buffer,
不足则进一步分配large_buffer;
又不足,则返回错误, request_line是 414 Request URI too large, request_header是 400 Bad Request;

Syntax:    client_header_buffer_size size;
Default:client_header_buffer_size 1k;
Context:    http, server

Syntax:    large_client_header_buffers number size;
Default:large_client_header_buffers 4 8k;
Context:    http, server
Buffers are allocated only on demand. By default, the buffer size is equal to 8K bytes. If after the end of request processing a connection is transitioned into the keep-alive state, these buffers are released.

操作系统中分页文件大小,通常是4k或8k;(请求行+请求头)的大小不能超过32k(4 * 8k); 如果一个连接请求将状态转换为 keep-alive，这个缓冲区将被释放;

request_body的策略则是 client_max_body_size 20M;不足则返回错误 413 Request Entity Too Large

request_body最大大小

Syntax:    client_max_body_size size;
Default: client_max_body_size 1m;
Context:    http, server, location

读取$request_body的内存buffer,HTTP BODY超过则写入磁盘临时文件

Syntax:    client_body_buffer_size size;
Default:  client_body_buffer_size 8k|16k;
Context:    http, server, location
Sets buffer size for reading client request body. In case the request body is larger than the buffer, the whole body or only its part is written to a temporary file. By default, buffer size is equal to two memory pages. This is 8K on x86, other 32-bit platforms, and x86-64. It is usually 16K on other 64-bit platforms.

开关,强制保存HTTP BODY$requst_body到临时文件$request_body_file,而不是$requst_body

Syntax:    client_body_in_file_only on | clean | off;
Default: client_body_in_file_only off;
Context:    http, server, location

off: 禁用文件写入
clean：请求body将被写入文件, 该文件将在处理请求后删除。
on: 请求正文将被写入文件, 处理请求后，将不会删除该文件。

当代理请求转发时,传递临时文件的名称,而不是文件的内容,建议以下配置禁用之:

When the name of a temporary file is passed in a proxied request or in a request to a FastCGI/uwsgi/SCGI server, passing the request body should be disabled by the 
proxy_pass_request_body off,
fastcgi_pass_request_body off,
uwsgi_pass_request_body off,
or scgi_pass_request_body off directives, respectively.

client_body_in_single_buffer: off;

设置NGINX将完整的请求主体存储在单个缓冲区中。默认情况下，指令值为off。如果启用，它将优化读取$request_body变量时涉及的I/O操作。

Syntax:    client_body_temp_path path [level1 [level2 [level3]]];
Default:client_body_temp_path client_body_temp;
Context:    http, server, location

比如 client_body_temp_path path 3 5; 生成的文件路径是 temp_files/123/12345/0000003051

指定存储请求正文的临时文件的位置。除了位置之外，指令还可以指定文件是否需要最多三个级别的文件夹层次结构。级别指定为用于生成文件夹的位数。默认在安装路径下的client_body_temp文件夹创建临时文件