zhuangdebiao 发布的文章

curl -v -X POST -H 'Content-Type: application/json' -d '{"nickname":"admin","pwd":""}' http://127.0.0.1:9501/'

-A
-A参数指定客户端的用户代理标头,即User-Agent。curl 的默认用户代理字符串是curl/[version]。

$ curl -A 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36' https://google.com
上面命令将User-Agent改成 Chrome 浏览器。

$ curl -A '' https://google.com
上面命令会移除User-Agent标头。

也可以通过-H参数直接指定标头,更改User-Agent。

$ curl -H 'User-Agent: php/1.0' https://google.com
-b
-b参数用来向服务器发送 Cookie。

$ curl -b 'foo=bar' https://google.com
上面命令会生成一个标头Cookie: foo=bar,向服务器发送一个名为foo、值为bar的 Cookie。

$ curl -b 'foo1=bar;foo2=bar2' https://google.com
上面命令发送两个 Cookie。

$ curl -b cookies.txt https://www.google.com
上面命令读取本地文件cookies.txt,里面是服务器设置的 Cookie(参见-c参数),将其发送到服务器。

-c
-c参数将服务器设置的 Cookie 写入一个文件。

$ curl -c cookies.txt https://www.google.com
上面命令将服务器的 HTTP 回应所设置 Cookie 写入文本文件cookies.txt。

-d
-d参数用于发送 POST 请求的数据体。

$ curl -d'login=emma&password=123'-X POST https://google.com/login

或者

$ curl -d 'login=emma' -d 'password=123' -X POST https://google.com/login
使用-d参数以后,HTTP 请求会自动加上标头Content-Type : application/x-www-form-urlencoded。并且会自动将请求转为 POST 方法,因此可以省略-X POST。

-d参数可以读取本地文本文件的数据,向服务器发送。

$ curl -d '@data.txt' https://google.com/login
上面命令读取data.txt文件的内容,作为数据体向服务器发送。

--data-urlencode
--data-urlencode参数等同于-d,发送 POST 请求的数据体,区别在于会自动将发送的数据进行 URL 编码。

$ curl --data-urlencode 'comment=hello world' https://google.com/login
上面代码中,发送的数据hello world之间有一个空格,需要进行 URL 编码。

-e
-e参数用来设置 HTTP 的标头Referer,表示请求的来源。

curl -e 'https://google.com?q=example' https://www.example.com
上面命令将Referer标头设为https://google.com?q=example

-H参数可以通过直接添加标头Referer,达到同样效果。

curl -H 'Referer: https://google.com?q=example' https://www.example.com
-F
-F参数用来向服务器上传二进制文件。

$ curl -F 'file=@photo.png' https://google.com/profile
上面命令会给 HTTP 请求加上标头Content-Type: multipart/form-data,然后将文件photo.png作为file字段上传。

-F参数可以指定 MIME 类型。

$ curl -F 'file=@photo.png;type=image/png' https://google.com/profile
上面命令指定 MIME 类型为image/png,否则 curl 会把 MIME 类型设为application/octet-stream。

-F参数也可以指定文件名。

$ curl -F 'file=@photo.png;filename=me.png' https://google.com/profile
上面命令中,原始文件名为photo.png,但是服务器接收到的文件名为me.png。

-G
-G参数用来构造 URL 的查询字符串。

$ curl -G -d 'q=kitties' -d 'count=20' https://google.com/search
上面命令会发出一个 GET 请求,实际请求的 URL 为https://google.com/search?q=kitties&count=20。如果省略--G,会发出一个 POST 请求。

如果数据需要 URL 编码,可以结合--data--urlencode参数。

$ curl -G --data-urlencode 'comment=hello world' https://www.example.com
-H
-H参数添加 HTTP 请求的标头。

$ curl -H 'Accept-Language: en-US' https://google.com
上面命令添加 HTTP 标头Accept-Language: en-US。

$ curl -H 'Accept-Language: en-US' -H 'Secret-Message: xyzzy' https://google.com
上面命令添加两个 HTTP 标头。

$ curl -d '{"login": "emma", "pass": "123"}' -H 'Content-Type: application/json' https://google.com/login
上面命令添加 HTTP 请求的标头是Content-Type: application/json,然后用-d参数发送 JSON 数据。

-i
-i参数打印出服务器回应的 HTTP 标头。

$ curl -i https://www.example.com
上面命令收到服务器回应后,先输出服务器回应的标头,然后空一行,再输出网页的源码。

-I
-I参数向服务器发出 HEAD 请求,然会将服务器返回的 HTTP 标头打印出来。

$ curl -I https://www.example.com
上面命令输出服务器对 HEAD 请求的回应。

--head参数等同于-I。

$ curl --head https://www.example.com
-k
-k参数指定跳过 SSL 检测。

$ curl -k https://www.example.com
上面命令不会检查服务器的 SSL 证书是否正确。

-L
-L参数会让 HTTP 请求跟随服务器的重定向。curl 默认不跟随重定向。

$ curl -L -d 'tweet=hi' https://api.twitter.com/tweet
--limit-rate
--limit-rate用来限制 HTTP 请求和回应的带宽,模拟慢网速的环境。

$ curl --limit-rate 200k https://google.com
上面命令将带宽限制在每秒 200K 字节。

-o
-o参数将服务器的回应保存成文件,等同于wget命令。

$ curl -o example.html https://www.example.com
上面命令将www.example.com保存成example.html。

-O
-O参数将服务器回应保存成文件,并将 URL 的最后部分当作文件名。

$ curl -O https://www.example.com/foo/bar.html
上面命令将服务器回应保存成文件,文件名为bar.html。

-s
-s参数将不输出错误和进度信息。

$ curl -s https://www.example.com
上面命令一旦发生错误,不会显示错误信息。不发生错误的话,会正常显示运行结果。

如果想让 curl 不产生任何输出,可以使用下面的命令。

$ curl -s -o /dev/null https://google.com
-S
-S参数指定只输出错误信息,通常与-s一起使用。

$ curl -s -o /dev/null https://google.com
上面命令没有任何输出,除非发生错误。

-u
-u参数用来设置服务器认证的用户名和密码。

$ curl -u 'bob:12345' https://google.com/login
上面命令设置用户名为bob,密码为12345,然后将其转为 HTTP 标头Authorization: Basic Ym9iOjEyMzQ1。

curl 能够识别 URL 里面的用户名和密码。

$ curl https://bob:12345@google.com/login
上面命令能够识别 URL 里面的用户名和密码,将其转为上个例子里面的 HTTP 标头。

$ curl -u 'bob' https://google.com/login
上面命令只设置了用户名,执行后,curl 会提示用户输入密码。

-v
-v参数输出通信的整个过程,用于调试。

$ curl -v https://www.example.com
--trace参数也可以用于调试,还会输出原始的二进制数据。

$ curl --trace - https://www.example.com
-x
-x参数指定 HTTP 请求的代理。

$ curl -x socks5://james:cats@myproxy.com:8080 https://www.example.com
上面命令指定 HTTP 请求通过myproxy.com:8080的 socks5 代理发出。

如果没有指定代理协议,默认为 HTTP。

$ curl -x james:cats@myproxy.com:8080 https://www.example.com
上面命令中,请求的代理使用 HTTP 协议。

-X
-X参数指定 HTTP 请求的方法。

$ curl -X POST https://www.example.com
上面命令对https://www.example.com发出 POST 请求。

三个方案:

  1. 百万数据导出, 用 csv, 注意点, (1)流式输出, (2) iconv 转码,
  2. 百万数据导出, 安装php扩展, 用 xlswriter,

    扩展: https://pecl.php.net/package/xlswriter
    手册: https://xlswriter-docs.viest.me/zh-cn
    
  3. 极少量数据导出, 用 phpexcel 官方的新项目: composer require phpoffice/phpspreadsheet 仓库: https://github.com/PHPOffice/PhpSpreadsheet

更有 全家桶 :
composer require phpoffice/common
Word文档
composer require phpoffice/phpword
PPT幻灯片
composer require phpoffice/phppresentation
VISIO画图
composer require phpoffice/phpvisio
项目管理
composer require phpoffice/phpproject

  1. 项目生命周期模型

    可预测的顺序需求:瀑布流模型,
    早期可预测,后期要调整:迭代模型,
    从小到大搭积木,评估风险,增量需求:螺旋模型,
    做个样子,先跟客户谈最终,谈完再改:原型模型,
    确定第一期需求,先做,同时沟通确定下一期需求,继续做,小步快跑冲刺,不断调整适应型:敏捷模型;(普遍推行,信任开发同学不会延期)

  2. 项目生命周期的管理工具

    禅道(有开源免费版,适合小团队)
    Jira工作流 和 Confluence过程文档编辑(破解,中型公司用得多,看板功能很好用)
    腾讯TAPD(要钱,可集成至企业微信)

  3. 项目文档

    项目立项:立项报告, 可行性研究报告,
    合同资料:招标文件, 投标文件,
    费用资料:概要预算资金, 经费使用情况,
    过程文档:宣讲PPT, 设计稿,
    交付文档:系统设计方案, 第三方对接文档, 系统用户手册, 部署文档,
    验收总结:项目概况, 客户意见

  4. 原型设计工具

    AxureRP(可以自定义)
    墨刀(适用移动端界面,MockingBot)

  5. 高保真(上色后的设计稿,UI/UED同学必备)

    排版调色: PhotoShop (移动端一倍DPR 750px)
    矢量图标: AI,阿里巴巴图标库
    动画: SVGA或Lottie(不用Gif格式)
    切图,做标注:Sketch(Mac系统),PxCook(Windows系统)
    分享演示: 蓝湖(10人免费)

  6. 辅助生产工具

    Xmind(思维导图)
    ProcessOn(在线网页)
    微软OfficeProject(项目管理软件,常用来画甘特图,可用Excel代替,整理需求排期和缺陷管理)
    StarUML/Navicat (数据建模)
    PPT/PDF (客户宣讲,技术白皮书,产品规划,需要设计同学润色,定期做安全等级评估)

  7. 远程会议(疫情)

    腾讯会议
    ZOOM(早期外企较多)

  8. 开发工具

    IDE(JetBrain公司全家桶:PHPSTorm,IDEA,AndroidStudio,Goland,Pycharm)
    PHPMyAdmin(仅限mysql,且网页体验不佳),Navicat(支持多种数据库),SQLyog,MySQLWorkbench(官方免费)
    XShell (linux shell客户端)
    FlashFXP/filezilla (SFTP客户端,不再开放FTP协议20,21端口)

  9. 源码版本管理

    参考主流的GitFlow规范, 且开发人员无法合并至生产主分支;

    Git服务端:
    Gitlab(私有化部署,较多公司用,可对接LDAP域账号,配合OA人事系统,统一帐号密码)
    Gogs(私有化部署,golang实现,比gitlab轻量)
    阿里云code.aliyun.com(免费,不限制)
    码云gitee(团队人数限制,要付费,国内模仿github做的)

    Git客户端: gitscm

    SVN客户端: (逐渐不用,分支功能较弱)
    subversion/tortoisesvn(小乌龟)

  10. 接口文档

    showdoc(markdown语法编辑,注解功能较弱, 要对框架做二次开发)
    swagger(支持生成多版本的接口文档,用注解生成在线接口文档,java spring boot项目可以快速集成)
    Confluence也可撰写接口文档,体验比showdoc稍弱

  11. 测试方法和工具

    测试计划,测试用例(略): 具体模板可以参考禅道,

    黑盒测试: 功能验证为主, 配合数据库和中间件的可视化客户端界面, 人工判断;

    白盒测试: PHP有PHPUnit类库, 做单元测试/集成测试, 断言的分支覆盖率 越高越好; 涉及第三方对接的业务代码则难以测试, 所以通常是面向接口的出入参做测试为主, 接口文档约定的数据结构是重要参考;

    冒烟测试(持续集成测试):
    Jenkins
    Jenkins 搭配Gitlab,也可用禅道的部署功能代替jenkins,用于拉取git分支结点,部署至测试环境;公司人多的话,也可以由公共组自主开发一些工具系统,集成阿里云/aws的API,创建docker容器或VPS虚拟主机

    工具软件:
    PostMan (测试HTTP接口)
    JMeter (支持代理抓包,测试websocket)
    burpsuite (渗透测试工具集)
    apache的ab.exe (http压力测试)

    web工作流.jpg

    测试流程:

    (1) 产品人员提交需求/测试人员提交BUG, 初始状态为待确认
    (2) 开发人员对分给自己的需求或BUG进行审核, 如果不是自己负责内容:
        ①如果知道是哪位同事负责, 则分配给相关同事
        ②如果不知道是哪位同事负责, 则分配到自己上级, 由上级进行分配
        如果是自己要负责的内容, 则继续往下走
    (3) 开发人员对自己名下的BUG/需求进行解决, 问题状态标注为"解决中"; 需求或BUG在本地完成后, 标注状态为“已解决未提测”;
        开发人员代码提交后, 标注状态为"已提测"; 测试人员以"已提测"状态为准, 进行测试
    
  12. 运维标准

    堡垒机
    系统初始化
    应用部署(SaltStack,Ansible)
    提请发布 邮件模板
    发布策略(金丝雀发布,滚动发布,蓝绿发布...)
    监控报警(zabbix)
    生产环境变更申请: 扩容,缩容,修改配置,执行SQL脚本,热更新hotfix...etc

  13. 业务跟踪日志 和 应用统计分析

    ELK(Logtail采集,ElstaicSearch存储检索,Kibana数据可视化), HTTP跟踪tag, 框架日志服务, 统计代码(友盟,腾讯Bugly)
    也可以使用阿里云付费的日志服务

  14. 故障响应机制和等级评估

    故障复盘

  15. PHP编码规范

    runtime版本,
    PSR推荐草案,
    Composer包管理,
    ....

  16. MySQL 操作规范(DDL,DML,不含DCL)
  17. 前端html/css/js规范

手册地址 https://dev.mysql.com/doc/refman/8.0/en/savepoint.html

默认的, 如果不修改mysql配置文件, 会启用 自动提交功能auto commit, 即隐式提交你的每一条SQL语句;

有些语句,在执行之前,会隐式地发出commit。这些语句包括:

  1. DDL语句, 比如 create database/drop database, create/drop/alter table/routine
  2. 隐式地使用或者修改mysql数据库的语句,比如 ALTER USER, CREATE USER, DROP USER, GRANT, RENAME USER, REVOKE, SET PASSWORD
  3. 事务控制和锁语句,比如BEGIN,START TRANSACTION,  LOCK/UNLOCK TABLES, SET autocommit = 1(原来不是1)
  4. LOAD数据语句, LOAD DATA INFILE
  5. 管理语句,比如 ANALYZE TABLE, CACHE INDEX, CHECK TABLE等等
  6. 复制控制语句,比如 START/STOP/RESET SLAVE, CHANGE MASTER TO

示例:

mysql> set autocommit=1;

mysql> BEGIN;
mysql> CREATE TABLE T2(ID INT);
mysql> INSERT INTO T2 VALUES(100);
mysql> ROLLBACK;

mysql> SELECT * FROM T2;
+------+
| ID   |
+------+
|  100 |
+------+
1 row in set (0.00 sec)
————————————————

事务的基础操作:

开启事务(进入事务模式,不会自动提交) START TRANSACTION; 或者简写 BEGIN;

提交事务 COMMIT;

回滚事务 ROLLBACK;


关闭提交之后, 无需开启事务, 等价于"已经在事务模式下", 需要手动COMMIT或ROLLBACK才能使SQL发生作用;

当前TCP session级别, 关闭自动提交 SET autocommit=0;

全局, 关闭自动提交 SET GLOBAL autocommit=0;


重要提示: DDL语句无法被回滚, 上面说了"有些语句会提供commit提交",比如 create database/drop database, create/drop/alter table/routine。


在需要COMMIT/ROLLBACK的场景下, 可以阶段性的回滚和提交, 即 "打点计时器" 一样, 留下锚点(保存点, save point);

  1. 开启事务后,在事务内声明存档点 SAVEPOINT $name

    批处理也是事务, 比如: (1)BEGIN;(2)巴拉巴拉多条SQL;;(3)COMMIT;或ROLLBACK;
    
  2. 提交事务之前,释放存档点 RELEASE SAVEPOINT $name

    只会移除这一个存档点,不影响其他存档点, 也不会自动触发commit或rollback;
    
    如果释放的存档点不存在,则报错 ERROR 1305 (42000): SAVEPOINT identifier does not exist
    
  3. 回滚至某个存档点 ROLLBACK TO SAVEPOINT $name

    如果回滚的存档点不存在,则报错 ERROR 1305 (42000): SAVEPOINT identifier does not exist
    
  4. 执行COMMIT或ROLLBACK后, 自动删除 事务内的所有存档点;
  5. 开启事务之前, 可以设置隔离级别:

    SET TRANSACTION ISOLATION LEVEL $level;
    

四种级别情况,

第一种情况:

READ COMMITTED

作用是:

指定在读取数据时控制共享锁以避免脏读,但数据可在事务结束前更改,从而产生不可重复读取或幻像数据。该选项是 SQL Server的默认值。

第二种情况:

READ UNCOMMITTED

作用是:

执行脏读或0级隔离锁定,这表示不发出共享锁,也不接受排它锁。当设置该选项时,可以对数据执行未提交读或脏读;在事务结束前可以更改数据内的数值,行也可以出现在数据集中或从数据集消失。该选项的作用与在事务内所有语句中的所有表上设置 NOLOCK 相同。这是四个隔离级别中限制最小的级别。

第三种情况:

REPEATABLE READ

作用是:

锁定查询中使用的所有数据以防止其他用户更新数据,但是其他用户可以将新的幻像行插入数据集,且幻像行包括在当前事务的后续读取中。因为并发低于默认隔离级别,所以应只在必要时才使用该选项。

第四种情况:

SERIALIZABLE

作用是:

在数据集上放置一个范围锁,以防止其他用户在事务完成之前更新数据集或将行插入数据集内。这是四个隔离级别中限制最大的级别。因为并发级别较低,所以应只在必要时才使用该选项。该选项的作用与在事务内所有 SELECT 语句中的所有表上设置 HOLDLOCK相同。

SAVEPOINT语法如下:
SAVEPOINT identifier
ROLLBACK [WORK] TO [SAVEPOINT] identifier
RELEASE SAVEPOINT identifier

注意: 如果存档点的名称(标识符identifier)跟上方重复了, 则删除旧的存档点, 设置新的存档点, 相当于"游戏存档"被擦写覆盖了。

示例:

mysql> CREATE TABLE T2(ID INT);

mysql> BEGIN;
mysql> INSERT INTO T2 VALUES(100);
mysql> SAVEPOINT sp1;
mysql> INSERT INTO T2 VALUES(200);
mysql> ROLLBACK TO SAVEPOINT sp1;
mysql> RELEASE SAVEPOINT sp1;
mysql> COMMIT;

mysql> SELECT * FROM T2;
+------+
| ID   |
+------+
|  100 |
+------+
1 row in set (0.00 sec)
————————————————

存档点可以层叠嵌套, 很像"操作系统在切换进程上下文的时候,压栈/弹栈", 具体表现在:

  1. 当 "调用invoke"存储过程/函数(store function) 或 激活(activated)触发器(trigger) 时,将隐式创建"更高层 级别的"存档点。
  2. 低级别上的存档点将不可用(保留工作现场),因此不会与新级别上的存档点冲突(比如存档点的标识符名称)。
  3. 当函数或触发器执行结束时,它创建的任何存档点都将被释放,并还原上一个存档点级别(还原工作现场)。

值得一提的是, PHP的Yii2框架, 居然支持"多次开启事务", 其实mysql是不支持"多次开启事务"的, 而是"存档点的层叠嵌套"; 更有意思的是, 这也导致框架的使用者采坑: (1)多次"开启事务", (2)"提交事务"居然失败了?

$m = new AR();
$transaction = $m->getDb()->beginTransaction(); // 返回一个对象,挂载在db下
// 巴拉巴拉一顿CRUD操作猛如虎..
$transaction = $m->getDb()->beginTransaction(); // 该对象与前者是同一个实例(单例)
// 又是一顿CRUD操作猛如虎...
$m->getDb()->getTransaction()->commit();
// 或者 $transaction->commit();
exit;
 
// 等等,为什么MySQL没有找到刚才的"一顿操作"??!!
// 因为 第二次beginTransaction() 创建了新的savepoint层级,
// 第一次调用commit()函数, 只是 RELEASE SAVEPOINT $name
// 所以需要再多调用一次 commit() 函数...直到层级为0的时候,才会真正发送 commit;语句给MYSQL服务器;

详见代码 vendor/yiisoft/yii2/db/Transaction.php

public function begin($isolationLevel = null)
{
    $this->db->open();

    if ($this->_level === 0) {
        if ($isolationLevel !== null) {
            // 设置隔离级别SET TRANSACTION ISOLATION LEVEL $level;
            $this->db->getSchema()->setTransactionIsolationLevel($isolationLevel);
        }
        $this->db->pdo->beginTransaction();
        $this->_level = 1;
        return;
    }

    $schema = $this->db->getSchema();
    if ($schema->supportsSavepoint()) { // 如果是InnoDB存储引擎
        Yii::trace('Set savepoint ' . $this->_level, __METHOD__);
        $schema->createSavepoint('LEVEL' . $this->_level);
    } else {
        Yii::info('Transaction not started: nested transaction not supported', __METHOD__);
    }
    $this->_level++;
}
public function commit()
{
    if (!$this->getIsActive()) { // 没有开启事务则报错
        throw new Exception('Failed to commit transaction: transaction was inactive.');
    }

    $this->_level--;
    if ($this->_level === 0) {
        $this->db->pdo->commit();
        return;
    }

    $schema = $this->db->getSchema();
    if ($schema->supportsSavepoint()) { // InnoDb存储引擎
        Yii::trace('Release savepoint ' . $this->_level, __METHOD__);
        $schema->releaseSavepoint('LEVEL' . $this->_level);
    } else {
        Yii::info('Transaction not committed: nested transaction not supported', __METHOD__);
    }
}


YII2 的 rollback机制 也混合了savepoint, 要多次调用rollback函数才会真正rollback,很危险.