redis队列缓存 + mysql 批量入库 + php离线整合(1/3)

本篇文章主要介绍了" redis队列缓存 + mysql 批量入库 + php离线整合"，主要涉及到队列,Exception,crontab,索引,插入数据方面的内容，对于PHPjrs看球网直播吧_低调看直播体育app软件下载_低调看体育直播感兴趣的同学可以参考一下： 需求背景：有个调用统计日志存储和统计需求，需要存储到mysql中；瓶颈在于直接入库并发太高，直接会把mysql干垮。问题分析问题一：要求日志最好入库；但是，直接...

需求背景：有个调用统计日志存储和统计需求，需要存储到mysql中；瓶颈在于直接入库并发太高，直接会把mysql干垮。

问题分析

• 问题一：要求日志最好入库；但是，直接入库mysql确实扛不住，批量入库没有问题，done。【批量入库和直接入库性能差异参考文章】

• 问题二：批量入库就需要有高并发的消息队列，决定采用redis list 仿真实现，而且方便回滚。

• 问题三：日志量毕竟大，保存最近30条足矣，决定用php写个离线统计和清理脚本。

done，下面是小拽的简单实现过程

一：设计数据库表和存储

• 考虑到log系统对数据库的性能更多一些，稳定性和安全性没有那么高，存储引擎自然是只支持select insert 没有索引的archive。如果确实有update需求，也可以采用myISAM。

• 考虑到log是实时记录的所有数据，数量可能巨大，主键采用bigint，自增即可。

• 考虑到log系统以写为主，统计采用离线计算，字段均不要出现索引，因为一方面可能会影响插入数据效率，另外读时候会造成死锁，影响写数据。

二：redis存储数据形成消息队列

由于高并发，尽可能简单，直接，上代码。

队列中.
* $Id$
*
**************************************************************************/

/**
* @file saveLog.php
* @date 2015/11/06 20:47:13
* @author:cuihuan
* @version $Revision$
* @brief
*
**/

// 获取info
$interface_info = $_GET['info'];

// 存入redis队列
$redis = new Redis();
$redis->connect('xx', 6379);
$redis->auth("password");

// 加上时间戳存入队列
$now_time = date("Y-m-d H:i:s");
$redis->rPush("call_log", $interface_info . "%" . $now_time);
$redis->close();

/* vim: set ts=4 sw=4 sts=4 tw=100 */
?>

三：数据定时批量入库。

定时读取redis消息队列里面的数据，批量入库。