【转载】MSSQL、MySQL 数据库删除大批量千万级百万级数据的优化

【转载】MSSQL、MySQL 数据库删除大批量千万级百万级数据的优化
SQL Server上面删除1.6亿条记录,不能用Truncate(因为只是删除其中少部分数据)。 经过实验,每次删除400万条要花1.5 - 3小时,而且是越到后面越慢,正常的话,需要大约102个小时,大约4天半时间。这在生产环境下是不能接受的。 经过一个处理之后,我每次删除400万条记录花5 - 6分钟,删除全部1.6亿条记录花了4 - 5个小时! 为什么??   每次删除记录,数据库都要相应地更新索引,这是很慢的IO操作,...

MISCONF Redis is configured to save RDB snapshots

MISCONF Redis is configured to save RDB snapshots
最近发现一个业务的数据无法插入redis中,尝试在redis中执行命令时报了如下错误提示: 127.0.0.1:6380> SET Key0 Value0 (error) MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. Please check Redis logs for details about the error. 大意为:(错误)misconf redis被配置以保存数据库快照...

MongoDB基本命令用

MongoDB基本命令用
成功启动MongoDB后,再打开一个命令行窗口输入mongo,就可以进行数据库的一些操作。 输入help可以看到基本操作命令: show dbs:显示数据库列表 show collections:显示当前数据库中的集合(类似关系数据库中的表) show users:显示用户 use <db name>:切换当前数据库,这和MS-SQL里面的意思一样 db.help():显示数据库操作命令,里面有很多的命令 db.foo.help():显示集合操作命令,同样有很多的...

Redis 数据备份与恢复

Redis 数据备份与恢复
Redis SAVE 命令用于创建当前数据库的备份。 语法 redis Save 命令基本语法如下: redis 127.0.0.1:6379> SAVE 实例 redis 127.0.0.1:6379> SAVE OK 该命令将在 redis 安装目录中创建dump.rdb文件。 恢复数据 如果需要恢复数据,只需将备份文件 (dump.rdb) 移动到 redis 安装目录并启动服务即可。获取 redis 目录可以使用 CONFIG 命令,如下所示: redis 127.0.0.1:6379> CONFIG GET di...

Redis配置文件参数说明

Redis配置文件参数说明

Redis监听端口默认为6379,作者在自己的一篇博文中解释了为什么选用6379作为默认端口,因为6379是手机按键上MERZ对应的号码,而MERZ取自意大利歌女Alessia Merz的名字

mysql的双1设置

mysql的双1设置

网易游戏《炉石传说》游戏数据库发生宕机并引发数据丢失事故,最终决定回档并后续补偿玩家损失。详情可见官网公告:http://hs.blizzard.cn/articles/16/8565.
有大神分析造成数据库损坏,如果也用MySQL数据库的话,看起来应该是没开启双1设置,我们了解一下什么是双1设置。

Mysql主主互备(双主)

Mysql主主互备(双主)
一, mysql 备份工作原理 简单的说就是把 一个服务器上执行过的sql语句在别的服务器上也重复执行一遍, 这样只要两个数据库的初态是一样的,那么它们就能一直同步。当然这种复制和重复都是mysql自动实现的,我们只需要配置即可。 我们进一步详细介绍原理的细节, 这有一张图: 上图中有两个服务器, 演示了从一个主服务器(master) 把数据同步到从服务器(slave)的过程。这是一个主-从复制的例子。 主-...

如何判断MSSQL数据库磁盘出现了瓶颈?

如何判断MSSQL数据库磁盘出现了瓶颈?
SQL SERVER提供了很多关于I/O压力的性能计数器,请选择性能计算器PhysicalDisk(LogicalDisk),根据我们的经验,如下指标的阈值可以帮助你判断IO是否存在压力: 1.  %Disk Time :这个是磁盘时间百分比,这个平均值应该在85%以下 2. Current Disk Queue Length:未完成磁盘请求数量,这个每个磁盘平均值应该小于2. 3. Avg. Disk Queue Length:磁盘请求队列的平均长度,这个每个磁盘平均值也应该小于2 4. ...

本站理念:

致力于运维技术的分享,运维前源技术的探讨,欢迎广大朋友一起参与,一起分享,共同成长。

交流探讨:

QQ群:26489714