Linux搬家流式压缩解决方案,linux大文件对传

一般网站搬家的时候 一般都会采用 压缩打包->传输压缩包->解压压缩包,但是这个步骤中会面临很多问题,比如压缩解压的空间不够,磁盘只有1TB 存储都已经占了600G 或者更高的时候 压缩的空间就不够了,还有压缩和解压消耗时间比较长 传输的时候网络瓶颈 等等,我碰到有些朋友搬家 2T的数据将近来来回来折腾了一个多月,压缩分卷,传出 合并分卷 再解压。这一系列步骤下来 确实弄得人身心俱疲。

- 阅读全文 -

es跨集群同步数据的集中方式(先扩容再缩容,reindex、elasticdump)

es集群常见的三种数据迁移方式,先扩容再缩容、reindex、elasticdump 这三种方式都是站在底层的操作,还有什么业务层的,同时写两个集群一类的 暂时先不谈。首先谈下先扩容再缩容的操作,首先准备跟老集群一样或者多于老集群的节点数量,作为新节点扩容到集群里面。扩容节点里面另外起三个master节点, 然后将老节点的数据排空。把老节点做下线操作,下掉老节点即可,完成数据迁移、 优点:业务无感

- 阅读全文 -

默认机器系统参数调优(对照阿里云centos 7.7)

有些国外机器默认不会调整系统参数,导致在上面跑的应用经常性出现异常主要针对两个参数 内核参数和系统限制 内核参数级别 打开 /etc/sysctl.conf 添加一下参数vm.swappiness = 30 kernel.sysrq = 1 net.ipv4.neigh.default.gc_stale_time = 120 net.ipv4.conf.all.rp_filter = 0 net

- 阅读全文 -