Byrd's Weblog

一、基础环境 $ uname -a Linux open-boots-1.localdomain...

August 14, 2024Comments

免密登录进行git pull: step1: step2:

一、环境信息二、clickhouse安装三、clickhouse配置四、clickhous高可用方案1 子表使用MergeTree引擎，Insert写Distributed表在这种情况下，分布式表会跨服务器分发插入数据。为了写入分布式表，必须要配置分片键（最后一个参数）。当然，如果只有一个分片，则写操作在没有分片键的情况下也能工作，因为这种情况下分片键没有意义，所有数据都将发送到一个分片。通常将internal_replication参数设置为false，这样写操作会将数据写入所有副本以实现高可用。实质上，这意味着要分布式表本身来复制数据。这种方式不如使用复制表的好，因为不会检查副本的一致性，并且随着时间的推移，副本数据可能会有些不一样。测试语句: 五、clickhous高可用方案2 子表使用ReplicatedMergeTree引擎，Insert写子表可以将internal_replication参数设置为true，因为可以由ClickHouse来保证数据副本的一致性。你可以自已指定要将哪些数据写入哪些服务器，并直接在每个分片上执行写入，并且你可以使用任何分片方案。对于复杂业务特性的需求，这可能是非常重要的。官方推荐这种方案。使用复制表并不影响效率 SELECT 查询并不需要借助 ZooKeeper ，复本并不影响 SELECT 的性能，查询复制表与非复制表速度是一样的。查询分布式表时，ClickHouse的处理方式可通过设置 max_replica_delay_for_distributed_queries 和 fallback_to_stale_replicas_for_distributed_queries 修改。对于每个 INSERT 语句，会通过几个事务将十来个记录添加到 ZooKeeper。（确切地说，这是针对每个插入的数据块; 每个 INSERT 语句的每 max_insert_block_size = 1048576 行和最后剩余的都各算作一个块。）相比非复制表，写 zk 会导致 INSERT 的延迟略长一些。但只要你按照建议每秒不超过一个 INSERT 地批量插入数据，不会有任何问题。一个 ZooKeeper 集群能给整个 ClickHouse 集群支撑协调每秒几百个 INSERT。数据插入的吞吐量（每秒的行数）可以跟不用复制的数据一样高。参考文档： 1、http://cxy7.com/articles/2019/06/07/1559910377679.html#b3_solo_h3_2 1、

Nginx WAF 限制并发访问

现在网站一般都采用user-waf→源站的访问模式,或者采用user→cdn-源站的模式,$remote_addr将获取到的IP是waf或者cdn的IP而不是真实的用户IP。$http_x_forwarded_for才是用户的真实IP地址。哪么相关的策略都应该针对$http_x_forwarded_for展开。 (more…)

Heartbeat+Drbd+NFS组合配置文档

系统环境： IP分配：准备工作：一、配置时间同步二、配置/etc/hosts文件【主、备同时】三、配置心跳线、数据传输主机路由四、安装heartbeat【主、备同时】配置：五、分区、安装drbd 分区master：分区slave：安装drbd：新版本drbdadm已经和drbd拆分，需要安装drbd-utils 六、安装nfs：安装heartbeat时候yum自动安装rpcbind和nfs 错误：解决：错误：解决：错误：解决：这个问题没有解决掉！！！参考文档： 1：http://os.51cto.com/art/201412/461533_all.htm 2：http://blog.chinaunix.net/uid-25266990-id-3803277.html 3：

Byrd's Weblog

Linux基于LDAP进行用户验证登录

ZeroTier配置搭建

Basic

git免登录设置账号密码

Code

XtraBackup数据库还原脚本

Database

clickhouse高可用集群搭建

Environment

Nginx WAF 限制并发访问

Error

重置Harbor管理员密码

System

Heartbeat+Drbd+NFS组合配置文档

Login