[matrix](https://matrix.org)是一个非常强大的开源即时通信项目。本文主要分享如何在VPS服务器上部署matrix的后端（synapse）及前端（element）服务。在matrix的官方文档中，找到了一篇如何在oracle arm服务器上部署的[教程](https://matrix.org/docs/guides/free-small-matrix-server)，正好手里有一台oracle机器，于是从这篇教程出发开始研究。


https://github.com/spantaleev/matrix-docker-ansible-deploy/blob/master/docs/README.md

# 配置域名
https://github.com/spantaleev/matrix-docker-ansible-deploy/blob/master/docs/configuring-dns.md
```
A matrix ${ip}
CNAME element matrix.${domain}
```

# 拉取代码
部署matrix用的是[matrix-docker-ansible-deploy](https://github.com/spantaleev/matrix-docker-ansible-deploy/blob/master/docs/README.md)这个项目，需要把代码拉取下来：
```
git clone https://github.com/spantaleev/matrix-docker-ansible-deploy.git
```

# 配置playbook
```
mkdir inventory/host_vars/matrix.${domain}
cp examples/vars.yml inventory/host_vars/matrix.$domain/vars.yml
cp examples/hosts inventory/hosts
$EDITOR inventory/hosts
# put most settings here in vars.yml, read following sections for some ideas
$EDITOR inventory/host_vars/matrix.$domain/vars.yml
```

`inventory/hosts`
```
[matrix_servers]
matrix.renxx.tk ansible_host=$your_host ansible_ssh_user=root ansible_ssh_port=22
```
如果你的ansible是用docker方式执行，需要加上`ansible_connection=community.docker.nsenter`
```
[matrix_servers]
matrix.renxx.tk ansible_host=$your_host ansible_ssh_user=root ansible_ssh_port=22 ansible_connection=community.docker.nsenter
```
`inventory/host_vars/matrix.$your_domain/vars.yml`
```yaml
---
# The bare domain name which represents your Matrix identity.
# Matrix user ids for your server will be of the form (`@user:<matrix-domain>`).
#
# Note: this playbook does not touch the server referenced here.
# Installation happens on another server ("matrix.<matrix-domain>").
#
# If you've deployed using the wrong domain, you'll have to run the Uninstalling step,
# because you can't change the Domain after deployment.
#
# Example value: example.com
matrix_domain: matrix.your_domain

# The Matrix homeserver software to install.
# See:
#  - `roles/custom/matrix-base/defaults/main.yml` for valid options
# - the `docs/configuring-playbook-IMPLEMENTATION_NAME.md` documentation page, if one is available for your implementation choice
matrix_homeserver_implementation: synapse

# A secret used as a base, for generating various other secrets.
# You can put any string here, but generating a strong one is preferred (e.g. `pwgen -s 64 1`).
matrix_homeserver_generic_secret_key: ''

# This is something which is provided to Let's Encrypt when retrieving SSL certificates for domains.
#
# In case SSL renewal fails at some point, you'll also get an email notification there.
#
# If you decide to use another method for managing SSL certificates (different than the default Let's Encrypt),
# you won't be required to define this variable (see `docs/configuring-playbook-ssl-certificates.md`).
#
# Example value: someone@example.com
matrix_ssl_lets_encrypt_support_email: ''

# A Postgres password to use for the superuser Postgres user (called `matrix` by default).
#
# The playbook creates additional Postgres users and databases (one for each enabled service)
# using this superuser account.
devture_postgres_connection_password: ''

matrix_playbook_docker_installation_enabled: false
```

# 安装ansible
https://docs.ansible.com/ansible/latest/installation_guide/intro_installation.html#installing-ansible-on-debian
```
apt-get install python3-pip
python3 -m pip install ansible
```

# (or) 运行ansible容器
```
docker run -itd --name ansible --privileged --pid=host -w /work -v `pwd`:/work --entrypoint=/bin/sh docker.io/devture/ansible:2.13.6-r0-1
docker exec -ti ansible sh
git config --global --add safe.directory /work
```

# 安装just
https://github.com/casey/just
```
curl --proto '=https' --tlsv1.3 -sSf https://just.systems/install.sh | sh -s -- --to /usr/local/bin/
```

# 开始安装
```
just roles
# or
rm -rf roles/galaxy
ansible-galaxy install -r requirements.yml -p roles/galaxy/ --force

ansible-playbook -i inventory/hosts setup.yml --tags=setup-all,start
ansible-playbook -i inventory/hosts setup.yml --tags=self-check
ansible-playbook -i inventory/hosts setup.yml -e username=$username -e password=$password -e admin=yes --tags=register-user
```

在VPS上部署synapse

Openshift是RedHat基于Kubernetes开发的企业级容器平台，能让企业轻松选择构建、部署和运行应用的位置，并提供一致的体验。本文主要介绍如何在OpenStack平台上部署Openshift的开源版本okd.


# CHANGELOG
2023.11.6 - 基于okd 4.12对本文做了部分改动

# 准备工作
## 规划机器
首先，我们需要准备一台部署机，后续所有的操作都在这台部署机上完成，部署机网络要求能够访问OpenStack后台接口，并且与OpenStack虚拟机子网互通。本文后续的文件都放在`/data/workspace/openshift`目录。
在OpenStack上部署Openshift，我们不需要提前创建虚拟机，机器是在部署过程中安装程序自动调用OpenStack接口创建的。我们只需要先做好规划即可。本次我们规划的是4台机器，其中3台是master，每台的规格是4核16G内存100G硬盘；1台是worker，最少需要2核8G内存100G硬盘；另外部署过程中还需要一台boostrap机器，需要预留好资源，部署完成后这台bootstrap机器可以删掉。
规划好的机器，需要先在openstack创建好对应的机型flavor.

## 规划网络
我们需要准备好一个openstack网络，并预留一个IP段供openshift给机器分配IP。可以先创建好一个子网（subnet），然后在部署配置中指定，也可以让openshift-installer自己创建，本文使用的是创建好的子网。

我们需要准备两个IP作为集群的VIP，一个提供API访问，一个提供ingress访问。注意：两个VIP必须是在子网的allocation_pool之外，否则安装时会报错。例如，subnet的网段是`172.16.80.0/24`, allocation_pool是`172.16.80.1-172.16.80.254`:
```text
$ openstack subnet show subnet_name -c allocation_pools
	+------------------+---------------------------------------------------+
	| Field            | Value                                             |
	+------------------+---------------------------------------------------+   
	| allocation_pools | 172.16.80.1-172.16.80.254                         |
	+------------------+---------------------------------------------------+
```
那么我们需要预留两个IP出来，比如172.16.80.253和172.16.80.254, 然后把这两个IP从allocation_pool中剔除：
```sh
openstack subnet unset subnet_name --allocation-pool start=172.16.80.1,end=172.16.0.254
openstack subnet set subnet_name --allocation-pool start=172.16.0.1,end=172.16.0.252
```
allocation_pool的配置可参考：https://bugzilla.redhat.com/show_bug.cgi?id=1944365

请注意，在openshift中，两个VIP默认只用于集群内访问，当你需要访问集群时，请确认客户端所在的网络和VIP所在的网络能连通。如果不行，那么你需要使用到openstack的floating ip来对外提供服务。由于本文的VIP已经能够满足客户端访问的需求，因此将不会使用到floating ip. 关于floating ip的参考：https://docs.okd.io/4.12/installing/installing_openstack/installing-openstack-installer-custom.html#installation-osp-accessing-api_installing-openstack-installer-custom

另外，尽管我们没有使用到floating ip，但是在创建集群安装配置时，安装引导程序依然会检查是否有可用的floating ip, 如果没有会报错。所以你可能需要先创建一个floating ip:
```sh
openstack floating ip create network_name
```

## 生成ssh key
生产ssh key供节点免密登陆使用
```shell
ssh-keygen -t rsa -b 4096 -N '' -C 'openshift' -f ./id_rsa
eval "$(ssh-agent -s)"
ssh-add ./id_rsa
cp id_rsa ~/.ssh/openshift_id_rsa
cp id_rsa.pub ~/.ssh/openshift_id_rsa.pub
```

## 修改 security group rule quota
部署Openshift要求OpenStack平台有60的security group rule配额：

> By default, your security group and security group rule quotas might be low. If you encounter problems, run openstack quota set --secgroups 3 --secgroup-rules 60 `<project>` as an administrator to increase them.

经过实测，文档建议的配额依然可能导致报错，在允许的情况下可以考虑把secgroups和secgroup-rules都设置成-1.

## 获取程序
### 安装程序
我们使用okd 4.12版本，下载
https://github.com/okd-project/okd/releases/tag/4.12.0-0.okd-2023-04-16-041331
解压得到openshift-install

### openshift-cli
下载
https://mirror.openshift.com/pub/openshift-v4/clients/oc/latest/linux/oc.tar.gz
解压得到`oc`和`kubectl`
把`oc`和`kubectl`移到PATH目录比如/usr/local/bin/

## 获取pull secert
我们需要pull secret用于从红帽的镜像仓库拉取镜像，登录 https://console.redhat.com/openshift/install/pull-secret 获取，如果没有redhat账号，需要注册一个。pull secret是一串json字符。

## 规划域名
准备好集群使用的根域名，本文使用的是yourdomain.com

# 开始部署
## 准备`clouds.yaml`文件
`clouds.yaml`用于访问OpenStack后台接口，格式如下：
```yaml
clouds:
  admin:
    auth:
      auth_url: http://127.0.0.1:5000/v3
      project_name: admin
      username: admin
      password: your_password
      user_domain_name: Default
      project_domain_name: Default
```

## 生成`install-config.yaml`
通过`openshift-install`命令生成部署时需要的配置文件
```shell
openshift-install create install-config --dir /data/workspace/openshift/installation/
? SSH Public Key /root/.ssh/openshift_id_rsa.pub
? Platform openstack
? Cloud admin
? ExternalNetwork public
? APIFloatingIPAddress 172.16.80.11
? FlavorName 4c16g100g
? Base Domain youdomain.com
? Cluster Name openshift
? Pull Secret [? for help]
```
修改生成的`install-config.yaml`：
`machineNetwork cidr`改为OpenStack虚拟机子网的网段，本文为`172.16.80.0/24`。修改`machinesSubnet`为子网id，`apiVIP`和`ingressVIP`为该网段的IP. `apiFloatingIP`和`ingressFloatingIP`删掉，删掉的原因上文已经说明，如果需要的话请自行配置。
根据需要修改compute的replica数。最终生成的文件如下：
```yaml
apiVersion: v1
baseDomain: yourdomain.com #上面准备的根域名
compute:
- architecture: amd64
  hyperthreading: Enabled
  name: worker
  platform: {}
  replicas: 1
controlPlane:
  architecture: amd64
  hyperthreading: Enabled
  name: master
  platform: {}
  replicas: 3
metadata:
  creationTimestamp: null
  name: openshift
  networking:
  clusterNetwork:
    - cidr: 10.128.0.0/14
      hostPrefix: 23
      machineNetwork:
      - cidr: 172.16.80.0/24
        networkType: OVNKubernetes
      serviceNetwork:
      - 172.30.0.0/16
platform:
  openstack:
    machinesSubnet: 9b0943b7-4c4b-4233-89fe-5d2913da0a7c
    apiVIP: 172.16.80.253 #这个IP必须在allocation_pool外
    cloud: admin
    defaultMachinePlatform:
      type: 4c16g100g
    ingressVIP: 172.16.80.254 #这个IP必须在allocation_pool外
publish: External
pullSecret:  略
sshKey: 略
```

## 配置代理
整个okd集群部署需要从公网拉取大量镜像，总大小至少20G，如果你的集群环境在大陆，那你将在漫长的等待之后迎来部署的失败。幸好okd贴心的提供了proxy配置，将下面的配置加到`install-config.yaml`中：
```yaml
proxy:
  httpProxy: http://ip:port
  httpsProxy: http://ip:port
  noProxy: 172.16.0.0/16,.openshift.yourdomain.com,.apps.openshift.yourdomain.com,.yourdomain.com,yourdomain.com
```

## 部署集群
执行以下命令开始安装：
```shell
openshift-install create cluster --dir /data/workspace/openshift/installation/ --log-level=debug
```
在安装过程中，会出现地址解析问题，因为我们没有配置dns，可以在部署机的/etc/hosts添加记录解决
```
DEBUG Still waiting for the Kubernetes API: Get "https://api.openshift.yourdomain.com:6443/version": dial tcp: lookup api.openshift.yourdomain.com on 127.0.0.53:53: no such hos
```
/etc/hosts添加记录，这里172.16.80.43是bootstrap机器的IP：
```
172.16.80.43 api.openshift.yourdomain.com
```


## 查看集群状态
由于网络问题，部署过程中拉取镜像非常慢，安装程序可能会超时失败，不用怕，可以用下面的命令继续等待：
```sh
./openshift-install wait-for install-complete --log-level debug --dir /data/workspace/openshift/installation/
```
等待集群启动安装，全部部署完成大概需要1到2个小时。在此过程中可以通过oc命令查看集群的状态：
```shell
export KUBECONFIG=./installation/auth/kubeconfig 
oc get nodes #查看节点
oc get clusterversion #查看集群版本
oc get clusteroperator #查看集群部署的operator
oc get pods -A #查看所有pod
```
当`openshift-install wait-for`命令提示`Install complete!`并给出登录用户名密码时，部署完成。

## 登录控制台
在你的DNS服务器上配置两个DNS：
```
api.openshift.yourdomain.com.  IN  A  172.16.80.253
*.apps.openshift.yourdomain.com. IN  A 172.16.80.254
```
如果你没办法配置DNS，可以在需要登录控制台的PC上，配置hosts：
```
172.16.80.253 api.openshift.yourdomain.com
172.16.80.253 api-int.openshift.yourdomain.com
172.16.80.254 grafana-openshift-monitoring.apps.openshift.yourdomain.com
172.16.80.254 prometheus-k8s-openshift-monitoring.apps.openshift.yourdomain.com
172.16.80.254 oauth-openshift.apps.openshift.yourdomain.com
172.16.80.254 console-openshift-console.apps.openshift.yourdomain.com
172.16.80.254 integrated-oauth-server-openshift-authenticatio.apps.openshift.yourdomain.com
```
然后登录 https://console-openshift-console.apps.openshift.yourdomain.com/
账号为`kubeadmin`，密码可以在部署机的`installation/auth/kubeadmin-password`文件找到。

集群机器登录方法： `ssh -i openshift_id_rsa core@$ip`

# 销毁集群
如果在部署过程中出错了需要清理环境，或者实验结束了，可以通过以下命令销毁集群：
```shell
openshift-install destroy cluster --dir /data/workspace/openshift/installation/
```

# 参考资料
https://docs.okd.io/4.12/installing/installing_openstack/installing-openstack-installer-custom.html  
https://docs.okd.io/4.12/web_console/web-console.html#web-console  
https://docs.okd.io/4.12/installing/installing_openstack/uninstalling-cluster-openstack.html

在OpenStack平台部署Openshift

本文分享一次定位nodelocaldns导致的k8s pod内无法解析业务域名问题的过程


最近在一个新部署的k8s集群上测试时发现，在pod内无法解析业务的域名，导致程序出错。这个业务域名是公司内部域名，集群的coreDNS已经配置forward到公司的DNS，按理来说是可以解析的才对。
进入pod容器内查看，`/etc/resolv.conf`的内容是这样的：

```
nameserver 169.254.25.10
search dev.svc.cluster.local svc.cluster.local cluster.local
options ndots:5
```

可以看到，nameserver配置了一个奇怪的地址`169.254.25.10`. 上网搜了一下，原来这是一个叫`nodelocaldns`的组件的地址。这个NodeLocal DNS主要是利用cache来提升DNS解析性能的，在每个node上都会部署一个agent，通过`169.254.25.10`这个IP来访问。也就是说，在业务容器内访问的域名，实际上转发到了本节点nodelocaldns的pod内进行解析。
既然如此，就要看下nodelocaldns的配置了。在`kube-system`找到`nodelocaldns`的configmap，其中集群外域名的解析规则是：

```
.:53 {
    errors
    cache 30
    reload
    loop
    bind 169.254.25.10
    forward . /etc/resolv.conf
    prometheus :9253
}
```

可以看到，对于业务域名，nodelocaldns会使用自己容器内`/etc/resolv.conf`的规则来解析，那么这个本地规则是什么样的呢：

```
nameserver 114.114.114.114
```

配置的是114服务器，难怪公司内部的域名没法解析了。
解决方法有三种：

1. 修改nodelocaldns的configmap

```
forward . /etc/resolv.conf
```

改成：

```
forward . __PILLAR__UPSTREAM__SERVERS__
```

然后重建nodelocaldns的pod
如果报错找不到`__PILLAR__UPSTREAM__SERVERS__`，可以改成coredns service的地址，比如我的集群coredns地址是`10.233.0.3`，那就改成

```
forward . 10.233.0.3
```

2. 删掉nodelocaldns的daemonset，kubelet配置里`ClusterDNS`改成coredns service的地址
3. 给nodelocaldns的spec添加dnsConfig，nameserver配置成公司的域名服务器

参考文档：
https://www.qikqiak.com/post/resolve-coredns-hosts-invalid/https://kubernetes.io/docs/tasks/administer-cluster/nodelocaldns/https://github.com/kubernetes/kubernetes/blob/master/cluster/addons/dns/nodelocaldns/nodelocaldns.yaml

nodelocaldns无法解析域名问题分析

本文介绍如何在Linux远程机器中将文本拷贝到本地的方法


# 远程和本地均为Linux

两边都安装xclip或xsel

远程机器`/etc/ssh/sshd_config`设置：

```
AddressFamily inet
X11UseLocalhost yes
```

`ssh -Y`登录

远程机器tmux配置：

```
bind -T copy-mode-vi 'v' send -X begin-selection
bind -T copy-mode-vi 'y' send-keys -X copy-pipe "xclip -in -selection clipboard"
bind -T copy-mode-vi 'C-v' send -X begin-selection \; send -X rectangle-toggle
```

这样在tmux中选中后按y就会拷贝到本地剪贴板

通过`ssh -Y`登录后，`$DISPLAY`环境变量为`localhost:10.0`，只要确保这个环境变量存在，在远程机器neovim中执行`<leader>y`，也会拷贝到本地剪贴板

# 本地为windows
如果本地是windows系统，可以启动一个X server，然后按照上面的方法连接，也可以实现远程拷贝。

X server 推荐MobaXterm, 只要ssh登录到远程机器就会自动在后台运行X server.

Linux远程拷贝

本文分享virtual kubelet项目，以及基于vk实现的多集群调度的idea


## virtual kubelet是什么

[virtual kubelet](https://github.com/virtual-kubelet/virtual-kubelet)是微软开源的一个kubelet实现。顾名思义，virtual kubelet不像原生的kubelet，是一个运行在真实节点上的进程，而是一个“虚拟”的kubelet，它将自己向k8s apiserver上报为一个节点。在k8s master层面看来，这个节点与其他节点没有区别。

- 没有真实节点，工作负载如何运行？
    
    如图所示，virtual kubelet在集群中相当于一个代理，将调度到vk节点的pod，转发到底层真实对接的资源生产平台，vk将底层平台称为provider。provider可以是公有云容器平台，私有容器平台，或者是k8s集群（AWS/Aliyun/Azure/HashiCorp/Openstack...)。
    为了对接provider，vk定义了一系列接口，需要实现这些接口，才能保证vk正常运行。当一个pod调度到vk节点时，vk会调用CreatePod接口创建该pod。
    
    ![](https://github.com/virtual-kubelet/virtual-kubelet/raw/master/website/static/img/diagram.svg)
    
- 如何更新pod状态？
    
    vk定义了UpdatePod接口，会定时调用该接口从底层更新pod的状态并同步到apiserver. 另外也可以实现NotifyPod接口，主动推送pod状态更新给vk.
    
- 怎么确定provider有多少资源可用？
    
    vk定义了ConfigureNode接口，可以在这个接口里面实现上报节点资源的逻辑。如果provider提供了查询资源的接口，可以在这里调用该接口，实现定时更新可用资源。
    
- 数据（secret/configmap/pv/pvc）怎么处理
    
    这部分数据需要从vk按照一定的映射关系同步到底层provider中，如果provider不支持这种类型的资源则无法支持对应资源的使用
    

## 基于virtual kubelet实现两层k8s架构

![1.png](https://image.shiftzz.xyz/i/u/2024/07/16/poxel1.png)

![2.png](https://image.shiftzz.xyz/i/u/2024/07/16/ppbf3h.png)

- VK将上层pod的创建转发到下层的集群中
- 底层k8s提供接口查询可用资源（比如通过CRD），上报到上层
- 可以将多个底层k8s连接到同一个vk，在vk中实现调度逻辑选择集群
- 也可以一个vk对应一个底层集群，通过上层的scheduler来选择调度到哪个vk节点（对应底层哪个集群）
- 实际生产中使用了第二种方式
- 一个vk可以配置对应一个上层的用户，不同vk对应不同的用户实现隔离

## 小结

优点：

- 隔离业务层和资源层，业务无需关心机器运维
- 统一资源池进行调度

问题：

- 多集群级联方式不够云原生，不够优雅
- 需要进行大量状态同步，增加系统复杂性，容易出现严重故障

vk的设计初衷是为了将外部资源纳管到k8s集群中；通过vk实现两层k8s是一个可用的多集群架构，但系统架构比较复杂，维护成本也比较大；多集群可以用CRD或者扩展apiserver的方式来实现，或者使用业界的karmada/kubefed等方案。vk比较适合私有化定制需求比较多的场景。