Openshift是RedHat基于Kubernetes开发的企业级容器平台，能让企业轻松选择构建、部署和运行应用的位置，并提供一致的体验。本文主要介绍如何在OpenStack平台上部署Openshift的开源版本okd.


# CHANGELOG
2023.11.6 - 基于okd 4.12对本文做了部分改动

# 准备工作
## 规划机器
首先，我们需要准备一台部署机，后续所有的操作都在这台部署机上完成，部署机网络要求能够访问OpenStack后台接口，并且与OpenStack虚拟机子网互通。本文后续的文件都放在`/data/workspace/openshift`目录。
在OpenStack上部署Openshift，我们不需要提前创建虚拟机，机器是在部署过程中安装程序自动调用OpenStack接口创建的。我们只需要先做好规划即可。本次我们规划的是4台机器，其中3台是master，每台的规格是4核16G内存100G硬盘；1台是worker，最少需要2核8G内存100G硬盘；另外部署过程中还需要一台boostrap机器，需要预留好资源，部署完成后这台bootstrap机器可以删掉。
规划好的机器，需要先在openstack创建好对应的机型flavor.

## 规划网络
我们需要准备好一个openstack网络，并预留一个IP段供openshift给机器分配IP。可以先创建好一个子网（subnet），然后在部署配置中指定，也可以让openshift-installer自己创建，本文使用的是创建好的子网。

我们需要准备两个IP作为集群的VIP，一个提供API访问，一个提供ingress访问。注意：两个VIP必须是在子网的allocation_pool之外，否则安装时会报错。例如，subnet的网段是`172.16.80.0/24`, allocation_pool是`172.16.80.1-172.16.80.254`:
```text
$ openstack subnet show subnet_name -c allocation_pools
	+------------------+---------------------------------------------------+
	| Field            | Value                                             |
	+------------------+---------------------------------------------------+   
	| allocation_pools | 172.16.80.1-172.16.80.254                         |
	+------------------+---------------------------------------------------+
```
那么我们需要预留两个IP出来，比如172.16.80.253和172.16.80.254, 然后把这两个IP从allocation_pool中剔除：
```sh
openstack subnet unset subnet_name --allocation-pool start=172.16.80.1,end=172.16.0.254
openstack subnet set subnet_name --allocation-pool start=172.16.0.1,end=172.16.0.252
```
allocation_pool的配置可参考：https://bugzilla.redhat.com/show_bug.cgi?id=1944365

请注意，在openshift中，两个VIP默认只用于集群内访问，当你需要访问集群时，请确认客户端所在的网络和VIP所在的网络能连通。如果不行，那么你需要使用到openstack的floating ip来对外提供服务。由于本文的VIP已经能够满足客户端访问的需求，因此将不会使用到floating ip. 关于floating ip的参考：https://docs.okd.io/4.12/installing/installing_openstack/installing-openstack-installer-custom.html#installation-osp-accessing-api_installing-openstack-installer-custom

另外，尽管我们没有使用到floating ip，但是在创建集群安装配置时，安装引导程序依然会检查是否有可用的floating ip, 如果没有会报错。所以你可能需要先创建一个floating ip:
```sh
openstack floating ip create network_name
```

## 生成ssh key
生产ssh key供节点免密登陆使用
```shell
ssh-keygen -t rsa -b 4096 -N '' -C 'openshift' -f ./id_rsa
eval "$(ssh-agent -s)"
ssh-add ./id_rsa
cp id_rsa ~/.ssh/openshift_id_rsa
cp id_rsa.pub ~/.ssh/openshift_id_rsa.pub
```

## 修改 security group rule quota
部署Openshift要求OpenStack平台有60的security group rule配额：

> By default, your security group and security group rule quotas might be low. If you encounter problems, run openstack quota set --secgroups 3 --secgroup-rules 60 `<project>` as an administrator to increase them.

经过实测，文档建议的配额依然可能导致报错，在允许的情况下可以考虑把secgroups和secgroup-rules都设置成-1.

## 获取程序
### 安装程序
我们使用okd 4.12版本，下载
https://github.com/okd-project/okd/releases/tag/4.12.0-0.okd-2023-04-16-041331
解压得到openshift-install

### openshift-cli
下载
https://mirror.openshift.com/pub/openshift-v4/clients/oc/latest/linux/oc.tar.gz
解压得到`oc`和`kubectl`
把`oc`和`kubectl`移到PATH目录比如/usr/local/bin/

## 获取pull secert
我们需要pull secret用于从红帽的镜像仓库拉取镜像，登录 https://console.redhat.com/openshift/install/pull-secret 获取，如果没有redhat账号，需要注册一个。pull secret是一串json字符。

## 规划域名
准备好集群使用的根域名，本文使用的是yourdomain.com

# 开始部署
## 准备`clouds.yaml`文件
`clouds.yaml`用于访问OpenStack后台接口，格式如下：
```yaml
clouds:
  admin:
    auth:
      auth_url: http://127.0.0.1:5000/v3
      project_name: admin
      username: admin
      password: your_password
      user_domain_name: Default
      project_domain_name: Default
```

## 生成`install-config.yaml`
通过`openshift-install`命令生成部署时需要的配置文件
```shell
openshift-install create install-config --dir /data/workspace/openshift/installation/
? SSH Public Key /root/.ssh/openshift_id_rsa.pub
? Platform openstack
? Cloud admin
? ExternalNetwork public
? APIFloatingIPAddress 172.16.80.11
? FlavorName 4c16g100g
? Base Domain youdomain.com
? Cluster Name openshift
? Pull Secret [? for help]
```
修改生成的`install-config.yaml`：
`machineNetwork cidr`改为OpenStack虚拟机子网的网段，本文为`172.16.80.0/24`。修改`machinesSubnet`为子网id，`apiVIP`和`ingressVIP`为该网段的IP. `apiFloatingIP`和`ingressFloatingIP`删掉，删掉的原因上文已经说明，如果需要的话请自行配置。
根据需要修改compute的replica数。最终生成的文件如下：
```yaml
apiVersion: v1
baseDomain: yourdomain.com #上面准备的根域名
compute:
- architecture: amd64
  hyperthreading: Enabled
  name: worker
  platform: {}
  replicas: 1
controlPlane:
  architecture: amd64
  hyperthreading: Enabled
  name: master
  platform: {}
  replicas: 3
metadata:
  creationTimestamp: null
  name: openshift
  networking:
  clusterNetwork:
    - cidr: 10.128.0.0/14
      hostPrefix: 23
      machineNetwork:
      - cidr: 172.16.80.0/24
        networkType: OVNKubernetes
      serviceNetwork:
      - 172.30.0.0/16
platform:
  openstack:
    machinesSubnet: 9b0943b7-4c4b-4233-89fe-5d2913da0a7c
    apiVIP: 172.16.80.253 #这个IP必须在allocation_pool外
    cloud: admin
    defaultMachinePlatform:
      type: 4c16g100g
    ingressVIP: 172.16.80.254 #这个IP必须在allocation_pool外
publish: External
pullSecret:  略
sshKey: 略
```

## 配置代理
整个okd集群部署需要从公网拉取大量镜像，总大小至少20G，如果你的集群环境在大陆，那你将在漫长的等待之后迎来部署的失败。幸好okd贴心的提供了proxy配置，将下面的配置加到`install-config.yaml`中：
```yaml
proxy:
  httpProxy: http://ip:port
  httpsProxy: http://ip:port
  noProxy: 172.16.0.0/16,.openshift.yourdomain.com,.apps.openshift.yourdomain.com,.yourdomain.com,yourdomain.com
```

## 部署集群
执行以下命令开始安装：
```shell
openshift-install create cluster --dir /data/workspace/openshift/installation/ --log-level=debug
```
在安装过程中，会出现地址解析问题，因为我们没有配置dns，可以在部署机的/etc/hosts添加记录解决
```
DEBUG Still waiting for the Kubernetes API: Get "https://api.openshift.yourdomain.com:6443/version": dial tcp: lookup api.openshift.yourdomain.com on 127.0.0.53:53: no such hos
```
/etc/hosts添加记录，这里172.16.80.43是bootstrap机器的IP：
```
172.16.80.43 api.openshift.yourdomain.com
```


## 查看集群状态
由于网络问题，部署过程中拉取镜像非常慢，安装程序可能会超时失败，不用怕，可以用下面的命令继续等待：
```sh
./openshift-install wait-for install-complete --log-level debug --dir /data/workspace/openshift/installation/
```
等待集群启动安装，全部部署完成大概需要1到2个小时。在此过程中可以通过oc命令查看集群的状态：
```shell
export KUBECONFIG=./installation/auth/kubeconfig 
oc get nodes #查看节点
oc get clusterversion #查看集群版本
oc get clusteroperator #查看集群部署的operator
oc get pods -A #查看所有pod
```
当`openshift-install wait-for`命令提示`Install complete!`并给出登录用户名密码时，部署完成。

## 登录控制台
在你的DNS服务器上配置两个DNS：
```
api.openshift.yourdomain.com.  IN  A  172.16.80.253
*.apps.openshift.yourdomain.com. IN  A 172.16.80.254
```
如果你没办法配置DNS，可以在需要登录控制台的PC上，配置hosts：
```
172.16.80.253 api.openshift.yourdomain.com
172.16.80.253 api-int.openshift.yourdomain.com
172.16.80.254 grafana-openshift-monitoring.apps.openshift.yourdomain.com
172.16.80.254 prometheus-k8s-openshift-monitoring.apps.openshift.yourdomain.com
172.16.80.254 oauth-openshift.apps.openshift.yourdomain.com
172.16.80.254 console-openshift-console.apps.openshift.yourdomain.com
172.16.80.254 integrated-oauth-server-openshift-authenticatio.apps.openshift.yourdomain.com
```
然后登录 https://console-openshift-console.apps.openshift.yourdomain.com/
账号为`kubeadmin`，密码可以在部署机的`installation/auth/kubeadmin-password`文件找到。

集群机器登录方法： `ssh -i openshift_id_rsa core@$ip`

# 销毁集群
如果在部署过程中出错了需要清理环境，或者实验结束了，可以通过以下命令销毁集群：
```shell
openshift-install destroy cluster --dir /data/workspace/openshift/installation/
```

# 参考资料
https://docs.okd.io/4.12/installing/installing_openstack/installing-openstack-installer-custom.html  
https://docs.okd.io/4.12/web_console/web-console.html#web-console  
https://docs.okd.io/4.12/installing/installing_openstack/uninstalling-cluster-openstack.html

在OpenStack平台部署Openshift

本文分享一次定位nodelocaldns导致的k8s pod内无法解析业务域名问题的过程


最近在一个新部署的k8s集群上测试时发现，在pod内无法解析业务的域名，导致程序出错。这个业务域名是公司内部域名，集群的coreDNS已经配置forward到公司的DNS，按理来说是可以解析的才对。
进入pod容器内查看，`/etc/resolv.conf`的内容是这样的：

```
nameserver 169.254.25.10
search dev.svc.cluster.local svc.cluster.local cluster.local
options ndots:5
```

可以看到，nameserver配置了一个奇怪的地址`169.254.25.10`. 上网搜了一下，原来这是一个叫`nodelocaldns`的组件的地址。这个NodeLocal DNS主要是利用cache来提升DNS解析性能的，在每个node上都会部署一个agent，通过`169.254.25.10`这个IP来访问。也就是说，在业务容器内访问的域名，实际上转发到了本节点nodelocaldns的pod内进行解析。
既然如此，就要看下nodelocaldns的配置了。在`kube-system`找到`nodelocaldns`的configmap，其中集群外域名的解析规则是：

```
.:53 {
    errors
    cache 30
    reload
    loop
    bind 169.254.25.10
    forward . /etc/resolv.conf
    prometheus :9253
}
```

可以看到，对于业务域名，nodelocaldns会使用自己容器内`/etc/resolv.conf`的规则来解析，那么这个本地规则是什么样的呢：

```
nameserver 114.114.114.114
```

配置的是114服务器，难怪公司内部的域名没法解析了。
解决方法有三种：

1. 修改nodelocaldns的configmap

```
forward . /etc/resolv.conf
```

改成：

```
forward . __PILLAR__UPSTREAM__SERVERS__
```

然后重建nodelocaldns的pod
如果报错找不到`__PILLAR__UPSTREAM__SERVERS__`，可以改成coredns service的地址，比如我的集群coredns地址是`10.233.0.3`，那就改成

```
forward . 10.233.0.3
```

2. 删掉nodelocaldns的daemonset，kubelet配置里`ClusterDNS`改成coredns service的地址
3. 给nodelocaldns的spec添加dnsConfig，nameserver配置成公司的域名服务器

参考文档：
https://www.qikqiak.com/post/resolve-coredns-hosts-invalid/https://kubernetes.io/docs/tasks/administer-cluster/nodelocaldns/https://github.com/kubernetes/kubernetes/blob/master/cluster/addons/dns/nodelocaldns/nodelocaldns.yaml

nodelocaldns无法解析域名问题分析

本文介绍如何在Linux远程机器中将文本拷贝到本地的方法


# 远程和本地均为Linux

两边都安装xclip或xsel

远程机器`/etc/ssh/sshd_config`设置：

```
AddressFamily inet
X11UseLocalhost yes
```

`ssh -Y`登录

远程机器tmux配置：

```
bind -T copy-mode-vi 'v' send -X begin-selection
bind -T copy-mode-vi 'y' send-keys -X copy-pipe "xclip -in -selection clipboard"
bind -T copy-mode-vi 'C-v' send -X begin-selection \; send -X rectangle-toggle
```

这样在tmux中选中后按y就会拷贝到本地剪贴板

通过`ssh -Y`登录后，`$DISPLAY`环境变量为`localhost:10.0`，只要确保这个环境变量存在，在远程机器neovim中执行`<leader>y`，也会拷贝到本地剪贴板

# 本地为windows
如果本地是windows系统，可以启动一个X server，然后按照上面的方法连接，也可以实现远程拷贝。

X server 推荐MobaXterm, 只要ssh登录到远程机器就会自动在后台运行X server.

Linux远程拷贝

本文分享virtual kubelet项目，以及基于vk实现的多集群调度的idea


## virtual kubelet是什么

[virtual kubelet](https://github.com/virtual-kubelet/virtual-kubelet)是微软开源的一个kubelet实现。顾名思义，virtual kubelet不像原生的kubelet，是一个运行在真实节点上的进程，而是一个“虚拟”的kubelet，它将自己向k8s apiserver上报为一个节点。在k8s master层面看来，这个节点与其他节点没有区别。

- 没有真实节点，工作负载如何运行？
    
    如图所示，virtual kubelet在集群中相当于一个代理，将调度到vk节点的pod，转发到底层真实对接的资源生产平台，vk将底层平台称为provider。provider可以是公有云容器平台，私有容器平台，或者是k8s集群（AWS/Aliyun/Azure/HashiCorp/Openstack...)。
    为了对接provider，vk定义了一系列接口，需要实现这些接口，才能保证vk正常运行。当一个pod调度到vk节点时，vk会调用CreatePod接口创建该pod。
    
    ![](https://github.com/virtual-kubelet/virtual-kubelet/raw/master/website/static/img/diagram.svg)
    
- 如何更新pod状态？
    
    vk定义了UpdatePod接口，会定时调用该接口从底层更新pod的状态并同步到apiserver. 另外也可以实现NotifyPod接口，主动推送pod状态更新给vk.
    
- 怎么确定provider有多少资源可用？
    
    vk定义了ConfigureNode接口，可以在这个接口里面实现上报节点资源的逻辑。如果provider提供了查询资源的接口，可以在这里调用该接口，实现定时更新可用资源。
    
- 数据（secret/configmap/pv/pvc）怎么处理
    
    这部分数据需要从vk按照一定的映射关系同步到底层provider中，如果provider不支持这种类型的资源则无法支持对应资源的使用
    

## 基于virtual kubelet实现两层k8s架构

![1.png](https://image.shiftzz.xyz/i/u/2024/07/16/poxel1.png)

![2.png](https://image.shiftzz.xyz/i/u/2024/07/16/ppbf3h.png)

- VK将上层pod的创建转发到下层的集群中
- 底层k8s提供接口查询可用资源（比如通过CRD），上报到上层
- 可以将多个底层k8s连接到同一个vk，在vk中实现调度逻辑选择集群
- 也可以一个vk对应一个底层集群，通过上层的scheduler来选择调度到哪个vk节点（对应底层哪个集群）
- 实际生产中使用了第二种方式
- 一个vk可以配置对应一个上层的用户，不同vk对应不同的用户实现隔离

## 小结

优点：

- 隔离业务层和资源层，业务无需关心机器运维
- 统一资源池进行调度

问题：

- 多集群级联方式不够云原生，不够优雅
- 需要进行大量状态同步，增加系统复杂性，容易出现严重故障

vk的设计初衷是为了将外部资源纳管到k8s集群中；通过vk实现两层k8s是一个可用的多集群架构，但系统架构比较复杂，维护成本也比较大；多集群可以用CRD或者扩展apiserver的方式来实现，或者使用业界的karmada/kubefed等方案。vk比较适合私有化定制需求比较多的场景。

基于virtual kubelet实现多集群资源调度

本文分享如何使用golang的viper库从环境变量中读取参数配置


参考资料：  
https://github.com/spf13/viper/issues/188#issuecomment-399884438

首先配置结构体每一项后面要加一个`mapstructure`的注释  
然后通过`viper.AutomaticEnv()`启用  
然而，当前版本的viper有问题，这样还无法读环境变量  
需要写一个函数来将变量逐个绑定到配置中：

```go
func bindEnvs(iface interface{}, parts ...string) {
	ifv := reflect.ValueOf(iface)
	ift := reflect.TypeOf(iface)
	for i := 0; i < ift.NumField(); i++ {
		v := ifv.Field(i)
		t := ift.Field(i)
		tv, ok := t.Tag.Lookup("mapstructure")
		if !ok {
			continue
		}
		switch v.Kind() {
		case reflect.Struct:
			bindEnvs(v.Interface(), append(parts, tv)...)
		default:
			err := viper.BindEnv(strings.Join(append(parts, tv), "."))
			if err != nil {
				klog.Fatalf("viper bind env error: %+v", err)
			}
		}
	}
}
```

通过`viper.SetEnvPrefix("PREFIX")`来为环境变量添加前缀  
通过`viper.SetEnvKeyReplacer(strings.NewReplacer(".", "_"))`来将下划线转换成点  
设置了这两个函数之后，环境变量`PREFIX_SERVER_IP`将会被解析为`server.ip`，绑定到配置结构体的对应成员中。

如何在docker env读取多行文本：

有时候需要读取多行文本（比如kubeconfig或者ssh key），如果是在bash脚本里，可以直接把文本用引号包起来；然而如果是使用docker的env file方式，多行文本是不支持的，这时候需要先把文本内容base64转码成一行，存到环境变量，然后在代码里面读取出来再做base64解码。

完整例子：

```go
package config

import (
	"os"
	"reflect"
	"strings"

	toml "github.com/pelletier/go-toml"
	jww "github.com/spf13/jwalterweatherman"
	"github.com/spf13/viper"
	"k8s.io/klog"
)

type ServerConfig struct {
	Server struct {
		URL string `mapstructure:"URL"`
		//connection timeout in second
		Timeout   int    `mapstructure:"TIMEOUT"`
		Workspace string `mapstructure:"WORKSPACE"`
	} `mapstructure:"SERVER"`

	Gin struct {
		Mode string `mapstructure:"MODE"`
	} `mapstructure:"GIN"`

	Log struct {
		Level string `mapstructure:"LEVEL"`
	} `mapstructure:"LOG"`
}

var instance ServerConfig

func bindEnvs(iface interface{}, parts ...string) {
	ifv := reflect.ValueOf(iface)
	ift := reflect.TypeOf(iface)
	for i := 0; i < ift.NumField(); i++ {
		v := ifv.Field(i)
		t := ift.Field(i)
		tv, ok := t.Tag.Lookup("mapstructure")
		if !ok {
			continue
		}
		switch v.Kind() {
		case reflect.Struct:
			bindEnvs(v.Interface(), append(parts, tv)...)
		default:
			err := viper.BindEnv(strings.Join(append(parts, tv), "."))
			if err != nil {
				klog.Fatalf("viper bind env error: %+v", err)
			}
		}
	}
}

func fileExists(path string) (bool, error) {
	stat, err := os.Stat(path)
	if err == nil {
		return !stat.IsDir(), nil
	}
	if os.IsNotExist(err) {
		return false, nil
	}
	return false, err
}

func NewConfig(file string) error {
	exists, err := fileExists(file)
	if err != nil {
		klog.Errorf("stat %s error: %s", file, err.Error())
		return err
	}

	if exists {
		t, err := toml.LoadFile(file)
		if err != nil {
			klog.Errorf("load server config: %s failed, error: %s", file, err.Error())
			return err
		}
		err = t.Unmarshal(&instance)
		if err != nil {
			klog.Errorf("toml unmarshal failed, error: %s", err.Error())
			return err
		}
		klog.V(6).Infof("server config: %+v", instance)
		return nil
	}

	//let viper print debug log
	jww.SetStdoutThreshold(jww.LevelTrace)
	klog.Infof("config file %s not found, will read config from envs", file)
	viper.SetEnvPrefix("MY_APP")
	viper.SetEnvKeyReplacer(strings.NewReplacer(".", "_"))
	bindEnvs(instance)
	viper.AutomaticEnv()

	if err := viper.ReadInConfig(); err != nil {
		if _, ok := err.(viper.ConfigFileNotFoundError); ok {
		} else {
			klog.Errorf("load server config: %s failed, error: %s", file, err.Error())
			return err
		}
	}
	err = viper.Unmarshal(&instance)
	if err != nil {
		klog.Errorf("toml unmarshal failed, error: %s", err.Error())
		return err
	}

	klog.V(6).Infof("server config: %+v", instance)
	return nil
}

```