k8s存储

nfs

理论上nfs 其实并不是存储设备，它是一种远程共享存储服务。

k8s 存储卷 volume

emptyDir：可以实现pod中的容器之间共享数据， 但是存储卷不能持久化数据，且会随着pod的生命周期一起删除。

hostpash：可以实现持久化数据，使用node节点的目录或文件挂载到容器，但是存储空间会受到node节点单机的限制，一旦node节点故障，数据会丢失，pod会跨node节点，不能共享数据。

nfs：可以实现持久化存储，使用nfs存储设备空间挂载到容器，pod可以跨节点共享数据。

pv和pvc

pv有两种创建方式，分为静态和动态。

静态指运维手动创建pv和pvc。

 动态指用storageclass自动创建pv

PV和PVC之间的相互作用遵循这个生命周期:

Provisioning (配置)---> Binding (绑定) ---> Using (使用) ---> Releasing (释放) ---> Recycling (回收)

PV 的状态有以下 4 种：

●Available（可用）：表示可用状态，还未被任何 PVC 绑定

●Bound（已绑定）：表示 PV 已经绑定到 PVC

●Released（已释放）：表示 PVC 被删掉，但是资源尚未被集群回收

●Failed（失败）：表示该 PV 的自动回收失败

一个PV从创建到销毁的具体流程

1、一个PV创建完后状态会变成Available，等待被PVC绑定。

2、一旦被PVc邦定，Pv的状态会变成Bound，就可以被定义了相应PVC的Pod使用。

3、Pod使用完后会释放PV，PV的状态变成Released

4、变成Released的EV会根据定义的回收筑略做相应的回收工作。（有三种回收策略，Retain、Delete和Becycle。）

Retain策略：就是保留现场，K8S集群什么也不做，等待用户手动去处理里的数据，处理完后，再手动删除EV。

Delete策略：K8S会自动删除该pv及里面的数据。

Recycle策略：K8S会将pV里的数据删除，然后把pv的状态变成Available，又可以被新的PVC绑定使用。

pv访问模式

ReadWriteOnce #（RWO）存储可读可写，但只支持被单个 Pod 挂载

ReadOnlyMany #（ROX）存储可以以只读的方式被多个 Pod 挂载

ReadWriteMany #（RWX）存储可以以读写的方式被多个 Pod 共享

静态Pv的使用

准备存储设备和共享目录

创建pv 资源 配置 存储类型 访问模式 存储能力大小

创建pvc资源 配置请求pv 资源的访问模式和存储大小 绑定PV，PVC和PV是一对一的绑定关系。

PV访问模式必须支持PVc的请求访问模式，请求的存储空间会优先选择相等存储大小的PV资源，如果没有会选择大于请求的存储大小的PV资源。

创建Pod资源，存储类型设置成 persistentvolumeclaims，在容器配置中存储挂载。

动态storage

动态创建PV不同的设备支持的插件不一样 我们是以nfs为例

StorageClass动态创建pv的过程

StorageClass+NES+provisioner

准备NES 共享服务器和共享目录。

创建sa 服务账号 ，进行RBAC 资源操作权限的授权。

创建nfs-client-provisioner存储卷插件 (以pod的形式运行的)，配置中要关联sa服务账号使得存储卷插件获得相关资源的操作权限。

创建 StorageClass资源，配置中要关联存储卷插件的名称配置。

----以上过程是一劳永逸， 以后只需要创建pvc 就可以动态生成相关的PV资源。

创建pvc在配置中要关联storageClass资源的名称，此时会在NEs服务器上生成相关的PV的共享目录。

创建pod 资源存储类型设置成persistentVolumeclaims，在容器配置中配置存储挂载。

搭建 StorageClass + NFS，实现 NFS 的动态 PV 创建 1、在stor01节点上安装nfs，并配置nfs服务 mkdir /opt/k8s chmod 777 /opt/k8s/ vim /etc/exports /opt/k8s 192.168.11.0/24(rw,no_root_squash,sync) systemctl restart nfs

2、创建 Service Account，用来管理 NFS Provisioner 在 k8s 集群中运行的权限 vim nfs-client-rbac.yaml apiVersion: v1 kind: ServiceAccount metadata: name: nfs-client-provisioner --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: nfs-client-provisioner-clusterrole rules: - apiGroups: [""] resources: ["persistentvolumes"] verbs: ["get", "list", "watch", "create", "delete"] - apiGroups: [""] resources: ["persistentvolumeclaims"] verbs: ["get", "list", "watch", "update"] - apiGroups: ["storage.k8s.io"] resources: ["storageclasses"] verbs: ["get", "list", "watch"] - apiGroups: [""] resources: ["endpoints"] verbs: ["create", "delete", "get", "list", "watch", "patch", "update"] --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: nfs-client-provisioner-clusterrolebinding subjects: - kind: ServiceAccount name: nfs-client-provisioner namespace: default roleRef: kind: ClusterRole name: nfs-client-provisioner-clusterrole apiGroup: rbac.authorization.k8s.io kubectl apply -f nfs-client-rbac.yaml 3、使用 Deployment 来创建 NFS Provisioner vim /etc/kubernetes/manifests/kube-apiserver.yaml - --feature-gates=RemoveSelfLink=false #添加这一行 kubectl apply -f /etc/kubernetes/manifests/kube-apiserver.yaml kubectl delete pods kube-apiserver -n kube-system kubectl get pods -n kube-system | grep apiserver

创建 NFS Provisioner kind: Deployment apiVersion: apps/v1 metadata: name: nfs-client-provisioner spec: replicas: 1 selector: matchLabels: app: nfs-client-provisioner strategy: type: Recreate template: metadata: labels: app: nfs-client-provisioner spec: serviceAccountName: nfs-client-provisioner containers: - name: nfs-client-provisioner image: quay.io/external_storage/nfs-client-provisioner:latest imagePullPolicy: IfNotPresent volumeMounts: - name: nfs-client-root mountPath: /persistentvolumes env: - name: PROVISIONER_NAME value: nfs-storage - name: NFS_SERVER value: stor01 - name: NFS_PATH value: /data/volumes volumes: - name: nfs-client-root nfs: server: stor01 path: /data/volumes kubectl apply -f nfs-client-provisioner.yaml kubectl get pod 4、创建 StorageClass vim nfs-client-storageclass.yaml apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: nfs-client-storageclass provisioner: nfs-storage parameters: archiveOnDelete: "false" kubectl apply -f nfs-client-storageclass.yaml

5、创建 PVC 和 Pod 测试 vim test-pvc.yaml apiVersion: v1 kind: PersistentVolumeClaim metadata: name: test-nfs-pvc spec: accessModes: - ReadWriteMany storageClassName: nfs-client-storageclass resources: requests: storage: 1Gi vim test-pod.yaml apiVersion: v1 kind: Pod metadata: name: test-storageclass-pod spec: containers: - name: nginx image: nginx:1.14 imagePullPolicy: IfNotPresent volumeMounts: - name: nfs-pvc mountPath: /usr/share/nginx/html volumes: - name: nfs-pvc persistentVolumeClaim: claimName: test-nfs-pvc kubectl apply -f test-pvc.yaml test-pod.yaml

kubectl get pvc

去nfs查看是否生成目录