elk日志某个时间节点突然搜索不到了

elk日志某个时间节点突然搜索不到了,检查filebeat正常

Kibana手动上传数据:

响应:

Error:

Validation Failed: 1: this action would add [2] total shards, but this cluster currently has [2000]/[2000] maximum shards open

原因:ElasticSearch总分片数量导致的异常,ES总分片数限制最大只有2000个，目前已经用完了，导致已经没法创建新的索引了。

解决方案:         解决方法就是提高ES的分片数量。

方法1：控制台

PUT /_cluster/settings {   "persistent": {     "cluster": {       "max_shards_per_node":10000     }   } } persistent：永久生效，transient：临时生效。

方法2：CURL命令

curl --location --request PUT 'http://127.0.0.1:9200/_cluster/settings' \ --header 'Content-Type: application/json' \ --data '{"persistent":{"cluster":{"max_shards_per_node":10000}}}' persistent：永久生效，transient：临时生效。 

查看是否生效 GET /_cluster/settings?pretty

结果

{     "persistent": {         "cluster": {             "max_shards_per_node": "10000"         }     },     "transient": {} }

删除索引 查询索引

GET _cat/indices

显示索引的文档数

GET http://127.0.0.1:9200/_cat/count/index_name?v

定期清理索引 方式1:利用ES的索引生命周期 方式2:脚本实现(日期后缀索引YYYY.MM.DD)

#!/bin/bash

################################### #删除早于十天的ES集群的索引 ################################### function delete_indices() {     comp_date=`date -d "10 day ago" +"%Y-%m-%d"`     date1="$1 00:00:00"     date2="$comp_date 00:00:00"

    t1=`date -d "$date1" +%s`      t2=`date -d "$date2" +%s` 

    if [ $t1 -le $t2 ]; then         echo "$1时间早于$comp_date，进行索引删除"         #转换一下格式，将类似2017-10-01格式转化为2017.10.01         format_date=`echo $1| sed 's/-/\./g'`         curl -XDELETE http://es-cluster-ip:9200/*$format_date     fi }

curl -XGET http://es-cluster-ip:9200/_cat/indices | awk -F" " '{print $3}' | awk -F"-" '{print $NF}' | egrep "[0-9]*\.[0-9]*\.[0-9]*" | sort | uniq  | sed 's/\./-/g' | while read LINE do     #调用索引删除函数     delete_indices $LINE done

手动删除

修改配置信息为'开启使用通配符或_all'

PUT /_cluster/settings { "transient": { "action.destructive_requires_name": true } }

DELETE /索引名字(可以使用*作为通配符)