一键脚本部署k8s
一键脚本部署k8s前情提示以前安装k8s集群的时候使用的是k8s官网的教程 使用的镜像源都是国外的 速度慢就不说了 还有一些根本就下载不动 导致安装失败 最后在群里小伙伴(蘑菇博客交流群/@你钉钉响了)的建议下使用一个开源的一键安装k8s的脚本就好了起来了git地址 https://github.com/TimeBye/kubeadm-ha 环境准备官网的安装说明也很简单但是还有些细节还是没有提到 所以我自己照着官网的教程 补充了一些细节 硬件系统要求 Master节点:2c2g+ Worker节点:2c4g+ 使用centos7.7安装请按上面配置准备好3台centos,1台作为Master节点,2台Worker节点 本方式为1主2worker的配置 这是我的各个节点的配置 主机名 ip 配置 角色 node1 10.168.1.11 4c16g etcd,master,worker node2 10.168.1.12 4c16g etcd,lb,master,worker node3 10.168.1.13 4c16g etcd,lb,master,work ...
一键脚本部署k8s以及后续kuboard的安装
一键脚本部署k8s以及后续kuboard的安装前情提示以前安装k8s集群的时候使用的是k8s官网的教程 使用的镜像源都是国外的 速度慢就不说了 还有一些根本就下载不动 导致安装失败 最后在群里小伙伴(蘑菇博客交流群/@你钉钉响了)的建议下使用一个开源的一键安装k8s的脚本就好了起来了git地址 https://github.com/TimeBye/kubeadm-ha 环境准备官网的安装说明也很简单但是还有些细节还是没有提到 所以我自己照着官网的教程 补充了一些细节 硬件系统要求 Master节点:2c2g+ Worker节点:2c4g+ 使用centos7.7安装请按上面配置准备好3台centos,1台作为Master节点,2台Worker节点 本方式为1主2worker的配置 这是我的各个节点的配置 主机名 ip 配置 k8s-master 192.168.28.80 2c8g k8s-master 192.168.28.128 2c8g k8s-master 192.168.28.89 2c8g centos准备在安装之前需要准备一些基础的软件环境用于 ...
ElasticSearch安装与介绍
ElasticSearch安装与介绍Elastic Stack简介如果你没有听说过Elastic Stack,那你一定听说过ELK,实际上ELK是三款软件的简称,分别是Elasticsearch、Logstash、Kibana组成,在发展的过程中,又有新成员Beats的加入,所以就形成了Elastic Stack。所以说,ELK是旧的称呼,Elastic Stack是新的名字。 全系的Elastic Stack技术栈包括: ElasticsearchElasticsearch 基于java,是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。 LogstashLogstash 基于java,是一个开源的用于收集,分析和存储日志的工具。 KibanaKibana 基于nodejs,也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的Web 界面,可以汇总、分析和搜索重要数据日志。 BeatsBeats是elastic公司开源的一款采集 ...
Beats入门简介
Beats入门简介使用Beat收集nginx日志和指标数据 项目需求Nginx是一款非常优秀的web服务器,往往nginx服务会作为项目的访问入口,那么,nginx的性能保障就变得非常重要了,如果nginx的运行出现了问题就会对项目有较大的影响,所以,我们需要对nginx的运行有监控措施,实时掌握nginx的运行情况,那就需要收集nginx的运行指标和分析nginx的运行日志了。 业务流程 说明: 通过Beats采集Nginx的指标数据和日志数据 Beats采集到数据后发送到Elasticsearch中 Kibana读取数据进行分析 用户通过Kibana进行查看分析报表 部署Nginx部署教程可以参考这篇博客:CentOS下如何安装Nginx? 部署完成后,我们就可以启动nginx了 启动完成后,我们通过下面命令,就可以获取到nginx中的内容了 1tail -f /var/log/nginx/access.log Beats简介通过查看ElasticStack可以发现,Beats主要用于采集数据 官网地址:https://www.elastic.co/cn/beats/ Be ...
Kibana入门
Kibana入门Kibana 是一款开源的数据分析和可视化平台,它是 Elastic Stack 成员之一,设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。 官网:https://www.elastic.co/cn/kibana 配置和安装到下载地址,选择对应的版本:https://www.elastic.co/cn/downloads/kibana 下载完成后,将文件拷贝到我们的服务器上,然后解压 12345# 解压tar -zxvf kibana-7.9.1-linux-x86_64.tar.gz# 重命名mv kibana-7.9.1-linux-x86_64 kibana 然后在进入kibana目录,找到config文件夹下的kibana.yml进行配置的修改 1vim /soft/kibana/config/kibana.yml 然后找到下面的内容 12345#对外暴露服务的地址server.host: " ...
Logstash入门简介
Logstash入门简介介绍Logstash是一个开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到最喜欢的存储库中(我们的存储库当然是ElasticSearch) 我们回到我们ElasticStack的架构图,可以看到Logstash是充当数据处理的需求的,当我们的数据需要处理的时候,会将它发送到Logstash进行处理,否则直接送到ElasticSearch中 用途Logstash可以处理各种各样的输入,从文档,图表中=,数据库中,然后处理完后,发送到 部署安装Logstash主要是将数据源的数据进行一行一行的处理,同时还直接过滤切割等功能。 首先到官网下载logstash:https://www.elastic.co/cn/downloads/logstash 选择我们需要下载的版本: 下载完成后,使用xftp工具,将其丢入到服务器中 12345678#检查jdk环境,要求jdk1.8+java -version#解压安装包tar -xvf logstash-7.9.1.tar.gz#第一个logstash示例bin/logstash - ...
ElasticStack综合案例
ElasticStack综合案例本篇将我们前面学习到的技术:ElasticSearch、Beats、Kibana、Logstash 整合起来,做一个综合性的学习,目的是为了让小伙伴们能够更加深刻的理解ElasticStack的使用 流程说明 应用APP生产日志,用来记录用户的操作 [INFO] 2019-03-15 22:55:20 [Main] - DAU|5206|使用优惠券|2019-03-15 03:37:20 [INFO] 2019-03-15 22:55:21 [Main] - DAU|3880|浏览页面|2019-03-15 07:25:09 通过Filebeat读取日志文件中的内容,并且将内容发送给Logstash,原因是需要对内容做处理 Logstash接收到内容后,进行处理,如分割操作,然后将内容发送到Elasticsearch中 Kibana会读取Elasticsearch中的数据,并且在Kibana中进行设计Dashboard,最后进行展示 说明:日志格式、图表、Dashboard都是自定义的 App介绍APP在生产环境应该是真实系统,然而,现在我们 ...
使用ELK搭建蘑菇博客日志收集
使用ELK搭建蘑菇博客日志收集前言前阵子学习了ElasticStack的技术栈,其中包括ElasticSearch 、Beats、Kibana、Logstash。因为打算将其用于蘑菇博客的项目中,关于ElasticStack的技术栈学习,可以参考前面写的博客~ ElasticSearch介绍与安装 Beats入门简介 Kibana安装与介绍 Logstash入门简介 ElasticStack综合案例 拉取ElasticStack镜像通过本教程,可以非常方便的给蘑菇博客项目,集成ELK用于分布式日志收集 为了更加方便的部署ELK环境,我已经提前将环境打包成了Docker镜像,发布到了DockerHub中,所以我们只需要拉取我提前制作的ElasticStack镜像即可 12345# 拉取镜像docker pull moxi/elastic_stack# 查看镜像docker images; 拉取完成后,查看我们的镜像信息,容量大概在4.16G左右 制作容器在我们拉取完成后,就可以开始通过镜像制作我们的ElasticStack容器了 1docker run --privileged ...
nlp--使用spaCy进行大规模数据分析
数据结构Vocab, Lexemes和StringStore Vocab: 存储那些多个文档共享的数据为了节省内存使用,spaCy将所有字符串编码为哈希值。字符串只在StringStore中通过nlp.vocab.strings存储一次。 字符串库:双向的查询表 123nlp.vocab.strings.add("咖啡")coffee_hash = nlp.vocab.strings["咖啡"]coffee_string = nlp.vocab.strings[coffee_hash] 哈希是不能逆求解的,所以使用共享词汇表。 如果该字符串从未出现过则会报错1string = nlp.vocab.strings[7962530705879205333] 共享词汇表和字符串库在nlp.vocab.strings中查找字符串和哈希值 12345#doc也会暴露出词汇表和字符串doc = nlp("我爱喝咖啡。")print("hash value:", nlp.vocab.strings[" ...
nlp--词语、短语、名字和概念的检索
spacy笔记spaCy介绍is_alpha,is_punct和like_nums都会返回一个布尔值,检测词符是否有字母表字符组成、 是否是标点符号或者 是否_代表了_一个数字;举个例子,一个包含了1和0的词符”10”, 或者一个包含了T,E,N三个字母的词组”ten”。 这些属性也被叫做词汇属性:他们仅仅代表了词典中元素的特性,而与词符所在的语义情境无关。 12345678910111213141516171819import spacynlp = spacy.blank("zh")# 处理文本doc = nlp( "在1990年,一份豆腐脑可能只要¥0.5。" "现在一份豆腐脑可能要¥5左右了。")# 遍历doc中的词符for token in doc: # 检测词符的文本是否是"¥" if token.text == "¥": # 获取文档中的下一个词符 next_token = doc[token.i + 1] # ...