安装nvm及Git环境很多情况下，为了适应工作、学习我们需要在一个电脑里使用不同版本的node，在切换使用频繁的情况下，就会陷入 卸载↔安装 的怪圈，这时候你需要一个趁手的版本管理工具（nvm）。 安装教程及设置请自定百度，此处给出我自己本机的全局安装配置： c:\user\Administrator.npmrc中以下两项配置设置为nodejs安装路径，以本机为例：nvm安装路径：E:\nvm\nvmnodejs路径：E:\nvm\nodejsprefix=E:\nvm\nodejscache=E:\nvm\nodejs\node_cache 切记：安装完成后先进行验证环境是否安装成功。 安装Hexo框架首先选择一个磁盘作为你博客文件的存放位置，然后新建一个文件夹，比如名为 blogtest 的文件夹，创建完后，先不要点进去，在此处点击鼠标右键，选择 Git Bash Here，然后依次输入如下命令： 1npm install -g hexo-cli 等上一个命令完成后，再输入下面命令： 1234hexo init <新建文件夹的名称> #初始化文件夹cd <新 ...

设置导航栏1234567891011menu: 主页: / || fas fa-home 归档: /archives/ || fas fa-archive 标签: /tags/ || fas fa-tags 分类: /categories/ || fas fa-folder-open 友链: /link/ || fas fa-link 清单||fas fa-list: - 音乐 || /music/ || fas fa-music - 电影 || /movies/ || fas fa-video - 照片 || /Gallery/ || fas fa-images 关于: /about/ || fas fa-heart 代码风格修改_config.butterfly.yml对应的配置，mac比较好看，下述代码为比较原始文件改动的地方： 12345highlight_theme: mac # darker / pale night / light / ocean / mac / mac light / falsehighlight_copy: tr ...

前言本篇教程基于上篇《ELK系列(二)、ElasticSearch单实例安装》的基础上进行的集群安装教程，此处默认ES单点安装已成功启动并运行。 ES集群安装采用单台服务器多实例方式进行，单实例方式安装较为简单，直接分发安装包，修改相应的配置文件即可，读者可根绝多实例安装方式自行搭建。 主机名 节点角色 新增主机映射 hadoop100 master节点、data节点 es-master-1、es-hot-1 hadoop101 data节点 es-hot-2 ES安装包目录：/opt/module/elasticsearch-7.10.2配置文件目录：/data1/elk/esconfig数据存放目录：/data1/elk/esdata日志所在目录：/data1/elk/eslogs如果上述目录先前单点安装时已存在并且data相应有写入数据，建议删除重新创建上述目录权限均为 elasticsearch 用户和 elasticsearch 组（可参考上篇文章添加用户命令） 创建master、data节点配置文件hadoop100节点1）hadoop100创建ma ...

前言本文起因于近段时间在做的项目，百亿级数据的存储与实时检索。项目主要采用HBase存储全量数据，Elasticsearch作为二级索引库，数据入库采用Spark批量写入，最终数据通过微服务平台API接口对外提供实时线上访问。 HBase端采用saveAsNewHadoopFile算子生成HFile文件，然后通过HBase自带bulk load方式进行加载 Elasticsearch端采用批量bulk方式写入数据 具体方案由于工作原因，不便透漏，此处不再详细叙述，感兴趣的可以至 留言板 或者 随心聊 模块私信本人。 下面主要叙述项目上线后 Spark on yarn 运行时 Jar 包加载异常的解决方案。 生产异常报错由于表入库时需要读取 Mysql 数据库当前表的配置信息，因此项目中添加了 Mysql 驱动的依赖，测试环境从开发到上线均正常运行。但一上生产通过调度工具调用起来直接就报错，我们这上线换版出现问题是比较严重的，所以当时还是小小惊了一下的，然后抓紧时间通过电话排查问题（此时我已经回家了）。 1.查看运行日志 1234// 主要日志java.sql.SQLExceptio ...

前言本文穿插讲述如何将Elasticsearch服务集成至CHD，最终将服务交给Cloudera Manager统一管理。 本司线上使用CDH5，暂未升级至CH6，此处以CDH6版本进行集成制作，方式差异不大。 制作 Elasticsearch 的 Parcel 包和 csd 文件配置Java、Maven环境此处默认已配置完成，不再讲述，其中Maven版本建议选用较高版本。 环境验证控制台输入 mvn -v，java -version 验证maven及java是否配置正确，正常情况下将打印对应版本信息。 下载cm_extCloudera提供的cm_ext工具，生成的csd和parcel进行校验 123456789mkdir -p /github/clouderacd /github/cloudera# 如果没有git环境，可下载至本机，再上传至当前目录下git clone https://github.com/cloudera/cm_ext.gitcd cm_ext# mvn 打包mvn package -Dmaven.test.skip=true 编译成功后如下图： 说明：build ...

前言上篇文章已经完成了ES集群的安装，并且开启了x-pack权限认证，本片文章继续讲述Kibana的安装与使用。 本次安装采用tar.gz压缩包，开箱即用，基于之前的集群环境，安装在hadoop101服务器上。 解压安装并修改配置文件上传压缩包至 /opt/software 目录，并解压到上一级 module 目录下： 12345678910111213141516171819202122cd /opt/softwaretar -xvf kibana-7.10.2-linux-x86_64.tar.gz -C ../module/# 备份解压后 config 目录下的 kibana.yml 配置文件cd /opt/module/kibana-7.10.2-linux-x86_64/configcp kibana.yml kibana.yml.bak# 写空文件内容> kibana.ymlvim /opt/module/kibana-7.10.2-linux-x86_64/config/kibana.yml# 添加以下内容server.port: 5601server.host: ...

前言上篇文章末尾ES集群开启x-pack权限认证后，采用Restful的方式进行了集群简单的验增删改查操作。现在基于Kibana已安装完成的基础上，采用Dev-tools工具进行实战，开发环节中也建议采用这种方式，原因有下： 1）kibana 自带的 dev-tools 工具具有良好的提示功能2）dev-tools 工具中开发方便快捷，具有较高的效率3）最终要的一点是不容易出错 那么，此处呢就主要以 Kibana Dev-tools 工具为主，采用DSL语言进行讲述ElasticSearch中常用的的一些命令。 常用命令汇总索引维护查看所有索引1GET /_cat/indices 创建索引(并且指定分片数量)1234567891011PUT test{ "settings": { "number_of_shards": 2, "number_of_replicas": 2 }}# 或者直接创建PUT test 查看某个索引信息1GET test 添加数据(自定义ID) ...

在每日的数据同步任务中，会将在线业务库的数据同步至 Hive，在刚上线的一段时间内，对 Hive 的 SQL 操作每隔十来天会出现 socket read timeout 的异常，该问题导致我经常凌晨收到告警然后起床修复该问题，因为该问题是偶现，不便复现，经过查阅 Hive JDBC 的源码，定位问题为 Hive JDBC 使用了 java.sql.DriverManager 中的静态变量 loginTimeout 的值，而我们的工程中接入了八九种类型的 JDBC 驱动，部分类型还使用了连接池，先看看 java.sql.DriverManager 中的部分源码： 12345678910111213141516171819202122232425262728293031323334353637public class DriverManager { // List of registered JDBC drivers private final static CopyOnWriteArrayList<DriverInfo> registeredDr ...

前言本人公司项目组最近刚刚上线了ElasticSearch+HBase百亿级数据存储与实时检索，底层数据量大且数据重要性级别高。先前项目组成员们经过较长时间的本地化测试及底层存储设计优化，最终以较好的测试结果（性能、稳定性、扩展性）顺利通过技术评审。就在前端时间经过大家不懈努力终于成功上线，顺利替换了先前线上使用的某国产分布式数据库（该数据库响应时间已不满足当前业务场景）。由于距今上线运行时间较短，稳定性还在观测中，但目前表现情况一切良好。具体事宜后续视情况进行更新。 此时，又恰逢小菜鸟的个人博客顺利上线两月之久，打算陆续推出 ELK技术栈 相关的系列文章，包括但不限于ElasticSearch、Logstash、Kibana、Filebeat技术框架，同时还会穿插讲述与Kafka消息队列结合使用来分析处理实时流数据、微服务实时流量监控平台、实时同步Mysql数据到ES/HBase等。 题记在学习一项新技术之前，首先要思考这项技术是如何产生的？又解决的什么难题？要掌握哪些核心知识？带着问题学习去了解往往是事半功倍的，也会收获颇丰。 这里给大家分享一篇《ElasticSearch相关概念 ...

前言　　ELK系列文章统一选用 v7.10.2，为目前本司线上使用版本。另外大家在进行ELK平台构建时，Elastic体系选用的各组件版本尽量保持一致，否则安装过程中可能会出现各种版本依赖问题。 　　本文将一一讲述ES单点、集群（一主两从）、单台服务器多实例三种安装方式，其中第三种会将ES服务交由系统服务器进行管理。 环境说明 服务器环境：CentOS 7.5JDK环境：JDK1.8ES版本：Elasticsearch7.10.2Elastic下载：https://elasticsearch.cn/download/ 安装步骤下载、上传、解压123456mkdir -p /opt/softwaremkdir -p /opt/module# 默认已将安装包下载上传至 /opt/softwarecd /opt/softwaretar -xvf elasticsearch-7.10.2-linux-x86_64.tar.gz -C ../module/ 启动12cd ../module/elasticsearch-7.10.2/bin/./elasticsearch 一般解压后直接启动，会 ...