安装 https://github.com/harisekhon/dockerfiles 中包含N多Hadoop的docker项目,用于体验Hadoop是挺好的选择, 以下是怎么在Docker下体验Hbase项目 下载 Dockerfiles git clone git@github.com:HariSekhon/Dockerfiles.git mv Dockerfiles hadoop-docker cd hadoop-docker 运行Hbase cd hbase-dev docker-compose up -d 在浏览器打开 – http://localhost:16010/ 如果看到下图, 表名安装成功. 体验 进入hbase容器 cd hbase-dev docker-compose exec hbase-dev bash hbase shell list 列出当前tables hbase(main):001:0> list TABLE 0 row(s) in 0.3360 seconds => [] 创建emp表 hbase(main):001:0> create ’emp’, ‘personal data’, ‘professional data’…
Month: June 2018
使用Docker下的Go-mysql-ElasticSearch把MySQL数据表同步到ElasticSearch
是一个自动同步MySQL数据到Elasticsearch服务,它使用mysqldump同步全量数据, 然后通过binlog同步增量数据 项目地址https://github.com/siddontang/go-mysql-elasticsearch Go-mysql-ElasticSearch项目自带个Dockerfile,可以直接用Docker run运行, 只需要简单配置即可. 安装配置MYSQL MYSQL需要配置成主从结构 server-id=1 log-bin=mysql-bin.log binlog-do-db=ultron binlog-do-db=ultron_test expire_logs_days=1 binlog_format=row 安装ELK 参考http://www.heoffice.com/docker/185/ Docker运行Go-mysql-ElasticSearch 可以使用Docker run直接运行, 但我喜欢用Docker-compose运行.docker-compose运行的好处有 * 可以设置配置文件./etc/river.toml路径为相对路径 * 可以方便集成到其它docker-compose中,与其它容器通过容器名相互访问数据 * 运行简单: docker-compose up或docker-compose -f xxx.yml up git clone git@github.com:siddontang/go-mysql-elasticsearch.git cd go-mysql-elasticsearch 创建docker-compose.yml version: ‘3’ services: go-mysql-elasticsearch: build: . restart: always ports: – 12800:12800 volumes: – “./etc/river.toml:/go/etc/river.toml” 配置同步配置文件 etc/river.toml # MySQL…
MySQL数据表同步到ElasticSearch
项目中涉及的数据量比较大. 查询字段比较多, 用MySQL查询有点捉襟见肘, 了解到Elasticsearch 是一个实时的分布式搜索分析引擎， 它被用作全文检索、结构化搜索、分析以及这三个功能的组合, 就没用以前用过的Sphinx.怎么把数据从MySQL数据表同步到ElasticSearch下呢, Follow me. 使用的技术: * Docker (Docker version 18.03.0-ce, build 0520e24) * MySQL5.7 (安装在宿主机) * Docker-elk (Docker for Elasticsearch, Logstash, Kibana) * 想了解 ELK Stack 转 https://github.com/elastic/stack-docker 假设已安装配置好了Docker,Docker-composer,MySQL 创建要同步的MySQL表 CREATE TABLE `advertiser` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `name` varchar(34) DEFAULT NULL, `cap` int(11) DEFAULT ‘0’, `updated_time` int(10)…