Storm搭建DRCP

发布 : 2016-01-22 分类 : 大数据 浏览 :

1.修改Storm集群的配置文件,每个节点

1
[root@master storm-0.10.0]# vi conf/storm.yaml
1
2
3
drpc.servers:
- "master"
- "slave1"

1.1.将更改后的storm.yaml文件发送到slave1.slave2节点上

1
2
3
[root@master storm-0.10.0]# scp -r conf/storm.yaml root@slave1:/opt/modules/storm-0.10.0/conf/

[root@master storm-0.10.0]# scp -r conf/storm.yaml root@slave2:/opt/modules/storm-0.10.0/conf/

2.重启Storm集群

1
[root@master storm-0.10.0]# ./bin/storm nimbus >> logs/nimbus.out 2>&1 &
1
2
3
4
5
6
7
8
9
10
启动master.slave1.slave2三个节点的supervisor
[root@master storm-0.10.0]# ./bin/storm supervisor >> logs/supervisor.out 2>&1 &
[root@slave1 storm-0.10.0]# ./bin/storm supervisor >> logs/supervisor.out 2>&1 &
[root@slave2 storm-0.10.0]# ./bin/storm supervisor >> logs/supervisor.out 2>&1 &

启动storm dprc
[root@master storm-0.10.0]# ./bin/storm drpc >> ./logs/drpc.out 2>&1 &

查看master节点的正在运行的进程
[root@master storm-0.10.0]# jps

1
在Storm Web UI(http://192.168.230.129:8080/index.html)查看集群运行情况:

3.启动Storm任务

1
[root@master storm-0.10.0]# ./bin/storm jar examples/storm-starter/storm-starter-topologies-0.10.0.jar storm.starter.ReachTopology reach


4.现在DRPC server启动和配置完成,客户端调用

1
2
DRPCClient client = new DRPCClient(conf,"master", 3772);
String result = client.execute("reach", "http://twitter.com");

5.上面配置的是master启动时的drpcserver的域名,reach是启动storm任务的任务名,这里的http的字符串是输入,result就是结果

本文作者 : Matrix
原文链接 : https://matrixsparse.github.io/2016/01/22/Storm搭建DRPC/
版权声明 : 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明出处!

知识 & 情怀 | 二者兼得

微信扫一扫, 向我投食

微信扫一扫, 向我投食

支付宝扫一扫, 向我投食

支付宝扫一扫, 向我投食

留下足迹