04.Curator Leader选举

六眼飞鱼酱① 提交于 2020-01-19 06:18:24
    在分布式计算中,leader election是很重要的一个功能,这个选举过程是这样子的:指派一个进程作为组织者,将任务分发给各节点。在任务开始前,哪个节点都不知道谁是leader或者coordinator。当选举算法开始执行后,每个节点最终会得到一个唯一的节点作为任务leader。除此之外,选举还经常会发生在leader意外宕机的情况下,新的leader要被选举出来。
    Curator有两种选举recipe,你可以根据你的需求选择合适的。

1.Leader Latch

1.LeaderLatch的简单介绍
    首先我们看一个使用LeaderLatch类来选举的例子。它的常用方法如下:
// 构造方法public LeaderLatch(CuratorFramework client, String latchPath)public LeaderLatch(CuratorFramework client, String latchPath, String id)public LeaderLatch(CuratorFramework client, String latchPath, String id, CloseMode closeMode)// 查看当前LeaderLatch实例是否是leaderpublic boolean hasLeadership()// 尝试让当前LeaderLatch实例称为leaderpublic void await() throws InterruptedException, EOFExceptionpublic boolean await(long timeout, TimeUnit unit) throws InterruptedException
必须启动LeaderLatch: leaderLatch.start();一旦启动,LeaderLatch会和其它使用相同latch path的其它LeaderLatch交涉,然后随机的选择其中一个作为leader。
一旦不使用LeaderLatch了,必须调用close方法。如果它是leader,会释放leadership,其它的参与者将会选举一个leader。
2.异常处理
    LeaderLatch实例可以增加ConnectionStateListener来监听网络连接问题。当 SUSPENDED 或 LOST 时,leader不再认为自己还是leader.当LOST 连接重连后 RECONNECTED,LeaderLatch会删除先前的ZNode然后重新创建一个.
    LeaderLatch用户必须考虑导致leadershi丢失的连接问题。强烈推荐你使用ConnectionStateListener。
3.示例程序
public class LeaderLatchExample{    private static final int CLIENT_QTY = 10;    private static final String PATH = "/examples/leader";    public static void main(String[] args) throws Exception    {        List<CuratorFramework> clients = Lists.newArrayList();        List<LeaderLatch> examples = Lists.newArrayList();        try        {            for (int i = 0; i < CLIENT_QTY; ++i)            {                CuratorFramework client = CuratorFrameworkFactory.newClient("127.0.0.1:2181", new ExponentialBackoffRetry(1000, 3));                clients.add(client);                client.start();                LeaderLatch example = new LeaderLatch(client, PATH, "Client #" + i);                examples.add(example);                example.start();            }            System.out.println("LeaderLatch初始化完成!");            Thread.sleep(10 * 1000);// 等待Leader选举完成            LeaderLatch currentLeader = null;            for (int i = 0; i < CLIENT_QTY; ++i)            {                LeaderLatch example = examples.get(i);                if (example.hasLeadership())                {                    currentLeader = example;                }            }            System.out.println("当前leader:" + currentLeader.getId());            currentLeader.close();            examples.get(0).await(10, TimeUnit.SECONDS);            System.out.println("当前leader:" + examples.get(0).getLeader());            System.out.println("输入回车退出");            new BufferedReader(new InputStreamReader(System.in)).readLine();        }        catch (Exception e)        {            e.printStackTrace();        }        finally        {            for (LeaderLatch exampleClient : examples)            {                System.out.println("当前leader:" + exampleClient.getLeader());                try                {                    CloseableUtils.closeQuietly(exampleClient);                }                catch (Exception e)                {                    System.out.println(exampleClient.getId() + " -- " + e.getMessage());                }            }            for (CuratorFramework client : clients)            {                CloseableUtils.closeQuietly(client);            }        }        System.out.println("OK!");    }}
首先我们创建了10个LeaderLatch,启动后它们中的一个会被选举为leader。因为选举会花费一些时间,start后并不能马上就得到leader。
通过hasLeadership查看自己是否是leader,如果是的话返回true。
可以通过.getLeader().getId()可以得到当前的leader的ID。
只能通过close释放当前的领导权。
await是一个阻塞方法, 尝试获取leader地位,但是未必能上位。
注意:LeaderLatch类不能close()多次,LeaderLatch.hasLeadership()LeaderLatch.getLeader()得到的结果不一定一致,需要通过LeaderLatch.getLeader().isLeader()来判断。
4.运行结果及其分析
    上面测试程序运行结果如下:
LeaderLatch初始化完成!当前leader:Client #1当前leader:Participant{id='Client #8', isLeader=true}输入回车退出当前leader:Participant{id='Client #8', isLeader=true}当前leader:Participant{id='Client #8', isLeader=true}Client #1 -- Already closed or has not been started当前leader:Participant{id='Client #8', isLeader=true}当前leader:Participant{id='Client #8', isLeader=true}当前leader:Participant{id='Client #8', isLeader=true}当前leader:Participant{id='Client #8', isLeader=true}当前leader:Participant{id='Client #8', isLeader=true}当前leader:Participant{id='Client #8', isLeader=true}当前leader:Participant{id='Client #8', isLeader=true}当前leader:Participant{id='Client #9', isLeader=true}OK!
使用ZooInspector工具查看Zookeeper数据如下图:

每创建一个LeaderLatch实例并调用其start()方法就会在其Path下创建一个节点,当调用close()方法时就会删除节点。

2.Leader Election

    Curator还提供了另外一种选举方法。与Leader latch不同的是这种方法可以对领导权进行控制,在适当的时候释放领导权,这样每个节点都有可能获得领导权。主要涉及以下四个类:
  • LeaderSelector - 选举Leader的角色。
  • LeaderSelectorListener - 选举Leader时的事件监听。
  • LeaderSelectorListenerAdapter - 选举Leader时的事件监听,官方提供的适配器,用于用户扩展。
  • CancelLeadershipException - 取消Leader权异常
1.主要类介绍
    重要的是LeaderSelector类,它的构造函数为:
public LeaderSelector(CuratorFramework client, String leaderPath, LeaderSelectorListener listener)public LeaderSelector(CuratorFramework client, String leaderPath, ExecutorService executorService, LeaderSelectorListener listener)public LeaderSelector(CuratorFramework client, String leaderPath, CloseableExecutorService executorService, LeaderSelectorListener listener)
    类似LeaderLatch,必须start: leaderSelector.start();一旦启动,当实例取得领导权时LeaderSelectorListener的takeLeadership()方法被调用。而takeLeadership()方法执行完毕时领导权会自动释放重新选举当你不再使用LeaderSelector实例时,应该调用它的close方法。LeaderSelector类中也有hasLeadership()、getLeader()方法。
2.异常处理
    LeaderSelectorListener类继承ConnectionStateListener。LeaderSelector必须小心连接状态的改变。如果实例成为leader,它应该相应SUSPENDED 或 LOST。当 SUSPENDED 状态出现时,实例必须假定在重新连接成功之前它可能不再是leader了。如果LOST状态出现,实例不再是leader,takeLeadership方法返回.
    注意: 推荐处理方式是当收到SUSPENDED 或 LOST时抛出CancelLeadershipException异常. 这会导致LeaderSelector实例中断并取消执行takeLeadership方法的异常。这非常重要,你必须考虑扩展LeaderSelectorListenerAdapter。LeaderSelectorListenerAdapter提供了推荐的处理逻辑。
3.示例程序
    首先创建一个ExampleClient类,它继承LeaderSelectorListenerAdapter,它实现了takeLeadership方法:
public class ExampleClient extends LeaderSelectorListenerAdapter implements Closeable{    private final String name;    private final LeaderSelector leaderSelector;    private final AtomicInteger leaderCount = new AtomicInteger();    public ExampleClient(CuratorFramework client, String path, String name)    {        this.name = name;        leaderSelector = new LeaderSelector(client, path, this);        leaderSelector.autoRequeue();    }    public void start() throws IOException    {        leaderSelector.start();    }    @Override    public void close() throws IOException    {        leaderSelector.close();    }    @Override    public void takeLeadership(CuratorFramework client) throws Exception    {        final int waitSeconds = 1;        System.out.println(name + " 是当前的leader(" + leaderSelector.hasLeadership() + ") 等待" + waitSeconds + "秒...");        System.out.println(name + " 之前成为leader的次数:" + leaderCount.getAndIncrement() + "次");        try        {            Thread.sleep(TimeUnit.SECONDS.toMillis(waitSeconds));        }        catch (InterruptedException e)        {            System.err.println(name + " 已被中断");            Thread.currentThread().interrupt();        }        finally        {            System.out.println(name + " 放弃leader\n");        }    }}
    你可以在takeLeadership方法中进行任务的分配等业务处理,并且不要返回(一返回就会释放Leader权),如果你想要要此实例一直是leader的话可以加一个死循环。leaderSelector.autoRequeue();保证在此实例释放领导权之后还可能获得领导权。在这里我们使用AtomicInteger来记录此client获得领导权的次数,每个client有平等的机会获得领导权。
    测试代码:
public class LeaderSelectorExample{    private static final int CLIENT_QTY = 10;    private static final String PATH = "/examples/leader";    public static void main(String[] args) throws Exception    {        List<CuratorFramework> clients = Lists.newArrayList();        List<ExampleClient> examples = Lists.newArrayList();        try        {            for (int i = 0; i < CLIENT_QTY; ++i)            {                CuratorFramework client = CuratorFrameworkFactory.newClient("127.0.0.1:2181", new ExponentialBackoffRetry(1000, 3));                clients.add(client);                client.start();                ExampleClient example = new ExampleClient(client, PATH, "Client #" + i);                examples.add(example);                example.start();            }            System.out.println("输入回车退出:");            new BufferedReader(new InputStreamReader(System.in)).readLine();        }        finally        {            for (ExampleClient exampleClient : examples)            {                CloseableUtils.closeQuietly(exampleClient);            }            for (CuratorFramework client : clients)            {                CloseableUtils.closeQuietly(client);            }        }        System.out.println("OK!");    }}
4.示例运行结果及分析
    运行结果控制台:
输入回车退出:Client #4 是当前的leader(true) 等待1秒...Client #4 之前成为leader的次数:0次Client #4 放弃leaderClient #5 是当前的leader(true) 等待1秒...Client #5 之前成为leader的次数:0次Client #5 已被中断Client #5 放弃leaderOK!
可以看出:LeaderSelector与LeaderLatch的区别,通过LeaderSelectorListener可以对领导权进行控制,在适当的时候释放领导权,这样每个节点都有可能获得领导权。而LeaderLatch一根筋到死,除非调用close方法,否则它不会释放领导权。
-------------------------------------------------------------------------------------------------------------------------------



易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!