distributed-tool

项目介绍

这是一个分布式常用工具组件。其中包括但不限于:

分布式List、分布式Set、分布式Long、分布式信号量、分布式缓存、分布式锁、分布式序列号生成器、分布式订阅发布模式等常用工具类

目前微服务开发的系统很多,这个就涉及到分布式集群问题。像以前如果是单机,那么这些解决方案都可以使用JVM的API来实现

但在分布式环境下,这些API都不可用,所以急需一套分布式的API来支持这种常用操作,那么我来提供了,后面持续添加各种分布式常用工具类

注意:所有组件目前都是线程不安全,如果多线程请使用多实例,或者自己加同步锁

软件架构

目前项目分两个module,distributed-tool和distributed-tool-test。前者是核心源码。后者是测试代码。

distributed-tool主要分如下模块:分布式List、分布式Set、分布式Long、分布式信号量等

  1. core 提供基本分布式组件。(V1.3支持)
  2. cache 简单的分布式缓存模块。(V1.3支持)
  3. lock 分布式锁。(V1.3支持)
  4. pubsub 分布式订阅发布组件。(V1.3支持)
  5. sequence 分布式序列号生成器。(V1.3支持)

distribute后端系统怎么使用(分布式常用工具组件)(1)

Maven引用

<dependency> <groupId>com.xuanner</groupId> <artifactId>distributed-tool</artifactId> <version>1.3</version> </dependency>

使用教程

初始化(目前底层使用了Redis来实现,所以使用Redis方式初始化)

Dt.getInstance().initJedis("xxx", 8380, "xxx");

销毁(注意,在应用的结束生命周期上加上销毁代码,例如Spring的destroy周期)

Dt.getInstance().getDefaultJedisFactory().destroy();

一个分布式List使用例子

DtList list = Dt.newDtList("listName"); list.pushLeft(new String[] { "a", "b" }); list.popLeft(); list.close();//使用完毕记得close

一个分布式缓存锁使用例子

DtLock lock = Dt.newDtLock("lockName"); String kId = lock.tryLock(); //你的临界资源操作逻辑 lock.unLock(kId); lock.close();//使用完毕记得close

核心分布式集合使用

原理说明

很多有用的组件,都基于核心的分布式集合来实现。例如:分布式List、分布式Queue、分布式Set等等。我这里也实现了一些基本的分布式合集和原子类。

分布式DtList

支持基本的push、pop操作

DtList list = Dt.newDtList("listName"); list.pushLeft(new String[] { "a", "b" });//从列表的左边push一个元素 String element = list.pushPop();//从列表的右边pop一个元素,这里element==a //使用完后记得close list.close();

分布式DtLong

支持分布式自增和自减去

DtLong dtLong = Dt.newDtLong("longName"); long l = dtLong.incr(1); l = dtLong.decr(1L); l = dtLong.getValue(); //使用完后记得close dtLong.close();

分布式DeQueue

支持尾部push,头部pop,很容易就可以基于整个Queue实现一个简单的分布式队列(生产者消费者模式)

DtQueue queue = Dt.newDtQueue("queueName"); queue.push("eeee"); String eeee = queue.pop(); //使用完后记得close queue.close();

下面是一个简单的生产者消费者实现案例

//消费者 final DefaultDtQueue consumer = new DefaultDtQueue("testName3"); consumer.setClientFactory(clientFactory); new Thread(() -> { while (true) { String e = consumer.pop(); sleep(1); System.out.println(e); } }).start(); //生产者 final DefaultDtQueue provider = new DefaultDtQueue("testName3"); provider.setClientFactory(clientFactory); new Thread(() -> { while (true) { provider.push("来一个时间戳:" System.currentTimeMillis()); sleep(3); } }).start();

分布式Dtsemaphore(信号量)

JDK自带的信号量大家都熟悉吧,整个是分布式的信号量,可以很方便的基于整个组件来做分布式控资源访问。 里面使用了Lua实现,绝对高校可靠。

DtSemaphore semaphore = Dt.newDtSemaphore("semaphoreName", 3);//这里限制同时只能访问3个资源 String sId1 = semaphore.acquire(); String sId2 = semaphore.acquire(); String sId3 = semaphore.acquire(); String sId4 = semaphore.acquire();//第四个就返回null表示拿不到信号量 semaphore.release(sId1); String sId5 = semaphore.acquire();//因为上面释放了一个信号量,所以这里又可以拿到了 //这里注意,为了防止系统拿到信号量当机后无法释放信号量,每个背获取的信号量都有默认30S的超时时间 //如果过了30S你还没有释放,那么这个信号量就会默认背释放,如果要自己设定这个超时时间,你可以这样新建 //这里被设置成了60S,注意单位是:秒 DtSemaphore semaphore = Dt.newDtSemaphore("semaphoreName", 3, 60); //使用完后记得close semaphore.close();

分布式DtSortedSet(可排序Set)

首先他是一个Set集合,且他支持设置score进行排序

DtSortedSet set = Dt.newDtSortedSet("setName"); set.add(1, "a1"); set.add(20, "a20"); set.add(99, "a99"); //获取指定值的排位 long rank = set.rank("a20");//这里rank==1 //可以根据score的范围进行批量删除 set.removeByScoreRange(1, 98);//这里值"a1"和"a20"会被删除 //使用完后记得close set.close();

更多使用教程: https://gitee.com/xuan698400/distributed-tool/wikis/

,