设为首页收藏本站

小牛社区-大数据学习交流社区|大数据免费学习资源

 找回密码
 立即注册!

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 99|回复: 0

netty实战-nettyclient连...

[复制链接]

167

主题

0

帖子

5

积分

吃土小白

Rank: 1

积分
5
发表于 2017-10-24 16:25:07 | 显示全部楼层 |阅读模式
概述 
  最近有很多网友在咨询netty client中,netty的channel连接池应该如何设计。这是个稍微有些复杂的主题,牵扯到蛮多技术点,要想在网上找到相关的又相对完整的参考文章,确实不太容易。
  在本篇文章中,会给出其中一种解决方案,并且附带完整的可运行的代码。如果网友有更好的方案,可以回复本文,我们一起讨论讨论,一起开阔思路和眼界。
  阅读本文之前需要具备一些基础知识
  1、知道netty的一些基础知识,比如ByteBuf类的相关api; 
  2、知道netty的执行流程; 
  3、 必须阅读过我之前写的netty实战-自定义解码器处理半包消息,因为本文部分代码来自这篇文章。
  现在微服务非常的热门,也有很多公司在用。微服务框架中,如果是使用thrift、grpc来作为数据序列化框架的话,通常都会生成一个SDK给客户端用户使用。客户端只要使用这个SDK,就可以方便的调用服务端的微服务接口。本文讨论的就是使用SDK的netty客户端,它的netty channel连接池的设计方案。至于netty http client的channel连接池设计,基于http的,是另外一个主题了,需要另外写文章来讨论的。
 netty channel连接池设计 
  DB连接池中,当某个线程获取到一个db connection后,在读取数据或者写数据时,如果线程没有操作完,这个db connection一直被该线程独占着,直到线程执行完任务。如果netty client的channel连接池设计也是使用这种独占的方式的话,有几个问题。
  1、netty中channel的writeAndFlush方法,调用完后是不用等待返回结果的,writeAndFlush一被调用,马上返回。对于这种情况,是完全没必要让线程独占一个channel的。 
  2、使用类似DB pool的方式,从池子里拿连接,用完后返回,这里的一进一出,需要考虑并发锁的问题。另外,如果请求量很大的时候,连接会不够用,其他线程也只能等待其他线程释放连接。
  因此不太建议使用上面的方式来设计netty channel连接池,channel独占的代价太大了。可以使用Channel数组的形式, 复用netty的channel。当线程要需要Channel的时候,随机从数组选中一个Channel,如果Channel还未建立,则创建一个。如果线程选中的Channel已经建立了,则复用这个Channel。

  假设channel数组的长度为4
  当外部系统请求client的时候,client从channels数组中随机挑选一个channel,如果该channel尚未建立,则触发建立channel的逻辑。无论有多少请求,都是复用这4个channel。假设有10个线程,那么部分线程可能会使用相同的channel来发送数据和接收数据。因为是随机选择一个channel的,多个线程命中同一个channel的机率还是很大的。如下图

  10个线程中,可能有3个线程都是使用channel2来发送数据的。这个会引入另外一个问题。thread1通过channel2发送一条消息msg1到服务端,thread2也通过channel2发送一条消息msg2到服务端,当服务端处理完数据,通过channel2返回数据给客户端的时候,如何区分哪条消息是哪个线程的呢?如果不做区分,万一thread1拿到的结果其实是thread2要的结果,怎么办?
  那么如何做到让thread1和thread2拿到它们自己想要的结果呢?
  之前我在netty实战-自定义解码器处理半包消息一文中提到,自定义消息的时候,通常会在消息中加入一个序列号,用来唯一标识消息的。当thread1发送消息时,往消息中插入一个唯一的消息序列号,同时为thread1建立一个callback回调程序,当服务端返回消息的时候,根据消息中的序列号从对应的callback程序获取结果。这样就可以解决上面说到的问题。
  消息格式

  消息、消息seq以及callback对应关系


  OK,下面就基于上面的设计来进行编码。
 代码 
  先来实现netty客户端,设置10个线程并发获取channel,为了达到真正的并发,利用CountDownLatch来做开关,同时channel连接池设置4个channel。
 package nettyinaction.nettyclient.channelpool.client; 
import io.netty.buffer.ByteBuf; 
import io.netty.buffer.UnpooledByteBufAllocator; 
import io.netty.channel.Channel; 
import nettyinaction.nettyclient.channelpool.ChannelUtils; 
import nettyinaction.nettyclient.channelpool.IntegerFactory; 
import java.util.HashMap; 
import java.util.Map; 
import java.util.concurrent.CountDownLatch; 
public class SocketClient { 
  public static void main(String[] args) throws InterruptedException { 
  //当所有线程都准备后,开闸,让所有线程并发的去获取netty的channel 
  final CountDownLatch countDownLatchBegin = new CountDownLatch(1); 
  //当所有线程都执行完任务后,释放主线程,让主线程继续执行下去 
  final CountDownLatch countDownLatchEnd = new CountDownLatch(10); 
  //netty channel池 
  final NettyChannelPool nettyChannelPool = new NettyChannelPool(); 
  final Map resultsMap = new HashMap(); 
  //使用10个线程,并发的去获取netty channel 
  for (int i = 0; i 

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册!

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册!

本版积分规则

快速回复 返回顶部 返回列表