1
头图

导读: 

我们日常开发中,经常会碰到并发的场景,在 Java 中语言体系里,我们会想到 ReentrantLock、CountDownLatch、Semaphore 等工具,但你是否清楚它们内部的实现原理?这些工具都很类似,底层都是基于AbstractQueuedSynchronizer(AQS)来实现的。今天我们就来一起学习 AQS 内部原理。俗话说知己知彼百战百胜,如果我们了解了其中的原理,用该类工具开发就可以做到事半功倍。

文|夏福利 网易智企资深开发工程师

一、AQS 执行框架

下图是 AQS 大体执行框架:

 title=

通过上面这张图能够了解到 AQS 大概的执行过程。ReentrantLock、CountDownLatch、Semaphore 都是在这个流程上封装的。

拿 ReentrantLock 来说,ReentrantLock 是独占锁, 可以是公平锁,也可以是非公平锁, 通过这张图可以很好理解了。

ReentrantLock 是独占锁体现在同一时刻只有一个线程能够尝试获取资源成功, 其他获取失败的都会加入阻塞队列的队尾进行排队。

公平锁就是线程严格按照阻塞队列的排列顺序获取资源,先到先得,不得插队。如下图所示:

 title=

而非公平锁就可能存在插队的可能。 例如,如果上面头节点被唤醒,正准备尝试获取资源,这时来了一个线程也尝试获取资源,有可能新来的线程获取资源成功,而头结点获取资源失败。这就是非公平锁。

在 ReentrantLock 源码中可以看到非公平锁会尝试获取资源时,不会考虑阻塞队列是否为空, 如果能够获取资源成功则直接占用了资源。获取失败才会加入阻塞队列。代码如下:

final boolean nonfairTryAcquire(int acquires) {    final Thread current = Thread.currentThread();    int c = getState();    if (c == 0) {        if (compareAndSetState(0, acquires)) {            setExclusiveOwnerThread(current);            return true;        }    }    else if (current == getExclusiveOwnerThread()) {        int nextc = c + acquires;        if (nextc < 0) // overflow            throw new Error("Maximum lock count exceeded");        setState(nextc);        return true;    }    return false;}

而对于公平锁尝试获取资源时,会判断阻塞队列是否为空(和非公平锁关键差别所在),如下:

static final class FairSync extends Sync {    private static final long serialVersionUID = -3000897897090466540L;
    final void lock() {        acquire(1);    }
    /**     * Fair version of tryAcquire.  Don't grant access unless     * recursive call or no waiters or is first.     */    @ReservedStackAccess    protected final boolean tryAcquire(int acquires) {        final Thread current = Thread.currentThread();        int c = getState();        if (c == 0) {            if (!hasQueuedPredecessors() &&                compareAndSetState(0, acquires)) {                setExclusiveOwnerThread(current);                return true;            }        }        else if (current == getExclusiveOwnerThread()) {            int nextc = c + acquires;            if (nextc < 0)                throw new Error("Maximum lock count exceeded");            setState(nextc);            return true;        }        return false;    }}

二、AQS 实现原理详解

AQS 从名字上就知道是抽象类,通过模板方法定义了上面那张图的流程。对于“资源占用”和“资源释放”的定义,则是交给具体的子类去定义去实现。

对于共享锁,子类需要实现如下两个方法:

protected int tryAcquireShared(int arg);protected boolean tryReleaseShared(int arg);
  • tryAcquireShared:共享方式。arg 为获取锁的次数, 尝试获取资源;返回值为:

    负数表示失败;

    0表示成功,但没有剩余可用资源;

    正数表示成功,且有剩余资源;

<!---->

  • tryReleaseShared:共享方式。arg 为释放锁的次数, 尝试释放资源,如果释放后允许唤醒后续等待结点返回 True,否则返回 False;

而对于独占锁,子类需要实现三个方法:

protected boolean tryAcquire(int arg)protected boolean tryRelease(int arg)protected boolean isHeldExclusively()
  • isHeldExclusively: 该线程是否正在独占资源。只有用到 Condition 才需要去实现它;
  • tryAcquire: 独占方式。arg 为获取锁的次数,尝试获取资源,成功则返回 True,失败则返回 False;
  • tryRelease: 独占方式。arg 为释放锁的次数,尝试释放资源,成功则返回 True,失败则返回 False;

获取资源

首先,我们看一下独占锁获取资源的过程。

在 AQS 中,独占锁的获取资源的核心代码如下:

public final void acquire(int arg) {    // 当 tryAcquire 返回 true 就说明获取到锁了,直接结束。    // 反之,返回 false 的话,就需要执行后面的方法。    if (!tryAcquire(arg) &&        acquireQueued(addWaiter(Node.EXCLUSIVE), arg))        selfInterrupt();}

如果子类的 tryAcquire 返回 true, 则表示获取锁成功,直接结束。

只要子类的 tryAcquire 方法返回 false,那么就说明获取锁失败,就需要将自己加入队列。

private Node addWaiter(Node mode) {    // 创建一个独占类型的节点    Node node = new Node(Thread.currentThread(), mode);    // Try the fast path of enq; backup to full enq on failure    Node pred = tail;    // 如果 tail 节点不是 null,就将新节点的 pred 节点设置为 tail 节点。    // 并且将新节点设置成 tail 节点。    if (pred != null) {        node.prev = pred;        if (compareAndSetTail(pred, node)) {            pred.next = node;            return node;        }    }    // 如果 tail 节点是  null,或者 CAS 设置 tail 失败。    // 在 enq 方法中处理    enq(node);    return node;}

如果 tail 节点为 null, 或者 CAS 设置 tail 失败,则通过自旋的方式加入尾结点。

private Node enq(final Node node) {    for (;;) {        Node t = tail;        // 如果 tail 是 null,就创建一个虚拟节点,同时指向 head 和 tail,称为 初始化。        if (t == null) { // Must initialize            if (compareAndSetHead(new Node()))                tail = head;        } else {// 如果不是 null            // 和 上个方法逻辑一样,将新节点追加到 tail 节点后面,并更新队列的 tail 为新节点。            // 只不过这里是死循环的,失败了还可以再来 。            node.prev = t;            if (compareAndSetTail(t, node)) {                t.next = node;                return t;            }        }    }}

enq 方法的逻辑是什么呢?当 tail 是 null(没有初始化队列),就需要初始化队列了。CAS 设置 tail 失败,也会走这里,需要在 enq 方法中循环设置 tail。直到成功。

上面的过程用一张图表示如下:

将自己加入到阻塞队列后(注意 addWaiter 方法返回的是当前节点),执行 acquireQueued() 方法,将当前节点对应的线程挂起,源码如下:

// 这里返回的节点是新创建的节点,arg 是请求的数量final boolean acquireQueued(final Node node, int arg) {    boolean failed = true;    try {        boolean interrupted = false;        for (;;) {            // 找上一个节点            final Node p = node.predecessor();            // 如果上一个节点是 head ,就尝试获取锁            // 如果 获取成功,就将当前节点设置为 head,注意 head 节点是永远不会唤醒的。            if (p == head && tryAcquire(arg)) {                setHead(node);                p.next = null; // help GC                failed = false;                return interrupted;            }            // 在获取锁失败后,就需要阻塞了。            // shouldParkAfterFailedAcquire ---> 检查上一个节点的状态,如果是 SIGNAL 就阻塞,否则就改成 SIGNAL。            if (shouldParkAfterFailedAcquire(p, node) &&                parkAndCheckInterrupt())                interrupted = true;        }    } finally {        if (failed)            cancelAcquire(node);    }}

这个方法有两个逻辑:

  • 如何将自己挂起?
  • 被唤醒之后做什么?

先回答第二个问题:被唤醒之后做什么?

尝试拿锁,成功之后,将自己设置为 head,断开和 next 的连接。

再看第一个问题:如何将自己挂起?

具体逻辑在 shouldParkAfterFailedAcquire 方法中:

private static boolean shouldParkAfterFailedAcquire(Node pred, Node node) {    int ws = pred.waitStatus;    //  如果他的上一个节点的 ws 是 SIGNAL,他就需要阻塞。    if (ws == Node.SIGNAL)        // 阻塞        return true;    // 前任被取消。跳过前任并重试。    if (ws > 0) {        do {            // 将前任的前任 赋值给 当前的前任            node.prev = pred = pred.prev;        } while (pred.waitStatus > 0);        // 将前任的前任的 next 赋值为 当前节点        pred.next = node;    } else {         // 如果没有取消 || 0 || CONDITION || PROPAGATE,那么就将前任的 ws 设置成 SIGNAL.        // 为什么必须是 SIGNAL 呢?        // 答:希望自己的上一个节点在释放锁的时候,通知自己(让自己获取锁)        compareAndSetWaitStatus(pred, ws, Node.SIGNAL);    }    // 重来    return false;}

该方法的主要逻辑就是将前置节点的状态修改成 SIGNAL,告诉他:你释放锁的时候记得唤醒我。其中如果前置节点被取消了,就跳过他。那么在前置节点释放锁的时候,肯定会唤醒这个节点。

上面是独占锁获取资源过程,共享锁获取资源的过程类似,会有稍微的不同,核心代码如下:

private void doAcquireShared(int arg) {        // 将自己加入阻塞队列        final Node node = addWaiter(Node.SHARED);        boolean failed = true;        try {            boolean interrupted = false;            for (;;) {                // 将自己挂起前,尝试再次获取锁,如果获取成功,                则将自己设置为头结点,并通知唤醒下一节点                final Node p = node.predecessor();                if (p == head) {                    int r = tryAcquireShared(arg);                    if (r >= 0) {                        // 这里是和独占锁有区别的地方。这里不但会将自己设置为头结点,                        而且会唤醒下一个节点,通过这种方式将所有等待共享锁的节点唤醒                        setHeadAndPropagate(node, r);                        p.next = null; // help GC                        if (interrupted)                            selfInterrupt();                        failed = false;                        return;                    }                }                                // 获取锁失败,则挂起。同独占锁逻辑                if (shouldParkAfterFailedAcquire(p, node) &&                    parkAndCheckInterrupt())                    interrupted = true;            }        } finally {            if (failed)                cancelAcquire(node);        }    }

这个方法同样是包含两个逻辑:

  • 如何将自己挂起?
  • 被唤醒之后做什么?

如何将自己挂起和独占锁没有区别。唤醒之后做什么是和独占锁区别的关键: 如果当前节点唤醒后获取到了锁后,会唤醒下一个节点。下一个节点唤醒后会继续唤醒下下一个节点,从而将所有等待共享锁的线程唤醒。核心代码如下:

private void setHeadAndPropagate(Node node, int propagate) {        Node h = head; // Record old head for check below        // 将自己设置为头结点        setHead(node);        if (propagate > 0 || h == null || h.waitStatus < 0 ||            (h = head) == null || h.waitStatus < 0) {            Node s = node.next;            if (s == null || s.isShared())                // 唤醒下一个节点                doReleaseShared();        }    }

释放资源

上面讲了获取资源的逻辑,那如何释放资源呢?

同样,还是先看一下独占锁的释放逻辑:

public final boolean release(int arg) {    if (tryRelease(arg)) {        Node h = head;        // 所有的节点在将自己挂起之前,都会将前置节点设置成 SIGNAL,希望前置节点释放的时候,唤醒自己。        // 如果前置节点是 0 ,说明前置节点已经释放过了。不能重复释放了,后面将会看到释放后会将 ws 修改成0.        if (h != null && h.waitStatus != 0)            unparkSuccessor(h);        return true;    }    return false;}

从这个方法的判断就可以看出,head 必须不等于 0。为什么呢?上面获取资源过程中说到:当一个节点尝试挂起自己之前,都会将前置节点设置成 SIGNAL -1,就算是第一个加入队列的节点,在获取锁失败后,也会将初始化节点设置的 ws 设置成 SIGNAL。

而这个判断也是防止多线程重复释放,那么在释放锁之后,肯定会将 ws 状态设置成 0。防止重复操作。代码如下:

private void unparkSuccessor(Node node) {    int ws = node.waitStatus;    if (ws < 0)        // 将 head 节点的 ws 改成 0,清除信号。表示,他已经释放过了。不能重复释放。        compareAndSetWaitStatus(node, ws, 0);
    Node s = node.next;    // 如果 next 是 null,或者 next 被取消了。就从 tail 开始向上找节点。    if (s == null || s.waitStatus > 0) {        s = null;        // 从尾部开始,向前寻找最靠前的那个未被取消的节点        for (Node t = tail; t != null && t != node; t = t.prev)            if (t.waitStatus <= 0)                s = t;    }    // 唤醒这个节点。    if (s != null)        LockSupport.unpark(s.thread);}

唤醒之后的逻辑是什么样子的还记得吗?在上面讲解资源获取时有讲到:

线程唤醒后尝试拿锁,拿锁成功则设置自己为 head,断开前任 head 和自己的连接。

final boolean acquireQueued(final Node node, long arg) {    boolean failed = true;    try {        boolean interrupted = false;        //唤醒之后再次进行for循环,尝试获取锁,获取成功则将自己设置为头结点        for (;;) {            final Node p = node.predecessor();            if (p == head && tryAcquire(arg)) {                setHead(node);                p.next = null; // help GC                failed = false;                return interrupted;            }            if (shouldParkAfterFailedAcquire(p, node) &&                parkAndCheckInterrupt())                interrupted = true;        }    }

再来看一下共享锁的释放逻辑,代码如下:

public final boolean releaseShared(int arg) {        if (tryReleaseShared(arg)) {            doReleaseShared();            return true;        }        return false;    }

doReleaseShared() 代码如下:

private void doReleaseShared() {        for (;;) {            Node h = head;            if (h != null && h != tail) {                int ws = h.waitStatus;                if (ws == Node.SIGNAL) {                // 将 head 节点的 ws 改成 0,清除信号。表示,他已经释放过了。不能重复释放。                    if (!compareAndSetWaitStatus(h, Node.SIGNAL, 0))                        continue;            // loop to recheck cases                                            // 唤醒下一个节点                    unparkSuccessor(h);                }                else if (ws == 0 &&                         !compareAndSetWaitStatus(h, 0, Node.PROPAGATE))                    continue;                // loop on failed CAS            }            if (h == head)                   // loop if head changed                break;        }    }

同样,唤醒后做什么呢?

线程唤醒后尝试拿锁,拿锁成功则设置自己为 head,断开前任 head 和自己的连接, 并唤醒下一个节点,代码如下:

private void doAcquireShared(long arg) {    final Node node = addWaiter(Node.SHARED);    boolean failed = true;    try {        boolean interrupted = false;        //唤醒后再次for循环,尝试获取锁,获取锁成功,则设置自己为头结点,        //并唤醒下一个结点,从而一直传播下去,将所有等待共享锁的线程唤醒        for (;;) {            final Node p = node.predecessor();            if (p == head) {                long r = tryAcquireShared(arg);                if (r >= 0) {                    setHeadAndPropagate(node, r);                    p.next = null; // help GC                    if (interrupted)                        selfInterrupt();                    failed = false;                    return;                }            }            if (shouldParkAfterFailedAcquire(p, node) &&                parkAndCheckInterrupt())                interrupted = true;        }    }}

为了证明共享锁唤醒时是一个接一个被唤醒,我们用一个 demo 来验证下,示例代码如下:

CountDownLatch countDownLatch = new CountDownLatch(1);
        Thread t1 = new Thread(() -> {            try {                TimeUnit.SECONDS.sleep(1);                countDownLatch.await();                System.out.println("线程1被唤醒了");            } catch (InterruptedException e) {                e.printStackTrace();            }        });
        Thread t2 = new Thread(() -> {            try {                TimeUnit.SECONDS.sleep(2);                countDownLatch.await();                System.out.println("线程2被唤醒了");            } catch (InterruptedException e) {                e.printStackTrace();            }        });
        Thread t3 = new Thread(() -> {            try {                TimeUnit.SECONDS.sleep(3);                countDownLatch.await();                System.out.println("线程3被唤醒了");            } catch (InterruptedException e) {                e.printStackTrace();            }        });
        t1.start();        t2.start();        t3.start();
        TimeUnit.SECONDS.sleep(4);        countDownLatch.countDown();    }

上面示例代码中,线程 1、2、3 按顺序加入阻塞队列,当主线程调用 countDown() 时,此时会唤醒线程 1,线程 1 唤醒后会唤醒线程 2,线程 2 会唤醒线程 3。从运行结果可以看出确实如此:

线程1被唤醒了
线程2被唤醒了
线程3被唤醒了

从而证明了上面的推断。

三、总结

独占锁和共享锁在获取资源失败时,都会将自己加入阻塞队列的尾部,并将前一节点的 ws 设置为 SINGAL,告诉他:释放锁的时候记得唤醒我。

独占锁和共享锁的不同之处在于:节点被唤醒后,独占锁线程不会唤醒下一个节点(要唤醒必须主动释放锁,比如使用 ReentrantLock 最后要调用 release() 方法主动释放锁)。

而对于共享锁来说,只要一个节点被唤醒了,那就会继续唤醒下一个节点,下一个节点又会去唤醒下下一个节点,从而将所有等待共享锁的线程唤醒。

作者介绍

夏福利,网易智企资深开发工程师,主要负责网易七鱼在线智能客服的研发


网易数智
619 声望140 粉丝

欢迎关注网易云信 GitHub: