图解 Janusgraph 系列 - 并发安全：锁机制（本地锁 + 分布式锁）分析

public enum ConsistencyModifier {
    DEFAULT,
    LOCK,
    FORK
}

mgmt = graph.openManagement() 
name = mgmt.makePropertyKey('consistentName').dataType(String.class).make() 
index = mgmt.buildIndex('byConsistentName', Vertex.class).addKey(name).unique().buildCompositeIndex() 
mgmt.setConsistency(name, ConsistencyModifier.LOCK) // Ensures only one name per vertex 
mgmt.setConsistency(index, ConsistencyModifier.LOCK) // Ensures name uniqueness in the graph 
mgmt.commit()

mgmt = graph.openManagement() 
related = mgmt.makeEdgeLabel('related').make() 
mgmt.setConsistency(related, ConsistencyModifier.FORK) 
mgmt.commit()

KeyColumn lockID = new KeyColumn(key, column);

    public boolean lock(KeyColumn kc, T requester, Instant expires) {
    }

    public void acquireLock(StaticBuffer key, StaticBuffer column, StaticBuffer expectedValue, StoreTransaction txh) throws BackendException {
        // locker是一个一致性key锁对象
        if (locker != null) {
            // 获取当前事务对象
            ExpectedValueCheckingTransaction tx = (ExpectedValueCheckingTransaction) txh;
            // 判断：当前的获取锁操作是否当前事务的操作中存在增删改的操作
            if (tx.isMutationStarted())
                throw new PermanentLockingException("Attempted to obtain a lock after mutations had been persisted");
            // 使用key+column组装为lockID，供下述加锁使用！！！！！
            KeyColumn lockID = new KeyColumn(key, column);
            log.debug("Attempting to acquireLock on {} ev={}", lockID, expectedValue);
            // 获取本地当前jvm进程中的写锁（看下述的 1：写锁获取分析）
            // （此处的获取锁只是将对应的KLV存储到Hbase中！存储成功并不代表获取锁成功）
            // 1. 获取成功（等同于存储成功）则继续执行
            // 2. 获取失败（等同于存储失败），会抛出异常，抛出到最上层，打印错误日志“Could not commit transaction ["+transactionId+"] due to exception” 并抛出对应的异常，本次插入数据结束
            locker.writeLock(lockID, tx.getConsistentTx());
            // 执行前提：上述获取锁成功！
            // 存储期望值，此处为了实现当相同的key + value + tx多个加锁时，只处理第一个
            // 存储在事务对象中，标识在commit判断锁是否获取成功时，当前事务插入的是哪个锁信息
            tx.storeExpectedValue(this, lockID, expectedValue);
        } else {
            // locker为空情况下，直接抛出一个运行时异常，终止程序
            store.acquireLock(key, column, expectedValue, unwrapTx(txh));
        }
    }

    public void writeLock(KeyColumn lockID, StoreTransaction tx) throws TemporaryLockingException, PermanentLockingException {
        if (null != tx.getConfiguration().getGroupName()) {
            MetricManager.INSTANCE.getCounter(tx.getConfiguration().getGroupName(), M_LOCKS, M_WRITE, M_CALLS).inc();
        }
        // 判断当前事务是否在图实例的维度 已经占据了lockID的锁
        // 此处的lockState在一个事务成功获取本地锁+分布式锁后，以事务为key、value为map，其中key为lockID，value为加锁状态（开始时间、过期时间等）
        if (lockState.has(tx, lockID)) {
            log.debug("Transaction {} already wrote lock on {}", tx, lockID);
            return;
        }
        // 当前事务没有占据lockID对应的锁
        // 进行(lockLocally(lockID, tx） 本地加锁锁定操作，
        if (lockLocally(lockID, tx)) {
            boolean ok = false;
            try {
                // 在本地锁获取成功的前提下：
                // 尝试获取基于Hbase实现的分布式锁；
                // 注意！！！（此处的获取锁只是将对应的KLV存储到Hbase中！存储成功并不代表获取锁成功）
                S stat = writeSingleLock(lockID, tx);
                // 获取锁分布式锁成功后（即写入成功后），更新本地锁的过期时间为分布式锁的过期时间
                lockLocally(lockID, stat.getExpirationTimestamp(), tx); // update local lock expiration time
                // 将上述获取的锁，存储在标识当前存在锁的集合中Map<tx,Map<lockID,S>>，  key为事务、value中的map为当前事务获取的锁，key为lockID，value为当前获取分布式锁的ConsistentKeyStatus（一致性密匙状态）对象
                lockState.take(tx, lockID, stat);
                ok = true;
            } catch (TemporaryBackendException tse) {
                // 在获取分布式锁失败后，捕获该异常，并抛出该异常
                throw new TemporaryLockingException(tse);
            } catch (AssertionError ae) {
                // Concession to ease testing with mocks & behavior verification
                ok = true;
                throw ae;
            } catch (Throwable t) {
                // 出现底层存储错误！ 则直接加锁失败！
                throw new PermanentLockingException(t);
            } finally {
                // 判断是否成功获取锁，没有获分布式锁的，则释放本地锁
                if (!ok) {
                    // 没有成功获取锁，则释放本地锁
                    // lockState.release(tx, lockID); // has no effect
                    unlockLocally(lockID, tx);
                    if (null != tx.getConfiguration().getGroupName()) {
                        MetricManager.INSTANCE.getCounter(tx.getConfiguration().getGroupName(), M_LOCKS, M_WRITE, M_EXCEPTIONS).inc();
                    }
                }
            }
        } else {
            // 如果获取本地锁失败，则直接抛出异常，不进行重新本地争用
            // Fail immediately with no retries on local contention
            throw new PermanentLockingException("Local lock contention");
        }
    }

  public boolean lock(KeyColumn kc, T requester, Instant expires) {
        assert null != kc;
        assert null != requester;
        final StackTraceElement[] acquiredAt = log.isTraceEnabled() ?
                new Throwable("Lock acquisition by " + requester).getStackTrace() : null;
        // map的value，以事务为核心
        final AuditRecord<T> audit = new AuditRecord<>(requester, expires, acquiredAt);
        //  ConcurrentHashMap实现locks, 以lockID为key，事务为核心value
        final AuditRecord<T> inMap = locks.putIfAbsent(kc, audit);
        boolean success = false;
        // 代表当前map中不存在lockID，标识着锁没有被占用，成功获取锁
        if (null == inMap) {
            // Uncontended lock succeeded
            if (log.isTraceEnabled()) {
                log.trace("New local lock created: {} namespace={} txn={}",
                    kc, name, requester);
            }
            success = true;
        } else if (inMap.equals(audit)) {
            // 代表当前存在lockID，比对旧value和新value中的事务对象是否是同一个
            // requester has already locked kc; update expiresAt
            // 上述判断后，事务对象为同一个，标识当前事务已经获取这个lockID的锁；
            // 1. 这一步进行cas替换，作用是为了刷新过期时间
            // 2. 并发处理，如果因为锁过期被其他事务占据，则占用锁失败
            success = locks.replace(kc, inMap, audit);
            if (log.isTraceEnabled()) {
                if (success) {
                    log.trace("Updated local lock expiration: {} namespace={} txn={} oldexp={} newexp={}",
                        kc, name, requester, inMap.expires, audit.expires);
                } else {
                    log.trace("Failed to update local lock expiration: {} namespace={} txn={} oldexp={} newexp={}",
                        kc, name, requester, inMap.expires, audit.expires);
                }
            }
        } else if (0 > inMap.expires.compareTo(times.getTime())) {
            // 比较过期时间，如果锁已经过期，则当前事务可以占用该锁
            // the recorded lock has expired; replace it
            // 1. 当前事务占用锁
            // 2. 并发处理，如果因为锁过期被其他事务占据，则占用锁失败
            success = locks.replace(kc, inMap, audit);
            if (log.isTraceEnabled()) {
                log.trace("Discarding expired lock: {} namespace={} txn={} expired={}",
                    kc, name, inMap.holder, inMap.expires);
            }
        } else {
            // 标识：锁被其他事务占用，并且未过期，则占用锁失败
            // we lost to a valid lock
            if (log.isTraceEnabled()) {
                log.trace("Local lock failed: {} namespace={} txn={} (already owned by {})",
                    kc, name, requester, inMap);
                log.trace("Owner stacktrace:\n        {}", Joiner.on("\n        ").join(inMap.acquiredAt));
            }
        }
        return success;
    }

    protected ConsistentKeyLockStatus writeSingleLock(KeyColumn lockID, StoreTransaction txh) throws Throwable {
        // 组装插入hbase数据的Rowkey
        final StaticBuffer lockKey = serializer.toLockKey(lockID.getKey(), lockID.getColumn());
        StaticBuffer oldLockCol = null;
        // 进行尝试插入 ，默认尝试次数3次
        for (int i = 0; i < lockRetryCount; i++) {
            // 尝试将数据插入到hbase中；oldLockCol表示要删除的column代表上一次尝试插入的数据
            WriteResult wr = tryWriteLockOnce(lockKey, oldLockCol, txh);
            // 如果插入成功
            if (wr.isSuccessful() && wr.getDuration().compareTo(lockWait) <= 0) {
                final Instant writeInstant = wr.getWriteTimestamp(); // 写入时间
                final Instant expireInstant = writeInstant.plus(lockExpire);// 过期时间
                return new ConsistentKeyLockStatus(writeInstant, expireInstant); // 返回插入对象
            }
            // 赋值当前的尝试插入的数据，要在下一次尝试时删除
            oldLockCol = wr.getLockCol();
            // 判断插入失败原因，临时异常进行尝试，非临时异常停止尝试！
            handleMutationFailure(lockID, lockKey, wr, txh);
        }
        // 处理在尝试了3次之后还是没插入成功的情况，删除最后一次尝试插入的数据
        tryDeleteLockOnce(lockKey, oldLockCol, txh);
        // TODO log exception or successful too-slow write here
        // 抛出异常，标识导入数据失败
        throw new TemporaryBackendException("Lock write retry count exceeded");
    }

    public void commit() throws BackendException {
        // 此方法内调用checkSingleLock 检查分布式锁的获取结果
        flushInternal();
        tx.commit();
    }

    protected void checkSingleLock(final KeyColumn kc, final ConsistentKeyLockStatus ls,
                                   final StoreTransaction tx) throws BackendException, InterruptedException {
        // 检查是否被检查过
        if (ls.isChecked())
            return;
        // Slice the store
        KeySliceQuery ksq = new KeySliceQuery(serializer.toLockKey(kc.getKey(), kc.getColumn()), LOCK_COL_START,
            LOCK_COL_END);
        // 此处从hbase中查询出锁定的行的所有列！ 默认查询重试次数3
        List<Entry> claimEntries = getSliceWithRetries(ksq, tx);
        // 从每个返回条目的列中提取timestamp和rid，然后过滤出带有过期时间戳的timestamp对象
        final Iterable<TimestampRid> iterable = Iterables.transform(claimEntries,
            e -> serializer.fromLockColumn(e.getColumnAs(StaticBuffer.STATIC_FACTORY), times));
        final List<TimestampRid> unexpiredTRs = new ArrayList<>(Iterables.size(iterable));
        for (TimestampRid tr : iterable) { // 过滤获取未过期的锁！
            final Instant cutoffTime = now.minus(lockExpire);
            if (tr.getTimestamp().isBefore(cutoffTime)) {
                ...
            }
            // 将还未过期的锁记录存储到一个集合中
            unexpiredTRs.add(tr);
        }
        // 判断当前tx是否成功持有锁！ 如果我们插入的列是读取的第一个列，或者前面的列只包含我们自己的rid（因为我们是在第一部分的前提下获取的锁，第一部分我们成功获取了基于当前进程的锁，所以如果rid相同，代表着我们也成功获取到了当前的分布式锁），那么我们持有锁。否则，另一个进程持有该锁，我们无法获得锁
        // 如果，获取锁失败，抛出TemporaryLockingException异常！！！！ 抛出到顶层的mutator.commitStorage()处，最终导入失败进行事务回滚等操作
        checkSeniority(kc, ls, unexpiredTRs);
        // 如果上述步骤未抛出异常，则标识当前的tx已经成功获取锁！
        ls.setChecked();
    }