OceanBase 存储层代码解读（四）：宏块的垃圾回收和坏块检查

// deps/oblib/src/lib/thread/thread_mgr.henum class TGType {  INVALID,  THREAD_POOL,    // 线程池  OB_THREAD_POOL,  // OB线程池  TIMER,      // 定时任务  TIMER_GROUP,    // 定时任务组  QUEUE_THREAD,    // 队列线程调度  DEDUP_QUEUE,    // 去重队列调度  ASYNC_TASK_QUEUE,  // 异步任务队列调度};

// src/storage/blocksstable/ob_store_file.cppint ObStoreFile::open(const bool is_physical_flashback){  int ret = OB_SUCCESS;  bool is_replay_old = false;
  // 打开StoreFile，并做相关初始化的动作  ...  // 执行首次GC  enable_mark_sweep();  mark_and_sweep();  // 启动GC定时任务线程  // 调度GC的任务  // 调度坏块检查的任务  if (OB_FAIL(TG_START(lib::TGDefIDs::StoreFileGC))) {    STORAGE_LOG(WARN, "The timer has not been inited, ", K(ret));  } else if (OB_FAIL(TG_SCHEDULE(lib::TGDefIDs::StoreFileGC, gc_task_, RECYCLE_DELAY_US, true))) {    STORAGE_LOG(WARN, "Fail to schedule gc task, ", K(ret));  } else if (OB_FAIL(TG_SCHEDULE(lib::TGDefIDs::StoreFileGC, inspect_bad_block_task_, INSPECT_DELAY_US, true))) {    STORAGE_LOG(WARN, "Fail to schedule bad_block_inspect task, ", K(ret));  } else {  // ...}

// src/storage/blocksstable/ob_store_file.h// ObTimerTask为定时任务的基类class ObStoreFileGCTask : public common::ObTimerTask {public:  ObStoreFileGCTask();  virtual ~ObStoreFileGCTask();  // 继承至ObTimerTask，GC的主要执行函数在：ObStoreFile::mark_and_sweep()  virtual void runTimerTask()   {    OB_STORE_FILE.mark_and_sweep();  }};

// src/storage/blocksstable/ob_store_file.cpp
void ObStoreFile::mark_and_sweep(){  int ret = OB_SUCCESS;  MacroBlockId macro_id;  bool is_freed = false;
  // 检查GC任务的开关  if (!is_mark_sweep_enabled()) {    STORAGE_LOG(INFO, "mark and sweep is disabled, do not mark and sweep this round");  } else {    // 标识开始进行gc    set_mark_sweep_doing();
    // 1. 采用bitmap对所有在使用的宏块进行打标    //   a. data块的打标是通过一个宏块迭代器实现的    //   b. meta块的打标比较简单，因为可用的meta块是记录在一个数组中的    // 经过打标之后我们就得到所有有效的宏块的bitmap    if (OB_FAIL(mark_macro_blocks())) {      STORAGE_LOG(WARN, "Fail to mark macro blocks, ", K(ret));    } 
    // 2. 遍历所有的宏块，进行垃圾清理    begin_time = end_time;    if (OB_SUCC(ret)) {      for (int64_t i = 0; i < store_file_system_->get_total_macro_block_count() && is_mark_sweep_enabled(); ++i) {        if (bitmap_test(i)) {          // 有效的宏块，做个二次检查          if (macro_block_info_[i].is_free_) {            // BUG, should not happen            STORAGE_LOG(ERROR, "the macro block is freed, ", K(i));          }        } else {          // 无用的宏块，进行GC          if (0 == ATOMIC_LOAD(&(macro_block_info_[i].ref_cnt_))) {            // ref为0，即可进行清理            if (!macro_block_info_[i].is_free_) {              // 释放宏块              //   a. 将该宏块信息进行标注：is_free_=true              //   b. 将该宏块id放入到free_block_array_中，后续进行二次重用              free_block((uint32_t)i, is_freed);              // ...            }          }        }      }    }    set_mark_sweep_done();  }}

class ObFileSystemInspectBadBlockTask : public common::ObTimerTask {public:  // 继承至ObTimerTask，主要执行函数在inspect_bad_block  virtual void runTimerTask()  {     inspect_bad_block();  }private:  // 遍历所有的宏块，通过check_macro_block进行宏块检查  // 由于坏块检查比较耗费资源，inspect_bad_block中也做一些流控逻辑  void inspect_bad_block();  // 对某1个宏块进行检查，检查的主要内容有：  //   a. 宏块id、宏块元数据  //   b. 通过check_data_block对宏块数据进行深度检查  int check_macro_block(const ObMacroBlockInfoPair& pair, const storage::ObTenantFileKey& file_key);  int check_data_block(const MacroBlockId& macro_id, const blocksstable::ObFullMacroBlockMeta& full_meta,      const storage::ObTenantFileKey& file_key);private:  // 工具类，宏块检查主要函数，后面会详细分析  ObSSTableMacroBlockChecker macro_checker_;};

// src/storage/blocksstable/ob_macro_block_checker.henum ObMacroBlockCheckLevel {  CHECK_LEVEL_NOTHING = 0,// 不做坏块检查  CHECK_LEVEL_MACRO,      // 检查宏块的checksum，如果宏块的checksum不存在直接返回成功  CHECK_LEVEL_MICRO,      // 检查微块的checksum  CHECK_LEVEL_ROW,        // 检查每个column的checksum，会遍历每一行的每一列  CHECK_LEVEL_AUTO,       // 默认的检查级别，如果宏块的checksum存在，就检查宏块，如果宏块的checksum不存在，就检查微块  CHECK_LEVEL_MAX};

// src/storage/blocksstable/ob_macro_block_checker.h// note: 该class中的函数是线程不安全的class ObSSTableMacroBlockChecker {public:  // check是宏块检查主要函数，会根据check_level进行不同级别的检查  // 具体内容的检查见private中的函数  int check(const char* macro_block_buf, const int64_t macro_block_buf_size, const ObFullMacroBlockMeta& meta,      ObMacroBlockCheckLevel check_level = CHECK_LEVEL_AUTO);private:  // 检查宏块数据buffer的checksum，并和header中checksum中做比较  int check_macro_buf(      const ObMacroBlockCommonHeader& common_header, const char* macro_block_buf, const int64_t macro_block_buf_size);  // 检查宏块数据的header，具体的检查内容包括：  //   a. check_sstable_data_header：检查sstable数据的header  //   b. check_lob_data_header：检查log数据的header  //   c. check_bloomfilter_data_header：检查header中的bloomfilter  int check_data_header(const ObMacroBlockCommonHeader& common_header, const char* macro_block_buf,      const int64_t macro_block_buf_size, const ObFullMacroBlockMeta& meta);  // 检查普通宏块的具体数据，遍历宏块中每一个微块，微块的检查见下面的check_micro_data  int check_data_block(const char* macro_block_buf, const int64_t macro_block_buf_size,      const ObFullMacroBlockMeta& meta, const bool need_check_row);  // 检查LOB宏块的具体数据，包括其中所有的微块  int check_lob_block(      const char* macro_block_buf, const int64_t macro_block_buf_size, const ObFullMacroBlockMeta& meta);  // 检查微块的具体数据，包括其中每一行的每一列的checksum  int check_micro_data(      const char* micro_buf, const int64_t micro_buf_size, const ObFullMacroBlockMeta& meta, int64_t* checksum);  // 检查sstable宏块header  int check_sstable_data_header(      const ObMacroBlockCommonHeader& common_header, const char* macro_block_buf, const ObFullMacroBlockMeta& meta);  // 检查LOB宏块header  int check_lob_data_header(      const ObMacroBlockCommonHeader& common_header, const char* macro_block_buf, const ObFullMacroBlockMeta& meta);  // 检查bloomfilter中的header  int check_bloomfilter_data_header(      const ObMacroBlockCommonHeader& common_header, const char* macro_block_buf, const ObFullMacroBlockMeta& meta);};