写点什么

元数据

1 人感兴趣 · 40 次引用

  • 最新
  • 推荐

云原生文件存储 CFS 线性扩展到千亿级文件数,百度沧海·存储论文被 EuroSys 2023 录用

论文介绍了百度智能云 CFS 文件存储元数据系统的核心设计,对长期困扰文件系统元数据领域的 POSIX 兼容性和高扩展性(特别是写扩展性)难以兼顾的问题,进行了解答。

https://static001.geekbang.org/infoq/c4/c4cbf8d6953005ee7d3adaf10a726193.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

为什么最近关注“元数据”的人突然增多?

用户头像
雨果
2022-10-10

为什么最近关注“元数据”的人突然增多?那是因为大家都看到了元数据管理的价值。下面从五个方面具体解读:

数据湖系列之二 | 打造无限扩展的云存储系统,元数据存储底座的设计和实践

用户头像
Baidu AICLOUD
2022-09-23

TafDB 是面向元数据场景设计的一个分布式数据库系统。作为百度沧海·存储统一的元数据底座,TafDB 支撑了百度智能云对象存储 BOS 和文件存储 CFS 的元数据存储,提供了万亿级别元数据规模、千万级别 QPS 的元数据存储能力。

https://static001.geekbang.org/infoq/95/95f619a4ad208f55eb9b4c230be1fad8.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

一步步搞懂 MySQL 元数据锁(MDL)

到底什么是metadata lock?这个锁等待是如何产生的?会带来什么影响?最后又如何来解决?今天我们挑6个常见问题给大家解答一下。

https://static001.geekbang.org/infoq/f9/f9e03a51e1ee4f6a71b9bbb762c95acf.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据治理的内核:元数据管理

用户头像
Taylor
2022-09-03

数字化在落地层面的核心在于数据治理,数据治理的核心基石在于元数据的管理。本文尝试从元数据管理的价值,产品,技术角度展开讨论。

https://static001.geekbang.org/infoq/3e/3e2d78b67488ed4e618fbd1b900b5520.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

自动化元数据管理的“七宗最”?

用户头像
雨果
2022-08-22

1、数据质量:有了自动化,数据质量得到了系统的保证,数据管道被无缝地治理和操作,使所有涉众受益。实时识别集成数据源或目标内的数据问题和不一致性,通过增加洞察或修复的时间来提高整体数据质量。在企业兼并重组过程中,为现有结构的定期维护映射、移动

https://static001.geekbang.org/infoq/3e/3e2d78b67488ed4e618fbd1b900b5520.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

哪些数据被纳入元数据管理的范畴?

用户头像
雨果
2022-08-18

元数据管理到底管理哪些数据?常见的元数据管理包括以下六种数据:

https://static001.geekbang.org/infoq/f6/f6aea6796d92363694da324553ac31b5.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

你可能不知道,自动化元数据管理的“七宗最”?

用户头像
雨果
2022-08-18

1、数据质量:有了自动化,数据质量得到了系统的保证,数据管道被无缝地治理和操作,使所有涉众受益。实时识别集成数据源或目标内的数据问题和不一致性,通过增加洞察或修复的时间来提高整体数据质量。在企业兼并重组过程中,为现有结构的定期维护映射、移动

https://static001.geekbang.org/infoq/d7/d77d7301adb49038dc14245bf1b8c645.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

2min 速览:从设计、实现和优化角度浅谈 Alluxio 元数据同步

用户头像
Alluxio
2022-08-18

本期分享的题目是Alluxio元数据和数据的同步,从设计实现和优化的角度进行讨论

数据治理体系演进简介

用户头像
网易数帆
2022-08-05

网易内部如严选、云音乐、传媒等数据团队对数据内容体系的治理思路都是将治理规范融入到开发过程中,将治理的动作提前,这其实就是“开发治理一体化”;事后依赖数据资产健康评估和治理工具进行数据的治理,建立事前加事后的数据治理体系。

面向大数据存算分离场景的数据湖加速方案

用户头像
Baidu AICLOUD
2022-07-29

数据湖的存算分离,优势和挑战并存。其中的关键技术有哪些,如何选择合适的的解决方案,推荐大家读一读这篇文章。

https://static001.geekbang.org/infoq/51/51e9858e9e4220fc272c3b7bcafada08.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

什么是主动元数据?为什么 Gartner 预测它是元数据管理的新方向

用户头像
雨果
2022-07-15

导读:Gartner用主动元数据市场指南取代元数据管理魔力象限,预示着什么?到底什么主动元数据管理?欢迎聪明的读者自己去文中探索。

https://static001.geekbang.org/infoq/c1/c1833a44ddc9eda366ec5bb5d1e460a4.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

字节跳动一站式数据治理解决方案及平台架构

更多技术交流、求职机会、试用福利,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

HDFS 细粒度锁优化,FusionInsight MRS 有妙招

华为云FusionInsight MRS通过FGL对HDFS NameNode锁机制进行优化,有效提升了NameNode的读写吞吐量,从而能够支持更多数据,更多业务请求访问,从而更好的支撑政企客户高效用数,业务洞见更准,价值兑现更快。

手绘图解 java 类加载原理

这也许是全网”最大“、”最细“、“最深”的java类加载原理图解了。

https://static001.geekbang.org/infoq/e5/e527d772041d73fde7453744cab3bb37.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

极光笔记 | 极光基于元数据驱动数据治理浅谈

用户头像
极光JIGUANG
2022-05-16

本文章主要分享一下在极光数据治理过程中,对于元数据起到的作用的一些思考和经验总结

数据标准在网易的实践

用户头像
网易数帆
2022-05-11

在生活中,标准与我们息息相关,吃的食品需要满足国家标准才能食用,汽车排放达标才能够上路行驶,电脑接口得满足统一的标准才能够与外设对接等等。而在数据的世界,数据标准也同等重要。我们期望将数据标准真正应用到实践中去,帮助客户解决资产化不足、数据

https://static001.geekbang.org/infoq/d2/d26523a347b38042ff698052cbdf53f4.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

NFT 智能合约中的元数据(Metadata)

用户头像
devpoint
2022-05-10

如何在智能合约中添加和存储元数据(Metadata)?可以在链上执行此操作,也可以在 IPFS 上执行此操作,或者在自己构建的服务器上执行,可以考虑使用 CDN。

https://static001.geekbang.org/infoq/03/036329b7cf25b2317e308ff7b1a633a2.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

TASKCTL ETL 作业类型的插件与维护管理

用户头像
TASKCTL
2022-04-15

首先,我们通过一个示意图来了解 TASKCTL 对各种作业类型的调用过程,并理解什么是插件,以及插件的作用。

https://static001.geekbang.org/infoq/ac/ac22f37404e69e255742a65209a89a9d.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

TASKCTL 服务端字符界面的应用系统安装

用户头像
TASKCTL
2022-04-14

一款基于B/S架构的轻量免费企业级ETL任务批量处理工具,关注公众号【TASKCTL】可直接获取产品官方永久使用授权;

浅析 Alluxio 元数据管理的实现原理

“ Alluxio 是世界上第一个用于云分析和人工智能的开源数据编排技术。本文主要介绍了Alluxio元数据管理的两种方案及其实现原理。”

https://static001.geekbang.org/infoq/63/635713f273a2037149f1069774cae8d0.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

TASKCTL 调度服务平台节点管理

用户头像
TASKCTL
2022-04-06

一款基于B/S架构的轻量免费企业级ETL批量任务调度工具,关注公众号【TASKCTL】可直接获取产品官方永久使用授权

https://static001.geekbang.org/infoq/fc/fc221d94e9a781cb535987bcb171080e.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

白话大数据 | 元宇宙来了,但是你了解元数据吗?

用户头像
星环科技
2022-01-12

元数据是对数据的描述,采集企业环境中的各类元数据并统一存储,通过分析元数据,根据业务维度、系统维度等不同维度对数据分类,并梳理出数据和数据之间的关系,让企业不同的员工都能方便地看到自己关心的数据情况,使大数据不再 “暗无天日”。

https://static001.geekbang.org/infoq/20/20a0507e7efa1fc071e1713aaf44746b.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据服务基础能力之元数据管理

用户头像
知了一笑
2021-11-11

定义上说,元数据(Metadata)即描述数据的数据,但是在实际使用的时候,还是存在很多细分的概念,业务层偏向应用端,技术层偏向底层系统的交互和实现,在对性别的描述上都是核心维度。本质上看元数据,介于系统和业务中间,提供双方都能明白的语义和逻辑。

小知识系列: 查询数据库数据的元信息

用户头像
程序那些事
2021-10-13

简介java中数据库的操作相信大家都不陌生,JDK提供了java.sql包来规范对数据库的各种操作。我们最常用的操作就是从数据库的ResultSet中获取数据,其实这个包中还有一个非常有用的类叫做ResultSetMetaData,可以通过这个类来获取查询数据的元信息,一起来看看

https://static001.geekbang.org/infoq/b9/b9c7de04781cc727296f61cfe1ce4ccf.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

「免费开源」基于 Vue 和 Quasar 的前端 SPA 项目 crudapi 零代码开发平台后台管理系统实战之元数据导出导入(十五)

用户头像
crudapi
2021-09-25

本文主要介绍了元数据表单的导出导入功能,可以用于日常元数据表单备份,也可以分享给其他系统进行导入,以达到复用的目标。后续可以利用元数据导出导入功能配置一些常见的业务表单,比如电商、CRM、教育等领域,然后将这些业务表单导出供用户下载和使用。

从 java 注解漫谈到 typescript 装饰器——注解与装饰器

用户头像
zhoulujun
2021-08-07

之前整理过《Java注解(批注)的基本原理》,typescript通过注解添加元数据,然后在装饰器中获取这些元数据,完成对类、类的方法等等的修改,可以在装饰器中添加元数据的支持

元数据_元数据技术文章_InfoQ写作社区