写点什么

数据处理

0 人感兴趣 · 42 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/4d/4d468209e017481651238833eac94a7d.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

MaxCompute 中如何处理异常字符

在处理数据时,当业务数据同步至MaxCompute后,会产生一些含异常字符的脏数据,比如字段中包含了一个不可见字符,在DataWorks中显示不出来,但在BI界面又会显示成其他字符,影响整体观感。这种情况,通常我们的解法是,将异常的字符洗掉。

https://static001.geekbang.org/infoq/b6/b690b053786239869704a0cde070877d.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

带你走进大数据 | 写给小白的大数据指南

本文将介绍数大数据与数据分析之间的关系,并追溯大数据的发展历史,本文重点内容将介绍大数据有关内容。在当今数字化时代,数据扮演着无比重要的角色。由于硬件设备和软件的发展,产生了海量的数据,挑战着我们处理和理解信息的能力。

https://static001.geekbang.org/infoq/37/37e753c9f8986921a6cc3c99966b0731.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

EMQ& 阿里云 Lindorm 联合方案:解决物联网关键业务场景数据处理难题

集可靠数据通信、边缘清洗、跨区存储与同步、云端汇聚以及数据超融合处理与快速检索于一体的解决方案。

业务系统从阿里云物联网平台获取设备数据的 3 种方案——实践类

在企业IoT业务场景中,往往需要将设备上报到IoT物联网平台的数据进行加工处理,存储到数据库中,以便供业务系统使用。物联网平台提供了3种获取数据的方式:

物联网平台企业版:设备接入实例节点开发实战——实践类

简介: 物联网平台企业版支持用户创建实例,用于设备接入和业务管理。

有了 ETL 数据神器 dbt,表数据秒变 NebulaGraph 中的图数据

数据处理是一大难题,如果你要从一个数据库迁移到另外一个数据库,这个问题一定会出现,只不过是成本高低问题。而本文则讲述了一个神奇的 ETL 工具它是如何处理不同结构的数据。

https://static001.geekbang.org/infoq/c2/c2f7c3eea1876f71d8731aa97b19edf2.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

2023 年汽车行业向好发展,火山引擎 VeDI 助力车企数智转型

目前,火山引擎数智平台VeDI的这套面向汽车行业的营销解决方案,可根据不同汽车企业的多场景业务痛点,进行多款产品自由耦合,并在包括领克汽车等在内的多家头部车企获得实践。

https://static001.geekbang.org/infoq/4f/4f9f30571248a8567ba847e6aa40e6b1.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Java 开发如何通过 IoT 边缘 ModuleSDK 进行进程应用的开发

为解决用户自定义处理设备数据以及自定义协议设备快速接入IOT平台的诉求,华为IoT边缘提供ModuleSDK,用户可通过集成SDK让设备以及设备数据快速上云。

https://static001.geekbang.org/infoq/b2/b29062ba7b94d6965fe0de3e5993265a.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据预处理

获取了有用且可靠的数据,但是并不能说明可以直接使用数据,可能还会存在各种各样的问题。经常遇到的数据问题有如下几种:

https://static001.geekbang.org/infoq/5c/5c8eb55ac6d7bd7902c82e0ff0b988ea.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

KVC 原理与数据筛选

KVC在处理简单数据类型时会经过数据封装和拆装并转换为对应的数据类型。通过KVC的特性我们可以在日常使用中更加优雅的对数据进行筛选和处理。优点如下:可阅读性更高,健壮性更好。

数据处理

用户头像
向阳逐梦
2022-10-30

1.AVG() -- 求平均值我们可以求某个字段所有行的平均值,例如:

https://static001.geekbang.org/infoq/f1/f1b9e56160532255ec06c2993e2e404b.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

你会用 Go 语言的 rune 类型吗?

用户头像
王中阳Go
2022-10-19

当我们数据中有中文时,一定要注意rune的处理。

IoT 数据倾斜如何解决——实践类

用户头像
阿里云AIoT
2022-09-30

在开发实时Flink任务的时候,可能会出现任务业务延时较高,超出预期的时间范围,导致数据无法及时正确产出的情景。比如摘要介绍的数据倾斜场景。这个时候就要从多个维度对任务进行调优。下面将介绍实时任务调优的一些方法。

https://static001.geekbang.org/infoq/a7/a707ea33d6be9997c0eb478e7267b324.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

上证数据可视化分析展示 - 数据分析学习笔记 -2

继续用清林情报分析师软件工具研究数据,这次从网站上下载了一份上证上市公司数据,希望利用工具分析出目前全国各地上市公司的分布情况,时间趋势等,通过数据分析出全国各地经济发展的大致情况。

https://static001.geekbang.org/infoq/41/41b28722f3777bdb0d62139d253f06db.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

全国超市区域分布分析 - 数据分析学习笔记 -1

我平时工作总和数据打交道,但是不会SQL、也不懂开发语言,最近几年,大家都说python好用,不过我是对代码、字母什么的一点不来电,怎么也看不明白,原来就一直用excel,随着商业数据可视化工具的发展,分析处理数据的时候,确实比之前更直观了,做一些数据的

DCM:一个能够改善所有应用数据交互场景的中间件新秀

几乎所有涉及应用数据交互的场景都可以通过DCM来改善应用结构,提升开发与计算效率。

开发者玩转机器学习不能错过的 15 篇深度文章!

机器学习平台PAI是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务。

带你聚焦 GaussDB(DWS) 存储时游标使用

游标是一种数据处理方法,提供了在查询结果集中进行逐行遍历浏览数据的方法,也可以将游标当做上下文区域的句柄或者指针,借助游标对指定位置的数据进行查询与处理。

Spark SQL 字段血缘在 vivo 互联网的实践

字段血缘可以很好的帮助我们了解数据生成的处理过程,在探索中我们发现了可以通过Spark的扩展来优雅的实现这一功能

全面解析云智慧数据中心统一运管解决方案

云智慧 DCIM 以提高数据中心 ROI 为最终目标,保障数据中心业务连续性为阶段目标,由专业研发团队设计、开发,以场景关联人员周期、资产生命周期、管理周期三环,提供企业“人、事、物”综合管理的能力。

https://static001.geekbang.org/infoq/82/82311d27ea94e9df0f7930f05bf566b4.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

消息复杂计算的抽象和简化

本文将介绍手淘客户端消息数据计算的问题与解决方案。

云图说丨初识数据工坊 DWR

数据工坊DWR是一款近数据处理服务,通过易用的工作流编排和开放生态的数据处理算子,能够在云上实现图像、视频、文档、图片等数据处理业务。

https://static001.geekbang.org/infoq/db/db0ddf35361f8a138d1f50785505402c.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据分析从零开始实战,Pandas 读取 HTML 页面 + 数据处理解析

用户头像
老表
2021-11-29

前面三篇文章讲了数据分析虚拟环境创建和Pandas读写CSV、TSV、JSON、Excel、XML格式的数据,今天我们继续探索Pandas,如何利用Pandas读取HTML页面+数据处理解析。

https://static001.geekbang.org/infoq/99/9908421576ed8fdcd18737178de86f34.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

智能运维之日志语义异常检测

# 技术黑板报 # 第五期-云智慧智能研究院着眼于运维人员在日志分析方面所面临的问题与实际需求,以日志语义异常检测为切入点,进行了相关的分析与实验。对在智能运维中如何进行日志分析,给出了基于日志语义异常检测的答案。

最小二乘法,了解一下?

​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​摘要:最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。最小二乘很简单,也在业界得到了广泛使用。

如何实现 70% 丢包下音视频的高可用 - 数据篇

用户头像
ZEGO即构
2021-07-20

基于卓越的自研音视频引擎,即构科技实现了超低时延的多路音视频通信和优异的音频体验。通过深度优化音视频数据处理、传输策略和音视频信令服务,让音视频服务在各种环境下保持超高的可用性和优良的体验。

数据处理_数据处理技术文章_InfoQ写作社区