写点什么

数据采集

0 人感兴趣 · 21 次引用

  • 最新
  • 推荐

大数据采集和常见问题

用户头像
数据社5 月 31 日

大家好,我是一哥,今天给大家讲解一下大数据面试中对于数据采集部分的一些问题。

对于数据,科技小白提出了灵魂三问:从哪儿来?到哪儿去?能干什么?

​​​​摘要: 作为科技圈小白,经常被数据搞得头晕脑胀,数据打哪儿来?到哪儿去?能干什么?那么多数据怎么区分谁有用谁没用?今天这篇文章,小编就带你查一查数据采集技术的水表。

https://static001.geekbang.org/infoq/77/7761652cc18ab146b832bfc55af0fb4f.png?x-oss-process=image/resize,w_416,h_234

浅谈一个优秀的 Android SDK 需要具备哪些要点

从事 Android 研发的工作有五年多的时间了,最近两年多的时间一直参与开发和维护神策数据 Android SDK[1]。

中国移动工程师浅析:KubeEdge 在国家工业互联网大数据中心的架构设计与应用

【摘要】 在18年时候,工信部开展了一个叫国家创新发展工程,这个工程中提出了要建立一个国家工业大数据中心,中国移动在其中承担了边缘协同与数据采集相关功能的研发。本文将从该项目背景下面临的问题与挑战、技术选型等方面进行阐述。

如何使用 ClickHouse 实现时序数据管理和挖掘?

ClickHouse是一个高效的开源联机分析列式数据库管理系统,由俄罗斯IT公司Yandex开发的,并于2016年6月宣布开源。本次文章将详细解读京东城市时空数据引擎JUST是如何使用ClickHouse实现时序数据管理和挖掘的。

如何通过 Serverless 轻松识别验证码?

那么人工智能领域中的验证码识别与 Serverless 架构会碰撞出哪些火花呢?本文将通过 Serverless 架构和卷积神经网络(CNN)算法,实现验证码识别功能。

推陈出新,一步到位,智慧水务这么用效率翻倍

用户头像
一只数据鲸鱼2020 年 12 月 30 日

城市给水系统是城市公用事业的重要组成部分,也是城市总体规划的组成部分。城市给水系统关系到城市居民的正常生活,工业的正常生产和其它方方面面的运作,它是一个城市能否正常运转和发展的重要保障。城市给水系统通常由水源 、输水管渠、水厂和配水管网组成

组态软件特征分析!同样都是拖拉拽,为什么别人的页面这么好看?

用户头像
一只数据鲸鱼2020 年 12 月 22 日

组态软件是自动控制系统监控一级的软件平台和开发环境——数据收集和过程控制的专用软件,它使用灵活的组态方式,为用户提供通用级别的软件工具,快速构建行业自动控制系统监控功能。

https://static001.geekbang.org/infoq/7e/7e2906891c6e10af44599ee0316abb02.jpeg?x-oss-process=image/resize,w_416,h_234

前嗅教你大数据:常见的网站反爬策略与解决方案

用户头像
前嗅大数据2020 年 11 月 27 日

本文总结了常见的五种代理IP的反爬策略以及解决方案。 前嗅ForeSpider数据采集引擎根据网站常见的几种反爬策略,研发了对应解决的设置,用户在使用过程中可以针对不同反爬,进行对应的设置。

https://static001.geekbang.org/infoq/7e/7e2906891c6e10af44599ee0316abb02.jpeg?x-oss-process=image/resize,w_416,h_234

如何在 ForeSpider 数据采集器中设置代理 IP

用户头像
前嗅大数据2020 年 11 月 24 日

作者 | 前嗅 来源 | 前嗅大数据(www.forenose.com)

https://static001.geekbang.org/infoq/7e/7e2906891c6e10af44599ee0316abb02.jpeg?x-oss-process=image/resize,w_416,h_234

前嗅教你大数据——什么是代理 IP?

用户头像
前嗅大数据2020 年 11 月 19 日

作者 | 前嗅 来源 | 前嗅大数据(www.forenose.com)

https://static001.geekbang.org/infoq/b5/b5357a2b7fddb7d017031e71d34e0f5a.jpeg?x-oss-process=image/resize,w_416,h_234

共享内存原理与 VCS 监控采集实战

用户头像
vivo互联网技术2020 年 9 月 17 日

共享内存广泛用于Redis,Kafka,RabbitMQ 等高性能组件中,本文主要提供一个共享内存在广告埋点数据采集的实战场景。

从 0 到 1 搭建大数据平台之数据采集系统

用户头像
数据社2020 年 8 月 4 日

关于从0到1搭建大数据平台,之前的一篇博文《如何从0到1搭建大数据平台》已经给大家介绍过了,接下来我们会分步讲解搭建大数据平台的具体注意事项。

https://static001.geekbang.org/infoq/c8/c8ccad48a9b6aa24e746f92fb6beda18.jpeg?x-oss-process=image/resize,w_416,h_234

大厂经验(4):iOS 端埋点自动采集技术原理剖析

用户头像
DeeperMan2020 年 7 月 28 日

本系列第一篇内容——大厂经验(1):一套 Web 自动曝光埋点技术方案

https://static001.geekbang.org/infoq/e9/e99bc0304a487b14e0160f4e38466554.jpeg?x-oss-process=image/resize,w_416,h_234

大厂经验(3):Android 端埋点自动采集技术原理剖析

用户头像
DeeperMan2020 年 7 月 6 日

本文主要定位为对Andorid端内部自动采集技术的原理剖析。

https://static001.geekbang.org/infoq/03/0372c99da452f3a0a95d6392aa2dccbc.jpeg?x-oss-process=image/resize,w_416,h_234

大厂经验(1):一套 Web 自动曝光埋点技术方案

用户头像
DeeperMan2020 年 6 月 4 日

介绍一套Web自动曝光埋点技术方案

数据采集_数据采集资料文章-InfoQ写作平台