大数据对于数据分析师意味着什么？_砍柴网

首页 > 科技头条 > 新消费 >

大数据对于数据分析师意味着什么？

2014-04-08 02:43

大数据从无人谈及，到现在的大肆炒作，到底什么才是大数据，对于数据分析师，它有意味着什么?本文将为您解答。
以下为译文：
我用Google搜索了一下“Big Data”，得到了19,600,000个结果……而使用同样的词语，在两年前你几乎搜索不到什么内容，而现在大数据的内容被大肆炒作，内容多得让人眼花缭乱。而这些内容主要是来自IBM、麦肯锡和O’Reilly ，大多数文章都是基于营销目的的夸夸其谈，对真实的情况并不了解，有些观点甚至是完全错误的。我问自己…… 大数据之于数据分析师，它意味着什么呢?
如下图所示，谷歌趋势显示，与“网站分析”(web analytics)和”商业智能”(business intelligence)较为平稳的搜索曲线相比，“大数据”(big data)的搜索量迎来了火箭式的大幅度增长。

大数据 – 炒作
Gartner把“大数据”的发展阶段定位在“社交电视”和“移动机器人”之间，正向着中部期望的高峰点迈进，而现在是达到较为成熟的阶段前的二至五年。这种定位有着其合理性。各种奏唱着“大数据”颂歌的产品数量正在迅速增长，大众媒体也进入了“大数据”主题的论辩中，比如纽约时报的“大数据的时代“，以及一系列在福布斯上发布的题为” 大数据技术评估检查表“的文章。

进步的一面体现在，大数据的概念正在促使内部组织的文化发生转变，对过时的“商务智能”形成挑战，并促进了“分析”意识的提升。
基于大数据的创新技术可以很容易地被应用到类似数据分析的各种环境中。值得一提的是，企业组织通过应用先进的业务分析，业务将变得更广泛、更复杂，价值也更高，而传统的网站分析受到的关注将会有所减弱。
大数据 – 定义
什么是“大数据”，目前并没有统一的定义。维基百科提供的定义有些拙劣，也不完整：“ 大数据，指的是所涉及的数据量规模巨大到无法通过主流的工具，在合理的时间内撷取、管理、处理、并整理成为人们所能解读的信息 “。
IBM 提供了一个充分的简单易懂的概述：
大数据有以下三个特点：大批量(Volume)、高速度(Velocity)和多样化(Variety) 。
大批量 – 大数据体积庞大。企业里到处充斥着数据，信息动不动就达到了TB级，甚至是PB级。
高速度 – 大数据通常对时间敏感。为了最大限度地发挥其业务价值，大数据必须及时使用起来。
多样化 – 大数据超越了结构化数据，它包括所有种类的非结构化数据，如文本、音频、视频、点击流、日志文件等等都可以是大数据的组成部分。
MSDN的布莱恩·史密斯在IBM的基础上增加了第四点：
变异性 – 数据可以使用不同的定义方式来进行解释。不同的问题需要不同的阐释。
大数据 – 技术角度
大数据包括了以下几个方面：数据采集、存储、搜索、共享、分析和可视化，而这些步骤在商务智能中也可以找到。在皮特·沃登的“ 大数据词汇表 “中，囊括了60种创新技术，并提供了相关的大数据技术概念的简要概述。
获取 ：数据的获取包括了各种数据源、内部或外部的、结构化或非结构化的数据。“大多数公共数据源的结构都不清晰，充满了噪音，而且还很难获得。” 技术： Google Refine、Needlebase、ScraperWiki、BloomReach 。
序列化 ：“你在努力把你的数据变成有用的东西，而这些数据会在不同的系统间传递，并可能存储在不同节点的文件中。这些操作都需要某种序列化，因为数据处理的不同阶段可能需要不同的语言和API。当你在处理非常大量的记录时，该如何表示和存储数据，你所做的选择对你的存储要求和性能将产生巨大影响。 技术： JSON、BSON、Thrift、Avro、Google Protocol Buffers 。
存储 ：“大规模的数据处理操作使用了全新的方式来访问数据，而传统的文件系统并不适用。它要求数据能即时大批量的读取和写入。效率优先，而那些有助于组织信息的易于用户使用的目录功能可能就显得没那么重要。因为数据的规模巨大，这也意味着它需要被存储在多台分布式计算机上。“ 技术： Amazon S3、Hadoop分布式文件系统 。
服务器 ：“云”是一个非常模糊的术语，我们可能对它所表示的内容并不很了解，但目前在计算资源的可用性方面已有了真正突破性的发展。以前我们都习惯于购买或长期租赁实体机器，而现在更常见的情况是直接租用正运行着虚拟实例的计算机来作为服务器。这样供应商可以以较为经济的价格为用户提供一些短期的灵活的机器租赁服务，这对于很多数据处理应用程序来说这是再理想不过的事情。因为有了能够快速启动的大型集群，这样使用非常小的预算处理非常大的数据问题就可能成为现实。“ 技术： Amazon EC2、Google App Engine、Amazon Elastic Beanstalk、Heroku 。
NoSQL ：在IT行为中，NoSQL(实际上意味着“不只是SQL”)是一类广泛的数据库管理系统，它与关系型数据库管理系统(RDBMS)的传统模型有着一些显著不同，而最重要的是，它们并不使用SQL作为其主要的查询语言。这些数据存储可能并不需要固定的表格模式，通常不支持连接操作，也可能无法提供完整的ACID(原子性—Atomicity、一致性—Consistency、隔离性—Isolation、持久性—Durability)的保证，而且通常从水平方向扩展(即通过添加新的服务器以分摊工作量，而不是升级现有的服务器)。 技术： Apache Hadoop、Apache Casandra、MongoDB、Apache CouchDB、Redis、BigTable、HBase、Hypertable、Voldemort 。
MapReduce的 ：“在传统的关系数据库的世界里，在信息被加载到存储器后，所有的数据处理工作才能开始，使用的是一门专用的基于高度结构化和优化过的数据结构的查询语言。这种方法由Google首创，并已被许多网络公司所采用，创建一个读取和写入任意文件格式的管道，中间的结果横跨多台计算机进行计算，以文件的形式在不同的阶段之间传送。“ 技术： Hadoop和Hive、Pig、Cascading、Cascalog、mrjob、Caffeine、S4、MapR、Acunu、Flume、Kafka、Azkaban、Oozie、Greenplum 。
处理 ：“从数据的海洋中获取你想要的简洁而有价值的信息是一件挑战性的事情，不过现在的数据系统已经有了长足的进步，这可以帮助你把数据集到转变成为清晰而有意义的内容。在数据处理的过程中你会遇上很多不同的障碍，你需要使用到的工具包括了快速统计分析系统以及一些支持性的助手程序。“ 技术： R、Yahoo! Pipes、Mechanical Turk、Solr/ Lucene、ElasticSearch、Datameer、Bigsheets、Tinkerpop 。 初创公司： Continuuity、Wibidata、Platfora 。
自然语言处理 ：“自然语言处理(NLP)……重点是利用好凌乱的、由人类创造的文本并提取有意义的信息。” 技术： 自然语言工具包Natural Language Toolkit、Apache OpenNLP、Boilerpipe、OpenCalais。
机器学习 ：“机器学习系统根据数据作出自动化决策。系统利用训练的信息来处理后续的数据点，自动生成类似于推荐或分组的输出结果。当你想把一次性的数据分析转化成生产服务的行为，而且这些行为在没有监督的情况下也能根据新的数据执行类似的动作，这些系统就显得特别有用。亚马逊的产品推荐功能就是这其中最著名的一项技术应用。“ 技术： WEKA、Mahout、scikits.learn、SkyTree 。
可视化 ：“要把数据的含义表达出来，一个最好的方法是从数据中提取出重要的组成部分，然后以图形的方式呈现出来。这样就可以让大家快速探索其中的规律而不是仅仅笼统的展示原始数值，并以此简洁地向最终用户展示易于理解的结果。随着Web技术的发展，静态图像甚至交互式对象都可以用于数据可视化的工作中，展示和探索之间的界限已经模糊。“ 技术： GraphViz、Processing、Protovis、Google Fusion Tables、Tableau 。
大数据 – 挑战
最近举行的世界经济论坛也在讨论大数据，会议确定了一些大数据应用的机会，但在数据共用的道路上仍有两个主要的问题和障碍。
1.隐私和安全
正如Craig & Ludloff在“隐私和大数据“的专题中所提到的，一个难以避免的危机正在形成，大数据将瓦解并冲击着我们生活的很多方面，这些方面包括私隐权、政府或国际法规、隐私权的安全性和商业化、市场营销和广告……
试想一下欧盟的cookie法规，或是这样的一个简单情景，一个公司可以轻易地在社交网络上收集各种信息并建立完整的资料档案，这其中包括了人们详细的电子邮箱地址、姓名、地理位置、兴趣等等。这真是一件吓人的事情!
2.人力资本
麦肯锡全球研究所的报告显示 ，美国的数据人才的缺口非常大，还将需要140,000到190,000个有着“深度分析”专业技能的工作人员和1.500个精通数据的经理。
寻找熟练的“网站分析”人力资源是一个挑战，另外，要培养自己的真正拥有分析技能的人员，需要学习的内容很多，这无疑是另一个大挑战。
大数据 – 价值创造
很多大数据的内容都提及了价值创造、竞争优势和生产率的提高。要利用大数据创造价值，主要有以下五种方式。
透明度 ：让利益相关人员都可以及时快速访问数据。
实验 ：启用实验以发现需求，展示不同的变体并提升效果。随着越来越多的交易数据以数字形式存储，企业可以收集更准确、更详细的绩效数据。
细分 ：更精细的种群细分，可以带来不同的自定义行为。
决策支持 ：使用自动化算法替换/支持人类决策，这可以改善决策，减少风险，并发掘被隐藏的但有价值的见解。
创新 ：大数据有助于企业创造出新的产品和服务，或提升现有的产品和服务，发明新的商业模式或完善原来的商业模式。
工业领域的增长 ：有了足够的和经过适当培训的人力资源，那些重要的成果才会成为现实并产生价值。

数据分析的机会领域
当“网站分析”发展到“数据智能“，毫无疑问，数据分析人员也工作也应该发生一些转变，过去的工作主要是以网站为中心并制定渠道的具体战术，而在将来则需要负责更具战略性的、面向业务和(大)数据专业知识的工作。
数据分析师的主要关注点不应该是较低层的基础设施和工具开发。以下几点是数据分析的机会领域：
处理 ：掌握正确的工具以便可以在不同条件下(不同的数据集、不同的业务环境等)进行高效的分析。目前网站分析专家们最常用的工具无疑是各类网站分析工具，大多数人并不熟悉商业智能和统计分析工具如Tableau、SAS、Cognos等的使用。拥有这些工具的专业技能将对数据分析人员的发展大有好处。
NLP：学习非结构化数据分析的专业技能，比如社交媒体、呼叫中心日志和邮件的数据多为非结构化数据。从数据处理的角度来看，在这个行业中我们的目标应该是确定和掌握一些最合适的分析方法和工具，无论是社会化媒体情感分析还是一些更复杂的平台。
可视化 ：掌握仪表板的展示技能，或者宽泛点来说，掌握数据可视化的技术是摆在数据分析师面前一个明显的机会(注：不要把数据可视化与现在网络营销中常用的“信息图”infographics相混淆)。
行动计划
在大数时代，其中一个最大的挑战将是满足需求和技术资源的供给。当前的“网站分析”的基础普遍并不足够成熟以支持真正的大数据的使用，填补技能差距，越来越多的“网站分析师”将成长为“数据分析师”。
via:大数据观察 译者：Jeff Chan 原作者：Stephane Hamel

共有评论0条

相关推荐
注水还是被注水，马蜂窝事件需要透过现象看本质
触达用户、降低成本，企业如何站在云计算的肩膀上？
隐私数据泄露 大数据杀熟 AR/VR带来新网络安全挑战
Facebook 们要学会玩一场「无限游戏」
数据核战争
本周投资、上市和并购共172起事件，涉及总金额170.40亿元人民币
《2017年出境游总结报告》 短途高频、深度体验成出境游趋势
拒绝“宰客雪乡”，但你没法拒绝火爆的冰雪市场
11月共48家中企完成IPO，搜狗苦熬多年终上市
400亿播放真实只有100亿？视频刷量与真实数据的“较量”
震惊！亚马逊服务器泄露47GB医疗数据，15万病人信息面临曝光
狼性华为：吞噬一切数据
折腾完手机，印度又对阿里下手了，UC或要遭殃
华为腾讯数据之争：谁动了谁的奶酪？
为何数据的好坏将决定深度学习的未来？
影视剧生产同比增长8.6%，古装、玄幻、惊悚退潮，正能量受追捧
2017上半年数字营销：越成长 越烦恼？
15个月后，直播的泡沫破了
6% 的水军刷了 90% 的量，脱完水的大明星究竟还有几分红？
UC大数据：“小确丧”是年轻人对困境的温和反击
摩拜和ofo到底哪家强？谁都别闹，我们用数据来说话
如今的好设计还是离不开数据的支持
成功的PMP不仅需要独家性，更需要数据支持
美拍发布行业首份《短视频达人发展趋势报告》
万字长文：从产品模式到核心资产，创业公司如何快速进化？
同样一条信息流广告，为什么别人点击率是你的12.8倍？
ofo市占率52%，已完成了对摩拜的“技术性击倒”
世界上最有价值的资源不再是石油 而是“数据”
盘点新三板12个“第一”：最高负债2000亿，净利增速最高3897.15%
全国各省新三板实力大比拼，这里有一份超详细的成绩单
人民网2016年盈利2.06亿，广告宣传收入为6.42亿
2017年1-3月中国电视广告效果评估排行榜
短视频平台梯队固化，秒拍，快手和头条胜算几何？
银行业互联网化转型困境：来势汹汹 步伐缓慢
62起投融资，近一半公司来自帝都，来看下教育行业有多火
过去一年，国内广告营销类上市公司都过的怎么样？
IPO才是救命药，它让17家新三板公司“起死回生”！
报告:数据告诉你“新北漂”真相
数据来说话！人力资源技术行业越来越值得投资了
量化VR移动基准，VRMARK新标准
一月基金募集遇冷，数量与规模双双回落
今年VR何去何从？从业者如何选择
优信二手车公布车源数据 称在周期性库存最低点被抹黑
二手车电商陷数据造假风波 盈利先靠“喊”？
人人都盯着耶伦，但这个数据或许才是关键
被指广告数据造假：Facebook引入独立机构审查监督
一大波数据告诉你，小米的问题出在哪里，以及 OPPO、vivo 怎么就崛起了
数据说话：共享单车血拼融资，产能过剩谁来买单？
竟有人“同时在22家小贷平台借款”，互通征信数据已成为共识
在以数据为核心的互联网“下半场”，普通创业者恐怕连登场机会都没有
借助数据征信，印度网贷游走在传统金融机构的罅隙之间
京东12G用户信息外泄，数据也是一门生意
追促销、爱大牌，这份农村电商报告透露了些有趣的数据
数据如何成为企业未来的商业资产？
1207亿元背后：阿里数据生态首度曝光
5组数据、2个维度 ，告诉你为什么“留存为王”
马云：数据是企业做互联网金融的关键
现场围观阿里双十一24小时：三份数据，以及两份疑问
关于天猫双11，你需知道的11个数据：2.5小时破500亿！
人人车为何频传被合并：玩数据把自己玩坏了
做电商必须知道重要的数据是什么？
iPhone6被黑遭锁定勒索，黑客叫嚣没动数据不是犯罪
杭州创业热度最强？数据显示持续两年超越北京上海
当直播为数据和刷量所累，好的内容会被淡忘
中国网民总数已达7.1亿.年龄低于10岁网民超2059万
工行前董事长：未来成功银行一定善于解读数据
另类盘点苹果数据中心：它们究竟耗费多少水？
机器人抢不走哪些饭碗？权威数据告诉你！
对于全球第二大互联网市场“新”印度，你应该了解的一些数据
用数据告诉你，科技行业是否在经历一场泡沫？
京东交618答卷：订单量过亿 当日移动端订单占比达85%
分析师看空苹果：再不降价小心被挤出中国市场
微软收购领英，一个愿买一个愿卖
一家数据两份排名 手机市场榜单又打架？
苹果服务业务价值被严重低估
神州专车市场份额四成?醉人数据背后的猫腻
别让“大数据”变成“大忽悠”
上线100天，看滴滴代驾怎么玩数字游戏
8月上海P2P成交总量相对较低
人工智能介入人类社交，这样真的好吗？
担心数据被其他国家拦截？那就避开他们好了
大数据：助推O2O行业发展的新引擎
未来可穿戴设备是怎样的？这五大方向值得思考
人民日报：关于苹果，果粉不知道的数据
安卓手机重置后仍留有大量用户隐私数据
从财务数据看苹果和微软之间的差别
如何不被互联网击败,大数据是答案？
TalkingData数据报告 车轮查违章违章车险类第一
科技公司如何利用数据让用户习惯成瘾？
传欧盟和美国将达成个人数据分享协议,旨在反恐
数据显示，美国消费者开始逐步接纳大屏手机
云端翻译大数据会是新的翻译技术革命吗?
黑盒里的数据：马化腾所说的“信息能源”指什么？
迪蒙网贷系统：P2P平台引入大数据征信解风控之渴
晶赞梁信屏：大数据应用提升市场决策效率
“当数百万人的死亡仅仅只是个统计数据”：大数据削弱人们的同理心
"创先机，赢未来” 中商联只为做大数据时代的伯乐
我国将公民信息统一管理，利用大数据助阵治安防控
Twitter将自营数据业务 结束和DataSift的合作
电商涉足P2P背后的逻辑，大数据是最可靠的风控依据
日货真的完美？以数据说话谈精品国货
米粉节数据解读：小米仍是一家低端手机企业
博客社交已垂死挣扎,数据社交或许是个新方向
大数据时代，女性健康管理APP是如何吸引女性来消费的
大数据国家战略还需跨过几道坎？
不只是Hadoop：大数据技术的未来道路
大数据：在信息的海洋里寻找洞见
十张图告诉你未来的数据大世界是怎样的
大数据时代，你的个人信息还安全吗？
大数据移动不动产，人人都是产品经理
2014年手游行业发展数据报告出炉：安卓用户付费并不逊于IOS
大数据时代如何治理骚扰电话？
移动互联网风起云涌，网络运营何去何从
高德和百度地图渐行渐远 底层数据或是未来之争
大数据：对于穹顶之下的环保有何价值
微瑞大数据——美甲如何绕指柔？
电商粉丝数据全解析：电商之争鹿死谁手？
分析师：供应商不必对苹果建新厂感到恐慌
2014年Q4移动行业数据报告：安卓用户青睐休闲游戏
大数据将对网络诈骗产生威慑力！
数据：全球手机季度出货量首破5亿 苹果市场份额第二
大数据时代下 又一数据型服务公司simplyBrand获数百万美元投资
你造吗？90%的数据泄漏是可以避免的
是大数据还是“大忽悠”
未来，你在网上的一举一动都能“变现”
云加密管不管用：两点看经过加密的数据是否更安全
反思"外滩踩踏事故"：大数据能做些什么？
看完你就牛了！2014年大数据行业深度梳理总结
为什么说大数据决定P2P网贷的未来？
大数据，不仅仅是大而已
再造新浪，大数据时代的战略转型
Android 5.0：谷歌在数据和设计间的平衡
电商刷数据，今日最高峰明朝新常态
数据是诚实的：地图推O2O商业化，时机并不成熟
大数据如何成为“智能数据”
从月销量数据探品牌旗舰机销量究竟如何
大数据已成热潮，但还未触及真正的灵魂
脉脉与微博纠纷背后被践踏的用户尊严
大数据告诉你，什么样的毕业生进了人民日报
迷失在数据堆里的中国企业
数据解读解读小米华为三星舆论战
微信将沦为淘宝，刷数据反作弊对抗战无休无止
公开公众号数据，微信正在走向微博化?
小米“数据造假”虚构火爆，雷军光环还能发热几何?
大数据时代，媒体的未来路在何方？
苹果的核心数据完胜微软
主动访问用户数据的背后是品牌战略
邮储银行行长吕家进：银行要主动拥抱大数据
易观数据再遭质疑 为巨头屡次挺身而出
大数据未来将走向何方？
移动视频战，爱奇艺数据暴跌
数据光鲜的暴风影音早已沦为本地播放器
路由器实现智能家居，谁为数据买单？
告诉你怎么甄别微信公共号数据
社区和数据才是耐克的未来
你知道互联网背后这些惊人的数据吗？
客户如何看营销数据及隐私问题？
六个数据告诉你新浪微博值多少钱
谁将成为拯救电影的那个对的人

<返回

<返回首页

Copyright CmsTop.com
2025年12月18日 21:16:14