不只是Hadoop：大数据技术的未来道路

2015-03-31 12:26

在实时数据的世界当中，我们为什么还要执着于Hadoop这一片森林?

作为一套以批量处理为主要诉求的架构方案，Hadoop仍然堪称大数据技术领域的荣耀长子。然而根据451研究集团的调查数据显示，其实际普及效果仍然不及显赫的声誉。
那些已经率先部署了Hadoop解决方案的企业可能希望稍稍放慢自己的前进脚步。伴随着Apache Spark以及其它一系列技术方案的出台(包括Storm、Kafka等等)，我们似乎与Hadoop的批量处理思路渐行渐远、转而踏上了一条真正通往实时性未来的发展道路。
批量并非
Cloudera公司的Doug Cutting是一位极为睿智的技术人员，同时也是一位高产的开源开发者。Hadoop、Lucene以及众多其它大数据事务领域的根本性工具都有他的参与。
尽管Cutting坦言实时流技术的重要性毋庸置疑，但他并不在乎Hadoop这一主要面向批量处理任务的方案，并在与我们的采访邮件当中指出：
这并不是说Hadoop的架构设计不应该针对批量处理，因为批量处理确实非常重要。事实上，批量处理、特别是 MapReduce下的批量处理可谓最理想的起步方案，因为其相对容易实现而且具有重要的实际价值。在Hadoop诞生之前，我们根本没办法利用开源软件在商用硬件基础上存储并处理PB级别的数据。Hadoop的MapReduce帮助技术人员在资源容量领域迈进了重要的一步。
我们很难准确衡量大数据的商品化发展趋势对于整个世界的运作到底起到了怎样重要的作用。在Hadoop诞生之前面，我们面临着无数存储与分析容量方面的难题。在这种情况下，Hadoop让我们以可承受的使用成本拥有了这种关键性能力。
总体而言，Hadoop是大数据民主化进程——或者说“走入寻常企业家”的重要前提。
向数据流处理的转变?
不过要利用大数据获取实际效益仍然非常困难。正如DataStax公司首席倡导者Patrick McFadin在一次采访中所言，从企业数据当中获取实际价值并不像很多人宣扬的那样简便：
我们都听说过PB级别数据在存储与分析领域的投资回报问题。谷歌、雅虎以及Facebook确实在投资回报方面交出了理想的答卷，但遗憾的是众多企业仍然找不到充分分析并运用全部数据的方式。第一：收集全

余下全部

共有评论0条

相关推荐

技术员也来帮苹果卖 iPhone：你的设备过保了升级吧
注水还是被注水，马蜂窝事件需要透过现象看本质
OPPO完成全球首个3D结构光技术的5G视频通话，6个月内实现商用
触达用户、降低成本，企业如何站在云计算的肩膀上？
京东加码技术投入无惧影响利润，刘强东偏执为哪般？
超越以太坊，迅雷要向海外输出中国技术
隐私数据泄露大数据杀熟 AR/VR带来新网络安全挑战
如何让赋能去超BAT的路
一千个人心中有一千个“区块链”，这些误区要避免！
Facebook 们要学会玩一场「无限游戏」
日本记者眼中智能家电的“中国式”进化
给裸背女主“穿”上小黑裙，来了解一下限制级电影镜头的“技术手段”
数据核战争
锯齿防伪：一场持续20年的防伪技术战
本周投资、上市和并购共172起事件，涉及总金额170.40亿元人民币
2018年零售业加快变革，18个最新趋势了解一下
区块链技术：无比锋利的互联网金融“手术刀”
区块链阴阳两面：技术的善意、泡沫的蛰伏
vivo“技术驱动”再提速：vivo X21完成屏幕指纹量产转化
野蛮生长推动下的区块链如何去伪存真
《2017年出境游总结报告》短途高频、深度体验成出境游趋势
明明有技术的OV，为何被贴上了无技术的标签？
拒绝“宰客雪乡”，但你没法拒绝火爆的冰雪市场
11月共48家中企完成IPO，搜狗苦熬多年终上市
400亿播放真实只有100亿？视频刷量与真实数据的“较量”
浙大否认隐身衣: 理论可行但现有技术达不到
马化腾: 过去中企是技术跟随者, 未来要成驱动者
eBay高级副总裁: 数字丝绸之路靠技术革命推动
丁磊: 技术是传播文化的手段, 音乐借助互联网活得更好
通过技术创新，优衣库让人类的“第二层皮肤”更自由
写在程序员日，为什么程序员都喜欢去阿里?
赌技术、赌并购，一出手就40亿，为何他能成功？
赌技术、赌并购，出手就是40亿，为何他能成功？
赌技术、赌并购，出手就是40亿，为何他能成功？
赌技术、赌并购，出手就是40亿，为何他能成功？
创始人不懂技术心慌慌？克服恐惧，学着讲个好故事吧
全面屏先行，手机行业迎来新一轮技术变革
震惊！亚马逊服务器泄露47GB医疗数据，15万病人信息面临曝光
OPPO和vivo受制于三星体现其核心技术的缺乏
全面屏的迅速泛滥体现了国产手机缺乏核心技术
vivo X20疯狂营销，难掩其核心技术缺乏的劣势
看似热闹的零售AR，真正落地还需要解决这些问题
狼性华为：吞噬一切数据
折腾完手机，印度又对阿里下手了，UC或要遭殃
如何评价中国智能手机产业的技术水平？
华为腾讯数据之争：谁动了谁的奶酪？
华为曝光首个AI智能芯片或为麒麟970 人民日报：无核心技术必受制于人
云犀直播融资2000万元：技术才是企业直播第一生产力
为何数据的好坏将决定深度学习的未来？
影视剧生产同比增长8.6%，古装、玄幻、惊悚退潮，正能量受追捧
负债1.28亿英镑，“史上最贵”手机败给了技术短板
2017上半年数字营销：越成长越烦恼？
15个月后，直播的泡沫破了
6% 的水军刷了 90% 的量，脱完水的大明星究竟还有几分红？
UC大数据：“小确丧”是年轻人对困境的温和反击
摩拜和ofo到底哪家强？谁都别闹，我们用数据来说话
如今的好设计还是离不开数据的支持
成功的PMP不仅需要独家性，更需要数据支持
美拍发布行业首份《短视频达人发展趋势报告》
万字长文：从产品模式到核心资产，创业公司如何快速进化？
同样一条信息流广告，为什么别人点击率是你的12.8倍？
ofo市占率52%，已完成了对摩拜的“技术性击倒”
世界上最有价值的资源不再是石油而是“数据”
盘点新三板12个“第一”：最高负债2000亿，净利增速最高3897.15%
离开腾讯3年，身价超过郭台铭，他还把自己当成创业者
全国各省新三板实力大比拼，这里有一份超详细的成绩单
未来5年VR技术有这5大发展趋势软硬件开发商们压力山大
平静异常，蓄力的VR或许不是你见到的那个“VR”
韩国铁路通信已经用上4G，中国用LTE-R需克服“惯性”
两个问题，看透投资
人民网2016年盈利2.06亿，广告宣传收入为6.42亿
2017年1-3月中国电视广告效果评估排行榜
短视频平台梯队固化，秒拍，快手和头条胜算几何？
银行业互联网化转型困境：来势汹汹步伐缓慢
量子点显示成行业指南针，彩电技术多元创新
MindMaze的面部表情技术能提高VR沉浸感吗？
VR 专家警告：我们应关注技术的负面影响
62起投融资，近一半公司来自帝都，来看下教育行业有多火
过去一年，国内广告营销类上市公司都过的怎么样？
IPO才是救命药，它让17家新三板公司“起死回生”！
报告:数据告诉你“新北漂”真相
数据来说话！人力资源技术行业越来越值得投资了
公厕刷脸到共享单车：技术为公地悲剧最优解
不甘、迷茫与痴迷，创业失败后，他们在寻找什么？
移动互联网尾牙，BAT嗅到了技术焦虑的味道
直播告别蛮荒时代新技术成陌陌重要变量
VR体验店要升级?内容，业态，技术一个都不能少
小米到底是一家什么公司？
国产欲进高溢价市场，三大溢价提升之道谁更可取？
量化VR移动基准，VRMARK新标准
一月基金募集遇冷，数量与规模双双回落
今年VR何去何从？从业者如何选择
优信二手车公布车源数据称在周期性库存最低点被抹黑
收割压岁钱的Gabe竟然这么评价VR行业？
二手车电商陷数据造假风波盈利先靠“喊”？
人人都盯着耶伦，但这个数据或许才是关键
被指广告数据造假：Facebook引入独立机构审查监督
国产手机2017大战：这些技术突破会撬动行业格局
一大波数据告诉你，小米的问题出在哪里，以及 OPPO、vivo 怎么就崛起了
中国终于能造圆珠笔头了，但夕阳产业创新更像舍本逐末
回归技术之争，手机行业谁主沉浮？
数据说话：共享单车血拼融资，产能过剩谁来买单？
展望2017年：这些技术将冲击我们的生活
竟有人“同时在22家小贷平台借款”，互通征信数据已成为共识
在以数据为核心的互联网“下半场”，普通创业者恐怕连登场机会都没有
借助数据征信，印度网贷游走在传统金融机构的罅隙之间
大数据建模、实时资金匹配、纯线上获客，一个技术公司的金融服务探索
移动互联红利不再 O2O下半场由技术定成败
京东12G用户信息外泄，数据也是一门生意
追促销、爱大牌，这份农村电商报告透露了些有趣的数据
数据如何成为企业未来的商业资产？
1207亿元背后：阿里数据生态首度曝光
5组数据、2个维度，告诉你为什么“留存为王”
技术都会有故障对自动驾驶搞双重标准是因噎废食
如果《西部世界》成真，技术和认知面临哪些挑战？
马云：数据是企业做互联网金融的关键
没能火起来的智能微投，除了改变消费者认知还得冲破技术瓶颈
现场围观阿里双十一24小时：三份数据，以及两份疑问
关于天猫双11，你需知道的11个数据：2.5小时破500亿！
资本追捧加速VR设备创业，公司却遭遇C端死
人人车为何频传被合并：玩数据把自己玩坏了
做电商必须知道重要的数据是什么？
iPhone6被黑遭锁定勒索，黑客叫嚣没动数据不是犯罪
杭州创业热度最强？数据显示持续两年超越北京上海
当直播为数据和刷量所累，好的内容会被淡忘
未来几十年后，我们将会依靠这些技术生存
冰箱新能效标准来袭三星冰箱凭什么稳坐钓鱼台?
中国网民总数已达7.1亿.年龄低于10岁网民超2059万
工行前董事长：未来成功银行一定善于解读数据
乌云疑云：创始人被捕背后的故事
另类盘点苹果数据中心：它们究竟耗费多少水？
微型机器人用途甚广，但可能沦为恐怖分子的“工具”
彩电业进入新十字路口上半年引爆四场攻坚战
机器人抢不走哪些饭碗？权威数据告诉你！
索尼LCD新旗舰硬扛OLED 自信的秘诀何在？
未来的人工智能作曲将取代周杰伦？
从Zano到昊翔，无人机厂商为何总是雷声大雨点小？
百度是不是停止了进化？
华为的焦虑症：当下的第一，既是荣耀，更是包袱
对于全球第二大互联网市场“新”印度，你应该了解的一些数据
用数据告诉你，科技行业是否在经历一场泡沫？
京东交618答卷：订单量过亿当日移动端订单占比达85%
微软收购领英，一个愿买一个愿卖
没有技术硬实力，VR只能成为虚拟的空中楼阁
一家数据两份排名手机市场榜单又打架？
个性化技术受航空旅客青睐
入华二十年，“索尼大法”如何才能重现辉煌？
国产手机的两条道路：性价比生存？差异化生存？
iPhone 7采用全新芯片封装技术手机更薄更轻
神州专车市场份额四成?醉人数据背后的猫腻
技术万能的时代已经过去，运营、资源正变得越来越重要
别让“大数据”变成“大忽悠”
致O2O创业者：烧钱到穷途才肯回归初心?
金立超级续航 M5 Plus发布有哪些看点？
上线100天，看滴滴代驾怎么玩数字游戏
8月上海P2P成交总量相对较低
人工智能介入人类社交，这样真的好吗？
担心数据被其他国家拦截？那就避开他们好了
大数据：助推O2O行业发展的新引擎
未来可穿戴设备是怎样的？这五大方向值得思考
别开玩笑了，机器不会让人类越来越蠢
航天+：新的社会形态将如何发生？
中国需要超级高铁吗?
人民日报：关于苹果，果粉不知道的数据
人脸识别ATM机来了：这技术真靠谱吗？
安卓手机重置后仍留有大量用户隐私数据
在可预见的未来，《复联2》中的不少技术真有可能实现
从财务数据看苹果和微软之间的差别
爱立信推WiFi语音技术，国际漫游费或无？
如何不被互联网击败,大数据是答案？
TalkingData数据报告车轮查违章违章车险类第一
科技公司如何利用数据让用户习惯成瘾？
传欧盟和美国将达成个人数据分享协议,旨在反恐
数据显示，美国消费者开始逐步接纳大屏手机
“技术狂”索尼，终将被营销打败？
云端翻译大数据会是新的翻译技术革命吗?
黑盒里的数据：马化腾所说的“信息能源”指什么？
是什么支持着高通的技术“垄断”
迪蒙网贷系统：P2P平台引入大数据征信解风控之渴
晶赞梁信屏：大数据应用提升市场决策效率
3D打印的物品不会动，4D打印才是引领未来的技术？
Twitter也看中了beacon技术营销，参与Swirl 1800万美元C轮融资
华为否认侵犯Nubia专利：拍照技术系自主研发
深度解析：轻技术重生态的索尼是如何一步步走向衰败的？
“当数百万人的死亡仅仅只是个统计数据”：大数据削弱人们的同理心
"创先机，赢未来” 中商联只为做大数据时代的伯乐
手机彩票O2O其实只是互联网代购
Google翻译准备纳入粤语，但该技术需要真人协助
保罗·沃克在《速度与激情7》中“复活”,凭靠CG技术
我国将公民信息统一管理，利用大数据助阵治安防控
互联网死了23%，这只是开始
Twitter将自营数据业务结束和DataSift的合作
用互联网思维下乡创业：褚橙潘苹果只是开头
电商涉足P2P背后的逻辑，大数据是最可靠的风控依据
谷歌坐不住：电池技术突破进展太慢！
日货真的完美？以数据说话谈精品国货
米粉节数据解读：小米仍是一家低端手机企业
TE Connectivity：基层技术的创新支撑起物联网的发展。
博客社交已垂死挣扎,数据社交或许是个新方向
微软首席技术官表示，未来版本的Windows有可能开源
雅虎技术大牛为何加盟京东
大数据时代，女性健康管理APP是如何吸引女性来消费的
Meerkat和Periscope等应用会迅速榨干你的流量但这只是阵痛
崔永元加入神奇工场？猛药之后又该如何
大数据国家战略还需跨过几道坎？
计算机视觉技术：茫茫世界找回你的特斯拉
大数据：在信息的海洋里寻找洞见
十张图告诉你未来的数据大世界是怎样的
纳斯达克将为比特币市场提供交易技术
骨传导技术哪家强之韶音&松下PK面面观
大数据时代，你的个人信息还安全吗？
无线充电技术，下一商业爆点！
看过来，SXSW 大会上 5大个焦点技术
大数据移动不动产，人人都是产品经理
2014年手游行业发展数据报告出炉：安卓用户付费并不逊于IOS
大数据时代如何治理骚扰电话？
移动互联网风起云涌，网络运营何去何从
按下葫芦浮起瓢滴滴快的合并只是看上去很美
高德和百度地图渐行渐远底层数据或是未来之争
Force Touch 能否成为苹果产品的一种标配技术？
用红外线充电的新奇技术你期待吗？
指纹传感技术再出花样智能机侧面也可指纹识别
新iPhone或将新增粉色版支持力压触控你期待吗？
大数据：对于穹顶之下的环保有何价值
苹果回应向中国市场提交源代码只是同意产品接受审核
高大上技术富士通展示虹膜解锁原型机
微瑞大数据——美甲如何绕指柔？
电商粉丝数据全解析：电商之争鹿死谁手？
方兴未艾又应用局限，脑电波技术太美太难想
无人驾驶，敢问路在何方？
大V微信红包中奖金额就是大！耍猴技术哪家强？
砍柴君为您揭秘：为何手机电池技术停滞不前
红包大战：微信是主角，支付宝、微博、手Q只是瞎凑热闹
2014年Q4移动行业数据报告：安卓用户青睐休闲游戏
大数据将对网络诈骗产生威慑力！
数据：全球手机季度出货量首破5亿苹果市场份额第二
蜷缩在泡沫里的机器人，最后一次展望它的未来
大数据时代下又一数据型服务公司simplyBrand获数百万美元投资
聊科技：预测2015年手机六大技术趋势
你造吗？90%的数据泄漏是可以避免的
是大数据还是“大忽悠”
王兴分享：资源配置与技术突破均不可辜负
未来，你在网上的一举一动都能“变现”
李彦宏：百度愿牺牲利润率换取技术更长足发展
自动驾驶技术+无人机=新的未来！
云加密管不管用：两点看经过加密的数据是否更安全
反思"外滩踩踏事故"：大数据能做些什么？
看完你就牛了！2014年大数据行业深度梳理总结
技术改变世界：新年出境游笑对语言关
为什么说大数据决定P2P网贷的未来？
大数据，不仅仅是大而已
再造新浪，大数据时代的战略转型
这些技术将会让人长命百岁
Android 5.0：谷歌在数据和设计间的平衡
技术日新月异，游戏侵权已成家常便饭
电商刷数据，今日最高峰明朝新常态
数据是诚实的：地图推O2O商业化，时机并不成熟
宏图三胞并购拉手只是得到空壳一个
大数据如何成为“智能数据”
改头换面不是洗心革面，当当的改变只是笑话
从月销量数据探品牌旗舰机销量究竟如何
运营商联手打车软件注定只是场闹剧？
问题来了，云服务技术哪家好？
从大V到兴趣，微博的垂直商业化道路
天苍苍，野茫茫，挖掘机技术哪家强?
电视游戏终究只是南柯一梦
入口不等于价值，微信商业化道路依旧扑朔迷离
纠结的微信朋友圈里，你只是一个小红点
大数据已成热潮，但还未触及真正的灵魂
脉脉与微博纠纷背后被践踏的用户尊严
MIUI 6，我们只是IOS7的搬运工
MIUI只是UI，请不要神话它
携程所谓的“BATX”概念只是未知数
大数据告诉你，什么样的毕业生进了人民日报
迷失在数据堆里的中国企业
数据解读解读小米华为三星舆论战
一直走在试错的道路上，苏宁已成扶不起的阿斗
康师傅出锅，门户、财新、澎湃“打虎成绩单”如何
微信将沦为淘宝，刷数据反作弊对抗战无休无止
公开公众号数据，微信正在走向微博化?
百度剑指人工智能，打造智能化未来技术根基
小米“数据造假”虚构火爆，雷军光环还能发热几何?
大数据时代，媒体的未来路在何方？
智能手环只是小众产品，可玩票不可深耕
苹果的核心数据完胜微软
主动访问用户数据的背后是品牌战略
大数据赌球正在造就技术的悲剧
邮储银行行长吕家进：银行要主动拥抱大数据
易观数据再遭质疑为巨头屡次挺身而出
智能家居让网络与技术改变生活
大数据未来将走向何方？
玩技术的华为与玩营销的小米，谁才是国产机的未来？
移动视频战，爱奇艺数据暴跌
数据光鲜的暴风影音早已沦为本地播放器
路由器实现智能家居，谁为数据买单？
告诉你怎么甄别微信公共号数据
那些来自未来的技术超乎想象
社区和数据才是耐克的未来
你知道互联网背后这些惊人的数据吗？
客户如何看营销数据及隐私问题？
BAT为何争相开放技术能力?
大数据对于数据分析师意味着什么？
六个数据告诉你新浪微博值多少钱
谁将成为拯救电影的那个对的人

<返回

<返回首页