首页 > 科技头条 > 创投圈 >

举个栗子：AI中的数据清洗为何重要?

2017-09-29 20:16

从商业模式来说，人工智能的相关企业有三种：第一种是提供人工智能技术的公司，比如机器视觉、NLP等等；第二种是将人工智能与具体行业应用结合的公司，比如fintech、人工智能医疗、无人驾驶等等。而还有一种最容易被遗忘：为人工智能行业服务的公司。
飞速发展的人工智能产业，很容易让人看到技术售卖和行业迭代中的商业潜力。无论是巨头还是新晋独角兽，显然都在尽力提速，生怕掉队。但如此高的产业发展速度，事实上也催生了大量新的需求。这就像汽车的发展虽然盘活了交通运输，同时也催生了修车业的海量工作机会。
对于人工智能来说，这一类的机会有很多，比如说：数据清洗。
熟悉大数据的朋友应该对数据清理不会陌生，而在以机器学习为主要手段的AI爆发中，数据清洗也有了更重要的价值和愈发丰富的刚性需求。
很多AI创业者，可能忽略了这一环节带来的成本负荷和产能影响。
什么是数据清洗
按照惯例，咱们还是先来简单介绍一下什么是数据清洗。
数据清洗(Data cleaning)是大数据生产过程中的必须环节。我们知道，大数据发生效用来自于数据仓库对大数据的吞吐。但假如输入了错误或者无效的数据，那么输出时就会影响效果、产生误差，甚至造成bug。这些无效和错误的数据，被称为“脏数据”。而数据清洗顾名思义，就是要用各种手段把脏数据标记并清理出来。
数据清洗包涵多种目标和手段，比如检查数据一致性、处理无效值、识别数据冲突等等。并且整个过程包括多重审查、校验与标注。
我们采访过的很多大数据机构和云服务公司负责人都证实了这样的说法：数据清洗是成本消耗最严重的工作之一。
这项原本就非常吃重的工作，在人工智能潮中地位也跟着水涨船高了
举个栗子：AI中的数据清洗为何重要
在今天的主流AI工程化进程里，机器学习是最广泛使用的技术。而目前机器学习的主要实现手段是监督学习。
所谓监督学习，是由研发者使用已知数据集，让智能体基于标记的输入和输出数据进行推理，从而学习到达成目标的路径，让自己不断“聪明起来”。
理论上来说，智能体学习的数据越多就会越聪明，从而再生产出优质数据进行再学习，这样就可以不断完成自我进化。但这种最优状况，是建立在机器学习的数据都没错的情况下，假如其中混杂了错误数据，那么学习得出的结果显然也是错的。
更重要的是，机器学习想要达成，必须建立在

余下全部

共有评论0条

相关推荐

<返回

<返回首页

Copyright CmsTop.com
2026年04月13日 23:31:46