个人如何开发大数据分析，如何进行大数据分析及处理

本文目录一览

1，如何进行大数据分析及处理
2，如何成为一个大数据开发工程师
3，如何进行大数据分析及处理
4，个人如何用大数据
5，大数据开发难不难学

1，如何进行大数据分析及处理

首先你要明确你的数据分析处理的目的是什么，也就是你想通过数据处理发现些什么或者验证什么假设，根据你的目的同时可以确定采用什么大数据分析的方法其次是根据你的目的来有目的的进行数据的选择和加工整理，既然你问的如何进行大数据分析，那么肯定是已经有了大量的数据，根据目的和采用的方法从你的大数据中选择能够达成目的的指标数据，进行整理加工最后一步就是将整理好的数据用大数据分析工具进行分析

如何进行大数据分析及处理

2，如何成为一个大数据开发工程师

大数据工程师有多种解释，一种是用大数据的，就是data scientist这种。　　1.建立数据平台、2. 实现产品中依赖数据的部分、3.通过数据对具体问题进行调查分析、4.建立模型支持公司的决策。每一个Data Scientist都有不同的侧重点，但平均来说工作量大概各占1/4。　　一种是开发大数据平台的，就是平台开发工程师，比如写hadoop，hive的某个组件的工程师。工程师的技术要求是比较全面的，除了最基础的编程语言（C语言/C++/JAVA等）、数据库技术（SQL/ORACLE/DB2等）、.NET平台技术、C#、C/S B/S程序开发，还有诸多如JAVA SCRIPT、AJAX、HIBERNATE、SPRING、J2EE、WEB SERVICE、STRUTS等前沿技术。　　你问的很笼统，ITjob网上有相关介绍，可以看看自己到底是要选择哪条路，毕竟两个的方向还是有些差距的，可以结合自身情况，看更符合哪一个吧。

如何成为一个大数据开发工程师

3，如何进行大数据分析及处理

1. 可视化分析。大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。2. 数据挖掘算法。大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。3. 预测性分析。大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。4. 语义引擎。非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。5.数据质量和数据管理。大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。6大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

如何进行大数据分析及处理

4，个人如何用大数据

首先是需要有数据，然后基于数据的特征做分析处理。个人的问题可能是没有大数据源，以及没有财力购买大数据分析工具。譬如有大量的股票的价格信息可以做股票分析和预测，如果有房价数据（当然是一直在涨。。。），可以看看一年中合适的出手时机。总之，一要看需求，而要看数据，三要结合工具。工具推荐免费的Hadoop等大数据工具，配合另外一些开源分析软件，但对个人挑战大。如果中小型企业，可以使用永洪科技的大数据BI。以后可能会有大数据在线分析平台，个人可能会有更多应用可用。

首先是需要有数据，然后基于数据的特征做分析处理。个人的问题可能是没有大数据源，以及没有财力购买大数据分析工具。以个人为中心的大数据有这么一些特性：1-数据仅留存在个人中心，其它第三方机构只被授权使用（数据有一定的使用期限），且必须接受用后即焚的监管。2-采集个人数据应该明确分类，除了国家立法明确要求接受监控的数据外，其它类型数据都由用户自己决定是否被采集。3-数据的使用将只能由用户进行授权，数据中心可帮助监控个人数据的整个生命周期。展望过于美好，也许实现个人数据中心将遥遥无期，也许这还不是解决个人数据隐私的最好方法，也许业界对大数据的无限渴求会阻止数据个人中心的实现，但是随着数据越来越多，在缺乏监管之后，必然会有一场激烈的博弈：到底是数据重要还是隐私重要；是以商业为中心还是以个人为中心。

5，大数据开发难不难学

大数据开发，难点有以下4个阶段：1、数据采集数据采集有线上和线下两种方式，线上一般通过爬虫、通过抓取，或者通过已有应用系统的采集，在这个阶段，我们可以做一个大数据采集平台，依托自动爬虫(使用python或者nodejs制作爬虫软件)，ETL工具、或者自定义的抽取转换引擎，从文件中、数据库中、网页中专项爬取数据，如果这一步通过自动化系统来做的话，可以很方便的管理所有的原始数据，并且从数据的开始对数据进行标签采集，可以规范开发人员的工作。并且目标数据源可以更方便的管理。数据采集的难点在于多数据源，例如mysql、postgresql、sqlserver 、 mongodb 、sqllite。还有本地文件、excel统计文档、甚至是doc文件。如何将他们规整的、有方案的整理进我们的大数据流程中也是必不可缺的一环。2、数据汇聚数据的汇聚是大数据流程关键的一步，你可以在这里加上数据标准化，你也可以在这里做数据清洗，数据合并，还可以在这一步将数据存档，将确认可用的数据经过可监控的流程进行整理归类，这里产出的所有数据就是整个公司的数据资产了，到了一定的量就是一笔固定资产。数据汇聚的难点在于如何标准化数据，例如表名标准化，表的标签分类，表的用途，数据的量，是否有数据增量?，数据是否可用? 需要在业务上下很大的功夫，必要时还要引入智能化处理，例如根据内容训练结果自动打标签，自动分配推荐表名、表字段名等。还有如何从原始数据中导入数据等。3、数据转换和映射经过数据汇聚的数据资产如何提供给具体的使用方使用?在这一步，主要就是考虑数据如何应用，如何将两个?三个?数据表转换成一张能够提供服务的数据。然后定期更新增量。经过前面的那几步，在这一步难点并不太多了，如何转换数据与如何清洗数据、标准数据无二，将两个字段的值转换成一个字段，或者根据多个可用表统计出一张图表数据等等。4、数据应用数据的应用方式很多，有对外的、有对内的，如果拥有了前期的大量数据资产，通过restful API提供给用户?或者提供流式引擎 KAFKA 给应用消费? 或者直接组成专题数据，供自己的应用查询?这里对数据资产的要求比较高，所以前期的工作做好了，这里的自由度很高。大数据开发的难点主要是监控，怎么样规划开发人员的工作?开发人员随随便便采集了一堆垃圾数据，并且直连数据库。短期来看，这些问题比较小，可以矫正。但是在资产的量不断增加的时候，这就是一颗定时炸弹，随时会引爆，然后引发一系列对数据资产的影响，例如数据混乱带来的就是数据资产的价值下降，客户信任度变低。

如果自身没有相关基础，确实是需要付出更多的时间精力的，而想要更快地学习掌握大数据，自然需要付出更多的时间精力去钻研。