分布式数据库网站有哪些，除了Hadoop 还有哪些分布式计算平台优势各自是什么

来源：整理时间：2024-04-29 05:52:02 编辑：黑码技术手机版

本文目录一览

1，除了Hadoop 还有哪些分布式计算平台优势各自是什么
2，大数据通用处理平台有哪些itjob
3，云计算平台有哪些
4，网站分布式技术有哪些
5，现在可以免费商用的数据库都有哪些

1，除了Hadoop 还有哪些分布式计算平台优势各自是什么

你首先把现在流行的大数据框架了解清楚，大约有内存数据库，实时流处理，mpp和hadoop，都是分布式平台的，只是侧重点不一样

除了Hadoop 还有哪些分布式计算平台优势各自是什么

2，大数据通用处理平台有哪些itjob

Apache Flink 声明式的数据分析开源系统，结合了分布式 MapReduce 类平台的高效，灵活的编程和扩展性。同时在并行数据库发现查询优化方案。

如果是参数可以从上级单位处取得或者从久其网站下载如果是软件可以以旧换新

搜一下：大数据通用处理平台有哪些，itjob？

大数据通用处理平台有哪些itjob

3，云计算平台有哪些

前途云工作平台有很多用途，主要是针对数据处理，工作团队间的协作交流、文案资料的处理、任务权责职能分配，揽QQ、微博社交工具于一身；集日历、记事本、留言板、协同邮件、空间、助手等功能将工作者的工作实现协同高效，不仅仅是上传下达，还有可以实现人人都可以发言的公平公正工作环境，真的很适合管理层晋升发展的平台。

云计算平台可以划分为3类：以数据存储为主的存储型云平台，以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台云计算平台是云计算时代兵家争夺激烈的地方。1.开源云计算平台（1）AbiCloud（Abiquo公司）AbiCloud是一款用于公司的开源的云计算平台，使公司能够以快速、简单和可扩展的方式创建和管理大型、复杂的IT基础设施（包括虚拟服务器、网络、应用、存储设备等）（2）Hadoop（Apache基金会）该计划是完全模仿Google体系架构做的一个开源项目，主要包括Map/Reduce和HDFS文件系统（3）Eucalyptus项目（加利福尼亚大学）创建了一个使企业能够使用它们内部IT资源（包括服务器、存储系统、网络设备）的开源界面，来建立能够和Amazon EC2兼容的云（4）MongoDB（10gen）MongoDB是一个高性能、开源、无模式的文档型数据库，它在许多场景下可用于替代传统的关系型数据库或键/值存储方式（5）Enomalism弹性计算平台它提供了一个功能类似于EC2的云计算框架。Enomalism基于Linux，同时支持Xen和Kernel Virtual Machine(KVM)。与其他纯IaaS解决方案不同的是，Enomalism提供了一个基于Turbo Gears Web应用程序框架和Python的软件栈（6）Nimbus（网格中间件Globus）Nimbus面向科学计算需求，通过一组开源工具来实现基础设施即服务（IaaS）的云计算解决方案2.云计算平台厂商（1）微软技术特性：整合其所用软件及数据服务核心技术：大型应用软件开发技术企业服务：Azure平台开发语言：.NET（2）Google技术特性：储存及运算水平扩充能力核心技术：平行分散技术MapReduce，BigTable，GFS企业服务：Google AppEngine，应用代管服务开发语言：Python，Java（3）IBM技术特性：整合其所有软件及硬件服务核心技术：网格技术，分布式存储，动态负载企业服务：虚拟资源池提供，企业云计算整合方案（4）Oracle技术特性：软硬件弹性虚拟平台核心技术：Orackle的数据存储技术，Sun开源技术企业服务：EC2上的Oracle数据库，OracleVM，Sun xVM（5）Amazon技术特性：弹性虚拟平台核心技术：虚拟化技术Xen企业服务：EC2、S3，SimpleDB、SQS开发语言：（6）Saleforce技术特性：弹性可定制商务软件核心技术：应用平台整合技术企业服务：Force.com开发语言：Java，APEX（7）EMC技术特性：信息存储系统及虚拟化技术核心技术：Vmware的虚拟化技术，一流存储技术企业服务：Atoms云存储系统，私有云解决方案（8）阿里巴巴技术特性：弹性可定制商务软件核心技术：应用平台整合技术企业服务：软件互联平台，云电子商务平台（9）中国移动技术特性：坚实的网络技术丰富的带宽资源核心技术：底层集群部署技术，资源池虚拟技术，网络相关技术了解更多开源相关，去LUPA社区看看吧。

百度、亚马逊、新浪、亦云等等，楼主是想找企业还是只是了解一下？

微软，谷歌，IBM，Oracle，Amazon，Saleforce，阿里巴巴......等等

云计算平台有哪些

4，网站分布式技术有哪些

分布式软件系统(Distributed Software Systems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、进程通信和系统结构等方面。也可以利用nicebox来进行。分布式程序设计语言用于编写运行于分布式计算机系统上的分布式程序。一个分布式程序由若干个可以独立执行的程序模块组成,它们分布于一个分布式处理系统的多台计算机上被同时执行。它与集中式的程序设计语言相比有三个特点：分布性、通信性和稳健性。分布式文件系统具有执行远程文件存取的能力,并以透明方式对分布在网络上的文件进行管理和存取。

分布式软件系统(distributed software systems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、进程通信和系统结构等方面。分布式程序设计语言用于编写运行于分布式计算机系统上的分布式程序。一个分布式程序由若干个可以独立执行的程序模块组成,它们分布于一个分布式处理系统的多台计算机上被同时执行。它与集中式的程序设计语言相比有三个特点：分布性、通信性和稳健性。分布式文件系统具有执行远程文件存取的能力,并以透明方式对分布在网络上的文件进行管理和存取。分布式数据库系统由分布于多个计算机结点上的若干个数据库系统组成,它提供有效的存取手段来操纵这些结点上的子数据库。分布式数据库在使用上可视为一个完整的数据库,而实际上它是分布在地理分散的各个结点上。当然,分布在各个结点上的子数据库在逻辑上是相关的。---------------分布式数据库系统是由若干个站集合而成。这些站又称为节点，它们在通讯网络中联接在一起，每个节点都是一个独立的数据库系统，它们都拥有各自的数据库、中央处理机、终端，以及各自的局部数据库管理系统。因此分布式数据库系统可以看作是一系列集中式数据库系统的联合。它们在逻辑上属于同一系统，但在物理结构上是分布式的。分布式数据库系统已经成为信息处理学科的重要领域，正在迅速发展之中，原因基于以下几点：1、它可以解决组织机构分散而数据需要相互联系的问题。比如银行系统，总行与各分行处于不同的城市或城市中的各个地区，在业务上它们需要处理各自的数据，也需要彼此之间的交换和处理，这就需要分布式的系统。2、如果一个组织机构需要增加新的相对自主的组织单位来扩充机构，则分布式数据库系统可以在对当前机构影响最小的情况下进行扩充。3、均衡负载的需要。数据的分解采用使局部应用达到最大，这使得各处理机之间的相互干扰降到最低。负载在各处理机之间分担，可以避免临界瓶颈。4、当现有机构中已存在几个数据库系统，而且实现全局应用的必要性增加时，就可以由这些数据库自下而上构成分布式数据库系统。5、相等规模的分布式数据库系统在出现故障的几率上不会比集中式数据库系统低，但由于其故障的影响仅限于局部数据应用，因此就整个系统来讲它的可靠性是比较高的。特点1、在分布式数据库系统里不强调集中控制概念，它具有一个以全局数据库管理员为基础的分层控制结构，但是每个局部数据库管理员都具有高度的自主权。2、在分布式数据库系统中数据独立性概念也同样重要，然而增加了一个新的概念，就是分布式透明性。所谓分布式透明性就是在编写程序时好象数据没有被分布一样，因此把数据进行转移不会影响程序的正确性。但程序的执行速度会有所降低。3、集中式数据库系统不同，数据冗余在分布式系统中被看作是所需要的特性，其原因在于：首先，如果在需要的节点复制数据，则可以提高局部的应用性。其次，当某节点发生故障时，可以操作其它节点上的复制数据，因此这可以增加系统的有效性。当然，在分布式系统中对最佳冗余度的评价是很复杂的。分布式系统的类型，大致可以归为三类：1、分布式数据，但只有一个总? 据库，没有局部数据库。2、分层式处理，每一层都有自己的数据库。3、充分分散的分布式网络，没有中央控制部分，各节点之间的联接方式又可以有多种，如松散的联接，紧密的联接，动态的联接，广播通知式联接等。---------------------什么是分布式智能?ni labview 8的分布式智能结合了相关的技术和工具，解决了分布式系统开发会碰到的一些挑战。更重要的是，ni labview 8的分布式智能提供的解决方案不仅令这些挑战迎刃而解，且易于实施。labview 8的分布式智能具体包括:可对分布式系统中的所有结点编程——包括主机和终端。尤为可贵的是，您可以利用labview图形化编程方式，对大量不同类型的对象进行编程，如桌面处理器、实时系统、fpga、pda、嵌入式微处理器和dsp。导航所有系统结点的查看系统——labview project explorer。您可使用project explorer查看、编辑、运行和调试运行于任何对象上的结点。经简化的数据共享编程界面——共享变量。使用共享变量，您可轻松地在系统间(甚至实时系统间)传输数据且不影响性能。无通信循环，无rt fifo，无需低层次tcp函数。您可以利用简单的对话完成共享变量的配置，从而将数据在各系统间传输或将数据连接到不同的数据源。您还可添加记录、警报、事件等数据服务――一切仅需简单的对话即可完成。实现了远程设备及系统内部或设备及系统之间的同步操作——定时和同步始终是定义高性能测量和控制系统的关键问题。利用基于ni技术的系统，探索设备内部并编写其内部运行机制，从而取得比传统仪器或plc方式下更为灵活的解决方案。 --------------------在分布式计算机操作系统支持下，互连的计算机可以互相协调工作，共同完成一项任务。也可以这么解释:一种计算机硬件的配置方式和相应的功能配置方式。它是一种多处理器的计算机系统，各处理器通过互连网络构成统一的系统。系统采用分布式计算结构，即把原来系统内中央处理器处理的任务分散给相应的处理器，实现不同功能的各个处理器相互协调，共享系统的外设与软件。这样就加快了系统的处理速度，简化了主机的逻辑结构

5，现在可以免费商用的数据库都有哪些

oracle集群oracle rac是业界最流行的产品。其架构的最大特点是共享存储架构（shared-disk），整个rac集群是建立在一个共享的存储设备之上的，节点之间采用高速网络互连。在 oracle rac 环境中，每个 oracle 数据块都被赋予一个（且只有一个）“主”oracle rac 节点。该 oracle rac 节点的全局缓存服务 (gcs) 负责管理对这些数据块集的访问。当其中一个 oracle 节点需要访问某个 oracle 数据块时，它必须首先与该数据块协商。然后，该主节点的 gcs 或者指示请求的 oracle 节点从磁盘中获取该数据块，或者指示该oracle 数据块的当前持有者将被请求的数据块发送到请求节点。oracle 尝试跨所有 rac 节点统一分发该数据块的所有权。在 oracle rac 环境中，数据块大致相等的所有节点都将被指定为主节点。（如果 oracle rac 节点数是 oracle 数据块数的约数，则所有 rac 节点都是具有同样数量的数据块的主节点。）mysql集群mysql cluster和oracle rac完全不同，它采用shared-nothing架构。整个集群由管理节点(ndb_mgmd)，处理节点(mysqld)和存储节点(ndbd)组成，不存在一个共享的存储设备。mysql cluster主要利用了ndb存储引擎来实现，ndb存储引擎是一个内存式存储引擎，要求数据必须全部加载到内存之中。数据被自动分布在集群中的不同存储节点上，每个存储节点只保存完整数据的一个分片(fragment)。同时，用户可以设置同一份数据保存在多个不同的存储节点上，以保证单点故障不会造成数据丢失。mysql cluster的优点在于其是一个分布式的数据库集群，处理节点和存储节点都可以线性增加，整个集群没有单点故障，可用性和扩展性都可以做到很高，更适合 oltp应用。但是它的问题在于：1.ndb存储引擎必须要求数据全部加载到内存之中，限制比较大，但是目前ndb新版本对此做了改进，允许只在内存中加载索引数据，数据可以保存在磁盘上。2.目前的mysql cluster的性能还不理想，因为数据是按照主键hash分布到不同的存储节点上，如果应用不是通过主键去获取数据的话，必须在所有的存储节点上扫描，返回结果到处理节点上去处理。而且，写操作需要同时写多份数据到不同的存储节点上，对节点间的网络要求很高。分布式数据库拆分数据库分片sharding 不是一个某个特定数据库软件附属的功能，而是在具体技术细节之上的抽象处理，是水平扩展(scale out，亦或横向扩展、向外扩展)的解决方案，其主要目的是为突破单节点数据库服务器的 i/o 能力限制，解决数据库扩展性问题。把热度高的数据划分开来，使用配置刚好的硬件，提高访问速度，增强用户体验把不同的用户的数据根据用户的id放到不同的数据库中，不同用户对应的交易数据也跟着到不同的数据库；之后可以把交易完成和正在交易的数据库分开。一个全国经济信息系统，可以按照不同地区把不同数据放到不同数据库中，随着时间增加数据也会越来越大，到时还可以工具年份在重新划分数据库。一个大中型的电子商的电子商务网站一定会遇到数据量巨大的问题，可以根据用户对象或者使用和被使用的数据进行分片。这样避免了在一个库中数据膨胀而带来的瓶颈。在数据库分片时最好分到不同的服务器中，或者不同的存储中，避免磁盘竞争数据库分片存在比较大问题就是人查询或者统计涉及到跨库就比较麻烦。特别是join时如果涉及到多个节点，将非常困难，应该尽量避免。数据库水平分片读写分离读写分离架构利用了数据库的复制技术，将读和写分布在不同的处理节点上，从而达到提高可用性和扩展性的目的。读写分离简单的说是把对数据库读和写的操作分开对应不同的数据库服务器，这样能有效地减轻数据库压力，也能减轻io压力。主数据库提供写操作，从数据库提供读操作，其实在很多系统中，主要是读的操作。当主数据库进行写操作时，数据要同步到从的数据库，这样才能有效保证数据库完整性。quest shareplex就是比较牛的同步数据工具，听说比oracle本身的流复制还好，mysql也有自己的同步数据技术。mysql只要是通过二进制日志来复制数据。通过日志在从数据库重复主数据库的操作达到复制数据目的。这个复制比较好的就是通过异步方法，把数据同步到从数据库。主数据库同步到从数据库后，从数据库一般由多台数据库组成这样才能达到减轻压力的目的。读的操作怎么样分配到从数据库上？应该根据服务器的压力把读的操作分配到服务器，而不是简单的随机分配。mysql提供了mysql-proxy实现读写分离操作。不过mysql-proxy好像很久不更新了。oracle可以通过f5有效分配读从数据库的压力。上面说的数据库同步复制，都是在从同一种数据库中，如果我要把oracle的数据同步到mysql中，其实要实现这种方案的理由很简单，mysql免费，oracle太贵。好像quest shareplex也实现不了改功能吧。好像现在市面还没有这个工具吧。那样应该怎么实现数据同步？其实我们可以考虑自己开发一套同步数据组件，通过消息，实现异步复制数据。其实这个实现起来要考虑很多方面问题，高并发的问题，失败记录等。其实这种方法也可以同步数据到memcache中。听说oracle的stream也能实现，不过没有试过。通过ebay读写分离的结构图，通过share plex 近乎实时的复制数据到其他数据库节点，再通过f5特定的模块检查数据库状态，并进行负载均衡，io 成功的做到了分布，读写分离，而且极大的提高了可用性。目前读写分离技术比较多，比较有名的为amoeba，有兴趣的同学可以研究下。数据库缓存读写分离现在应用非常广泛，特别是时国内外大型网站，都使用的非常多，很多都是自己研发缓存系统，淘宝还开源了tair系统，有兴趣的可以研究下。比较有名的是memcached使用memcached最好的可能算facebook了。通过memcached分担读的操作，把常用的对象数据存储到memcached中，当有读操作过来时先访问memcached如果memcached没有该数据再从数据库获取，同时把数据放到memcached中，下次访问就可以直接访问memcached了。有一次在和一个朋友聊天时他们正在着手在线文档系统架构设计，由于文档访问压力非常大，每次请求数据库也非常大，由于大量的的文档数据在服务端和客户端传输，会经常造成网络堵塞。我建议他可以把文档分片，减少一次性大文件传输。再根据文档热度把一些文档保持到缓存中。其实文档也好，数据库也好，很多方法只要根据业务要求也可以达到异曲同工的之效。

1.IBM 的DB2 作为关系数据库领域的开拓者和领航人，IBM在1997年完成了System R系统的原型，1980年开始提供集成的数据库服务器—— System/38，随后是SQL/DSforVSE和VM，其初始版本与SystemR研究原型密切相关。 2. Oracle Oracle 前身叫SDL，由Larry Ellison 和另两个编程人员在1977创办，他们开发了自己的拳头产品，在市场上大量销售，1979 年，Oracle公司引入了第一个商用SQL 关系数据库管理系统。Oracle公司是最早开发关系数据库的厂商之一，其产品支持最广泛的操作系统平台。目前Oracle关系数据库产品的市场占有率名列前茅。 3. Informix Informix在1980年成立，目的是为Unix等开放操作系统提供专业的关系型数据库产品。公司的名称Informix便是取自Information 和Unix的结合。Informix第一个真正支持SQL语言的关系数据库产品是InformixSE（StandardEngine）。 4. Sybase Sybase公司成立于1984年，公司名称“Sybase”取自“system”和 “database” 相结合的含义。Sybase公司的创始人之一Bob Epstein 是Ingres 大学版（与System/R同时期的关系数据库模型产品）的主要设计人员。公司的第一个关系数据库产品是1987年5月推出的Sybase SQLServer1.0。Sybase首先提出Client/Server 数据库体系结构的思想，率先在Sybase SQLServer 中实现。