有哪些列式数据库，列式数据库的举例

本文目录一览

1，列式数据库的举例
2，HBase和oracleHadoop的区别
3，列式数据库的描述

1，列式数据库的举例

下面以GBase 8a分析型数据库为例，描述列存储对数据存储与管理的作用。面对海量数据分析的 I/O 瓶颈，GBase 8a 把表数据按列的方式存储，其优势体现在以下几个方面。不读取无效数据：降低 I/O 开销，同时提高每次 I/O 的效率，从而大大提高查询性能。查询语句只从磁盘上读取所需要的列，其他列的数据是不需要读取的。例如，有两张表，每张表100GB 且有100 列，大多数查询只关注几个列，采用列存储，不需要像行存数据库一样，将整行数据取出，只取出需要的列。磁盘 I/0 是行存储的 1/10或更少，查询响应时间提高 10 倍以上。高压缩比：压缩比可以达到 5 ~ 20 倍以上，数据占有空间降低到传统数据库的1/10 ，节省了存储设备的开销。当数据库的大小与数据库服务器内存大小之比达到或超过 2:1 （典型的大型系统配置值）时，列存的 I/O 优势就显得更加明显；GBase 8a 分析型数据库的独特列存储格式，对每列数据再细分为“数据包”。这样可以达到很高的可扩展性：无论一个表有多大，数据库只操作相关的数据包，性能不会随着数据量的增加而下降。通过以数据包为单位进行 I/O 操作提升数据吞吐量，从而进一步提高I/O效率。由于采用列存储技术，还可以实现高效的透明压缩。由于数据按列包存储，每个数据包内都是同构数据，内容相关性很高，这使得GBase 8a 更易于实现压缩，压缩比通常能够达到 1:10 甚至更优。这使得能够同时在磁盘 I/O 和 Cache I/O 上都提升数据库的性能，使 GBase 8a 在某些场景下的运算性能比传统数据库快 100 倍以上。GBase 8a 允许用户根据需要设置配置文件，选择是否进行压缩。在启用压缩的情况下GBase 8a 根据数据的不同特性以及不同的分布状况，自动采用相应的压缩算法，如：行程编码（适用于大量连续重复的数据，特别是排序数据）；基于数据的差值编码（适用于重复率低，但彼此差值较小的数据列）；基于位置的差值编码（适用于重复率高，但分布比较随机的数据列）。

列式数据库的举例

2，HBase和oracleHadoop的区别

hadoop的hdfs支持海量数据量存储 mapreduce支持对海量数据的分布式处理oracle虽然可以搭建集群但是当数据量达到一定限度之后查询处理速度会变得很慢且对机器性能要求很高其实这两个东西不是同类 hadoop是一个分布式云处理架构，倾向于数据计算而oracle是一个关系型数据库，倾向于数据存储。要说比较可以比较hbase与oracle。hbase是一种nosql数据库，列式数据库，支持海量数据存储，支持列的扩展，但是查询操作较复杂，不如oracle这类关系型数据库简单，且只支持一个索引，但是Hbase在表结构设置合理情况下，查询速度跟数据量大小没有太大关系，即数据量的大小不会影响到查询速度，顺便说句Hbase查询速度可以达到ms级

Hbase作为Hadoop下的一个子项目，目前发展比较强大，和传统的关系型数据库oracle来比，两者各有优缺点，我们先看一个简单的表格。　　数据维护：比如更新，只是按照key值插入新的记录，旧版本还在，会在storefile合并过程中进行删除数据维护：增删查改非常方便，直接修改　　以上简单罗列了Hbase和Oracle两者的区别，还有其他更细节的地方这里就没有描述，可以从上面的对比看出，两者完全应用于不同个场景。　　在Hbase架构中，由于底层的HDFS不支持追加，更新。所以在Hbase中，所有的操作都是写入，写操作都是先写入Memstore内存中，当达到阀值时，才穷flashcache进程写入storefile，每次写入都会形成一个新的storefile，当需要更新，删除的时候，根据key值按照时间戳插入一个新的记录，老版本记录依旧存在，可以通过时间戳查询老版本的记录，当storefile达到一定的阀值，系统会进行合并，合并过程中会进行版本合并和删除工作，形成更大的storefile。　　Oracle在插入，写操作的时候，一般情况下也会先写入内存，然后由DBWR进程调度写入到数据文件，如果在插入的时候使用append追加，则数据不会通过SGA，直接追加到数据文件，在Hbase中没有此功能。

HBase和oracleHadoop的区别

3，列式数据库的描述

access 是微软公司推出的基于windows的桌面关系数据库管理系统(rdbms),是office系列应用软件之一。它提供了表、查询、窗体、报表、页、宏、模块7种用来建立数据库系统的对象;提供了多种向导、生成器、模板,把数据存储、数据查询、界面设计、报表生成等操作规范化;为建立功能完善的数据库管理系统提供了方便,也使得普通用户不必编写代码,就可以完成大部分数据管理的任务。 access是一种关系型数据库管理系统,其主要特点如下: (1)存储方式单一 access管理的对象有表、查询、窗体、报表、页、宏和模块,以上对象都存放在后缀为(.mdb)的数据库文件种,便于用户的操作和管理。 (2)面向对象 access是一个面向对象的开发工具,利用面向对象的方式将数据库系统中的各种功能对象化,将数据库管理的各种功能封装在各类对象中。它将一个应用系统当作是由一系列对象组成的,对每个对象它都定义一组方法和属性,以定义该对象的行为和外国,用户还可以按需要给对象扩展方法和属性。通过对象的方法、属性完成数据库的操作和管理,极大地简化了用户的开发工作。同时,这种基于面向对象的开发方式,使得开发应用程序更为简便。 (3)界面友好、易操作 access是一个可视化工具,是风格与windows完全一样,用户想要生成对象并应用,只要使用鼠标进行拖放即可,非常直观方便。系统还提供了表生成器、查询生成器、报表设计器以及数据库向导、表向导、查询向导、窗体向导、报表向导等工具,使得操作简便,容易使用和掌握。 (4)集成环境、处理多种数据信息 access基于windows操作系统下的集成开发环境,该环境集成了各种向导和生成器工具,极大地提高了开发人员的工作效率,使得建立数据库、创建表、设计用户界面、设计数据查询、报表打印等可以方便有序地进行。 (5)access支持odbc(开发数据库互连,open data base connectivity),利用access强大的dde(动态数据交换)和ole(对象的联接和嵌入)特性,可以在一个数据表中嵌入位图、声音、excel表格、word文档,还可以建立动态的数据库报表和窗体等。access还可以将程序应用于网络,并与网络上的动态数据相联接。利用数据库访问页对象生成html文件,轻松构建internet/intranet的应用。用dreamweaver和visual stdiou都可以建wap网站

数据库以行、列的二维表的形式存储数据，但是却以一维字符串的方式存储，例如以下的一个表： EmpId Lastname Firstname Salary 1 Smith Joe 40000 2 Jones Mary 50000 3 Johnson Cathy 44000 这个简单的表包括员工代码(EmpId), 姓名字段(Lastname and Firstname)及工资(Salary).这个表存储在电脑的内存(RAM)和存储(硬盘)中。虽然内存和硬盘在机制上不同，电脑的操作系统是以同样的方式存储的。数据库必须把这个二维表存储在一系列一维的“字节”中，由操作系统写到内存或硬盘中。行式数据库把一行中的数据值串在一起存储起来，然后再存储下一行的数据，以此类推。1,Smith,Joe,40000;2,Jones,Mary,50000;3,Johnson,Cathy,44000;列式数据库把一列中的数据值串在一起存储起来，然后再存储下一列的数据，以此类推。1,2,3;Smith,Jones,Johnson;Joe,Mary,Cathy;40000,50000,44000; 这是一个简化的说法。列式数据库的代表包括：Sybase IQ，infobright、infiniDB、GBase 8a，ParAccel, Sand/DNA Analytics和 Vertica。MPP的列存储数据仓库包括：Yonghong Z-DataMart

列式数据库的描述