我是靠谱客的博主 端庄硬币,最近开发中收集的这篇文章主要介绍数据库技术的发展Charles.W.Bachman网状数据库之父Edgar F.Codd 博士关系数据库之父美国工程院院士James Gray数据库技术和事务处理专家数据库:一个巨大的软件产业我国数据库发展历程数据模型第一代数据库第二代数据库第三代数据库数据库系统第一阶段:关系型数据库第二阶段:关系型数据仓库第三阶段:非关系型数据库第四阶段:数据库集群化第五阶段:大数据,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

经历了三代演变

层次/网状系统、关系系统、新一代数据库系统家族

造就了三位图灵奖得主

C.W.Bachman、E.F.Codd和James Gray
发展了一门计算机基础学科
数据建模和DBMS核心技术为主,内容丰富领域宽广

带动了一个巨大软件产业

DBMS及其相关工具产品、应用套件、解决方案
数据库技术和系统已经成为信息基础设施的核心技术和重要基础
在这里插入图片描述

C.W.Bachman(1973)
在这里插入图片描述

E.F.Codd (1981)
在这里插入图片描述

James Gray (1998)

Charles.W.Bachman网状数据库之父

1960年为通用电气制造了世界上第一个网状数据库系统IDS
积极推动与促成了数据库标准的制定:DBTG报告
在数据库技术的产生、发展与推广应用方面都发挥了巨大的作用
由于他在数据库方面的杰出成就1973获图灵奖
1983年成立自己的公司Bachman Information System

Edgar F.Codd 博士关系数据库之父美国工程院院士

原是英国人,1923生于英格兰中部波特兰第二次世界大战时应征入伍,在皇家空军服役。1942-1945年间任机长,参与了许多惊心动魄的空战。
英国牛津大学数学专业理学士及硕士学位,毕业后到IBM公司工作从事操作系统和自动机理论研究
年近40重返密歇根大学进修计算机与通信专业,1963年获得硕士学位,1965年又获得博士学位。
60年代后期开始数据库研究, 1970年E.F.Codd 博士提出关系模型概念(CACM,Vol.13, Vol.6, 1970 )
1981年获图灵奖,84年从IBM公司退休
还创办了一个研究所:关系研究所(The Relational Institute)和一个公司:Codd & Associations,进行关系数据库产品的研发、销售、咨询等业务

James Gray数据库技术和事务处理专家

1944年生,美国加州大学伯克利分校计算机科学系博士。
先后在贝尔实验室、IBM、Tandem、DEC等公司工作,研究方向转向数据库领域。
由于他在数据库和事务处理研究方面的元创性贡献以及在将研究原型转化为商业产品的系统实现方面的技术领袖地位,1998年获奖(时任微软研究员)
2007年1月28日失踪。

数据库:一个巨大的软件产业

在这里插入图片描述

我国数据库发展历程

在这里插入图片描述
在数据库技术发展的起跑线上,中国晚了约15年
在这里插入图片描述

中国数据库开拓者—萨师煊教授

70年代——数据库技术被引入我国

以人大萨师煊教授为代表的老一代专家作出了开创性贡献

80年代——数据库技术广泛普及

数据库技术广泛进入学校、学院或教研机构
国外数据库公司开始进入我国
数据库应用系统开发初见成效

90年代——科学研究与系统开发

国家自然基金项目研究数据库基础和应用技术
八五、九五攻关开发RDBMS、863项研发00、并行数据库

21世纪——让中国了解世界,让世界了解中国

1999年中国计算机学会成立了数据库专业委员会
数据库界的研究水平不断提高,开始走向世界
数据库界以研制和开发具有自主版权的数据库为己任,执着努力,国产数据库企业初步形成

数据模型

层状数据模型

每个节点间是一对多的父子之间的联系,比如一个父亲三个儿子;中心下的几个部门,部门里的人。
结构清晰
在这里插入图片描述

但如果CEO也是员工乙的直属上司,层状数据模型就难以描述这种情况了。

网状数据模型

允许任意两个节点间有多种联系,层次模型实际上是网状模型的一个特例;如同学生选课,一个学生可以选修多门课程,某一课程也可被多名学生选修。
在这里插入图片描述

关系数据模型

学生,比如我(学号,姓名,性别,所属学院,专业),我和小王,小白,小明等就组成了一张关系模型的数据表。
在这里插入图片描述

1.再添加一类数据也不会造成较大改动;
2.抽象级别高;
3.整体也简单明了

第一代数据库

代表:1969年IBM公司研制的层次模型的数据库管理系统IMS和70年代美国数据库系统语言协商CODASYL下属数据库任务组DBTG提议的网状模型。
层次数据库的数据模型是有根的定向有序树,网状模型对应的是有向图。这两种数据库奠定了现代数据库发展的基础。
这两种数据库具有如下共同点
1.支持三级模式(外模式、模式、内模式),模式之间具有转换(或成为映射)功能,保证了数据库系统具有数据与程序的物理独立性和一定的逻辑独立性;
2.用存取路径来表示数据之间的联系;
3.有独立的数据定义语言;
4.导航式的数据操纵语言。

网状数据库

最早出现的是网状DBMS。网状模型中以记录为数据的存储单位。记录包含若干数据项。网状数据库的数据项可以是多值的和复合的数据。
每个记录有一个惟一地标识它的内部标识符,称为码(Database Key , DBK),它在一个记录存入数据库时由DBMS自动赋予。
DBK可以看作记录的逻辑地址,可作记录的替身,或用于寻找记录。
网状数据库是导航式(Navigation)数据库,用户在操作数据库时不但说明要做什么,还要说明怎么做。
例如在查找语句中不但要说明查找的对象,而且要规定存取路径。
世界上第一个网状数据库管理系统也是第一个DBMS是美国通用电气公司Bachman等人在1964年开发成功的IDS(Integrated Data Store)。

层次数据库

现实世界中很多事物是按层次组织起来的。层次数据模型的提出,首先是为了模拟这种按层次组织起来的事物。
层次数据库也是按记录来存取数据的。层次数据模型中最基本的数据关系是基本层次关系,它代表两个记录型之间一对多的关系。
数据库中有且仅有一个记录型无双亲,称为根节点。其他记录型有且仅有一个双亲。
在层次模型中从一个节点到其双亲的映射是惟一的,所以对每一个记录型(除根节点外)只需要指出它的双亲,就可以表示出层次模型的整体结构。层次模型是树状的。
最著名最典型的层次数据库系统是IBM公司的IMS(Information Management System),这是IBM公司研制的最早的大型数据库系统程序产品。从60年代末产生起,如今已经发展到IMSV6,提供群集、N路数据共享、消息队列共享等先进特性的支持。
这个具有30年历史的数据库产品在如今的WWW应用连接、商务智能应用中扮演着新的角色。

第二代数据库

主要特征:支持关系数据模型(数据结构、关系操作、数据完整性)。
关系模型具有以下特点:
1.关系模型的概念单一,实体和实体之间的联系用关系来表
2.以关系数学为基础;
3.数据的物理存储和存取路径对用户不透明;
4.关系数据库语言是非过程化的。

关系模型的建立

网状数据库和层次数据库已经很好地解决了数据的集中和共享问题,但是在数据独立性和抽象级别上仍有很大欠缺。用户在对这两种数据库进行存取时,仍然需要明确数据的存储结构,指出存取路径。
关系数据库理论出现于60年代末到70年代初。1970年,IBM的研究员E.F.Codd博士发表《大型共享数据银行的关系模型》一文提出了关系模型的概念。后来Codd又陆续发表多篇文章,奠定了关系数据库的基础。关系模型有严格的数学基础,抽象级别比较高,而且简单清晰,便于理解和使用。
但是当时也有人认为关系模型是理想化的数据模型,用来实现DBMS是不现实的,尤其担心关系数据库的性能难以接受,更有人视其为当时正在进行中的网状数据库规范化工作的严重威胁。
为了促进对问题的理解,1974年ACM(Association for Computing Machinery,美国计算机学会)牵头组织了一次研讨会,会上开展了一场分别以Codd和Bachman为首的支持和反对关系数据库两派之间的辩论。这次著名的辩论推动了关系数据库的发展,使其最终成为现代数据库产品的主流。

第三代数据库

产生于80年代,随着科学技术的不断进步,各个行业领域对数据库技术提出了更多的需求,关系型数据库已经不能完全满足需求,于是产生了第三代数据库。
主要有以下特征:
1.支持数据管理、对象管理和知识管理;
2.保持和继承了第二代数据库系统的技术;
3.对其它系统开放,支持数据库语言标准,支持标准网络协议,有良好的可移植性、可连接性、可扩展性和互操作性等。
第三代数据库支持多种数据模型(比如关系模型和面向对象的模型),并和诸多新技术相结合(比如分布处理技术、并行计算技术、人工智能技术、多媒体技术、模糊技术),广泛应用于多个领域(商业管理、GIS、计划统计等),由此也衍生出多种新的数据库技术。

数据库系统

SQL
NoSQL
键值存储
列存储
文档存储
图像存储
FS
在这里插入图片描述

第一阶段:关系型数据库

数据库工程师
负责企业数据库模型设计(ER,powerdesigner),表,索引,视图,函数触发器,存储过程,事件,权限简单维护管理
数据库开发工程师
复杂的统计分析,存储过程开发
DBA
SQL优化,索引优化,参数优化,数据库系统高级维护,灾备

第二阶段:关系型数据仓库

数据仓库特性

英文名称为Data Warehouse,简写为DW。数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。
面向主题
数据是按照一定的主题域进行组织,一个主题通常与多个操作型信息系统相关
集成的
必须保证数据仓库内的信息是关于整个企业的一致的全局信息
相对稳定
某个数据进入数据仓库之后,一般情况下将被长期保留,修改和删除操作很少
反映历史变化
数据仓库中的数据通常包含历史信息,反映过去某一时点到目前的各个阶段的信息
在这里插入图片描述

数据仓库工程师
负责企业数据仓库的规划,建设(EDW),模型设计,数据分层,EDW,DW,ODS,DM,DIM
ETL工程师
负责数据抽取,转化,清洗,加工,合并,拆分等,把数据从SRC迁移到DW中
BI工程师
通过工具或者算法,对企业提供BI应用和报表

第三阶段:非关系型数据库

在互联网,移动互联网发展浪潮中,传统关系型数据库已经无法实现和满足某些业务场景的情况下,NoSQL数据库如雨后春笋顺势而发,它是 为弥补关系型数据库的不足应运而生。
NoSQL数据库并没有一个统一的架构和产品规范,不同NoSQL数据库之间的差异非常大,各个NoSQL数据库各有所长,成功的NoSQL数据库必然特别适用于某些场合或者某些应用。

键值存储数据库

这一类数据库主要会使用到一个哈希表,这个表中有一个特定的键和一个指针指向特定的数据。Key/value模型对于IT系统来说的优势在于简单、易部署。如:TokyoCabinet/Tyrant, Redis, Voldemort, Oracle BDB,Memcached。

列存储数据库

这部分数据库通常是用来应对分布式存储的海量数据。键仍然存在,但是它们的特点是指向了多个列。这些列是由列家族来安排的。如:BigTable,Cassandra, HBase, Riak。

文档存储数据库

文档型数据库的灵感是来自于Lotus Notes办公软件的,而且它同第一种键值存储相类似。该类型的数据模型是版本化的文档,半结构化的文档以特定的格式存储,比如JSON。文档型数据库可 以看作是键值数据库的升级版,允许之间嵌套键值。而且文档型数据库比键值数据库的查询效率更高。如:CouchDB, MongoDb。

图像存储数据库

图形结构的数据库同其他行列以及刚性结构的SQL数据库不同,它是使用灵活的图形模型,并且能够扩展到多个服务器上。NoSQL数据库没有标准的查询语言(SQL),因此进行数据库查询需要制定数据模型。许多NoSQL数据库都有REST式的数据接口或者查询API。如:Neo4J, InfoGrid, Infinite Graph。

文件存储系统

目前包括HDFS,FastDFS,TFS,GF

消息队列系统

目前包括Kafka,ActiveMQ,RabbitMQ
数据库工程师
关系数据库,redis,mongodb,消息队列,文件系统都需要懂

第四阶段:数据库集群化

高可用

每个数据库采用master-slave模式,保障数据的灾备。Master-slave切换采用zookeeper框架,采用client端监控模式向sever发送存活状态变更。然后Server通知代理层来切换节点的访问方式。

分片化

通过主键或其他约定机制,把数据合理映射在多个数据库中。采用一致性Hash方式进行数据分片和映射。

快速扩容

通过一致性hash方式进行分片后,需要对新旧节点间数据进行热迁移,保证不宕机扩容。

混合应用

不同的业务场景,会采用不同的数据存储系统,如mysql,redis,mongodb,FastDFS,HDFS,kafka

节点高可用保障方案

在这里插入图片描述

分片化

在这里插入图片描述

混合应用

在这里插入图片描述

系统架构师
精通各种数据库系统,根据业务需求规划数据扩容,高可用,分片方案,保证满足高并发,高可用,平滑扩容。
分布式数据库开发工程师
java代码,proxy,zookeeper,分片算法,数据库设计。

第五阶段:大数据

巨量数据集合

大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

Hadoop框架

在这里插入图片描述

流式计算框架

在这里插入图片描述
在这里插入图片描述

搜索引擎框架

ELK,Lucene
在这里插入图片描述
在这里插入图片描述

Hadoop开发工程师
hadoop框架,HDFS,MR计算框架,Pig,Hive
Spark,Storm工程师
scala,java,数据库
大数据工程师
hdfs, hbase, spark, sqoop, storm, kafka, flume, zookeeper
搜索引擎工程师
Lucene/Solr/Elasticsearch开源搜索引擎程序结构,java
欢迎大家加我微信交流讨论(请备注csdn上添加)
在这里插入图片描述

最后

以上就是端庄硬币为你收集整理的数据库技术的发展Charles.W.Bachman网状数据库之父Edgar F.Codd 博士关系数据库之父美国工程院院士James Gray数据库技术和事务处理专家数据库:一个巨大的软件产业我国数据库发展历程数据模型第一代数据库第二代数据库第三代数据库数据库系统第一阶段:关系型数据库第二阶段:关系型数据仓库第三阶段:非关系型数据库第四阶段:数据库集群化第五阶段:大数据的全部内容,希望文章能够帮你解决数据库技术的发展Charles.W.Bachman网状数据库之父Edgar F.Codd 博士关系数据库之父美国工程院院士James Gray数据库技术和事务处理专家数据库:一个巨大的软件产业我国数据库发展历程数据模型第一代数据库第二代数据库第三代数据库数据库系统第一阶段:关系型数据库第二阶段:关系型数据仓库第三阶段:非关系型数据库第四阶段:数据库集群化第五阶段:大数据所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(51)

评论列表共有 0 条评论

立即
投稿
返回
顶部