在C被当做“高级语言”,雷布斯和小马哥还在写代码的年代,数据库还不是一个成熟的事物。
和很多技术从简单到复杂的发展历程不太一样,数据库首先成熟并被大规模使用的是RDBMS(关系型数据管理系统),后来才逐渐兴起了实现相对简单,以Redis为代表的KV型的数据库。
数据库从后端的技术上看是一个算法、数据结构、系统工程、性能优化的交汇点。
“GoSQLDB”是一个研究目的的支持SQL查询的关系型数据库。主要目标是为了向数据库爱好者展示一个关系型数据库的基本原理和关键设计。
因此,为了便于理解,采取了很多取巧但不是很严谨的设计,代码量控制在了2000行左右(包含了400多行的单元测试代码)。
特性列表
纯Golang实现,不依赖任何第三方包。仅在单元测试中引入了goconvey单元测试覆盖率≈73.5%
存储引擎
基于B+Tree的数据检索结构基于4KB分页的磁盘持久化引擎接近POD(PlainOldData)的序列化&反序列化
SQLParser
Tokenizer基于text/scanner实现支持简单的SELECT、INSERT语法SELECT支持数值类型的WHERE支持LIMIT,但暂不支持ORDERBY如果你想要了解可以生产可用的SQLParser是如何实现的,请参考我从CrockroachDB剥离的SQL-2011标准支持的SQLParser[1]
执行计划Planner
基于火山模型(VolcanoModel)的Select实现[2]基于HTTP的查询和插入接口
实现的局限
暂时没有实现DDL,仅有固定的SchemastructRow{Iduint32SexbyteAgeuint8Username[32]byteEmail[128]bytePhone[64]byte}SQL语法的有限支持,参见单测用例[3]Tokenizer由于是基于Golang语言本身的一个取巧实现,对于一些字符串里的特殊字符支持会出现问题,可以通过加“解决
传送门
GitHub地址:
[1]SQL-2011SQLParser:
[2]基于火山模型(VolcanoModel)的Select实现:
[3]单测用例:
特别感谢
SQL数据库的历史
最后说一下SQL数据库的历史吧。
上世纪60年代,由于IT技术尚未普及,硬件能力也捉襟见肘。程序员面临的业务逻辑还不是很复杂,但更可怕的是当时没有Google,更没有GitHub、StackOverflow。即使是构建一个最简单的增删改查系统也需要自己手动调用操作系统反人类的API,应用各种数据结构、算法去完成数据的存储和检索。
关系型数据库的大规模应用和SQL被普遍认可成为了关系型数据库的标准查询语言有很大的关系:
SQL编程语言最初是IBM研究人员RaymondBoyce和DonaldChamberlin在1970年代开发“SystemR”的过程中落地的。SQL当时被称为SEQUEL(这也是SQL普遍读法的由来)后来由于注册商标的问题,才改名为SQL。SQL的发明很大程度上是参考了EdgarFrankCodd于1970年发布论文《ARelationalModelofDataforLargeSharedDataBanks》。
1977年,32岁的程序员Larry从在IBM工作的好基友Oates那里拿到一本内部期刊《IBMResearchJournal》,从上面读到了SystemR的一些消息。由于技术人员对技术的敏感性,他们觉得这玩意儿一定会大火,于是三个30多岁的程序员决定去创业,于是自己凑钱创建了一个软件开发公司。公司名也是取得相当直白:SDL(SoftwareDevelopmentLabs,”软件开发实验室”)。随着IBMSystemR的推出市场,SQL语言迅速普及,Larry原来只是想开发一个兼容SystemR的数据库系统,跟在IBM后面喝点汤。
但SystemR竟然把返回的ErrorCodes当成了秘密保护了起来。不让我加入,那我就跟你打,于是Larry把公司名改成“RelationalSoftware,Inc”准备跟IBM死磕。1年后,他们开发出了数据库产品的第一个版本并把它命名为“Oracle”,更让大家开心的是他们成功的把产品买给了美国海军和中央情报局等政府部门。于是大家买了个蛋糕给公司过了一个一周岁的生日,留下了这张照片:
1979年,RSI公司发布了Oraclev2和一个自己的SQL版本……
7年之后Oracle上市,程序员Larry和Oates走上人生巅峰,持剑少年变恶龙……
Oracle上市的同年,SQL正式被ANSI(AmericanNationalStandardsInstitute)定为标准,第二年SQL成为了ISO标准,编号:ISO/IEC9075。此后分别在:1989,1992,1996,1999,2003,2006,2008,2011,2016年不断增补,就有了后世经常提到的SQL-89、SQL-92、SQL:2011等叫法。
关于山景智能
山景智能是一家AI赋能的企业业务超自动化解决方案提供商,是国内企业业务超自动化的领军者。
山景致力于推动企业业务超自动化,瞄准中国中大型企业业务端场景,基于云原生架构,融合业务驱动+AI增强型数据管理、自动机器学习、模型可解释、零代码敏捷开发等创新技术,面向企业提供“数据+AI+业务”端到端的超自动化平台及解决方案,帮助企业实现数字化转型,提升组织运营效率,提升企业业务价值。