本篇文章主要介绍了"国家知识产权局专利数据库 专利:结构化大数据通信协议",主要涉及到国家知识产权局专利数据库方面的内容,对于其他数据库感兴趣的同学可以参考一下:
发明专利技术结构化大数据通信协议发明人:樊永正269779216@qqqq.com技术领域结构化大数据通信协议是一种通信协议,也是一种让数据成为合格的结构化大数...
发明专利技术
结构化大数据通信协议
发明人:樊永正
269779216@qqqq.com
技术领域
结构化大数据通信协议是一种通信协议,也是一种让数据成为合格的结构化大数据的技术。结构化大数据通信协议也类似于ETL,ETL是处理现有的信息系统所产生的数据的问题,而结构化大数据通信协议是在设计信息系统之初就开始预防数据产生问题。ETL是为数据治病,结构化大数据通信协议是预防数据产生疾病。ETL是对现有技术所产生的问题进行小修小补,结构化大数据通信协议提出了新的数据处理方案。结构化大数据通信协议也是一种软件开发模式,利用结构化大数据通信协议所建立的各种信息系统都是大数据信息系统,只要以镜像的方式把各大数据信息系统中的数据上传到大数据中心即可累加成合格的结构化大数据。合格的结构化大数据是不经ETL转换即可高效挖掘的结构化数据。
背景技术
随着大数据时代的到来,人们发现各行各业已有很多信息系统,然而信息系统虽多却不能满足大数据时代的需求,信息孤岛严重,难以互联互通,数据共享困难,各行各业已有很多数据,然而数据虽多,却难以高效挖掘。目前是利用关系数据库来解决这些问题,但只能解决局部的问题,不能从根本上解决问题。结构化大数据通信协议就是针对这些问题而创立的。结构化大数据通信协议来源于模仿大脑记忆、联想、思维,始于1982年,那时想让计算机模仿大脑的联想功能。
发明内容
结构化大数据通信协议是通过对数据的优化及软件开发模式的改变而避免信息孤岛问题、互联互通问题、数据共享问题产生,并使数据容易挖掘。结构化大数据通信协议可使数据具有12个技术特性:“唯一性、归属性、可识别性、独立性、完整性、规范性、与系统的耦合性(耦合度为零)、结构统一性、可累加性、可移植性、时间性、真实性”,只有同时满足12个技术特性的数据才是合格的结构化大数据。
发明所要解决的技术问题
发明所要解决的技术问题是大数据4V中“数据类型多(Variety)”问题及“数据速度快(velocity)”问题。所针对的具体的技术问题:各行各业已有很多信息系统,然而信息系统虽多却不能满足大数据时代的需求,信息孤岛严重,难以互联互通,数据共享困难;各行各业已有很多数据,然而数据虽多,却难以高效挖掘。
有益效果
实现互联互通、数据共享容易,查询速度快,数据挖掘容易。
具体实施方式
结构化大数据通信协议的创新表现在如下5个方面:
1、首次提出了结构化大数据的12个技术特性,只有同时满足12个技术特性的数据才能成为合格的结构化大数据。为使数据满足12个技术特性,创立了与12个技术特性相对应的12个数据优化方法。
2、通信的基础是双方必须采用同一个协议。结构化大数据通信协议所提出的“结构化大数据的12个技术特性”就是结构化数据互联互通的“通信协议”。
3、在结构化大数据的每一条数据中都增加了体现“数据的唯一性”和“数据的归属性”的数据项。现有数据库技术由于都是用于处理小数据,都没有考虑这两个数据项的作用,现有的数据中也都没有这两个数据项。这两个数据项是表明一个数据是不是合格的结构化大数据的关键数据项。
4、特别强调数据的标准化、规范化。因为大数据环境中,标准化、规范化的数据能自动模仿大脑的联想功能,从而大幅度提高查询数据的速度和灵活性。关系数据库对数据不加任何限制,完全由数据库的设计人员自己定义;结构化大数据通信协议对数据的限制非常严格,绝对不充许设计人员任意定义数据,所有数据都必须是规范的,这也是让大数据容易挖掘的一项重要措施。