设为首页收藏本站

小牛社区-大数据学习交流社区|大数据免费学习资源

 找回密码
 立即注册!

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 17|回复: 0

深度资料:大数据系统是怎样炼成的?

[复制链接]

130

主题

0

帖子

28

积分

吃土小白

Rank: 1

积分
28
发表于 6 天前 | 显示全部楼层 |阅读模式
感谢贵州卫虹提供的用魔方网表搭建的大数据信息系统的详细案例,这份资料非常好,无论是想实施大数据信息系统的企业,还是想用魔方网表搭建出大型信息系统的企业,这都是个很好的学习和借鉴的资料。(图片由于上传清晰度大大降低,欢迎找我们交流讨论)

一、引言

贵州卫虹大数据信息系统(简称大数据系统)建设目标是挖掘数据资源价值,为业务提供综合性查询、分析、统计和展示,以及工作应用。
围绕大数据系统建设目标,主要功能模块概况为公司内部管理、项目管理、交易平台管理三大类别。公司内部管理大数据包括:人力资源数据、固定资产数据、档案数据、政策法规数据和公司制度数据等;项目管理大数据包括:项目信息、中标产品、供应商数据、采购人数据和专家数据等;交易平台管理大数据包括:客户管理、结算数据、交易数据、产品数据、运维管理、测试缺陷数据等。
另外,还有基础信息和系统维护功能模块。基础信息为主要功能模块提供基础数据支撑,包括采购人、供应商、专家标准分类;系统维护作为支撑大数据系统运营管理,包括大数据系统管理表、系统说明、提交工单、系统管理和设置管理。
在五大类数据间建立有机联系,打通限制,形成一张数据网,具备挖掘大数据条件,最终实现大数据建设目标。
二、软件概述

1 目标
挖掘数据资源价值,为业务提供综合性查询、分析、统计和展示,以及业务应用。
2 功能模块
2.1 登录模块
2.2 导航树模块
2.3公司内部管理模块
2.4项目管理模块
2.5交易平台管理模块
2.6基础信息模块
2.7系统维护模块
三、运行环境

1 硬件
1.1 服务端硬件基本要求:CPU4核,内存4G,硬盘40GB;
1.2 客服端硬件要求:现行的主流配置个人电脑即能达到基本运行要求。
2 支持软件
2.1 服务端:操作系统windows server 2008及以上系统,自带 “H2”数据库,可以选择“SQL Server”数据库;
2.2 客服端:操作系统win7及以上系统,浏览器:Chrome 4.0以上或者IE 9以上浏览器,推荐chrome最新版。
3 网络类型
带宽:≥4Mbps。
四、使用说明

1 登录模块

输入用户名和密码点击登录就能够登录进入系统
2 导航树模块
导航树具有规划大数据模块的功能,根据大数据系统的简洁美观需要,对主要的公司内部管理、项目管理、交易平台管理三大模块内部,统一划分为录入数据、查询数据、报表统计、图表展示、工作应用五个功能区域,五个功能区域内按数据类别名称分别关联对应数据,最终形成大数据系统。导航树作为首页的呈现方式,用户登录大数据系统就能看到。
2.1 录入数据:使用账号登录系统后,选取录入数据名称,打开“添加记录”进行数据录入,填写项目信息内容完毕后保存关闭,完成“项目信息”录入;
2.2查询数据:使用账号登录系统后,选取查询数据名称,输入查询信息进行查询,点击查看浏览项目信息详细内容;
2.3 报表统计:使用账号登录系统后,选取查询数据名称,输入查询信息进行查询,点击查看浏览结算明细详细内容;
2.4 图表展示:使用账号登录系统后,选取展示数据名称,打开“显示图像”窗口,选择展示数据名称,查看数据展示图形。
2.5 工作应用:使用账号登录系统后,选取工作应用名称,打开“添加记录”录入登记信息,并提交存档。

3 公司内部管理模块
3.1客户群管理
客户群包括采购人监督人客户群、专家客户群、供应商客户群,以及通用部分。

3.2人力资源管理
包括员工信息及员工职位,员工所在职位,基本定位其工作内容,工作中产生的数据记录了该员工职位信息。

3.3固定资产管理
包括资产采购、领用、报废等记录,资产产品记录了产品型号、价格、供应商名称及联系方式等。可以查看员工领用固定资产情况,合理调配。

3.4综合部业务联系电话
记录经常有业务往来的信息,避免因员工流动信息流失。

3.5酒店联系电话
与酒店签订协议获得协议价,支撑提供业务需要。

3.6餐饮联系方式
收集美食信息,支撑提供业务需要。

3.7项目档案管理
按部门分类管理档案,按档案完整情况分类统计。在项目信息模块直接查询项目档案完成情况包括:投标文件、项目资料、合同、借阅情况。

3.8个人费用管理表
员工报销记录于系统内,实时掌握费用支出情况。

3.9政策法规
主要采集与公司相关法律法规,学习培训使用。

3.10公司制度
建立公司制度体系,提升公司管理质量。

3.11内部管理手册
各部门编制管理手册,用于新员工和在职员工培训。

3.12业务简介
市场推广资料留存,并更新版本,积累经验。
3.13案例集
存放业务工作中的案例,为员工提升业务水平和工作能力使用。
4 项目管理模块
4.1项目信息
记录项目全面信息,从签订委托代理协议、发布招标信息、供应商投标、开标评审、中标成交、签订合同验收货物、档案归档等全流程信息。同时,提供项目全面信息查询分析;

4.2中标产品
是项目信息中的一部分信息,主要记录该项目中标供应商、中标产品、中标金额;

4.3投标产品
是项目信息中的一部分信息,主要记录该项目投标供应商参与投标的所有产品信息;

4.4供应商通讯录和采购人通讯录
是项目信息中的一部分信息,记录参与项目的采购人和参加投标的供应商联系方式信息;


4.5专家库
专家库信息来源于项目积累,又服务于项目,主要记录了专家联系方式、职称及资质、专家出场情况及评价等;

4.6质疑投诉
记录质疑投诉案例,积累项目工作经验,总结提升工作水平和能力;

4.7招标文件模版
存放优秀项目招标文件。

5 交易平台管理模块
5.1平台管理
主要记录软件平台设计开发、部署测试、验收运维等基础信息;

5.2客户管理
包括客户联系方式、拜访记录、市场情况分析,主要为推广使用;
5.3结算管理
主要功能包括结算统计、结算明细、交易明细、结算通知等信息;
5.4产品数据
主要记录供应商经营产品类别、产品品牌等信息,产品数据需要维护到交易平台中;

5.5运维管理
主要包括采购人和供应商在交易平台使用中的运维记录;

5.6测试记录
主要记录软件测试发现的缺陷、修改缺陷、验证修改缺陷等信息;

5.7编码库
主要保存交易平台产品的源代码。
6 基础信息模块:
包括采购人、供应商、专家标准分类三大类,主要记录通用性强、复用概率高、唯一的基础数据。

7 系统维护模块
包括大数据系统管理表、系统说明、提交工单、用户管理、权限管理等,主要用于对大数据系统运维管理使用。

8.大数据系统
8.1表单管理
表单就是行和列组成的一张表,里面可以填写数据,并且可以查询。表单是由字段和记录组成的。字段就是表单中的列。字段名就是列名,不同列可以设置不同的字段类型。记录就是表单中的行。一行数据就是一条记录,每条记录都包含表单中的所有字段。
创建表单是开发大数据系统最基础的一步。在系统中,可以用多种方法来创建表单如:自定义创建表单、导入MFD文件创建表单、从已有的表单复制创建表单等、
8.2 字段管理
字段是组成表单结构的要素之一
在大数据系统中,表单可以简单地看作是一个二维表,如下图所示,它由行和列组成,第一行是表头,由各列标题组成,规定了表单的结构及其存储数据的类别,表头每一列的标题也叫作字段名称,表头下面的若干行叫作数据行或称为记录,因此每一行记录的内容是由其对应各列的内容共同组成的。比如上图中的成绩表,其数据行第二行分别由“钱乙”、“女”、“19”、“86”共同组成。所以,“字段”的含义有时候指的是字段名称,也有时候指的是某列与某行交叉处的数据,或者是某一整列数据。
在大数据系统中,字段所存储数据的类别称为字段类型,如上图中的成绩表,姓名和性别字段的内容是文本类型的,年龄和成绩字段的内容是数字类型的。
在大数据系统中,表单的某列与某行交叉处的数据,用字段宏来表示。比如,“姓名”字段所对应的某行记录的值可以用字段宏表示成:$MF(姓名)$,其包含的具体内容通过设置过滤条件从而过滤该表单的某一数据行得到,比如上图中,姓名为“钱乙”的这一行,其对应的成绩字段——$MF(成绩)$——的值为86。字段宏在行间公式、回写公式、报表公式等需要处理表单数据的时候经常要用到。

在大数据系统中,如果从用户是否可以定义的角度来分类,表单的字段还可以分为系统字段和用户自定义字段。前者是大数据系统预定义字段,其内容由大数据系统直接管理,用户无法直接编辑,但可以在回写公式中的赋值操作间接地使用它们。用户自定义字段则是在新增或修改表单时由用户为其设定类型的那些字段。
字段类型
如前所述,表单中字段所存储数据的类别称为字段类型,大数据系统已归类出了超过15种的字段类型,如下表所示。
字段类型及其说明
字段类型名称
说明
文 本
单行文本类型,可以保存少量文字。
多行文本
用来保存大段文本,例如整篇文章,但是必须是纯文本的。
日 期
保存日期型数据。
日期时间
保存日期时间型数据。
数 字
保存数值型数据,一个表单中如果有数值型的字段,则在记录列表页面最下方会出现总计和平均值两栏。
下拉列表
下拉选择型数据。供可选择的具体的选项值为文本。
复 选 框
多数据项可同时多项选择的数据类型。供可选择的具体的选项值为文本。

以一棵树形方式在窗口左侧显示文本数据,便于整理含有等级关系的分类数据。
网 址
存放网址URL类型的数据,可以在列表中显示为超链接。
注 释
用于用户在添加和查看记录页面中添加说明文本,是静态文本,在创建和修改表单时设定。可以是一行也可以是多行文本,字体大小可以选择,当放在一个文本型字段后面,值为空的时候,勾中“空值则不占行”这个选项,则此字段可以起到换行符的作用。注释字段不占空间,但会另起一行。如果不勾中该选项,则会单独添加一个空行。可以设定背景色。打印的时候,如果需要打印背景,请在IE->选项->高级中设定打印背景颜色和图像。
网 页
用于编辑和保存网页数据,即有格式文本。
附 件
用来管理(上传、下载)各类电子文件,比如:文本、声音、图像、影像等等文件。
引 用
建立表单之间的关系,可以表达两个表单数据之间的一对一,或一对多的对应关系。可以用中间表加引用实现多对多关系。
嵌入字段
建立表单之间的关系,表达表中有表的这种关系,即主表与子表之间数据的一对多的对应关系。
编 码
自动编号器,根据设定的编号规则,在向表单添加数据时,由大数据系统自动生成连续编号的号码。
图 片
对图片进行上传、下载管理和批量显示。
大数据系统为每一种类型的字段设计了相应的属性,以此实现特有的功能,达到灵活操控数据的目的。用户通过调整这些字段属性的设定值或预设状态就能实现很多强大的管理表单数据的功能,比如:在查询列表模式下字段的显示宽度、某一字段在查询列表、查看和编辑(新增、修改)界面中是否显示出来、查询列表中显示字段内容的最大长度、新增记录时字段的默认值、某一字段是否作为查询项出现在查询面板,指定默认排序字段及排序方式是倒序还是升序、字段从上到下排列的先后顺序与相互之间相对位置在显示界面布局中的对应关系,等等。
不同类型的字段都有其特有的属性,也有共同的属性,比如:字段名称、列宽、作为查询条件、作为列表项、作为快速浏览项、作为表单内显示项,等等。
字段属性的设置和修改均在自定义表单或修改表单时进行。
在大数据系统中,把表单之间的关联关系归纳成一种字段类型予以使用和管理,被浓缩为两种字段类型:引用型和嵌入字段型,这是其独特之处,高妙之处。在大数据系统中,用户创建表单时,用引用型来定义表单之间的一对一关系、多对多关系,用嵌入字段型来定义一对多关系(父表与子表的关系)。这些表单关联关系在表单创建时就被永久性地建立起来,由系统自动维护,包括各种表单关联显示界面、参照完整性。大数据系统强化、优化了数据库的约束和有效性检查方面的功能,将复杂的SQL查询语句巧妙地隐藏到表单记录发生变化的那些触发点,统一由系统根据用户所定义的业务逻辑回写公式来完成,这些回写公式附加在建立了永久性关联关系的表单这些“骨架”和“血管”之上,让表单中的数据在规范的业务逻辑中象“血液”般流动。与那些让用户直接使用结构化查询语言SQL访问表单中记录的系统相比较,大数据系统极大地简化了数据库应用系统的开发过程,也极大地减轻了应用系统的维护压力,降低了数据库应用系统开发门槛,非专业程序员以及普通用户都可以在较短时间内入门乃至结合实际需求自主开发和完善,从而极大地提高了数据库应用系统开发的效率。
当用户一旦明白了这些字段类型尤其是这两种字段类型在大数据系统中的建立方法,熟悉了系统为它们自动生成和维护的各种灵活的操作界面,理解了常用的应用需求与表单关系常用模式之间的对应情况,也就离驾轻就熟地使用大数据系统不远了。
在大数据系统中,字段的呈现界面完全由系统来统一生成和管理,所提供的主要呈现界面有:添加或修改记录界面、查看记录界面、查询记录界面、打印界面等。其中的查询记录界面中的记录显示界面部分又有四种不同界面:列表模式、细节模式、快速查询模式和用户自定义模式等,这些可以称为普通视图,另外还有一种特殊的视图——属性页视图——是日期、树字段特有的。
字段的添加、修改、删除操作
字段的添加、修改和删除操作均在自定义表单或修改表单时进行。删除字段时一定要谨慎,因为字段一旦被删除,表单中所存储的数据也将被一同删除。字段名称的修改不会影响表单中的数据,但修改字段的类型却不同。在大数据系统中,不能直接修改字段的类型。如果字段名称不变而字段类型需要修改,则只能删除原字段,再重新输入字段名称,并选择新字段类型后添加才行。
进入修改表单的操作步骤:进入空间的首页,在表单列表中点击表单名称以打开该表单,或点击导航树节点以打开绑定的表单,进入该表单的查询界面,点击工具栏中的“修改表单”图标按钮,进入表单结构修改界面。其中表单字段的添加、修改和删除的具体操作方法请参见下列图示和说明。
系统字段
在大数据系统中,每个表单都有七个由系统自动添加的系统字段。
系统字段说明表
系统字段名称
字段类型
说明
示例
序号
编码
其值是自动增大的自然数
1
12
123
创建人
文本
系统为其赋值创建记录的用户姓名
管理员
未登录用户
系统
创建人ID
文本
系统为其赋值创建记录的用户帐号
admin
anonymous
system
创建时间
日期时间
系统为其赋值创建记录的日期时间
2016-04-03 21:57:33
修改人
文本
系统为其赋值创建记录的用户姓名
管理员
未登录用户
系统
修改人ID
文本
系统为其赋值创建记录的用户帐号
admin
anonymous
system
修改时间
日期时间
系统为其赋值修改记录的日期时间
2012-03-26 11:32:09
·系统字段由系统自动维护。
·系统字段不能删除。
·系统字段不能手动修改。但可以在回写公式中被传递,赋值给类型与之对应其他字段,包括系统字段。
·不能添加与系统字段同名的自定义字段。
·系统字段的值可以在回写公式中被传递,赋值给其他类型与之对应的字段。
8.3 公式设计
行间公式
当表单中某一字段的“启用公式计算”属性被勾选并为其编辑好计算公式,再保存表单后,计算公式的结果就会显示在新增记录的该字段对应的列表中。而在添加或修改记录时(如下图),启用计算公式的字段因为没有编辑栏,所以无法手动编辑,其计算结果在点击“重算公式”按钮后即显示出来,或者执行“保存”操作时被存入表单。在批量修改记录时,当进入批量修改界面后,可以看到启用计算公式的字段旁各有一个“重算公式”按钮,点击该按钮就会对被勾选的各条记录逐一运算该字段的计算公式,并在保存时将结果分别存入各条记录中。
公式通过字段宏(形如:$MF(字段名称)$)来引用某条记录的字段值,公式中可以使用数学符号(如+、-)及系统函数(如sum()或count())。
行间公式的作用是:针对表单的字段值通过各种运算,将得出的结果存入指定某个字段中。所谓指定的某个字段是指编辑有计算公式的那个字段。比如常见的工资表格中所计算的“金额合计”列,其值是由各应发工资额减去应扣项金额后得出的,而应发工资额又是由各工资构成项的金额求和得出的,应扣项金额也与此类似得出。
汇总行公式
(1)系统默认的汇总行
在查询记录界面的列表模式中,当列表中有数字型字段时,系统默认的“总计”和“平均”按钮就会自动出现在最底两行,用来分别针对查询过滤出来的记录进行数字型字段求总计值和求平均值。
(2)用户自定义汇总行
用户自定义汇总行,是在自定义表单或修改表单界面中,勾选表单属性“使用汇总行公式”,并点击其旁边出现的“编辑汇总行公式”按钮,在弹出的“编辑公式”对话框中进行汇总行的公式设计。
在查询记录界面的列表模式中,当列表中有数字型字段时,针对查询过滤出来的记录,进行数字型字段值的汇总、平均、求最大值、求最小值或计数。系统提供有两种汇总功能:一是默认的汇总和平均功能;二是用户自定义的汇总功能。重点介绍后者的设置方法。
常量
常量是指数值大小始终固定不变的量。大数据系统中有五种类型的常量:文本型、数字型、日期型、日期时间型和逻辑型。
字段宏
字段宏的表示形式:$MF(字段名称)$)。其中的字母“M”和“F”必须大写。它表示当前内存中正在编辑(添加或修改)的那条记录的字段值。字段宏还有其他的表示形式,请参看回写公式、自定义模板等相关章节的内容。字段宏用来引用表单内记录的字段值。
运算符
大数据系统的运算符包括:算术运算符、文本运算符、比较运算符和逻辑运算符。在一个表达式中可以使用多种运算符,运算从左到右根据优先级的高低依次进行。在构造表达式时可用圆括号重新组合运算次序。
表达式
表达式是指通过各种运算符连接的常量、字段宏、函数等运算对象所构成的有意义的算式。表达式经运算后总能得到一个具体的值,该值的数据类型可能是文本型、数值型、日期型、日期时间型和逻辑型五种之一,因而相应的表达式也被称为:文本型表达式、数值型表达式、日期型表达式、日期时间型表达式和逻辑型表达式。单个常量、字段宏、函数可认为是表达式的特例。需要注意的是:表示数值的文本型数据和数值型数据之间进行运算是相容的,系统会自动转换成数值型来运算,结果可以存入文本型字段,也可存入数值型字段。日期型与日期时间型数据之间的转换也是由系统自动完成的,可以相互转换,但日期时间型数据转换成日期型的时候,其时间会丢失。逻辑常量也可以被保存到这两类字段类型中去。在大数据系统中很多使用公式的地方要用到表达式,因此正确地构造和使用表达式是学习大数据系统的基本技能之一。
函数
大数据系统提供了一百多个系统函数,极大地增强了系统的功能。每个函数提供函数名调用。函数名实际上定义了一种运算,其一般形式为:
函数名(<参数表>)
函数可以有参数,也可以没有参数。当参数多于一个时,中间用逗号分开。不管函数是否有参数,调用时函数名后面的圆括号都不能省略。大数据系统的函数按功能可划分为:数值函数、文本函数、逻辑判断函数、日期函数、查找函数、统计函数、财务函数、扩展函数等。在使用函数时一定要注意以下几点:
了解函数的功能;
了解函数返回值的数据类型;
了解函数的调用格式;
了解函数参数的个数和数据类型,调用函数时,参数的类型、个数和顺序要一致。
8.4 表单间关系建立
大数据系统中的表单,可以看作是一个二维表,表与表之间能相互参照引用来反映客观事物及其联系,从而按照客户的信息管理需求来维护各种数据并能以不同方式呈现出来。事物之间的相互关联可归纳为以下三种方式:
⒈一对一联系(简记为1:1,读作“1对1”):对于一个表单中的每一条记录在另一个表单中确切地只有一条记录相关联。
⒉一对多联系(简记为1:N,读作“1对N”或“1对多”):对于当前表单中的每一条记录在另一个表单中可以有多条记录相关联;反之,另一个表单的一个记录最多只与当前表单的一个记录关联。
⒊ 多对多联系(简记为N:M,读作“N对M”或“多对多”):对于当前表单中的每一条记录在另一个表单中可以有多条记录相关联;反之,另一个表单的一个记录与当前表单的多个记录关联。
8.5 权限管理
为了实现多组、多人登录大数据系统,首先需要添加用户,然后给用户分组,只有有对象才可以为其分配操作权限。在未建立任何表单之前,给新用户或用户组分配的权限只涉及两类操作对象:表单和数据文件。这里的表单和数据文件都是泛指,代表所有的表单和所有存储区存在的数据文件。
权限设置是大数据系统安全体系的重要组成部分。大数据系统的安全体系还包括:空间的访问范围、表单的访问范围、记录查询过滤、字段级权限等等,它们从底层到应用层,共同构筑起了一个坚固而又灵活的大数据系统安全“金字塔”。
8.6空间管理
大数据系统中可以有很多个空间,每个空间都是独立存在的,互不干扰。第一次安装大数据系统会自行生成一个名叫“企业空间”的空间作为默认空间,在该空间的基础上可以添加新的空间,并且该空间本身的空间名称可以修改。
默认空间就是登录大数据系统后自动打开的空间。管理员可以根据使用情况设置默认空间,默认空间只能有一个,设置好默认空间后,系统中的其他空间均为非默认空间。
在大数据系统中,默认空间不允许删除,非默认空间可以删除。并且只有超级管理员(admin)才具有添加和删除空间的权限。超级管理员和管理员组内的成员还具有导出空间的功能,系统中的普通用户不具有该功能。
8.7 数据备份
大数据系统最重要的就是数据,如果数据丢失、损坏、无法恢复,那么一定会造成实际的损失。定期要做好备份工作。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册!

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册!

本版积分规则

快速回复 返回顶部 返回列表