一、基于面向对象技术的OLAP系统设计研究及应用(论文文献综述)
陆姗姗[1](2021)在《面向OLAP的存内查询优化技术研究》文中进行了进一步梳理OLAP(Online Analytical Processing,联机分析处理)查询是数据库系统中典型的一类查询,其特点是查询频率较低,但通常会涉及到非常复杂的聚合计算。在回答涉及大数据量的聚合查询时,现有的SQL数据库系统需要引入大量的磁盘I/O来读取OLAP查询所需的原始数据,导致OLAP查询延迟无法达到用户的需求。针对OLAP查询优化问题,本论文提出了一种基于存内处理(PIM,Processing-In-Memory)的优化方案,用于加速OLAP中的聚合查询。本文分别在语句级和操作符级上设计了 Agile Query和Smarter Query两种查询优化方案,并进行了性能验证。总体而言,本论文的主要工作和贡献可总结为如下两个方面:1.提出了一种面向OLAP查询的语句级查询优化方法Agile Query。该方法包含了两个新的设计。首先,我们使用一个内存哈希索引来缓存聚合查询及对应的查询结果,新到达的聚合查询如果在内存索引中命中则可以直接返回结果,从而减少OLAP查询时的I/O操作次数。我们给出了详细的内存哈希索引设计以及相应的查询算法。其次,为了解决缓存更新问题,提出了一种增量式缓存更新策略,在确保缓存数据和原始数据之间一致性的前提下,避免了重新执行查询带来的额外I/O代价。2.提出了一种面向OLAP查询的操作符级查询优化方法Smarter Query。该方法在Agile Query基础上,提出了三方面的改进:(1)对数据分块缓存聚合操作结果,在新查询与已缓存查询存在数据范围重叠时最大程度复用已缓存的结果,减少回答新查询需要扫描的磁盘数据量;(2)提出基于代价的缓存替换策略,更合理地选择被淘汰的缓存数据,提高后续查询的命中率;(3)以操作符为缓存粒度更加灵活地复用缓存,不再需要查询语句相同时才命中,避免重复的请求再次触发数据移动和计算。我们在MySQL数据库上分别实现了这Agile Query和Smarter Query方法,并在不同大小的数据集和不同查询分布情况下进行了实验,与MySQL上的传统查询方法进行比较。结果表明,在Zipf查询分布下,Agile Query方案的吞吐量比MySQL高了9倍以上,而在随机和均匀的分布式查询下吞吐量也获得了 2-3倍的提升。同时,Smarter Query方案在Agile Query方案的基础上进一步提升了高于50%的性能。本文的研究工作为实现OLAP实时查询提供了可行的方案,对实时的大数据处理也有一定的参考价值。
韩锋[2](2021)在《分布式列式内存数据库事务系统的设计与实现》文中指出经历多年发展,分布式数据库领域逐渐细分,可以按处理方式不同将其划分为面向事务处理的数据库(OLTP型),面向数据分析的数据库(OLAP型)以及较新颖的混合两种功能的数据库(HTAP型)。其中AP和TP类型的系统发展已经相对成熟,而当前市面上虽然已经存在不少的HTAP实现方案,但大部分是基于行列混合存储的方式实现,事务的实现仍依赖于行式引擎,列式引擎数据需要从行式存储中同步得到,而直接面向列式存储的事务实现方案仍相对稀有。本文基于实验室自研的OLAP全内存列式分布式数据库设计了一套分布式事务方案。目的在于对列式只读引擎提供事务读写支持,打造一个基于全列式存储的分布式事务系统,主要工作内容如下:1.设计了一种MVCC方案,该模型读写互不冲突,写写互斥,支持垃圾回收。在此基础上利用跳表实现了支持无锁插入的高效增量索引,该增量索引同时具备键值语义的倒排索引与正排索引,支持基于版本号的查找功能。2.改造原有列式GroupKey索引使其支持多版本存储,尝试设计方案,利用GPU加速多版本GroupKey的构建与读取。3.基于增量索引与多版本GroupKey索引实现读写混合引擎,该引擎支持本地KV语义的事务功能。设计数据融合方案,将增量索引数据更新到GroupKey索引中,采用双索引方式,增量数据融合对外部系统事务执行不造成阻塞。另外实现了事务粒度的,以单个分片为作用范围的版本管理功能,用于配合混合引擎的旧版本垃圾回收。对于原始的AP计算引擎,则提供了接口支持。4.在混合存储引擎的基础上,实现分布式事务引擎,包括事务ID生成,事务状态管理,日志管理,元数据管理,基于Percolator修改的分布式两阶段提交功能实现。该分布式事务引擎采用多协调者的方式避免单点故障,并基于版本号管理的并发控制协议实现了可重复读的语义。此外支持悲观、乐观、本地三种事务功能接口。本文最终实现了混合存储引擎以及基于事务存储功能的分布式事务系统,随后进行了功能验证和相关性能测试,同时论证了存储系统一些设计的正确性。
孟啸[3](2019)在《基于大数据的智能辅助诊疗全流程管理系统的研究与实现》文中认为随着我国互联网及信息化产业的飞速发展,大数据应用市场不断扩大。同时在智慧医疗领域,近几年国家相关主管部门也多次发布医疗大数据相关的政策文件和行业发展指导意见。在这样的政策背景下,如何基于健康医疗大数据,运用云计算、大数据、人工智能等相关技术,搭建合理先进的大数据云服务平台,从海量的医疗健康大数据中提取有价值的信息并合理、有效地利用,为广大患者、医务人员、科研人员提供服务和协助,正快速成为医疗卫生信息化行业重要的研究和工作方向。本文结合当前国内医疗行业现状及需求,依据国家相关主管部门政策文件,对基于大数据的智能辅助诊疗全流程管理系统的建设进行了分析研究。本文以传统文献检索为主要手段,辅以实地调研、网络、数据库等手段,对当前医疗大数据国内外研究现状、医疗大数据来源及特征、医疗大数据应用技术及普遍存在的问题进行了分析研究。同时,本文作者结合多年医院信息化工作经验,分析总结了所研究系统在数据整合、医疗服务、信息安全等各方面的需求。本文研究对传统诊疗服务过程中产生的患者基础信息及临床诊疗数据、康复健康数据等进行采集、归并、挖掘,综合关联患者就诊过程中的医疗大健康数据,创建基于大数据的智能辅助诊疗全流程管理系统,提出了系统设计方案并对其应用场景进行了设计。该系统能够分析患者疾病分布,挖掘患者就诊行为模式,助力患者高效就诊,促进患者从就诊医疗到健康管理的转换,并且辅助医生的临床决策,评估就诊效果,助力医院诊疗服务的高效提供。本文提出的基于大数据的智能辅助诊疗全流程管理系统,是能够充分发挥大数据技术优势,针对医疗健康行业的医疗大数据的应用支撑平台,旨在将医疗健康行业的宏观样本数据与每个个体的微观定性定量数据进行融合利用,从而促进医疗健康行业新应用场景和新服务模式的创新。
陈冰影[4](2020)在《基于BI的医院医疗质量数据分析系统的设计与实现》文中研究说明近年来,我国医院信息化建设的步伐日益加快,在不断发展与完善医院各临床医技业务系统应用的同时,医院的工作效率亦得到了显着的提升,并由此产生了大量的医疗数据。如何充分汇聚与使用这些数据,使之为医院各项决策和日常管理提供科学依据,进而使医院达到精细化管理,提升医疗质量的目标,是眼下医院信息化建设的重要任务之一,商业智能技术(BI)由于其快速的分析技术方法和基于事实的支持系统,在这一领域的应用正倍受青睐。海南省人民医院围绕电子病历这条主线展开医院信息系统的建设,历经近八年的时间,基本完成了面向临床、医技等57个业务子系统的开发建设任务,各子系统支撑了医院及各分支机构的主要医疗业务和管理业务的日常工作,积累了大量的临床医技及管理数据。但由于医院业务系统繁多且比较零碎,各业务系统之间相对分散、独立,导致数据共享存在困难,因此无法提供给医院管理人员较为集中的有价值的数据。本文结合海南省人民医院信息化建设的现状和实际管理需求,围绕医院医疗质量数据分析为主要内容,利用数据仓库、联机分析处理等商业智能技术,设计并实现了医院医疗质量数据分析系统。首先,梳理医疗质量分析指标,建立医疗质量指标体系;其次,结合医院业务流程,以医院各个信息系统产生的业务数据为基础业务数据源,使用Kettle工具对源数据进行抽取、转换、加载等一系列操作,完成数据仓库的建立;再次,以Visual Studio为开发工具,以门诊、住院、医技、DRGs等指标分析为主题,分别创建多维数据模型;最后,运用DHBI这个可视化数据工具,在提供数据查询、数据统计与汇总、数据对比的基础数据分析功能上,实现数据上卷下钻、数据联动、预警提示等多层次多维度的强大数据分析功能,通过PC端、移动端和大屏端等多种途径将数据以丰富多样的图表方式展现给医院各级管理者,为医院各项管理决策提供准确性高、时效性强、具有科学性的决策依据。该系统自上线运行以来,受到了医院各级管理人员的好评。该系统采集、整理、汇聚了海南省人民医院各类信息系统的数据资源,实现了信息共享,打破了传统报表只能简单查询数据和汇总数据的瓶颈,也解决了医院原先存在的统计数据结果差异的问题,统一了数据来源和统计数据口径,有助于实现医院数字化管理和精准管理,增强医院的核心竞争力。
夏明慧[5](2020)在《林业企业商务智能系统研建 ——以林口林业局有限公司为例》文中提出我国的国有林业局既承担着生态文明建设的主体责任,也肩负着产业建设的艰巨任务。在国家着力推动林业现代化发展、促进生态文明建设的大背景下,提升国有林业局信息化建设管理水平迫在眉睫。目前我国林业企业信息化建设仍存在“信息孤岛”和“建设分层”等诸多问题,急需新的信息技术进一步深化信息化建设。云计算和商务智能等技术提供了新的方法和工具,研建一套林业企业商务智能系统能有效解决林业企业信息化建设中所面临的困难和挑战。本文在软件工程学、林业企业管理、森林可持续经营等理论基础和云计算、商务智能应用技术、ETL技术等关键技术的指导下,采用文献研究法、实地调研法和案例研究法等方法,以黑龙江省林口林业局有限公司为例对林业企业商务智能系统进行了系统性研究,以期为之后的相关研究抛砖引玉。本文按照需求分析、系统设计、系统实现、应用分析的主体逻辑进行阐述:需求分析包括业务需求、功能需求、数据需求和性能需求;系统设计部分完成了商务智能平台选择、系统四层架构设计、三大主体功能设计、双层数据库模型设计以及ETL过程设计;随后利用开源商务智能平台Pentaho开发实现基于B/S架构的林业企业商务智能系统;最后结合案例企业实际,对系统的应用价值进行分析。目前该商务智能系统运行在云环境中,采用Saa S云计算的形式为终端用户提供服务。本文的研究表明:(1)商务智能技术能有效解决林业企业信息化建设中的“信息孤岛”和“建设分层”等问题,深化信息系统建设;(2)林业企业商务智能系统的应用能够显着提升林口林业局的业务洞察能力、风险监控能力、综合感知能力和科学决策能力。
王位明[6](2020)在《数据挖掘技术在高校教育投入中的应用研究》文中指出2018年3月2日,教育部在京联合召开了支持和启动关于提升中西部高等教育改革与发展的座谈会,部署和启动了部省高校合建的工作:通过实施部省合建方式支持中西部14所高校。这14所大多处于中西部地区和经济比较欠发达的地区,是党和国家为了促进和支持这些国家和地区的发展和改革而做出的战略性举措。为了更清晰的展现14所高校的发展情况,对后续的改革方向提供参考,通过数据挖掘技术对14所高校的教育投入的情况进行研究。本文主要通过OLAM(联机分析挖掘)技术对14所高校教育投入项目展开了应用研究,OLAM技术是OLAP(联机分析处理)技术和DM(数据挖掘)技术的结合。首先对OLAM技术的内容和关键技术的展开了理论研究,同时为了适应不同的使用场景,探讨了两种模式下(B/S架构和C/S架构)的OLAM模型,并进行了分析比对。为了更好的对数据进行分析处理,创建了本项目的数据资源仓库。与此同时,为了让本项目得到更好的使用,分析设计了 OLAM技术基础上的项目DSS(决策支持系统)架构体系,并对OLAM技术在本项目中的应用实践进行了阐述。通过OLAM技术,本文对14所高校的生均费用进行了挖掘分析,得出一些有价值的信息,可以在一定程度上为14所高校的经费使用情况以及进一步推进高校改革提供支持决策作用。
魏?[7](2020)在《基于学习代价的存储结构自动选择系统》文中进行了进一步梳理在数据库系统的设计中,数据表的存储结构在理论上决定了数据访问过程的复杂度,因此对数据表存储结构的选择是由系统所面向的工作负载决定的。如对于高写入负载,基于LSM存储结构的数据库系统较传统数据库有更强的性能表现,而对于分析型负载,基于列式存储的数据库系统可以在更短时间完成大型查询。但是在混合负载中,数据表的不同水平分区上需要处理的负载不同,并且同一分区上需要处理的负载可能发生变化,这也导致了不同数据表分区下的最优存储结构在持续变化。过去使用静态存储结构或者由人工方法调整存储结构的方法不能够实现对存储结构的充分使用,因此本文提出了一个基于学习代价的存储结构自动选择系统。该系统解决了对多引擎数据库下存储引擎的选择问题,以及针对工作负载的数据布局选择问题。除此之外,本文还提出了基于机器学习的,用于跨存储引擎进行代价比较的代价模型,并提出了用于建立该代价模型的数据库性能测试流程。实验结果表明,基于学习的代价模型可以对跨存储引擎的操作性能给出较为准确的估计。在使用TPC-H公开测试集上,事务型数据分区和分析型数据分区中自动选择得到的存储结构较静态存储结构总体查询时间降低了约35%。因此在分析型负载和事务型负载对数据的访问相对分散时,本系统对查询的总体时间有较大提升,并且过程中无需人工干预。
周康[8](2020)在《面向多场景的大数据分析系统的研究与实现》文中研究表明论文选题自医疗健康领域国家科技条件平台的资源中心大数据共享服务平台建设项目。项目目标需要汇聚全国各省市的人类遗传资源等数据,构建可提供给卫健委科研所不同需求的研究人员,以开展大数据分析、挖掘和数据服务的平台。项目有以下问题和需求:1)自建大数据分析平台;2)提供灵活的大数据多维场景分析能力;3)提供分布式挖掘场景分析能力,改变当前使用SPSS等软件的现状,以打破数据量和计算量的瓶颈。针对以上问题和需求,本文对多维分析场景和数据挖掘场景相关技术做了深入的研究和分析,设计并实现了面向多场景的大数据分析系统,主要贡献如下:(1)针对多维分析场景,设计与实现了一种混合查询引擎,不需要人工选择查询引擎,实现了查询引擎自动路由,可以同时满足固化分析、探索式分析等多种业务需求,更加灵活地支持多维分析场景中的数据源新增、分析需求变化等问题。(2)针对数据挖掘场景,提出了一种基于Spark的机器学习Pipeline构建方法,明确了可视化机器学习的阶段构成,同时提供了其处理流程的验证与执行方法。为数据挖掘场景提供高效的分析手段。(3)设计与实现了面向多场景的大数据分析系统,囊括多维分析和数据挖掘两大分析场景。本系统是基于Kylin、Spark等开源大数据组件构建的,同时提供了丰富的可视化图表,并实现了通过简单操作来完成复杂的多维分析和分布式机器学习任务。解决了卫健委科研所面向多场景分析、可视化分析的需求。
赖立[9](2020)在《分布式内存数据库异构计算框架及其算子的设计与实现》文中认为随着大数据时代的到来,联机分析处理(Online Analytical Processing,OLAP)已成为了研究的焦点。其中,面向海量数据处理的效率问题成为OLAP研究的关键点。为了提高执行效率,越来越多的OLAP数据库采用全内存计算。同时,CPU/GPU异构计算框架的运用越来越广泛。将异构计算运用于OLAP数据库可以大大提高OLAP的执行效率,降低OLAP的成本,这在数据库科学和工程上都有重要意义。目前使用GPU异构计算加速数据库的主要方式是提取数据库中的计算密集型操作,然后将其替换成GPU并行计算逻辑。这种通用做法无法解决总线传输瓶颈的问题。本文以解决OLAP数据库异构计算系统的总线传输瓶颈为突破口,以GPU索引为主要基础,以异构算子为主要手段,设计了一整套完整异构加速方案。本文的最终目的是为OLAP分布式内存数据库提供一套异构加速方案,主要工作如下:1、设计了GPU索引方案作为全文的基础。GPU索引方案不仅可以充分利用GPU的并行计算能力,同时也极大减少了内存和显存之间的数据传输,解决了总线传输瓶颈问题。2、基于GPU索引方案,设计了混合算子模型。在混合算子模型下,每一个算子都有GPU近似算子和CPU精确算子两部分,两个部分相互协作,共同完成计算任务。本文也详细论述了如何将混合算子模型运用于OLAP数据库的关键算子。3、设计了与GPU索引方案适配的调度模型。调度模型分为分布式全局调度和单节点局部调度,全局调度对热点数据在分布式集群中进行迁移,局部调度对数据进行索引调整。4、总结了将异构计算运用于数据库的关键性问题,并为这些问题建立数学模型。通过推导证明,得出许多有用的结论。这些结论直接运用于本系统,同时许多结论对其他类型的异构计算也具有借鉴意义。最后,对本分布式内存数据库异构计算系统进行全面的测试。测试结果发现本系统的执行效率远远高于单独使用CPU执行的效率。
孔慧慧[10](2020)在《大数据探索式多维分析及可视化系统的设计与实现》文中研究指明大数据目前已是一个庞大的生态体系,聚集了海量的大数据,在数据量高增长的同时,也产生了结构复杂和变化多端的多维数据。这些多维数据遍布在多个不同领域,是需要新处理模式才能具有更强决策力的信息资产。但当前已有的可视化系统中,还存在着很多不足与问题:(1)对数据处理的速度缓慢,未实现数据图表协同更新,间接影响数据分析的结果;(2)降低多维数据维度的过程复杂、可操作性差且学习成本高,对多维数据整合、数据合表、多维数据分层等功能支持性欠缺,使多维数据的研究和应用具有一定的局限性。(3)可视化流程构建不完善,着重研究可视化展示,造成可视化内容过于拥挤,不足以支撑多维数据的全生命周期可视化工作;为了解决上述出现的问题,本文对大数据探索式多维分析及可视化技术进行了深入的研究,主要研究内容包括:(1)为解决多维数据瞬息万变所带来的图表重绘问题,提出并实现了一种面向大数据场景的多维数据可视化实时更新方法,降低多维数据变化重绘图表造成的网络负载和网络延迟,并在多用户并发场景下,减少数据错误率,维护了系统稳定性。(2)针对多维数据进行Kylin建模,提供数据探索、图表配置、人机交互等多种数据图表交互技术,进一步提高视图探索能力,深层次分析多维数据的潜藏价值。(3)设计并实现了大数据探索式多维分析及可视化系统,为用户提供一套完整的从数据接入到可视化展示的多维数据分析架构,具备数据处理和视图探索交互应用能力的多维可视化构建服务。基于上述研究内容,本文构建了大数据探索式多维分析与可视化系统,提供数据挖掘能力,帮助使用者将多维数据可视化为一个高效,直观,易于理解的图像,辅助其验证假设性结论。并将其应用于重点专项项目“国家人类遗传资源中心大数据共享服务平台”建设中。
二、基于面向对象技术的OLAP系统设计研究及应用(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、基于面向对象技术的OLAP系统设计研究及应用(论文提纲范文)
(1)面向OLAP的存内查询优化技术研究(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 研究背景和意义 |
1.2 国内外研究现状 |
1.2.1 通用数据库查询优化技术 |
1.2.2 面向OLAP的查询优化技术 |
1.2.3 存内处理 |
1.3 论文研究内容 |
1.4 论文组织结构 |
第2章 相关工作 |
2.1 OLTP和OLAP |
2.2 基于存内处理的研究 |
2.3 常见的内存替换策略 |
2.4 本章小结 |
第3章 语句级存内查询优化方案 |
3.1 引言 |
3.2 相关工作 |
3.2.1 触发器 |
3.2.2 哈希表 |
3.3 语句级存内查询优化方案 |
3.3.1 内存哈希索引 |
3.3.2 哈希表增量更新算法 |
3.3.3 Agile Query的执行过程 |
3.4 实验设计与分析 |
3.4.1 TPC-H基准 |
3.4.2 查询分布 |
3.4.3 实验配置 |
3.4.4 实验结果 |
3.5 本章小结 |
第4章 操作符级存内查询优化方案 |
4.1 引言 |
4.2 操作符级存内查询优化方案 |
4.2.1 分块缓存 |
4.2.2 用户自定义函数 |
4.2.3 基于代价的缓存替换策略 |
4.2.4 内存哈希索引 |
4.2.5 SmarterQuery的执行过程 |
4.3 实验设计与分析 |
4.3.1 实验配置 |
4.3.2 实验结果 |
4.4 本章小结 |
第5章 总结与展望 |
5.1 论文工作总结 |
5.2 下一步的研究工作 |
参考文献 |
致谢 |
在读期间发表的学术论文与取得的研究成果 |
(2)分布式列式内存数据库事务系统的设计与实现(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究工作的背景 |
1.2 国内外研究现状 |
1.3 本文主要贡献和创新 |
1.4 本文的结构安排 |
第二章 相关背景知识介绍 |
2.1 事务与MVCC并发控制协议 |
2.1.1 事务基本理论 |
2.1.2 MVCC基本理论 |
2.2 存储引擎和索引方案 |
2.2.1 存储引擎分类 |
2.2.2 索引方案介绍 |
2.3 分布式事务 |
2.3.1 CAP和 BASE理论 |
2.3.2 分布式事务方案 |
2.4 GPU与 CUDA入门知识 |
2.5 本章小结 |
第三章 系统设计 |
3.1 需求分析 |
3.2 系统架构设计 |
3.2.1 整体架构与模块介绍 |
3.2.2 事务读写流程 |
3.3 MVCC方案设计 |
3.4 混合存储引擎设计 |
3.4.1 增量索引结构 |
3.4.2 多版本Group Key |
3.4.3 混合索引 |
3.4.4 GPU加速方案 |
3.5 分布式事务设计 |
3.5.1 事务ID生成 |
3.5.2 版本管理 |
3.5.3 元数据管理 |
3.5.4 事务执行方案 |
3.5.5 日志管理 |
3.5.6 ACID特性分析 |
3.6 本章小结 |
第四章 系统实现 |
4.1 用户通信协议设计 |
4.1.1 消息设计 |
4.1.2 VMS与 TE/QE通信协议 |
4.1.3 VMS与 HKVS通信协议 |
4.1.4 QE与 HKVS通信协议 |
4.1.5 TE与 HKVS通信协议 |
4.2 存储引擎模块 |
4.2.1 MVCC版本链 |
4.2.2 垃圾回收 |
4.2.3 增量索引 |
4.2.4 多版本Group Key |
4.2.5 混合引擎 |
4.2.6 日志模块 |
4.3 版本与元数据服务模块 |
4.3.1 版本服务 |
4.3.2 元数据管理 |
4.4 事务引擎模块 |
4.4.1 事务ID与状态管理 |
4.4.2 超时管理 |
4.4.3 协调者状态机实现 |
4.5 本章小结 |
第五章 系统测试 |
5.1 测试环境 |
5.1.1 硬件配置 |
5.1.2 系统部署 |
5.2 测试情况 |
5.2.1 存储引擎测试 |
5.2.2 分布式事务吞吐量测试 |
5.3 本章小结 |
第六章 全文总结和展望 |
致谢 |
参考文献 |
(3)基于大数据的智能辅助诊疗全流程管理系统的研究与实现(论文提纲范文)
摘要 |
abstract |
专用术语注释表 |
第一章 绪论 |
1.1 研究背景 |
1.2 国内外研究现状 |
1.3 研究的目的和意义 |
1.4 研究方法 |
1.5 本文研究的内容 |
1.6 本文的组织结构 |
1.7 相关概念 |
第二章 医疗大数据特点研究 |
2.1 医疗数据来源 |
2.2 医疗数据特性 |
2.3 医疗大数据现状 |
2.4 医疗大数据应用探索 |
2.5 医疗大数据应用技术 |
本章小结 |
第三章 系统需求分析 |
3.1 数据整合需求 |
3.2 医疗服务需求 |
3.3 信息安全需求 |
本章小结 |
第四章 系统设计 |
4.1 系统设计 |
4.2 系统环境 |
4.3 系统安全设计 |
本章小结 |
第五章 业务应用场景设计 |
5.1 患者端应用 |
5.2 医护端应用 |
本章小结 |
第六章 总结与展望 |
6.1 内容总结 |
6.2 研究展望 |
参考文献 |
致谢 |
(4)基于BI的医院医疗质量数据分析系统的设计与实现(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 研究背景 |
1.2 国内研究现状 |
1.3 研究的意义与内容 |
2 相关理论和关键技术 |
2.1 商业智能概述 |
2.2 数据仓库技术介绍 |
2.2.1 数据仓库介绍 |
2.2.2 ETL技术介绍 |
2.2.3 ETL工具Kettle介绍 |
2.3 OLAP概述 |
2.4 DHBI介绍 |
3 医院医疗质量数据分析系统的设计 |
3.1 需求分析 |
3.2 系统功能设计 |
3.3 系统架构设计 |
3.4 数据仓库设计 |
3.4.1 数据仓库的体系结构 |
3.4.2 数据仓库的设计思路 |
3.5 OLAP设计 |
3.5.1 多维数据模型的设计架构 |
3.5.2 门诊指标分析主题 |
3.5.3 住院指标分析主题 |
3.5.4 医技指标分析主题 |
3.5.5 DRGs指标分析主题 |
3.6 数据展示设计 |
4 医院医疗质量数据分析系统的实现 |
4.1 系统的软、硬件开发环境 |
4.2 数据采集与存储层的实现 |
4.3 数据分析层的实现 |
4.4 数据展示层的实现 |
4.5 DHBI可视化展示 |
4.5.1 PC端部分指标展示 |
4.5.2 移动端部分指标展示 |
4.5.3 大屏端部分指标展示 |
5 总结与展望 |
5.1 工作总结 |
5.2 展望 |
参考文献 |
致谢 |
(5)林业企业商务智能系统研建 ——以林口林业局有限公司为例(论文提纲范文)
摘要 |
abstract |
1 绪论 |
1.1 选题背景及研究意义 |
1.1.1 选题背景 |
1.1.2 研究意义 |
1.2 文献综述 |
1.2.1 林业信息化 |
1.2.2 商务智能 |
1.2.3 林业企业商务智能研究评述 |
1.3 研究内容 |
1.4 研究方法与技术路线 |
1.4.1 研究方法 |
1.4.2 技术路线 |
1.5 特色与创新之处 |
2 理论基础与关键技术支撑 |
2.1 理论基础 |
2.1.1 软件工程学 |
2.1.2 林业企业管理 |
2.1.3 森林可持续经营 |
2.2 关键技术 |
2.2.1 云计算 |
2.2.2 商务智能应用技术 |
2.2.3 ETL技术 |
2.3 小结 |
3 林业企业商务智能系统需求分析 |
3.1 林口林业局有限公司概况 |
3.1.1 基本情况 |
3.1.2 信息化建设现状 |
3.2 业务需求 |
3.2.1 森林经营类指标 |
3.2.2 财务管理类指标 |
3.3 系统需求 |
3.3.1 功能需求 |
3.3.2 数据需求 |
3.3.3 性能需求 |
4 林业企业商务智能系统设计 |
4.1 商务智能平台选择 |
4.1.1 开源产品与商业产品 |
4.1.2 主流开源商务智能产品 |
4.1.3 Pentaho BI简介 |
4.2 架构设计 |
4.2.1 数据获取层 |
4.2.2 数据集成层 |
4.2.3 数据处理层 |
4.2.4 数据应用层 |
4.3 功能设计 |
4.3.1 报表展示功能 |
4.3.2 指标展示功能 |
4.3.3 数据多维分析功能 |
4.4 数据库设计 |
4.4.1 概念模型设计 |
4.4.2 逻辑模型设计 |
4.4.3 物理模型设计 |
4.5 ETL设计 |
4.5.1 过程一 |
4.5.2 过程二 |
4.5.3 过程三 |
5 林业企业商务智能系统实现 |
5.1 开发环境 |
5.2 ETL实现 |
5.2.1 过程一:Excel数据到My SQL数据 |
5.2.2 过程二:建立数据集市 |
5.2.3 过程三:构建数据立方体 |
5.3 功能实现 |
5.3.1 报表展示 |
5.3.2 指标展示 |
5.3.3 数据多维分析 |
6 林业企业商务智能系统应用分析 |
6.1 提升林业企业业务洞察能力 |
6.2 提升林业企业风险监控能力 |
6.3 提升林业企业综合感知能力 |
6.4 增强林业企业科学决策能力 |
7 结论与展望 |
7.1 研究结论 |
7.2 不足之处 |
7.3 未来展望 |
参考文献 |
个人简介 |
导师简介 |
获得成果目录 |
致谢 |
(6)数据挖掘技术在高校教育投入中的应用研究(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 课题背景及研究意义 |
1.2 国内外研究现状 |
1.3 研究课题 |
1.4 论文组织结构 |
第2章 OLAM技术的探讨 |
2.1 决策支持系统DSS |
2.2 数据仓库DW的介绍 |
2.2.1 DW的定义 |
2.2.2 DW的数据环境 |
2.3 联机分析处理技术OLAP |
2.3.1 OLAP的逻辑概念 |
2.3.2 OLAP技术的应用 |
2.4 数据挖掘(Data-Mining) |
2.4.1 DM的定义 |
2.4.2 DM的过程 |
2.5 DW、DM及OLAP之间的关系 |
2.5.1 DW与DM的关系 |
2.5.2 DW与OLAP的关系 |
2.5.3 OLAP与DM的关系 |
2.5.4 DW、OLAP与DM的结合 |
2.6 OLAM技术 |
2.6.1 OLAP和DM的结合 |
2.6.2 OLAM的体系结构 |
2.6.3 OLAM的功能特性 |
2.7 本章小结 |
第3章 OLAM模型的分析和设计 |
3.1 传统OLAM模型的设计方法 |
3.1.1 OLAM的简单模型 |
3.1.2 OLAM的复杂模型 |
3.1.3 OLAM的通用模型 |
3.2 高校教育投入中OLAM模型的分析 |
3.2.1 两种不同性质的挖掘需求 |
3.2.2 OLAM模型的运行方式 |
3.3 高校教育投入中OLAM模型的设计 |
3.3.1 C/S架构的OLAM模型 |
3.3.2 B/S架构下的OLAM模型 |
3.3.3 OLAM模型的功能扩展 |
3.4 本章小结 |
第4章 构建高校教育投入资源数据仓库 |
4.1 多维数据建模 |
4.2 概念模型设计 |
4.3 逻辑模型设计 |
4.4 物理模型设计 |
4.4.1 数据的整理和完善 |
4.4.2 数据的清洗和集成 |
4.5 本章小结 |
第5章 OLAM技术在高校教育投入中的应用 |
5.1 DSS的设计与分析 |
5.2 OLAM技术的应用实践 |
5.2.1 OLAM工具的选取 |
5.2.2 OLAM模型的构建 |
5.2.3 OLAM挖掘算法的实现 |
5.2.4 OLAM定量挖掘与定性分析相结合 |
5.2.5 结论和建议 |
第6章 结语 |
6.1 论文工作总结 |
6.2 进一步工作 |
致谢 |
参考文献 |
(7)基于学习代价的存储结构自动选择系统(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 课题来源 |
1.2 研究背景 |
1.2.1 工作负载和存储引擎 |
1.2.2 自治数据库 |
1.3 研究意义 |
1.3.1 研究的理论意义 |
1.3.2 研究的实际意义 |
1.4 国内外研究进展 |
1.4.1 面向HTAP的数据库系统研究 |
1.4.2 自治数据库系统研究进展 |
1.5 研究内容 |
1.5.1 支持自动选择存储结构的数据库系统设计 |
1.5.2 基于机器学习的存储引擎代价模型 |
1.5.3 以列为中心的数据布局推荐算法 |
1.6 研究方法 |
1.6.1 基于代价的方法 |
1.6.2 机器学习的方法 |
1.6.3 研究思路 |
第2章 S-CUBE系统架构设计 |
2.1 设计思想 |
2.2 S-CUBE系统模块介绍 |
2.2.1 基准测试模块 |
2.2.2 代价模型训练模块 |
2.2.3 候选结构生成模块 |
2.2.4 存储结构代价估计模块 |
2.2.5 存储结构应用模块 |
2.3 S-CUBE系统工作流程 |
2.3.1 性能数据采集学习流程 |
2.3.2 存储结构推荐流程 |
2.4 本章小结 |
第3章 存储引擎代价模型 |
3.1 模型设计目标 |
3.2 特征选择 |
3.3 基准测试 |
3.3.1 基准测试流程 |
3.3.2 数据模式生成 |
3.3.3 工作负载设计 |
3.4 机器学习方法 |
3.4.1 数据预处理 |
3.4.2 建立学习模型 |
3.4.3 估计工作负载的代价 |
3.5 本章小结 |
第4章 数据布局推荐 |
4.1 数据布局介绍 |
4.2 数据布局推荐算法 |
4.2.1 以查询为中心的算法 |
4.2.2 以列为中心的算法 |
4.3 本章小结 |
第5章 实验验证 |
5.1 实验配置 |
5.2 存储引擎代价模型验证实验 |
5.3 数据布局推荐算法对比实验 |
5.4 系统推荐结果验证实验 |
5.5 本章小结 |
结论 |
参考文献 |
攻读硕士学位期间发表的论文及其它成果 |
致谢 |
(8)面向多场景的大数据分析系统的研究与实现(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.2.1 大数据多维分析技术研究现状 |
1.2.2 分布式机器学习技术研究现状 |
1.2.3 国内外研究现状总结 |
1.3 硕士在读期间主要工作 |
1.4 研究内容与论文工作 |
1.5 论文组织结构 |
第二章 相关技术及理论研究 |
2.1 大数据查询引擎研究 |
2.1.1 Apache Hive |
2.1.2 Spark SQL |
2.1.3 Apache Kylin |
2.2 分布式机器学习研究 |
2.2.1 机器学习Pipeline |
2.2.2 分布式计算框架Spark |
2.2.3 Apache Livy |
2.3 系统服务架构技术 |
2.3.1 Spring Boot |
2.3.2 Flask |
2.3.3 WebSocket |
2.4 本章小节 |
第三章 多维分析中混合查询引擎的设计与实现 |
3.1 研究挑战 |
3.2 整体架构 |
3.3 查询引擎路由策略 |
3.4 统一SQL生成策略 |
3.5 实验分析 |
3.5.1 实验环境与实验数据 |
3.5.2 实验设计与结果分析 |
3.6 本章小节 |
第四章 挖掘分析中机器学习Pipeline构造方法的设计与实现 |
4.1 研究挑战 |
4.2 整体架构 |
4.3 处理模块 |
4.4 通信结构 |
4.5 构造方法 |
4.5.1 算子的分类 |
4.5.2 流程的构建与验证 |
4.5.3 流程的翻译与执行 |
4.6 实验分析 |
4.6.1 实验环境与实验数据 |
4.6.2 实验设计 |
4.6.3 实验结果 |
4.7 本章小结 |
第五章 面向多场景的大数据分析系统的设计与实现 |
5.1 需求分析 |
5.1.1 系统业务需求分析 |
5.1.2 系统功能需求分析 |
5.2 系统架构设计 |
5.2.1 功能结构设计 |
5.2.2 技术架构设计 |
5.2.3 整体架构设计 |
5.3 数据库设计 |
5.4 模块设计及实现 |
5.4.1 数据源管理模块 |
5.4.2 混合多维分析模块 |
5.4.3 分布式可视化机器学习模块 |
5.5 系统测试与评估 |
5.5.1 页面展示 |
5.5.2 系统测试 |
5.6 本章小节 |
第六章 总结与展望 |
6.1 工作总结 |
6.2 未来展望 |
参考文献 |
致谢 |
攻读学位期间取得的研究成果 |
(9)分布式内存数据库异构计算框架及其算子的设计与实现(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 背景及意义 |
1.2 国内外研究现状 |
1.2.1 OLAP数据库现状 |
1.2.2 GPU异构计算现状 |
1.3 本文的主要贡献和创新 |
1.4 本论文的结构安排 |
第二章 相关理论基础 |
2.1 分布式数据库概述 |
2.1.1 分布式数据库架构概述 |
2.1.2 查询引擎概述 |
2.2 GPU异构计算概述 |
2.2.1 GPU硬件加速原理 |
2.2.2 CUDA概述 |
2.3 GPU数据库概述 |
2.3.1 全内存数据库与GPU数据库 |
2.3.2 列式存储与GPU数据库 |
2.3.3 GPU加速的计算模型 |
2.4 分布式数据库调度 |
2.5 本章小结 |
第三章 系统的关键模型与算法 |
3.1 异构计算的基本推论 |
3.1.1 异构计算相关定义 |
3.1.2 异构计算相关推论 |
3.2 异构计算总体策略 |
3.2.1 通用异构模型的问题和改进方向 |
3.2.2 主显混合基本模型 |
3.2.3 主显混合的GPU索引计算模型 |
3.3 算子算法 |
3.3.1 Select |
3.3.2 Join |
3.3.3 Group |
3.3.4 其他算子 |
3.4 分布式异构计算框架的调度和适配 |
3.4.1 异构调度策略 |
3.4.2 异构适配策略 |
3.5 本章小结 |
第四章 系统设计 |
4.1 系统架构设计 |
4.2 计算层和适配层设计 |
4.3 调度层设计 |
4.4 其他关键模块 |
4.5 主要流程设计 |
4.5.1 系统启动流程 |
4.5.2 查询流程 |
4.6 本章小结 |
第五章 系统实现 |
5.1 存储模块实现 |
5.2 计算和适配模块实现 |
5.3 调度模块实现 |
5.4 其他实现细节 |
5.5 本章小结 |
第六章 系统测试与结果分析 |
6.1 测试方案设计 |
6.1.1 测试环境 |
6.1.2 测试语句 |
6.1.3 测试数据 |
6.2 功能测试 |
6.2.1 算子功能测试 |
6.2.2 调度层功能测试 |
6.2.3 适配层功能测试 |
6.3 性能测试 |
6.3.1 Select性能测试 |
6.3.2 Join性能测试 |
6.3.3 Group性能测试 |
6.4 本章小结 |
第七章 总结与展望 |
7.1 工作总结 |
7.2 未来工作展望 |
致谢 |
参考文献 |
攻硕期间取得的研究成果 |
(10)大数据探索式多维分析及可视化系统的设计与实现(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 课题研究背景与意义 |
1.1.1 研究背景 |
1.1.2 研究意义 |
1.2 国内外研究现状及分析 |
1.2.1 多维分析可视化技术研究现状 |
1.2.2 探索式可视化系统研究现状 |
1.2.3 国内外研究现状总结 |
1.3 研究内容与论文工作 |
1.4 硕士在读期间主要工作 |
1.5 论文组织结构 |
第二章 相关理论及技术研究 |
2.1 数据可视化 |
2.1.1 数据可视化定义及流程 |
2.1.2 数据可视化分类 |
2.1.3 Web可视化技术 |
2.2 数据渲染交互技术 |
2.2.1 数据处理技术 |
2.2.2 多维分析技术 |
2.3 本章小结 |
第三章 面向大数据场景的多维数据可视化实时更新方法的研究 |
3.1 面向多维数据的可视化方法的设计与实现 |
3.2 基于WebSocket实时更新的设计与实现 |
3.2.1 传统的实时更新方法 |
3.2.2 WebSocket协议概述 |
3.2.3 WebSocket实时更新方法的实现 |
3.3 实验结果分析 |
3.4 本章小结 |
第四章 探索式智能可视化多维分析方法的研究 |
4.1 研究挑战 |
4.2 探索式智能可视化多维分析方法 |
4.2.1 数据探索技术 |
4.2.2 图表配置技术 |
4.2.3 人机交互技术 |
4.3 本章小结 |
第五章 探索式多维分析及可视化系统的设计与实现 |
5.1 系统需求分析 |
5.1.1 系统概述 |
5.1.2 业务需求 |
5.1.3 功能需求 |
5.2 可视化系统总体设计 |
5.2.1 系统架构设计 |
5.2.2 功能流程设计 |
5.3 可视化系统模块设计及实现 |
5.3.1 数据源导入模块 |
5.3.2 数据处理及建模模块 |
5.3.3 可视化多维数据模块 |
5.3.4 探索交互视图模块 |
5.3.5 视图动态组合模块 |
5.4 本章小结 |
第六章 系统部署与测试 |
6.1 系统部署 |
6.2 系统功能模块测试 |
6.2.1 数据源导入模块测试 |
6.2.2 数据处理及建模模块测试 |
6.2.3 可视化多维数据模块测试 |
6.2.4 探索交互视图模块测试 |
6.2.5 视图动态组合模块测试 |
6.3 系统性能测试 |
6.4 系统测试结果分析 |
6.5 本章小结 |
第七章 总结与展望 |
7.1 工作总结 |
7.2 未来展望 |
参考文献 |
致谢 |
攻读学位期间取得的研究成果 |
四、基于面向对象技术的OLAP系统设计研究及应用(论文参考文献)
- [1]面向OLAP的存内查询优化技术研究[D]. 陆姗姗. 中国科学技术大学, 2021(08)
- [2]分布式列式内存数据库事务系统的设计与实现[D]. 韩锋. 电子科技大学, 2021(01)
- [3]基于大数据的智能辅助诊疗全流程管理系统的研究与实现[D]. 孟啸. 南京邮电大学, 2019(03)
- [4]基于BI的医院医疗质量数据分析系统的设计与实现[D]. 陈冰影. 海南大学, 2020(02)
- [5]林业企业商务智能系统研建 ——以林口林业局有限公司为例[D]. 夏明慧. 北京林业大学, 2020(02)
- [6]数据挖掘技术在高校教育投入中的应用研究[D]. 王位明. 南昌大学, 2020(01)
- [7]基于学习代价的存储结构自动选择系统[D]. 魏?. 哈尔滨工业大学, 2020(02)
- [8]面向多场景的大数据分析系统的研究与实现[D]. 周康. 北京邮电大学, 2020(04)
- [9]分布式内存数据库异构计算框架及其算子的设计与实现[D]. 赖立. 电子科技大学, 2020(07)
- [10]大数据探索式多维分析及可视化系统的设计与实现[D]. 孔慧慧. 北京邮电大学, 2020(05)