一、采用合作缓存技术的并行全文检索(论文文献综述)
舒星源[1](2021)在《基于文本分析的电网设备故障案例管理系统的设计和实现》文中研究表明随着大数据时代的到来,建设智能电网的需求对电网领域文本数据的利用组织方式提出了新的挑战:长年累积的电网领域文本数据,尤其是设备故障案例,需要高效率的利用方式来挖掘其中的研究价值。一方面,电网领域文本数据不仅限于电网设备故障案例文本,文献、新闻和标准同样具有参考价值,但目前的文本数据采集效率不能满足需求;另一方面,非结构化的文本数据难以根据内容进行精确检索,因此文本数据的检索效率与文本规模不匹配,难以在应用场景中完成高效的查阅浏览。本论文基于课题组的电网设备故障案例管理系统,通过引入文本分析技术,实现故障案例文本的结构化存储。然后针对文本数据采集效率的问题,设计实现一种分布式多节点数据采集任务部署管理机制,缩短用户部署分布式数据采集任务的操作流程,提升文本数据采集效率。针对经过文本分析后的结构化数据的检索效率问题,论文引入知识图谱和全文搜索引擎以实现电网领域文本的高效检索。此外,针对各功能模块独立部署又协同合作的服务组织形式,本论文基于微服务和容器完成系统架构设计以实现系统功能模块的组件的服务化,并解决微服务化后的服务部署和治理的问题,为用户提供完善的高效电网领域文本管理服务。
朱子薇[2](2020)在《面向相关性排序的专利检索系统的研究与实现》文中提出现代社会进入了一个数字化、信息化、智能化的时代,科技创新是推动社会进步的巨大动力。因此,对于企业、高校而言,在不断提高自身科技实力的同时有效合理的将研发出的技术作为自身的知识产权保护起来也是至关重要的一件事情。专利知识产权作为一种无形的财产,涵盖了大量的科技信息。无论是新产品的研发还是专利的撰写、申请,都离不开专利数据的检索。随着科技的不断发展,专利数据库的日渐庞大,如何快速而准确的查找出满足检索者需求的专利信息成了一个热门研究方向。专利检索系统一方面可以帮助专利申请者提前获取与自身研发技术相关的信息,是否对其他的专利所有者造成侵权,另一方面可以帮助分析当前行业、机构或地区技术发展的最新情况,为接下来的技术发展方向提供了一定的参考信息。本文提出了专利检索分析领域内的一种基于相关性排序的专利检索系统,整个系统包括五大模块:数据处理模块包括了两部分的数据处理:基于命名实体识别的检索词处理与关系型数据库向搜索引擎数据导入的处理过程;检索统计模块是系统的主体部分,用于完成搜索、相关性排序及专利推荐功能,返回与检索相关的专利数据信息及专利推荐数据;知识产权情况分析报告模块是基于前期的搜索排序规则和聚合统计功能,将数据整理分析后反映出当前机构、地区的知识产权发展情况;其他模块包括收藏夹模块、专利关键词模块、法律法规模块,其中收藏夹模块用于临时保存检索者感兴趣的专利,提供了专利的批量下载功能;专利关键词模块用于提取能够概括专利主要内容的关键词;法律法规模块提供了与知识产权相关的法律法规的搜索与查看。作为专利检索系统的主要模块,检索统计模块还分为七大部分:专利数据存储部分基于抓取到的专利数据及专利检索规则搭建了一套用于专利检索的搜索引擎和用于输出专利详细信息的关系型数据库;命名实体识别部分提出了一个基于Bi-LSTM-CC模型的命名实体识别方法检索词的实体,提高检索的查准率;输入及检索式生成部分用于检测和获取用户输入的检索关键词及检索方式;检索及相关性排序模块用于根据检索式检索专利数据并基于相关性评分对候选结果重新排序;推荐部分是根据用户输入及点击信息提取检索技术特征,基于句子概念图判断相似度从而筛选出推荐专利;聚合部分是根据专利的授权、公开情况分析某机构或地区知识产权情况报告;输出模块用于向用户输出推荐检索关键字及检索结果。
李高磊[3](2020)在《面向B5G智能组网的新型安全防护技术研究》文中进行了进一步梳理Beyond 5G(B5G)将是以人工智能(Artificial Intelligence,AI)为核心引擎,使用更高频段作为信号载体,数据速率达到太比特每秒的新一代移动通信系统。B5G由于其超高速、大通量、强鲁棒等特点以及对各行业的重大潜在影响,已经成为全球各国科技争夺的制高点。现有研究已经从天线设计、太赫兹信号处理、极化码编码等方面对B5G基础理论进行了探讨。然而,随着应用空间的不断扩大,移动通信系统的研究重心正在从云中心向网络边缘转变。未来,B5G的性能在很大程度上将受组网模式及其安全防护能力的制约。B5G是一种泛在信息融合网络,其智能组网架构将兼容软件定义网络(SoftwareDefined Networking,SDN)、信息中心网络(Information-Centric Networking,ICN)、移动边缘计算(Mobile Edge Computing,MEC)等多种组网方式,并需要支持不同组网方式之间的无缝切换。然而,从云端到边缘,网络中的计算、存储等资源的分布是不均衡的,这使B5G智能组网的安全防护技术复杂程度更高、可控性更低。而且,对抗样本等由人工智能带来的新型攻击威胁使传统安全防护技术在B5G中难以使用。因此,本文深入研究了面向B5G智能组网的新型安全防护技术,丰富了B5G云端网络的SDN流量管理、云边融合的资源调度与计算任务分配、边缘计算的攻击缓解与知识安全共享、边缘学习的对抗样本防御方面的基础理论,提出基于深度包检测的流量应用层感知与细粒度QoS优化、基于服务流行度的异构资源动态调度、基于知识流行度的复杂计算任务适配、基于共识信息随机重加密的共谋攻击缓解、基于免疫学思想的对抗样本攻击识别与分布式预警防御等机制。本文的创新性研究工作归纳如下:第一,B5G云端网络的流量应用层感知与细粒度QoS优化。鉴于B5G云端网络中链路虚拟切片、功能软件定义、资源多租户等特点,提出基于深度包检测的SDN流量应用层行为感知方法、多租户SDN流量服务等级协商(Service Level Agreement,SLA)感知机制、大规模ICN流量应用层Qo E感知模型,实现多租户软件定义环境下的主动带宽分配技术,优化SDN/ICN组网模式下的QoS/Qo E性能(包括带宽利用率、抖动、延迟等)。第二,B5G云边融合的异构资源与复杂计算任务智能调度。针对移动边缘计算中节点不可信、资源分布不均衡等问题,研究基于服务流行度的异构资源动态调度方法,提升深度学习等复杂计算任务对MEC环境的适配能力;研究知识中心网络模型,提出“边缘学习即服务”的基础框架,建立共谋攻击缓解机制以及不可信环境下的复杂计算任务分配机制,降低响应延迟时间。第三,B5G中边缘学习的对抗样本识别与多阶段免疫防御。研究B5G智能组网中对抗样本攻击与防御模型,提出:1)去中心化的对抗样本识别与快速预警机制;2)去中心化的对抗样本多阶段免疫防御方法。与单纯地增强单个深度学习模型的鲁棒性不同,所提出的预警机制能够从输入数据中识别对抗样本,纠正神经网络所犯的错误,并向其他节点发出预警。针对在网络边缘部署的深度学习模型,所提出的多阶段免疫方法通过对多个神经网络模型梯度参数、网络结构等信息进行共享、编排、共识来动态地减少对抗样本对系统的危害。综上所述,本文针对云端网络、云边融合、边缘计算、边缘学习四种不同场景,深入研究并提出了面向B5G智能组网的新型安全防护关键技术,并利用公开数据集在主流实验平台上对所提方法的正确性、有效性、优越性进行了测试验证,为B5G的进一步发展提供理论支撑和重要参考。
徐林[4](2020)在《基于分布式的租售一体电商平台的设计与实现》文中认为随着社会互联网技术的不断发展,中国的电子商务领域也正在蓬勃发展,各种不同业务的电子商务平台也应运而生。在国内比较着名的有淘宝、京东、当当等电商平台,这些电商平台提供的商品不计其数。但是大部分都没有实现可出售或者可租赁的灵活的商品交易方式。随着商品数量的不断增长,商家手头可能会有大量闲置或者有着小瑕疵的物品。用户同时也有其个性化选择短期租赁或者是购买的需求,在这个提倡”共享”经济的时代,商家可以通过租赁或者是出售的方式来处理自己的商品。通过此方式,既可以提高商家的盈利,也可以解决消费者短期需求的燃眉之急,这一点在特定领域显得尤为突出。本文设计并实现了为中小企业打造的分布式租售一体电商平台。首先分析了系统在不同的角色下操作与服务器后台之间的响应,前后端的交互。通过UML统一建模语言分析了系统的功能性需求和非功能性需求,最后对系统进行设计和实现;主要实现了商家入驻、商品管理、分类管理、品牌管理、用户首页、在线支付、统一授权管理和数据大盘等功能,完成了一个简单易用的租售一体平台。该系统采用Spring Cloud作为系统的底层框架,实现了注册节点之间服务注册与发现、服务拆分、服务应用间的通信,使用ElasticSearch集群进行全文索引进行检索,编程语言主要采用Java开发。在数据持久化方面,使用了 MySQL数据库进行存储,对经常需要读写的数据使用Redis缓存加快响应速度。本系统还对Redis集群做了高可用性的部署。利用大数据技术对服务器的行为日志利用Flume进行收集,发送消息给Kafka消息队列系统。利用Spark Streaming进行实时计算,并将结果存储到HBase等NoSQL数据库中,同时利用E-Charts将统计数据进行大数据可视化展示。最后,在本文中测试了系统每个模块的运行情况以及系统的响应性能、可靠性和安全性,结果表明符合需求。本平台对传统的产业进行互联网化改造,实现信息流和数据流合为一体,推动引领着相关行业的优化升级。本平台可以拥有自己的企业形象,并且完全拥有用户的详细资料。企业可以通过此方式,对自己的用户做出针对化的营销活动,实现到首页搜索,支付配送的完整闭环。此平台改变了企业经营方式,同时节约了企业的制造成本,为互联网+传统企业赋能。本文最后对已完成工作进行了梳理和总结,并对未来的改进和优化的研究方向加以陈述。
陈振华[5](2020)在《电商交易数据实时计算平台设计与实现》文中进行了进一步梳理实时计算又称流处理,是一个从数据产生,就即时采集计算的过程,能够满足更快运算和分析的需求。大数据技术的出现和发展,为海量数据的处理提供新的解决方案。最初基于Hadoop构建的离线批处理系统,通过HDFS存储,Map Reduce、Hive计算的模式来实现。目前,这套模式通常用来构建大型数据仓库。传统的基于数据仓库的查询统计,首先通过ETL技术将各个业务系统的数据同步到数据仓库,形成ods层数据集,在此基础上进行数据开发。数据仓库存储的往往是T-1的数据,无法满足对数据实时处理的需求。虽然可以将数据的调度时间调整到30分钟到数小时不等,这种方式具有高吞吐量、耗时长的特点,可以满足对时效性要求不高的离线分析报表的需求。但是,越来越多的应用场景通过离线批处理的方式已经满足不了需求,企业希望能够对流数据进行在线实时处理和即时响应,因为这些数据的价值是有时效性的。而实时计算技术的出现和发展,加快了数据的处理过程,让数据产生更大的价值。本文基于蓝月亮对实时处理电商交易数据、埋点数据、生产制造数据等的需求,探讨了构建统一的大数据实时计算平台的设计和实现过程。实时计算平台处理数据的流程如下:首先通过canal解析My SQL binlog日志写到本地文件,接着Flume进行采集写入分布式消息队列Kafka,最后由分布式实时计算框架Storm拉取Kafka上的数据进行计算处理,计算结果写入到高速缓存组件Redis中。同时,平台还构建了分布式索引服务elasticsearch,来满足实时索引的需求,以及对实时计算过程中遇到的脏数据进行存储和后续分析。
胡永奇[6](2020)在《招聘信息垂直搜索引擎的设计与实现》文中认为在信息爆炸的互联网环境中,各个领域的数据和信息呈指数增长,从这些海量无规则数据和强干扰的信息中检索出有价值的数据具有重要的研究意义。海量数据导致通用搜索引擎对专业领域上查询的信息不够准确和全面,而用户对专业领域信息的需求却在与日俱增。对于招聘行业来说,具有可以快速检索招聘信息的垂直搜索引擎至关重要,因此,本文设计并实现了一个面向招聘行业的垂直搜索引擎。本文基于Scrapy-Redis实现分布式爬虫来为招聘信息垂直搜索引擎提供数据支持,通过对分布式爬虫框架的二次开发来实时抓取网络招聘信息,完成了招聘信息的高效采集和结构化信息的准确抽取。在研究爬虫框架源码后,对网页抓取过程中URL去重方法进行改进,通过集成自定义的布隆过滤器解决了原爬虫框架在抓取海量网页数据时内存占用过高的问题,实现了快速抓取海量招聘信息的功能。对于垂直搜索引擎,数据的快速存取和检索非常重要,本文对数据的存储选用了非关系型数据库HBase,并借助全文检索技术来弥补HBase对非主键字段的检索或者多条件的组合查询和模糊查询等方面的的不足。利用全文搜索引擎ES(Elasticsearch)为HBase构建二级索引来将索引和数据分离,借助ES完善的检索服务来实现用户多样化的查询。同时,为了给用户提供实时的检索服务,本文利用HBase的协处理器来将前面分离的数据与索引同步更新。目前数据库中已有千万级的职位数据并还在持续增长中,存储在HBase集群上的海量职位数据还可以用于大数据分析等领域。本文结合分布式爬虫框架、非关系型数据库HBase和全文搜索框架ES设计并实现了一个招聘信息垂直搜索引擎系统,给用户提供全文检索和高级检索两种方式来满足用户的不同检索需求,并提供数据可视化分析功能来帮助用户了解当前的招聘环境,提升用户的交互体验。通过功能测试和性能测试,该垂直搜索引擎可以提供多样化的查询服务和毫秒级别的响应时间。同时,系统的集群服务保证了系统具有良好的扩展性和较高的吞吐率。
刘铂熙[7](2020)在《缓存、计算资源受限下无线网络吞吐量优化策略研究》文中研究指明为将云计算下沉到网络边缘,边缘无线节点将逐渐具备文件缓存、任务处理功能。然而,经典的云-网分离的调度机制无法充分利用无线网络中分散的通信、计算和缓存资源。为应对资源受限与需求增长之间的矛盾,本博士论文以最大化网络吞吐量为目标,对通信、计算和缓存资源优化调度开展了系列研究。对可预测的多媒体通信需求,研究缓存资源受限下无线网络的流行文件放置问题,提前优化流行文件在网络内的缓存位置。进一步,对不可预测的计算型通信需求,研究计算资源受限下无线网络的计算型通信任务调度问题,实时均衡网络内中央处理器(Compute Processing Unit,CPU)和随机接入存储模块(Random Access Memory,RAM)的工作负载。同时,考虑到基于经典因特网协议(Internet Protocol,IP)地址的调度框架过度分离云-网的资源,导致调度开销过大的问题,将设计一种缓存、计算一体化调度框架,旨在降低高负载下无线网络的通信开销,从而提升网络吞吐量。主要贡献如下:1.针对缓存资源受限下无线网络吞吐量优化问题,本文优化任意网络拓扑下缓存文件放置策略。现有工作大多局限于单跳、单路径路由拓扑等假设,未考虑利用路由多样性提升本地缓存击中率,网络吞吐量难进一步提升。本文否定了资源受限下文件缓存策略次模性(Submodularity),并分析了任意拓扑下联合缓存-路由联合优化的计算复杂度。进而针对可拥塞网络,提出一种基于随机凑整法(Randomized Rounding)的文件放置策略(Joint Caching and Routing of Arbitrary Topology,Jo CRAT),保证了在任意拓扑下该缓存策略能提供至少次线性的近似比。带宽有限时,相比于经典缓存文件缓存策略提升网络吞吐量2倍以上。2.针对计算资源受限下无线网络吞吐量优化问题,本文优化任意网络拓扑下计算任务调度策略。现有工作未充分考虑网络拓扑变化对时延的影响。本文分析网络的拓扑结构特性对网络吞吐量的影响机理,并发现部分特殊场景下调度策略的最优解结构。针对一般场景,提出一种基于随机交替凑整法(Altarnative Rounding)的分布式任务调度策略(Joint Caching,Processing and Routing of Arbitrary Topology,Jo Ca PRAT),保证最坏情况下吞吐量不低于最优值紧上界的常数倍。在显着改善网络内计算资源利用率的同时,相比于经典任务调度策略,所提Jo Ca PRAT策略的计算复杂度低一个数量级以上。3.针对基于IP调度框架依赖外部资源定位服务,如域名服务(Domain Name Service,DNS)等,缓存文件、接入计算资源带来的通信开销过大的问题,本文优化改进了IP组网架构,提出并实现基于面向对象组网(Object-oriented Networking,OON)的缓存-计算一体化调度框架,显着降低通信开销。并在网络仿真器-3(Network Simulator3,NS-3)平台上开展动态多媒体自适应业务分发与网络内转码功能的相关实验。实验结果表明,在自组织Wi-Fi网络中,OON显着降低多码率视频传输中信令对带宽的消耗,提升了网络吞吐量。
何朝阳[8](2020)在《滑坡实时监测预警系统关键技术及其应用研究》文中认为监测预警是地质灾害防灾减灾的重要手段,监测是预警的基础,预警是监测的目的。近年来,国内外学者对滑坡监测预警的方法技术体系进行了深入研究,取得了大量的研究成果。但总体上,地理与地质结合不够紧密,监测预警模型很难充分考虑滑坡变形过程和成灾机理,难以取得较高的预警精度,研发的监测预警系统也难以满足数以万计隐患点实时监测预警的实战需求。已有的研究成果还难以有效地解决地质灾害“什么时间可能发生”、“力争实现提前3个小时预警”的任务。如何提高滑坡监测预警能力,我们面临诸多挑战:如何提高滑坡监测预警精度?如何将理论研究成果应用到实际的监测预警中,构建一套可业务化大规模应用的滑坡实时监测预警系统?基于此,本论文系统总结作者近10年来在监测预警方面的实践成果,采用云计算与物联网等先进技术,构建滑坡监测预警云平台,整合与管理滑坡地质灾害演化全过程的各类资料,研发并行高效的多源异构监测数据汇聚平台,集成多源异构实时监测数据,形成天-空-地多元立体监测数据中心;综合分析2.1万余台(套)监测设备、超过1.26亿条监测数据的实测曲线,总结划分监测曲线类型,构建监测设备可靠度评价体系,研究滑坡过程预警模型及其实现的关键技术,在此基础上,构建一套混合架构(B/S架构、C/S架构、移动App)的滑坡实时监测预警系统,实现了地质与地理、空间与属性相结合的滑坡演化全过程一体化管理,利用计算机手段对滑坡实施全过程动态跟踪的“过程预警”,有效地提高了滑坡预警精度。本文取得主要成果如下:(1)构建滑坡“过程预警”模型及其自动求解算法:结合变形速率、速率增量、改进切线角三个参数,构建基于滑坡变形演化过程的“过程预警”模型,从滑坡变形监测数据入手,划分监测曲线类型,研究滑坡变形演化阶段的自动识别理论及计算机技术,实现对滑坡全过程动态跟踪预警;(2)构建监测设备可靠度建立评价体系和多设备联动预警机制:通过动态对监测设备可靠度进行评价,结合联动预警机制,评价预警结论可信度,以提升监测预警的成功率,利用计算机技术自动识别滑坡的变形演化过程,实现自动、实时的“过程预警”,为预警模型的业务化、自动化运行提供理论与技术支撑;(3)提出监测数据自动处理方法:研究实测监测数据的预处理方法,为计算机自动处理监测数据提供相关的算法。通过设置监测数据过滤器和采用拉依达准则实现对异常数据的初步过滤与粗差处理,再结合数据特征,分别采用移动平均法与最小二乘法对数据进行拟合,识别数据表现出来的变形趋势。基于监测数据曲线特征自动选择相应的数据处理方法,为后续预警模型计算提供更为准确的数据,提高预警精度;(4)构建实时高效的监测数据集成与共享统一管理平台:结合物联网、消息队列、负载均衡等技术,研究监测数据编码体系,提出一套基于MQTT协议的实时监测数据传输与集成方案,实现多源异构监测数据终端集成和监测数据采集、传输及汇集融合一体化管理,为监测预警提供实时数据保障;(5)构建基于策略的滑坡实时过程预警技术:从模型的计算、预警的发布与解除等方面,将滑坡预警的理论模型与实际应用相结合,研发预警等级求解器,构建基于策略的预警模型通用计算框架,并从预警信息发布技术及发布策略方面进行总结,实现对滑坡的实时过程预警;(6)构建滑坡变形演化全过程一体化数据管理平台:基于“天-空-地”滑坡多元立体观测技术,采用WebGL技术跨平台的三维数字地球,提供直观、真实的三维实景漫游平台,实现海量基础数据、实时监测数据、视频的集成管理与共享,也为实时监测预警系统提供一个功能强大、数据丰富的三维展示平台,构建基于滑坡演化全过程的一体化数据管理体系和滑坡综合信息模型,为滑坡的专家预警决策提供数据支撑;(7)研发混合架构体系的滑坡实时监测预警系统:综合集成上述研究成果,研究混合架构体系(B/S、C/S、移动端),基于微服务研发滑坡实时监测预警系统,各个架构系统密切配合,针对不同的功能需求,充分发挥各架构的优势,构建数据综合展示统一平台,为过程预警模型提供技术解决方案,实现滑坡监测预警的业务化运行,为滑坡的防治、应急、抢险等提供基础数据支撑与预警信息服务。
龙凯[9](2020)在《5G物理层比特级处理并行架构设计与实现》文中进行了进一步梳理移动通信技术的变革为经济发展注入了强大的动力。移动设备的快速普及,通过移动通信技术开拓了新的市场领域,第四代移动通信系统(4G)尤为明显。随着移动通信技术促进数字经济的发展,对移动通信系统的需求越来越高,因此第五代移动通信系统(5G)应运而生。5G为了适应未来10年的移动通信需求,在4G的基础上,对移动通信无线接入网和核心网进行了大量的变革,使用了众多新技术。5G使用的空口技术也被称为NR(New Radio),可见对5G给予了厚望。5G具有广泛的应用场景,能满足绝大多数业务的不同需求。其应用场景有三个主要的突出点,增强型移动宽带、大规模机器通信和超可靠低延迟通信。5G在适应众多应用场景的同时,给无线接入网的物理层数据处理带来了巨大的挑战,传统通用处理器已不能满足5G物理层数据处理的需求。本文研究了NR物理层中物理上行共享信道和物理下行共享信道中比特级的并行数据处理方法,设计了基于现场可编程门阵列(Field Programmable Gate Array,FPGA)支持多种部署方式的并行数据处理架构,并在Xilinx ZYNQ UltraScale+RFSoC XZCU21DR上实现了该架构。根据基站使用的频段和天线配置,分析了在单载波情况下物理共享信道数据处理吞吐量需求。从吞吐量需求入手,同时兼顾通用性和可扩展性,为两个不同的物理信道设计了相同的数据通信接口,以适应多种不同的部署方式。根据物理信道输入输出数据类型特点,结合硬件平台可用资源、数据吞吐量需求、实现复杂度等因素,设计了两个物理信道比特级并行数据处理架构。随后根据FPGA器件的特点,详细介绍了并行数据处理架构在FPGA平台上的实现方法,最后对本文设计的比特级并行数据处理引擎进行了测试。测试总共分为两部分,仿真测试和基于硬件平台部署测试。采用验证方法学中基于功能覆盖率的测试方法对并行数据处理引擎进行测试,设计了两个不同物理信道通用的仿真框架,并根据仿真框架搭建了两个信道比特级并行数据处理引擎功能覆盖率收集的仿真环境,完成了仿真测试。最后对两个物理信道比特级的并行数据处理引擎进行了真实的部署场景测试,同时给出了部署测试的相关信息。经测试,物理上行共享信道比特级并行处理引擎吞吐量达到了2.65Gbps,物理下行共享信道比特级并行数据处理引擎吞吐量达到了6.14Gbps。
王思源[10](2020)在《GPU加速的分布式图查询系统的设计与实现》文中研究指明资源描述框架(RDF)是W3C组织制定的一个标准数据模型,用来表示万维网上的关联数据。RDF将相互关联的数据描述成一系列的三元组,这些三元组构成一个高度连通的图(RDF图)。用户可以通过SPARQL查询语言检索RDF数据。在线图查询是访问关联数据的重要方式,其目标是在图数据中找到符合查询约束条件的顶点集合。图查询任务可以分为两种类型:小查询和大查询。小查询在执行时只需要遍历一小部分顶点和边,而大查询通常需要遍历大量的顶点,进而会导致较长的执行时间。现有的系统在面对大小查询混合的工作负载时,总体性能会急剧下降。原因在于两类查询的延迟差异巨大,大查询在执行时会占用大量的计算资源,从而阻塞了小查询的执行。幸运的是,硬件领域的不断进步使得先进的硬件开始逐渐普及。在数据中心里,服务器已经开始配备图形处理器(GPU)和支持远程直接内存访问(RDMA)技术的网卡。GPU能提供比CPU更多的计算资源和更高的内存带宽,RDMA能够降低跨机器远程通信的开销。先进的硬件特性给设计高性能的图查询系统带来了新的机会。本文提出引入GPU来加速RDF大查询的处理,而CPU专门负责处理小查询。基于此设计思想,本文设计并实现了首个能高效利用CPU和GPU混合并行性的分布式RDF图查询系统——Wukong+G。本文的主要贡献如下:1、通过分析现有图查询系统的特点和存在的问题,结合硬件技术的发展趋势,提出了构建异构的图查询系统来处理异构的查询任务的设计思想,即采用CPU处理小查询,GPU处理大查询。2、针对GPU上的查询执行,设计并实现了GPU友好的RDF内存式键值存储和RDF缓存,同时提出了一系列优化CPU-GPU数据传输的技术,包括查询感知的数据预取,匹配模式感知的流水线和细粒度的加载策略。3、通过对目前最先进的分布式RDF图查询系统(Wukong)增加GPU扩展实现了一个可用的原型系统。测试结果表明,在具有RDMA网络的5个节点构成的CPU/GPU集群(10个GPU卡)上,Wukong+G在单个大查询的延迟的性能上相比Wukong有2.3倍至9.0倍的提升,并且在混合的工作负载下将延迟和吞吐量提高了不止一个数量级。
二、采用合作缓存技术的并行全文检索(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、采用合作缓存技术的并行全文检索(论文提纲范文)
(1)基于文本分析的电网设备故障案例管理系统的设计和实现(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景和意义 |
1.2 国内外研究现状 |
1.3 研究内容 |
1.4 论文组织结构 |
第二章 相关技术介绍 |
2.1 Scrapy爬虫框架 |
2.2 知识图谱 |
2.3 开源搜索工具组Elastic Stack |
2.4 微服务架构 |
2.4.1 微服务研究现状 |
2.4.2 微服务设计思想 |
2.4.3 Spring Cloud框架 |
2.5 容器部署技术 |
2.6 本章小结 |
第三章 电网设备故障案例管理系统需求分析 |
3.1 系统需求概述 |
3.1.1 问题和挑战分析 |
3.1.2 需求概述 |
3.2 用户角色分析 |
3.2.1 普通用户——检修人员 |
3.2.2 管理员 |
3.3 非功能性需求分析 |
3.3.1 低延时 |
3.3.2 灵活性 |
3.3.3 可靠性 |
3.3.4 易用性 |
3.4 本章小结 |
第四章 电网设备故障案例管理系统概要设计 |
4.1 系统总体设计 |
4.1.1 单体架构系统问题分析 |
4.1.2 系统微服务实例划分 |
4.1.3 基于微服务架构的系统总体设计 |
4.1.4 系统架构设计 |
4.2 系统功能模块设计 |
4.2.1 用户管理微服务设计 |
4.2.2 案例管理微服务设计 |
4.2.3 知识图谱微服务设计 |
4.2.4 全文检索微服务设计 |
4.2.5 数据采集管理微服务设计 |
4.2.6 文本分析微服务设计 |
4.2.7 持续集成部署模块设计 |
4.3 本章小结 |
第五章 电网设备故障案例管理系统详细设计与实现 |
5.1 系统技术选型 |
5.1.1 Web端 |
5.1.2 服务端 |
5.1.3 数据库 |
5.2 用户管理微服务详细设计与实现 |
5.2.1 数据库设计 |
5.2.2 关键类设计 |
5.2.3 接口设计 |
5.3 案例管理微服务详细设计与实现 |
5.3.1 数据库设计 |
5.3.2 关键类设计 |
5.3.3 接口设计 |
5.4 知识图谱微服务详细设计与实现 |
5.4.1 关键类设计 |
5.4.2 接口设计 |
5.5 全文检索微服务详细设计与实现 |
5.5.1 数据库索引设计 |
5.5.2 关键类设计 |
5.5.3 接口设计 |
5.6 数据采集管理微服务详细设计与实现 |
5.6.1 数据库表设计 |
5.6.2 关键类设计 |
5.6.3 接口设计 |
5.7 文本分析微服务详细设计与实现 |
5.7.1 关键类设计 |
5.7.2 接口设计 |
5.8 持续集成部署模块详细设计与实现 |
5.9 本章小结 |
第六章 系统测试与分析 |
6.1 测试环境 |
6.1.1 软件环境 |
6.1.2 硬件环境 |
6.2 系统功能测试 |
6.2.1 单元测试 |
6.2.2 集成测试 |
6.3 系统性能测试 |
6.4 总结及分析 |
6.5 本章小结 |
第七章 总结与展望 |
7.1 工作总结 |
7.2 问题与展望 |
参考文献 |
附录 |
附录1: 英文术语及缩略语对照表 |
致谢 |
(2)面向相关性排序的专利检索系统的研究与实现(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 研究背景及意义 |
1.2 研究现状 |
1.2.1 国内外研究现状 |
1.2.2 文本检索与专利检索 |
1.3 课题研究内容 |
第二章 系统概述 |
2.1 系统框架概述 |
2.1.1 Django框架 |
2.1.2 搜索引擎框架 |
2.1.3 Elasticsearch主要概念 |
2.2 数据预处理及数据存储 |
2.2.1 数据预处理 |
2.2.2 数据获取及存储 |
2.3 专利检索排序及推荐模块 |
2.3.1 面向相关性的检索排序模块 |
2.3.2 专利推荐模块 |
2.4 知识产权分析模块 |
2.5 其他模块 |
2.6 本章小结 |
第三章 数据预处理及数据存储 |
3.1 数据处理概述 |
3.2 基于Bi-LSTM-CC模型的中文命名实体识别 |
3.2.1 Bi-LSTM-CC模型结构 |
3.2.2 实验结果论证 |
3.3 数据存储 |
3.3.1 索引及映射规则 |
3.3.2 基于IKAnanlyzer的分词组件 |
3.3.3 Elasticsearch内存调优 |
3.4 本章小结 |
第四章 面向相关性的专利检索排序及推荐 |
4.1 输入及智能检索式生成 |
4.1.1 输入模块 |
4.1.2 智能检索式生成 |
4.2 Elasticsearch的搜索技术及评分规则 |
4.2.1 Elasticsearch搜索技术 |
4.2.2 基于Lucene的评分规则 |
4.2.3 忽略TF/IDF,重构相关性评分 |
4.3 基于相关性评分的搜索及排序 |
4.3.1 基于TF-IDF的基础检索 |
4.3.2 面向专利特性及相关性的二次检索及评分规则 |
4.4 基于用户行为与概念图分析的专利推荐 |
4.4.1 算法流程 |
4.4.2 实例分析论证 |
4.5 本章小结 |
第五章 知识产权分析报告 |
5.1 Elasticsearch的聚合技术 |
5.1.1 聚合技术概述 |
5.1.2 桶聚合技术详细 |
5.2 重要技术点方法研究 |
5.2.1 技术领域内的竞争对手识别 |
5.2.2 基于TF-IDF的专利词云统计 |
5.3 基于Elasticsearch检索与聚合的知识产权情况分析 |
5.3.1 机构:如高校、公司等 |
5.3.2 地区:全国至各个省市范围 |
5.4 本章小结 |
第六章 总结与展望 |
6.1 工作总结 |
6.2 工作展望 |
参考文献 |
附录1 攻读硕士学位期间申请的专利 |
附录2 攻读硕士学位期间参加的科研项目 |
致谢 |
(3)面向B5G智能组网的新型安全防护技术研究(论文提纲范文)
摘要 |
ABSTRACT |
缩略词与符号列表 |
第一章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.2.1 B5G智能组网研究现状 |
1.2.2 人工智能安全研究现状 |
1.3 主要研究内容 |
1.4 论文的布局 |
第二章 相关基础知识 |
2.1 B5G智能组网模式 |
2.1.1 软件定义网络 |
2.1.2 信息中心网络 |
2.1.3 移动边缘计算 |
2.2 深度学习及其安全基础 |
2.2.1 深度学习的网络模型 |
2.2.2 典型对抗攻击技术 |
2.2.3 经典对抗防御技术 |
2.3 本章小结 |
第三章 B5G云端网络的流量应用层感知与细粒度QoS优化 |
3.1 引言 |
3.2 基于DPI的大规模云端SDN网络流量应用层行为感知与QoS优化 |
3.2.1 系统组件 |
3.2.2 系统模型 |
3.2.3 系统性能测试验证 |
3.3 B5G云端多租户SDN网络的流量应用层SLA感知与细粒度QoS优化 |
3.3.1 设计原理 |
3.3.2 实验与结果分析 |
3.4 大规模ICN流量应用层QoE感知与细粒度QoS优化 |
3.4.1 具体方案 |
3.4.2 性能分析与验证 |
3.5 本章小结 |
第四章 B5G云边融合的异构资源与复杂计算任务智能调度 |
4.1 引言 |
4.2 基于服务流行度的B5G异构资源动态调度 |
4.2.1 服务流行度建模 |
4.2.2 计算成本建模 |
4.2.3 效用函数 |
4.2.4 服务流行度感知的计算资源调度算法 |
4.2.5 移动性与异构性感知的计算资源调度算法 |
4.2.6 实验方案与结果分析 |
4.3 基于知识流行度的复杂学习任务智能调度 |
4.3.1 知识中心网络模型 |
4.3.2 边缘学习即服务框架 |
4.3.3 基于知识流行度的边缘学习任务分配方法 |
4.3.4 性能分析 |
4.4 本章小结 |
第五章 B5G移动边缘计算的敏感数据与知识安全保护 |
5.1 引言 |
5.2 B5G移动边缘计算的合谋攻击模型 |
5.2.1 恶意诽谤 |
5.2.2 信誉欺骗 |
5.3 基于共识信息随机重加密的合谋攻击缓解机制 |
5.3.1 共识信息随机重加密的系统框架 |
5.3.2 单一MEC的共识信息随机重加密 |
5.3.3 多MEC的共识信息随机重加密 |
5.3.4 基于共识信息重加密的合谋攻击缓解在能源互联网中的应用 |
5.4 不可信环境下基于区块链共识的B5G边缘知识安全共享方法 |
5.4.1 不可信环境下知识安全共享的需求分析 |
5.4.2 基于区块链共识的B5G边缘知识安全共享框架 |
5.4.3 设计原理与工作流程 |
5.4.4 基于知识流行度证明的共识机制 |
5.4.5 实验方案设计 |
5.4.6 实验结果与性能分析 |
5.5 本章小结 |
第六章 B5G边缘学习的对抗攻击与防御方法 |
6.1 引言 |
6.2 B5G边缘学习的安全防护需求 |
6.3 去中心化的对抗样本识别与快速预警机制 |
6.3.1 攻击建模与系统结构 |
6.3.2 对抗样本识别与快速预警算法 |
6.3.3 MNIST标准数据集上的验证 |
6.3.4 工业数据集上的验证 |
6.4 去中心化的对抗样本多阶段免疫防御 |
6.4.1 边缘学习中对抗样本的免疫学建模 |
6.4.2 基于区块链的服务编排在边缘学习中应用现状 |
6.4.3 去中心化的对抗样本多阶段免疫防御系统设计思路 |
6.4.4 去中心化的免疫防御策略组合 |
6.4.5 基于树莓派的对抗样本攻击防御实验设计 |
6.4.6 实验结果与性能分析 |
6.5 本章小结 |
第七章 总结与展望 |
7.1 全文总结 |
7.2 未来展望 |
参考文献 |
致谢 |
攻读学位期间发表的学术论文 |
攻读学位期间申请的专利 |
攻读学位期间参与的项目 |
(4)基于分布式的租售一体电商平台的设计与实现(论文提纲范文)
摘要 |
ABSTRACT |
缩略语对照表 |
第一章 绪论 |
1.1 选题背景及意义 |
1.2 国内外现状分析 |
1.2.1 国内研究现状 |
1.2.2 国外研究现状 |
1.3 主要工作内容 |
1.4 论文组织结构 |
第二章 相关技术介绍 |
2.1 Spring Cloud微服务技术介绍 |
2.2 ElasticSearch全文检索技术 |
2.3 Spark Streaming大数据实时处理 |
2.4 Redis NO-SQL缓存技术 |
2.5 Kafka消息队列技术 |
2.6 本章小结 |
第三章 系统需求与分析 |
3.1 业务流程分析 |
3.2 商家功能性需求分析 |
3.2.1 商家首页模块 |
3.2.2 商品管理模块 |
3.2.3 订单管理模块 |
3.3 客户功能性需求分析 |
3.3.1 会员客户整体需求用例 |
3.3.2 全文搜索模块 |
3.3.3 查看详情模块 |
3.3.4 在线评论模块 |
3.3.5 在线支付模块 |
3.3.6 客户租赁模块 |
3.4 管理员功能性需求 |
3.4.1 管理员总体需求 |
3.4.2 统一注册、授权模块 |
3.4.3 用户行为日志模块 |
3.4.4 数据大盘模块 |
3.5 其他需求 |
3.5.1 可靠性需求 |
3.5.2 响应需求 |
3.5.3 安全性需求 |
3.6 本章小结 |
第四章 系统的设计与实现 |
4.1 系统架构设计 |
4.2 系统功能结构设计 |
4.3 系统数据库表设计 |
4.4 系统详细设计与实现 |
4.4.1 商家首页模块 |
4.4.2 商品管理模块 |
4.4.3 订单管理模块 |
4.4.4 全文搜索模块 |
4.4.5 详情页模块 |
4.4.6 在线评论模块 |
4.4.7 在线支付模块 |
4.4.8 用户租赁模块 |
4.4.9 统一注册授权中心模块 |
4.4.10 用户行为日志管理模块 |
4.4.11 数据大盘模块 |
4.5 本章小结 |
第五章 系统测试与分析 |
5.1 系统测试环境 |
5.2 系统功能性测试 |
5.2.1 商家首页模块 |
5.2.2 商品管理模块 |
5.2.3 订单管理模块 |
5.2.4 全文搜索模块 |
5.2.5 详情页模块 |
5.2.6 在线评论模块 |
5.2.7 在线支付模块 |
5.2.8 客户租赁模块 |
5.2.9 统一注册、授权中心 |
5.2.10 数据大盘模块 |
5.3 系统非功能性需求测试 |
5.3.1 可靠性测试 |
5.3.2 响应性测试 |
5.3.3 安全性测试 |
5.4 本章小结 |
第六章 总结与展望 |
6.1 工作总结 |
6.2 后续工作展望 |
参考文献 |
致谢 |
作者简介 |
(5)电商交易数据实时计算平台设计与实现(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 课题背景及意义 |
1.2 国内外研究现状 |
1.3 研究方案及工作基础 |
1.4 本章小结 |
第二章 相关技术综述 |
2.1 My SQL日志解析框架canal |
2.2 分布式消息队列Apache Kafka |
2.3 实时计算框架Aapche Storm |
2.4 分布式应用程序协调服务Aapche Zoo Keeper |
2.5 分布式全文检索技术elasticsearch |
2.6 本章小结 |
第三章 需求分析和总体设计 |
3.1 功能性需求 |
3.2 非功能性需求 |
3.3 平台整体架构设计 |
3.4 本章小结 |
第四章 平台核心模块设计与实现 |
4.1 平台运行环境 |
4.2 MySQL实时数据采集 |
4.3 Apache Storm集群部署 |
4.4 订单实时计算核心代码实现 |
4.5 Elasticsearch写入性能优化 |
4.6 Elasticsearch异常数据存储索引设计 |
4.7 Zoo Keeper优化 |
4.8 本章小结 |
第五章 测试和结果展示 |
5.1 高可用测试 |
5.2 性能测试 |
5.3 Kafka管理平台展示 |
5.4 Storm ui界面展示 |
5.5 实时计算结果展示 |
5.6 本章小结 |
第六章 总结和展望 |
6.1 论文工作总结 |
6.2 不足与展望 |
参考文献 |
致谢 |
附件 |
(6)招聘信息垂直搜索引擎的设计与实现(论文提纲范文)
摘要 |
abstract |
第1章 绪论 |
1.1 研究背景和意义 |
1.2 国内外研究现状 |
1.3 主要内容和结构安排 |
第2章 垂直搜索引擎相关技术 |
2.1 搜索引擎技术架构 |
2.2 网络爬虫 |
2.2.1 通用网络爬虫 |
2.2.2 分布式网络爬虫 |
2.2.3 爬虫框架Scrapy-Redis |
2.3 海量数据存储 |
2.3.1 Hadoop概述 |
2.3.2 非关系型数据库HBase |
2.3.3 HBase协处理框架 |
2.4 索引技术 |
2.4.1 全文检索工具库Lucene |
2.4.2 分布式搜索引擎ES |
2.4.3 Lucene索引与数据库索引 |
2.5 ECharts数据可视化 |
2.6 本章小结 |
第3章 系统需求分析与设计 |
3.1 需求分析 |
3.1.1 需求背景 |
3.1.2 系统目标 |
3.1.3 功能需求 |
3.1.4 非功能需求 |
3.2 系统总体设计 |
3.2.1 系统总体架构 |
3.2.2 系统总体功能设计 |
3.2.3 系统体系结构 |
3.3 数据采集模块的设计 |
3.3.1 网页抓取的设计 |
3.3.2 URL任务分发的设计 |
3.3.3 URL去重的设计 |
3.4 信息抽取模块的设计 |
3.5 存储模块的设计 |
3.6 索引模块的设计 |
3.6.1 索引构建 |
3.6.2 索引与数据同步的设计 |
3.7 检索模块的设计 |
3.8 数据分析展示模块的设计 |
3.9 本章小结 |
第4章 系统实现 |
4.1 数据采集模块的实现 |
4.1.1 网页抓取的实现 |
4.1.2 URL任务分发的实现 |
4.1.3 URL去重的实现 |
4.2 信息抽取模块的实现 |
4.3 存储模块的实现 |
4.3.1 数据存储 |
4.3.2 数据去重 |
4.4 索引模块的实现 |
4.4.1 索引构建 |
4.4.2 索引与数据同步的实现 |
4.5 检索模块的实现 |
4.5.1 服务端检索实现 |
4.5.2 检索前端界面实现 |
4.6 数据分析展示模块的实现 |
4.7 本章小结 |
第5章 系统开发环境与测试 |
5.1 开发环境及配置 |
5.1.1 Hadoop集群 |
5.1.2 HBase集群 |
5.1.3 ES集群 |
5.2 功能测试 |
5.3 性能测试 |
5.4 本章小结 |
总结与展望 |
致谢 |
参考文献 |
(7)缓存、计算资源受限下无线网络吞吐量优化策略研究(论文提纲范文)
摘要 |
Abstract |
缩略词表 |
符号表 |
一 绪论 |
1.1 研究背景与意义 |
1.2 研究现状及挑战 |
1.3 主要研究工作 |
二 网络优化调度理论 |
2.1 网络吞吐量的图论模型 |
2.2 算法复杂度理论 |
2.3 经典调度策略 |
2.4 本章小结 |
三 缓存资源受限下吞吐量优化 |
3.1 系统模型与问题建模 |
3.2 任意拓扑下文件缓存策略的复杂度分析 |
3.3 一种次线性文件缓存策略 |
3.4 数值性能评估 |
3.5 本章小结 |
四 计算资源受限下吞吐量优化 |
4.1 系统模型与问题建模 |
4.2 任意拓扑下计算任务调度策略的复杂度分析 |
4.3 一种分布式任务调度策略 |
4.4 数值性能评估 |
4.5 本章小结 |
五 缓存-计算资源联合优化框架 |
5.1 面向对象组网体系结构 |
5.2 面向对象的转发流程设计 |
5.3 基于NS-3的优化框架实验评估 |
5.4 本章小结 |
六 总结与展望 |
6.1 研究工作总结 |
6.2 研究工作展望 |
致谢 |
参考文献 |
附录1 博士期间发表论文 |
附录2 博士期间参加项目 |
(8)滑坡实时监测预警系统关键技术及其应用研究(论文提纲范文)
摘要 |
Abstract |
第1章 前言 |
1.1 选题依据及研究意义 |
1.2 国内外研究现状 |
1.2.1 滑坡监测预警模型研究 |
1.2.2 滑坡位移监测数据处理方法研究 |
1.2.3 数据质量评价方法研究 |
1.2.4 滑坡监测预警系统研究 |
1.2.5 混合架构在监测预警领域中的应用研究 |
1.3 主要存在的问题 |
1.4 主要研究内容 |
1.4.1 滑坡监测预警方法研究 |
1.4.2 滑坡监测预警系统关键技术研究 |
1.4.3 基于WebGL技术的三维数字地球的研究 |
1.4.4 混合架构体系的滑坡监测预警系统研究 |
1.5 研究路线 |
1.6 本论文特色及创新点 |
1.7 完成的主要工作 |
第2章 基于变形演化过程的滑坡预警技术 |
2.1 概述 |
2.2 滑坡变形演化过程的一般特征 |
2.3 基于变形过程的滑坡预警模型 |
2.4 滑坡变形演化阶段自动识别 |
2.4.1 改进切线角自动求解方法 |
2.4.1.1 改进切线角模型 |
2.4.1.2 离散小波变换提取曲线特征 |
2.4.2 常见监测曲线类型与识别 |
2.4.2.1 平稳型(T11) |
2.4.2.2 稳定型(T21) |
2.4.2.3 震荡型(T22) |
2.4.2.4 递增型(T31) |
2.4.2.5 指数型(T32) |
2.4.2.6 突变型(T33) |
2.5 多设备联动预警机制 |
2.5.1 监测设备分组 |
2.5.2 监测设备可靠度动态评价体系TRIP |
2.5.3 预警结论可信度 |
2.5.4 联动预警案例分析 |
2.6 本章小结 |
第3章 滑坡监测数据自动处理方法 |
3.1 异常数据自动处理 |
3.1.1 监测数据过滤器 |
3.1.2 异常数据处理方法 |
3.1.2.1 粗差数据的处理 |
3.1.2.2 雨量监测数据常见问题 |
3.2 监测数据的拟合处理 |
3.2.1 移动平均法 |
3.2.2 最小二乘法 |
3.3 数据处理方法适用范围研究 |
3.3.1 数据消噪处理 |
3.3.2 仪器误差处理 |
3.3.3 滑坡失稳阶段的数据处理 |
3.4 监测数据等时间间隔处理 |
3.4.1 状态量数据 |
3.4.2 累积量数据 |
3.5 本章小结 |
第4章 滑坡监测数据实时集成与共享技术 |
4.1 高可靠数据集成与共享技术 |
4.1.1 高级消息队列协议(AMQP) |
4.1.2 消息队列遥测传输(MQTT) |
4.1.3 高并发下的高可靠数据分发与共享 |
4.2 基于MQTT协议的多源异构监测数据实时集成技术 |
4.2.1 两种数据集成技术 |
4.2.1.1 基于ETL模式的批处理集成 |
4.2.1.2 基于MQTT协议的流处理集成 |
4.2.2 基于MQTT协议的数据集成体系 |
4.2.2.1 数据流模型 |
4.2.2.2 负载均衡中的会话保持 |
4.3 海量数据存取优化方案 |
4.3.1 分词技术 |
4.3.2 倒排索引 |
4.3.3 海量数据存取优化方案 |
4.4 本章小结 |
第5章 基于策略的滑坡实时过程预警技术 |
5.1 基于策略的预警模型计算框架 |
5.1.1 预警计算流程 |
5.1.2 预警模型管理 |
5.1.3 通用模型计算框架研究 |
5.1.4 预警等级求解器的设计与实现 |
5.1.4.1 求解器计算流程 |
5.1.4.2 多线程预警技术 |
5.1.5 过程预警成果展示 |
5.2 预警的发布与解除 |
5.2.1 预警信息自动发布技术 |
5.2.2 预警信息发送规则 |
5.2.3 预警信息解除 |
5.3 本章小结 |
第6章 滑坡综合数据一体化管理技术 |
6.1 滑坡空间数据集成体系研究 |
6.1.1 多源异构空间数据预处理 |
6.1.2 空间数据库的选择 |
6.1.3 空间数据服务平台 |
6.1.4 空间数据集成体系 |
6.2 基于WebGL技术的三维数字地球 |
6.2.1 WebGL技术 |
6.2.2 三维平台的选择 |
6.2.3 三维模型高精度集成技术 |
6.2.4 三维数字地球应用效果 |
6.3 基于国标的视频设备集成体系 |
6.3.1 数据传输协议 |
6.3.2 视频监控统一管理平台 |
6.3.2.1 平台架构设计 |
6.3.2.2 视频设备编码规则 |
6.3.2.3 统一视频平台的开发与应用 |
6.4 天-空-地一体化数据管理体系 |
6.4.1 空间数据 |
6.4.2 属性数据 |
6.4.3 非结构化数据 |
6.4.4 一体化数据管理平台 |
6.5 本章小结 |
第7章 基于混合架构体系的滑坡实时监测预警系统 |
7.1 概述 |
7.2 需求分析 |
7.3 系统功能架构设计 |
7.4 数据结构体系 |
7.5 云服务基础平台设计 |
7.5.1 SOA与 JWT |
7.5.2 系统架构 |
7.6 混合架构体系 |
7.6.1 B/S架构网页端 |
7.6.1.1 系统演示主界面 |
7.6.1.2 天-空-地一体化数据管理 |
7.6.1.3 监测数据分析 |
7.6.1.4 滑坡过程预警分析 |
7.6.2 C/S架构客户端 |
7.6.2.1 演示模式 |
7.6.2.2 空间数据管理 |
7.6.2.3 监测预警信息管理 |
7.6.2.4 后台服务监控 |
7.6.3 移动端App |
7.6.3.1 概述 |
7.6.3.2 功能架构设计 |
7.6.3.3 移动端开发相关技术 |
7.6.3.4 主要功能 |
7.7 本章小结 |
第8章 系统应用案例 |
8.1 预警案例 |
8.2 预警流程时间因素分析 |
8.3 黑方台滑坡监测预警 |
8.3.1 概述 |
8.3.2 党川7号滑坡预警过程 |
8.4 兴义龙井村9组岩质滑坡监测预警 |
8.4.1 概述 |
8.4.2 监测点布置 |
8.4.3 系统应用 |
8.5 本章小结 |
结论 |
致谢 |
参考文献 |
攻读学位期间取得学术成果 |
附录 |
A.1 全文公式索引 |
A.2 全文图索引 |
A.3 全文表索引 |
(9)5G物理层比特级处理并行架构设计与实现(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究背景 |
1.1.1 5G快速发展及其广泛的应用场景 |
1.1.2 通用平台无法满足5G物理层数据处理需求 |
1.1.3 运营商面临困境 |
1.2 研究意义 |
1.3 研究内容 |
1.4 本文结构安排 |
第二章 5GNR物理层 |
2.1 5G无线接入网 |
2.1.1 C-RAN |
2.1.2 CU-DU的切分 |
2.2 5GNR物理层 |
2.3 本章小结 |
第三章 PUSCH比特级并行信号处理设计与实现 |
3.1 PUSCH比特级处理流程及处理引擎需求分析 |
3.1.1 PUSCH比特级数据处理流程 |
3.1.2 PUSCH比特级处理引擎关键指标及设计分析 |
3.2 PUSCH比特级并行处理引擎架构设计 |
3.2.1 并行数据处理外部通信接口设计 |
3.2.2 比特级并行数据处理引擎内部并行处理架构设计 |
3.2.3 数据处理 |
3.3 面向FPGA的 PUSCH比特级并行处理架构实现 |
3.3.1 解交织 |
3.3.2 HARQ |
3.3.3 Appending |
3.3.4 LDPC译码器 |
3.3.5 并行CRC校验 |
3.4 本章小结 |
第四章 PDSCH比特级并行信号处理设计与实现 |
4.1 PDSCH比特级处理流程及处理引擎需求分析 |
4.1.1 PDSCH比特级处理流程 |
4.1.2 PDSCH处理引擎关键指标及设计分析 |
4.2 PDSCH比特级并行处理引擎架构设计 |
4.2.1 引擎外部数据交互接口设计 |
4.2.2 引擎内部数据处理架构设计 |
4.2.3 引擎数据处理 |
4.3 面向FPGA的 PDSCH比特级并行处理引擎架构实现 |
4.3.1 TB/CB CRC |
4.3.2 LDPC编码 |
4.3.3 比特选择 |
4.3.4 交织 |
4.3.5 CB拼接 |
4.4 本章小结 |
第五章 并行数据处理引擎测试 |
5.1 硬件平台简介 |
5.2 并行引擎测试 |
5.2.1 仿真测试方法 |
5.2.2 并行处理引擎通用仿真框架设计 |
5.2.3 并行数据处理引擎仿真 |
5.2.4 引擎部署测试 |
5.3 引擎资源占用 |
5.4 引擎吞吐量 |
5.5 本章总结 |
第六章 总结与展望 |
6.1 全文总结 |
6.2 下一步工作展望 |
致谢 |
参考文献 |
攻读硕士期间获得成果 |
学位论文答辩后勘误修订说明表 |
(10)GPU加速的分布式图查询系统的设计与实现(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究背景 |
1.2 研究现状 |
1.2.1 RDF图查询系统 |
1.2.2 基于GPU的异构系统 |
1.3 论文研究内容 |
1.4 论文结构安排 |
第二章 相关技术背景 |
2.1 RDF和 SPARQL |
2.1.1 CPU上的查询处理 |
2.1.2 全历史剪枝 |
2.1.3 SPARQL查询的异构性 |
2.2 硬件发展趋势 |
2.2.1 硬件的异构性 |
2.2.2 高速的网络通信 |
2.2.3 异构系统的机会 |
2.3 本章小结 |
第三章 Wukong+G系统的总体架构 |
3.1 应用场景 |
3.2 设计目标 |
3.3 架构概览 |
3.3.1 查询引擎 |
3.3.2 图存储层 |
3.4 技术挑战 |
3.5 关键技术 |
3.6 本章小结 |
第四章 查询引擎的设计与实现 |
4.1 高效的CPU-GPU数据传输 |
4.1.1 查询感知的数据预取 |
4.1.2 匹配模式感知的流水线 |
4.1.3 细粒度的加载策略 |
4.2 GPU并行查询处理 |
4.3 分布式查询处理 |
4.3.1 Fork-Join执行模式 |
4.3.2 查询任务通信协议 |
4.3.3 关键技术实现 |
4.4 本章小结 |
第五章 存储层的设计与实现 |
5.1 GPU友好的内存图存储结构 |
5.1.1 基于谓词的数据分组 |
5.1.2 技术实现 |
5.2 GPU显存中的RDF缓存 |
5.2.1 缓存查询流程 |
5.2.2 缓存替换策略 |
5.3 本章小结 |
第六章 实验与评测 |
6.1 实验环境 |
6.2 单个查询处理的性能 |
6.3 性能提升因素分析 |
6.4 GPUDirect RDMA的性能获益 |
6.5 可扩展性 |
6.6 混合并发工作负载下的性能 |
6.7 显存中的RDF缓存 |
6.8 其他数据集 |
6.9 本章小结 |
第七章 总结与展望 |
7.1 全文总结 |
7.2 工作展望 |
参考文献 |
致谢 |
攻读硕士学位期间已发表或录用的论文 |
四、采用合作缓存技术的并行全文检索(论文参考文献)
- [1]基于文本分析的电网设备故障案例管理系统的设计和实现[D]. 舒星源. 北京邮电大学, 2021(01)
- [2]面向相关性排序的专利检索系统的研究与实现[D]. 朱子薇. 南京邮电大学, 2020(03)
- [3]面向B5G智能组网的新型安全防护技术研究[D]. 李高磊. 上海交通大学, 2020(01)
- [4]基于分布式的租售一体电商平台的设计与实现[D]. 徐林. 西安电子科技大学, 2020(05)
- [5]电商交易数据实时计算平台设计与实现[D]. 陈振华. 华南理工大学, 2020(02)
- [6]招聘信息垂直搜索引擎的设计与实现[D]. 胡永奇. 西南交通大学, 2020(07)
- [7]缓存、计算资源受限下无线网络吞吐量优化策略研究[D]. 刘铂熙. 华中科技大学, 2020(01)
- [8]滑坡实时监测预警系统关键技术及其应用研究[D]. 何朝阳. 成都理工大学, 2020(04)
- [9]5G物理层比特级处理并行架构设计与实现[D]. 龙凯. 电子科技大学, 2020(01)
- [10]GPU加速的分布式图查询系统的设计与实现[D]. 王思源. 上海交通大学, 2020(01)