您当前的位置:首页 > 论文写作 > 硕博课题

硕士论文开题报告优秀范文模板

时间:2018-10-11  来源:本站  作者:

  硕士论文开题报告优秀范文模板style=“overflow: hidden;text-overflow: clip;”YMq医家园

  月在XXX公司调研,了解到现如今各行业都面临着数据量剧增长, 并由此带来业务处理速度缓慢,数据维护困难等问题。为了应对此挑战,很多企业开实施大 数据发展战略。现如今的大数据发展战略可以概括为两类,一类是垂直扩展。即采用存储容 量更大,处理能力更强的设备,此种方式成本较大,过去很多大公司一直采用此种方法处理 大数据。但自从2004 年Google 发布关于GFS,MapReduce 和BigTable 三篇技术论文之后, 云计算开始兴起,2006 年Apache Hadoop 项目启动。随后从2009 年开始,随着云计算和大 数据的发展,Hadoop 作为一种优秀的数据分析、处理解决方案,开始受到许多 企业的关注。相较于垂直扩张所需的昂贵成本,人们更钟情于采用这种通过整合廉价计算资源的水 平扩展方式。于是很多IT 企业开始探索采用Hadoop 框架构建自己的大数据环境。 月在XXX实习过程中进一步了解到,因为关系数据库在存储数据 格式方面的局限,以及其Schema 机制带来的扩展性上的不便,目前在大部分的大数据应用 环境中都采用非结构化的数据库,如列式存储的 Hbase,文档型存储的 MangoDB,图数据 库neo4j 等。这些非结构化数据库因为可扩展性强、资源利用率高,高并发、响应速度快等 优势,在大数据应用环境中得到了广泛的应用。但此种应用只解决了前端的业务处理,要真 正利用大数据实现商务智能,还需要为决策支持系统和联机分析应用等提供一数据环境—— 数据仓库。为此,导师指导本文作者拟此题目,研究基于Hadoop 框架的数据仓库解决方案。 现如今,数据已经渗透到每一个行业,成为重要的生产因素。近年来,由于历史积累和和数据增长速度加快,各行业都面临着大数据的难题。事实上,大数据既是机遇又时挑战。合 理、充分利用大数据,将其转变为海量、高增长率和多样化的信息资产,将使得企业具有更 强的决策力、洞察发现力和流程优化等能力。因此,很多IT 企业都将大数据作为其重要的 发展战略,如亚马逊、FaceBook 已布局大数据产业,并取得了骄人的成绩。事实上,不止 谷歌、易趣网或亚马逊这样的大型互联网企业需要发展大数据,任何规模的企业都有机会从 大数据中获得优势,并由此构建其未来业务分析的基础,在与同行的竞争中,取得显著的优 相较于大型企业,中小企业的大数据发展战略不同。大公司可以凭借雄厚的资本和技术实力,从自身环境和业务出发,开发自己的软件平台。而中小企业没有那样的技术实力,也没 有那么庞大的资金投入,更倾向于选择一个普遍的、相对廉价的解决方案。本文旨在分析大 数据环境下数据库的特点,结合当下流行的Hadoop 框架,提出了一种适用于大数据环境的 数据仓库的解决方案并实现。为中小企业在大数据环境中构建数据仓库提供参考。其具体说 来,主要有以下三方面意义: 首先,目前主流的数据库如Oracle、SQLServer 都有对应自己数据库平台的一整套的数据 仓库解决方案,对于其他的关系型数据库如MySQL 等,虽然没有对应数据库平台的数据仓 库解决方案,但有很多整合的数据仓库解决方案。而对于非结构化的数据库,因其数据模型 不同于关系型数据库,需要新的解决方案,本文提出的基于Hive/Pentaho 的数据仓库实现方 案可以为其提供一个参考。 其次,通过整合多源非结构化数据库,生成一个面向主题、集成的数据仓库,可为大数据平台上的联机事务处理、决策支持等提供数据环境,从而有效利用数据资源辅助管理决策。 再次,大数据是一个广泛的概念,包括大数据存储、大数据计算、大数据分析等各个层次的技术细节,本文提出的“大数据环境下的数据仓库解决方案及实现“丰富了大数据应用技术 的生态环境,为大数据环境下的数据分析、数据挖掘等提供支撑。 本文研究的主体是数据仓库,区别于传统基于关系型数据库的数据仓库,本文聚焦大数据环境下基于非结构数据库的数据仓库的构建与实现。因此,有必要从数据仓库和大数据环境 下的数据库两方面进行阐述。 自从BillInmon 在1990 年提出“数据仓库”这一概念之后,数据仓库技术开始兴起,并给 社会带来新的契机,逐渐成为一大技术热点。目前,美国 30%到 40%的公司已经或正在建 造数据仓库。现如今随着数据模型理论的完善,数据库技术、应用开发及挖掘技术的不断进 步,数据仓库技术不断发展,并在实际应用中发挥了巨大的作用。以数据仓库为基础,以联 机分析处理和数据挖掘工具为手段的决策支持系统日渐成熟。与此同时,使用数据仓库所产 生的巨大效益又刺激了对数据仓库技术的需求,数据仓库市场正以迅猛的势头向前发展。 我国企业信息化起步相对较晚,数据仓库技术在国内的发展还处于积累经验阶段。虽然近年来,我国大中型企业逐步认识到利用数据仓库技术的重要性,并已开始建立自己的数据仓 库系统,如中国移动、中国电信、中国联通、上海证券交易所和中国石油等。但从整体上来 看,我国数据仓库市场还需要进一步培育,数据仓库技术同国外还有很大差距。为此,我国 许多科技工作者已开始对数据仓库相关技术进行深入研究,通过对国外技术的吸收和借鉴, 在此基础上提出适合国内需求的技术方案。 随着数据库技术深入应用到各个领域,结构化数据库逐渐显露出一些弊端。如在生物、地理、气候等领域,研究面对的数据结构并不是传统上的关系数据结构。如果使用关系数据库 对其进行存储、展示,就必须将其从本身的数据结构强行转换为关系数据结构。采用此种方 式处理非结构数据,不能在整个生命周期内对非关系数据进行管理,并且数据间的关系也无 法完整的表示出来。在此背景下,非结构化数据库应运而生。相较于关系数据库,非结构数 据库的字段长度可变,并且每个字段的记录又可以由可重复或不可重复的子字段构成。如此, 它不仅可以处理结构化数据,更能处理文本、图象、声音、影视、超媒体等非结构化数据。 近年来,随着大数据兴起,非结构数据库开始广泛应用,以支持大数据处理的多种结构数据。 目前,非结构化的数据库种类繁多,按其存储数据类型分,主要包含内存数据库、列存储型、文档数据库、图数据库等。其中,常见的内存数据库有 SQLite,Redis,Altibase 存储数据库有Hbase,Bigtable等;文档数据库有MangoDB,CouchDB,RavenDB等;图数据 Neo4j等。近年来,我国非结构数据库也有一定发展,其中最具代表的是国信贝斯的 iBASE 数据库。可以预见在不久的将来,伴随这大数据的应用,非结构数据库将会得到长 足的发展和广泛的应用。 本文研究的方向是数据仓库,并且是聚焦于大数据这一特定环境下的数据仓库建设,其主要内容包括以下几点: 非结构数据库的数据仓库解决方案:本文聚焦于大数据这一特定环境下的数据仓库建设,因为大数据环境下的数据仓库建设理论文献很少,首先需要以研究关系数据库型数据仓 库的解决方案为参考,然后对比关系数据库和非结构数据库的特点,最后在参考方案的基础 上改进,以得到适合非结构数据库环境的数据仓库解决方案。 非结构数据库和关系数据库间数据转换:非结构数据库是对关系数据库的补充,很多非结构数据库应用环境中都有关系数据库的身影。因此,非结构数据库和关系数据库间数据转 换是建立非结构数据库需要解决的一个关键问题。 基于非结构数据库的数据仓库构建:本文拟采用手礼网的数据,分析其具体的数据环境和需求,为其构建基于非结构数据库的数据仓库,主要包括非结构数据库的数据抽取,Hive 数据库入库操作和Pentaho 前台数据展现等。 第二阶段:论文初稿:20XX年8 月——10 第三阶段:论文修改:20XX年11 月——2014 在论文提纲阶段,本文拟采用调查统计的方法,收集目前大数据环境下数据库应用情况,着重统计各类型数据库的应用比例。同时采用文献分析和个案研究的方法研究数据仓库构建 的一般过程和对应的技术细节,并提出解决方案。在论文初稿和修改阶段,本文拟通过实证 研究,依据提纲阶段在文献分析中收集到的理论,基于特定的实践环境,理论结合实践,实 现某一具体数据仓库的构建。最后采用定性和定量相结合的方法,详细介绍大数据环境下数 据库和数据仓库的特点,其数据仓库实现的关键问题及解决方案,以及数据仓库个例实现的 详细过程。 其一,非结构数据库种类繁多,每类数据库又对应有不同的数据库产品,由于当下非结构数据库没有统一标准,即便同类数据库下不同产品的操作都不尽相同,难以为所有非结构数 据库提出解决方案。针对此问题,本文拟紧贴大数据这一背景,选择当下大数据环境中应用 最多的几类数据库的代表性产品进行实现。 其二,虽然经过二十年的发展,数据仓库的理论已日趋完善,但大数据是近几年才发展起来的技术热点,大树据环境下的数据仓库建设理论文献很少。针对此问题,本文拟参考现有 的成熟的关系数据库环境下数据仓库构建方案和非结构化数据仓库理论,研究适合非结构数 据库的数据仓库构建方案,请导师就方案进行指导,然后再研究具体技术细节实现方案。 其三,基于大数据环境的数据仓库实现是本文重要的组成部分,要完成此部分的工作需要企业提供数据支持,但现在数据在企业当中的保密级别都很高,一般企业都不会将自己的业 务数据外传。针对此问题,本文拟采用企业非核心业务数据进行数据仓库实现。 本文的基本构想和思路,文章拟分为导论、大数据环境下的数据库介绍、大数据下数据仓库关键问题研究、基于XX 电子商务的大数据下数据仓库实现、结论五部分。 第一章大数据环境下的数据库介绍 第一节大数据对数据库的要求 第二节关系数据库和非结构数据库比较 第三节大数据下常用非结构数据库介绍 第二章大数据下数据仓库关键问题研究 第一节非结构数据模型和关系数据模型的转换 第二节基于多源非结构数据库的数据抽取 第三节数据类型转换 第四节数据仓库前端展示 第三章大数据下数据仓库实现方案 第一节大数据环境介绍 第二节实现方案 第二节Hive 介绍 第三节Pentaho 介绍 第四章基于XX 电子商务的大数据下数据仓库实现 第一节需求分析 第二节模型设计 第三节概要设计 第四节基于Hive 的数据入库操作实现 第五节基于Pentaho 的数据仓库前端展示实现YMq医家园

  硕士论文开题报告优秀范文模板范本,范文,格式,告优秀范文,硕士研究生,研究生,研究生论文,开题报告,论文格式,格式范文YMq医家园

来顶一下
近回首页
返回首页
推荐内容
推荐文章
如何用 EndNote 编辑适合投稿杂志的参考文献格式
如何用 EndNote 编
如何进行医学论文发表与写作
如何进行医学论文
如何获取制作高质量SCI论文图片?
如何获取制作高质
虚拟现实、云技术、人工智能,未来教育有啥不一样?
虚拟现实、云技术
代写论文被发现 竟因毕业论文“高大上”
代写论文被发现 竟
如何使用Endnote X7进行文献管理?
如何使用Endnote
SCI医学论文写作及投稿技巧汇总
SCI医学论文写作及
“你的论文充斥着垃圾”:英文科研论文写作逆袭之路
“你的论文充斥着
赞助商链接
热门文章
  • 触目惊心爆两清华博士实名写95页“论文
  • 研究生阶段个人总结
  • 读完硕士博士期间的收获和感悟
  • 读博士到底能让你成个什么样的“家”?
  • 论文开题报告概念及写作技巧
  • 硕士毕业论文成功答辩
  • 国家自然科学基金2010年项目指南发布
  • 游苏宁:建议将学术类期刊纳入非营利性
  • 论文论质卖 学问贬值了?
  • 临床医生如何选题搞科研?
  • 学生如何选学校导师以及导师如何选学生
  • 研究生要学会与导师相处
  • 最新文章
  • 硕士论文开题报告优秀范文模板
  • 知网硕士毕业论文查重方法和知网硕士毕
  • 最新的安徽大学学位论文查重检测的规定
  • BBC:留学论文代写已形成规模庞大的产
  • 第一次报考在职研究生|途径不同报考流
  • 孙杨通过苏州大学硕士答辩:论文是研究
  • 孙杨参加硕士论文答辩题目是研究自己
  • 王仕鹏通过硕士答辩论文结论:中国队投
  • 临床医生硕博研究生整体课题协助设计服
  • 那个因硕士论文太优秀被直授博士学位的
  • 硕士毕业论文日渐“鸡肋”硕士生培养改
  • 两年前论文抄袭事件结果如何吉林大学:
  • Copyright © 2007-2018 Med999.net,All Rights Reserved 医家园