首页 > 实用范文 > 其他范文
大数据环境下的数据安全研究论文(五篇范文)
编辑:逝水流年 识别码:130-768718 其他范文 发布时间: 2023-10-25 18:30:28 来源:网络

第一篇:大数据环境下的数据安全研究论文

大数据环境下的数据安全问题是信息化时代必须解决的问题。文章阐述了大数据的概念及特点以及其存在的一些问题,再来分析大数据环境下影响信息安全的因素,最后对如何保证大数据环境下的数据安全提出一些方法。

大数据就是指数据信息量的规模非常巨大,从而导致无法以当前的主流工具在合理时间内进行正常的收集处理。它是一种数据量大且数据形式多样化的数据。随着大数据环境下的数据安全问题越来越突出,如何保证大数据环境下的数据安全对建设大数据环境具有重大的意义。大数据的概念及特点

大数据就是指数据信息量的规模非常巨大,从而导致无法以当前的主流工具在合理时间内进行正常的收集处理。它是一种数据量大且数据形式多样化的数据。通过对它概念的研究可以得出它具有以下几个特点:(1)数据量大。大数据是数据信息来那个超大的资料,每天都会产生无数的数据,而且信息数据级别也越来越高。统计数据的级别PB的级别甚至更高。(2)形式多样。形式多样主要是指它的数据类型呈现出多样化的特点。随着信息技术的发展,越来越多的数据以非结构化的形式出现。比如视频、音频、图片等。据统计,非结构化数据在数据中的比重已经超过了80%。(3)价值密度低。大数据在运行过程中会产生大量有价值的信息,这些信息对于生产生活会产生非常大的帮助。但是大数据由于数据信息量太大,也就存在着价值密度低的特点。在很大一个数据统计中,可能有价值的信息只有很少一部分。大数据环境下存在的问题

大数据环境下的数据存在以下几个关键问题。

2.1 可表示问题

大数据环境下的一些非结构化数据呈几何的形式在增长,数据的规模巨大,形式多样化使得用户对于数据的需求也呈现出多样化的趋势。数据的不断增大导致数据运行的效率却越来越低。对于这些多而杂的非结构化数据,如何表示将是一个非常重要的问题。

2.2 可靠性问题

大数据环境是一个非常庞大的网络环境,在网络开放和共享的时代,计算机数据面临着安全性和可靠性的考验。在大数据环境下,数据的收集和发布方式比以前更加的灵活,但一些不确定的数据将很有可能会造成数据的失真,在网络开放的环境下,失真的数据就会影响巨大的负面影响。因此大数据环境下的数据的可靠性将是一个急需解决的问题。

2.3 可处理问题

由于目前的数据信息每天都以成千上万的形式增长,现有水文计算机处理能力已经很难有效地对其进行处理,在进行数据分析的过程中,需要研究一种新型的数据分析方法,将多种学科的计算方式相结合,对数据信息进行规律性的研究。大数据环境下影响数据安全的因素

3.1 自然灾害

自然灾害这里主要是指台风、龙卷风、飓风、地震、洪水、火灾等。随着信息技术的发展,网络已经成为世界人民生活中不可或缺的一部分。人们在使用计算机网络的过程中,有很多数据存储在服务器之中,并且经常与它们实时交互。在运营过程中,因为各种灾害例如火灾、停电、地震以及数据传送时线路的突然中断,将造成各种数据的丢失。

3.2 网络硬件

在信息化快速发展的今天,硬件虽然更新换代很快,但数据量的增长速度却是爆炸性的增长,进而造成以前的存蓄环境不能满足当前海量数据的需要,因此,应该对存储环境进行优化升级,使其能满足现今对数据存储的需要。在传输数据的过程中如果数据量过于庞大,而硬件设备由于老化导致传输速率的降低,那么网络的延迟可能会导致系统崩溃造成数据丢失,影响数据存储过程的安全。

3.3 操作失误

数据管理人员不管是面对怎样的应用软件,都有可能出现操作不当的情况。任何一个人在开展工作时都有可能会误删除系统的重要文件,或者修改影响系统运行的参数,以及没有按照规定要求或操作不当导致的系统宕机,尤其是进行数据库管理的工作人员,面对的数据量比较大,系统的运作也极为复杂,这都将导致操作不当或失误情况的发生,进而威胁到系统数据的完整性与安全性。

3.4 管理不善

由于存储系统越来越复杂,对管理维护人员的素质要求也越来越高,因管理不善而造成数据丢失的可能性会大大增加[2]。比如计算机网络中终端用户随意增减调换,每个终端硬件配备(CPU、硬盘、内存等)肆意组装拆卸、操作系统随意更换、各类应用软件胡乱安装卸载,各种外设(软驱、光驱、U盘、打印机、Modem等)无节制使用。如何保证大数据环境下的数据安全

4.1 建立大数据信息安全体系

大数据的应用规划以及它的信息安全应要提高到发展战略的高度,对大数据进行系统的分类,明确一些重点的保障对象,强化对数据的监控管理。大数据环境是一个庞大的数据信息系统,要确保数据信息的安全性,需努力建立起一个完整的数据信息安全体系。

4.2 进行数据安全删除

当今信息安全技术当中一个极为关键的问题。所谓的数据安全删除指的就是对数据恢复正常的条件进行破坏,使数据在删除之后无法恢复,无法逆转。相对于部分敏感数据而言,数据安全删除是十分关键的。众所周知,普通文档实行删除操作仅仅是对其标记进行删除;高级格式化同样无法对数据区内的数据信息进行覆盖处理,因此不能将其叫做安全删除。

4.3 对动态数据进行安全监控

相对与静态的信息数据,动态的信息数据更容易产生安全问题。因此需要对动态数据进行安全监控,完善对于动态数据的安全监控机制。在对动态数据进行监控的过程中,必须要对分布式计算系统进行健康监控,以保证其健康运行。在一些大规模的分布式计算中,要对动态数据的细粒度进行安全监控和分析,对大数据分布式进行实时监控。结语

随着信息化时代的到来,如今大数据环境下的数据不断增长。在大数据环境下的数据信息的安全性成为信息化时代的一个重要问题。对数据的安全性采取保障措施对整个大数据环境下的信息化发展具有非常大的意义。

第二篇:云计算环境数据安全研究论文

云计算是网格计算、分布式计算、效用计算等技术发展融合的产物,如今普及速度非常快。亚马逊、谷歌、微软等企业向用户提供了在云环境中开发应用和远程访问应用的功能。由于云环境的数据托管给服务商存储在远程服务器中,且应用数据通过互联网传输,数据存储和传输安全是一个重要的问题。在实现云计算之前,首先应该解决由此带来的安全问题。论文描述了云计算中数据安全相关的挑战,研究了对于数据安全不同层面的解决方案。引言

云计算是基于下一代互联网的计算系统,提供了方便和可定制的服务供用户访问或者与其他云应用协同工作。云计算通过互联网将云应用连接在一起,向用户提供了在任意地点通过网络访问和存储数据的服务。

通过选择云服务,用户能够将本地数据副本存储在远端云环境中。在云环境中存储的数据能通过云服务提供商提供的服务进行存取。在云计算带来方便的同时,必须考虑数据存储的安全性。如今云计算安全是一个值得注意的问题。如果对数据的传输和存储不采取合适的手段,那么数据处于高风险的环境中,关键数据泄露可能造成非常大的损失。由于云服务向公共用户群提供了访问数据的功能,数据存储可能存在高风险问题。在后续章节中,本文首先介绍了云计算模型,然后针对云计算本身的属性带来的信息安全问题,研究了已有数据安全解决方案的应用范围。云计算应用模式

云计算的应用模式主要有软件即服务(SaaS)、平台即服务(PaaS)、基础设施即服务(IaaS)等。在SaaS中,厂商提供服务供客户使用,客户使用服务在云基础架构中运行应用。SaaS相对比较简单,不需要购买任何硬件,使用容易。但是数据全部保存在云端,且存放方式不受用户控制,存在安全隐患。PaaS则通过使用云计算服务商提供的中间件平台开发和测试应用,例如谷歌的App Engine。由于不同的中间件平台提供的API不一样,同一个应用不能再不同的平台通用,存在一定的兼容性问题。在IaaS模型中,用户可以控制存储设备、网络设备等基础计算架构,或者直接使用服务商提供的虚拟机去满足特定的软件需求,灵活性高但是使用难度也比较大。

随着云计算的蓬勃发展,云计算安全作为不能忽视的层面,应该引起足够的重视。如果对数据的传输和存储不采取合适的手段,那么数据将处于高风险的环境中。由于云计算向用户群提供了访问数据的功能,不论采用三种主要应用模式的任意一种,数据都存储在公共平台中,由此带来了数据存储和传输的安全问题。数据安全挑战

3.1 数据保障

当多个用户共享同一个资源的时候存在资源误用的风险。为了避免这个风险,有必要对数据存储、数据传输、数据处理等过程实施安全方面的措施。数据的保护是在云计算中最重要的挑战。为了加强云计算的安全,有必要提供认证授权和访问控制的手段确保数据存储的安全。数据安全的主要几个方面:健壮性——使用测试工具检查数据的安全脆弱性,查看云计算应用是否有常见的漏洞,比如跨站脚本、SQL注入漏洞等;保密性——为了保护客户端数据的安全,应当使用资源消耗少的瘦客户端,尽量将客户端的功能精简,将数据的运算放置在云服务端完成;可用性——数据安全中最重要的部分,具体实施情况由厂商和客户直接协商决定。以上措施决定了数据的可用性、可靠性和安全性。

3.2 数据正确性

在保证数据安全的同时也要保证数据的正确性。每个在云计算中的事务必须遵守ACID准则保持数据的正确性。否则会造成数据的“脏读”,“幻读”等现象,造成数据的不准确,事后排查花费的代价高。大多数Web服务使用HTTP协议都面临着事物管理的问题。HTTP协议本身并不提供事务的功能,事务的功能可以使用程序内部的机制解决。

3.3 数据访问

数据访问主要是指数据安全访问管理机制。在一个公司中,应根据公司的安全条例,给予不同岗位职工特定数据的访问权限,保证该数据不能被公司的其他员工访问。可以使用加密技术保证数据传输安全,采取令牌管理手段提升用户密码的猜解复杂程度。

3.4 保密性

由于在云环境中,用户将文本、视频等数据存储在云端,数据保密性成为了一个重要的需求。用户应该了解保密数据的存放情况和数据的访问控制实施情况。

3.5 数据隔离

云计算的重要特征之一是多用户租用公共服务或设备。由于公用云向所有用户提供服务的特点,存在数据入侵的可能。通过注入代码等手段,可能造成云端存储的数据被非授权获取。所以有必要将用户数据和程序数据分开存储,增加数据被非授权获取的难度。通常可以通过SQL注入、数据验证等方式验证潜在的漏洞是否存在。

3.6 数据备份

云端数据备份主要目的是在数据意外丢失的情况下找。数据丢失是一个很普遍的问题,一份2009年的调查表明,66%的被访者声称个人电脑的文件存在丢失情况。云端数据备份还可以方便将数据恢复到某个时期的版本。云计算作为公用服务,已有大量用户使用网盘将数据副本存储在云端,但是还有很多应用的业务数据未在用户本地设备中存储。无论云端存储数据的性质,云端都应定时将存储的数据备份,保障云服务的正常运行。

3.7 法律法规风险

在云计算中,数据有可能分布存储在不同的国家和地区中。当数据被转移到其他的国家和地区中后,必须遵守当地的法律法规。所以在云计算中,存在数据放置地理位置的问题,客户应当知晓数据存储的地理位置防范风险。数据安全解决方案

对于数据安全问题,需要方案解决云环境中数据潜在的风险。其中由于云环境的公用特性,数据保密应当作为主要解决目标。针对上节的数据保障、正确性、访问等问题,多位云计算安全专家在不同层面已先后提出了几套完整的解决方案,其目标主要是保证云环境中数据共享的安全性。在不可信的公共云环境中,数据共享的同时保证数据对第三方的保密性。

4.1 基本方案

数据加密是一个比较好的保证数据安全的方案。在云端存储数据之前最好能先加密数据。数据的拥有者能将数据的访问权给予特定的用户群体。应当设计一个包括认证、数据加密、数据正确性、数据恢复等功能的模型去保证数据在云端的安全。

为了保证数据不能被非授权访问,将数据加密使其完全对于其他用户无法解析是一个比较好的方法。在上传数据到云端之前,建议用户验证数据是否在本地有完整的备份,可以通过计算文件的哈希值来验证数据是否一致。数据传输应当采用加密方式,防止敏感信息被中间人监听。SaaS要求必须在物理层面和应用层面将不同用户的数据隔离。可以使用采用基于角色的访问控制或者是自主访问控制,以及分布式的访问控制架构控制云计算中的数据访问。一个设计良好的访问控制机制可以极大地保护数据的安全,还可以采用入侵防御系统实时监测网络入侵。入侵防御系统主要功能为识别可疑行为,记录行为的详细信息并试图阻止。

上述基本方案可以解决数据保障、数据正确性、数据访问及保密性等问题。但是,在实际应用中没有考虑效率,仅仅作为基本手段不能满足用户云环境数据共享的特定需求。

4.2 属性基加密

属性基加密(Attribute-based Encryption)相对于传统的公用密钥加密具有很大的优势。传统的公用密钥加密采用公私钥对,公钥加密的信息只能用私钥解密,保证了仅有接收人能得到明文;私钥加密的信息只能用公钥解密,保证了信息的来源。公钥基础设施体系和对称加密方式相比,解决了信息的保密性、完整性、不可否认性问题。属性基加密则在公用密钥加密的基础上,更多考虑了数据共享和访问控制的问题。在属性基加密系统中,密钥由属性集合标识。仅当公私钥对指定的属性相同或者具有规定的包含关系时,才能完成解密密文。例如,用户如果为了数据安全将文档加密,但是需要同公司的人能解密该密文,那么可以设置密钥的属性位“组织”,只有属性位“组织”为该用户公司的密钥才能将该密文解密,不满足条件的密钥则不能解密,如图1所示。

属性基加密分为密钥策略(KP-ABE)和密文策略(CP-ABE)。KP-ABE模式中,密文具有属性集合,解密密钥则和访问控制策略关联。加密方定义了能成功解密密文的密钥需要满足的属性集合。KP-ABE模式适用于用户查询类应用,例如搜索、视频点播等。CP-ABE模式中,加密方定义了访问控制策略,访问控制策略被包含在密文内,而密钥仅仅是属性的集合。CP-ABE模式主要适用于访问控制类应用,例如社交网站、电子医疗等。

属性基加密方式,不仅可以应用在云存储共享中,在审计日志共享方面也有很广泛的应用。审计日志共享大都存在时间段的限制,属性基加密方式可以在密文中添加时间属性位和用户属性,提供对不同用户共享不同时间段日志的功能。属性基加密紧密结合了访问控制的特性,在传统公用密钥的基础上,提高了数据共享的方便程度。

属性基加密虽然提高了数据共享的方便程度,但是没有从根本上解决云环境数据加解密过程中,解密为明文导致的敏感数据泄露问题。

4.3 代理重加密

由于云环境是公用的,用户无法确定服务提供商是否严格的将用户资料保存,不泄露给第三方。所以,当用户之间有在云环境中共享资料的需求时,必须考虑资料的保密性问题。

用户A希望和用户B共享自己的数据,但是不希望直接将自己的私钥Pa给B,否则B能直接用Pa解密自己采用私钥加密的其他数据。对于这种情况,有一些解决方案。

(1)用户A将加密数据从云端取回,解密后通过安全方式(例如采用用户B的公钥加密)发送给用户B。这种方式要求用户A必须一直在线,存在一定的局限性,并且数据量比较大时,本地耗费的计算量可能非常大。

(2)用户A可以将自己的私钥给云服务提供商,要求提供数据共享的服务。在这种情况中,用户A必须相信云端不会将私钥泄露。

(3)用户A可以采用一对一加密机制。A将解密密钥分发给每个想共享数据的用户,A必须针对每个用户生成并存储不同的加密密钥和密文。当新用户数量很多时,这个方案造成了磁盘空间的大量占用,存储数据冗余度高。

代理重加密(Proxy Re-Encryption)手段可以很好的解决云环境数据共享的问题。代理重加密手段设立了一个解密代理。首选A由私钥Pa和B的公钥Pb计算出转换密钥Rk。转换密钥可以直接将由私钥Pa加密的密文转加密为由公钥Pb加密的密文。在转换过程中,A的原始密文不会解密为明文,而转加密后的密文也只能由用户B解密。当用户B想访问A共享的资料时,只需要解密代理使用Rk将A的密文转换为只有B能解密的密文即可。这种机制保证了包括云在内的所有第三方都不能获取A共享给B的明文,如图2所示。

代理重加密解决了云环境中数据共享而不泄露明文的基本问题,侧重于数据的保密。该技术手段关注数据的保密性,未考虑实际应用中数据共享方便程度等其他问题。

4.4 基于代理重加密的属性基加密方法

代理重加密技术可以和在云存储中使用的属性基加密机制结合,属性基加密侧重于加密方面的访问控制,而代理重加密从加密手段上保证了数据的隐秘性。通过将这两种机制结合,用户可以更加高效的分享数据。数据拥有者可以根据新的访问控制规则生成转换密钥,然后将转换密钥上传至云服务器,服务器将原有的密文转加密为新的密文。新的密文在不影响原有用户解密的情况下,可以使新用户成功解密。而在转换原有密文的整个过程中,服务器无法将密文解密为明文。

该类加密方法既保证了转换效率,又保证了数据的保密性。此类方法中,不考虑抗选择密文攻击的算法计算转换密钥的资源消耗相对较小,考虑了抗选择密文攻击的算法资源消耗量和密钥属性基的大小正相关。结束语

虽然云计算是一个带来了很多益处给用户的新兴技术,但它也同时面临着很多安全方面的挑战。本文说明了云计算方面的安全挑战和对应的解决方案,从而降低云计算可能带来的安全风险。为了保证云存储的安全访问,在技术层面,可以采用健壮的数据加密机制;在管理层面,采用合适的令牌管理机制,分发令牌给用户从而保证数据只能被授权的访问。随着云计算的普及,相信云服务提供商和用户对于云环境数据安全方面会越来越重视。在相关安全策略实施后,云计算能在提供良好服务的同时,让用户使用更加放心。

第三篇:大数据环境下网络舆情管理方法研究

大数据环境下网络舆情管理方法研究

摘 要:随着互联网技术的快速发展及其广泛的应用,网络舆论信息的产生体量、传播速度和影响范围等方面都发生了巨大变化。这些变化要求舆情管理工作者在舆情管理理念、管理方法等方面必须与时俱进。大数据既是一种新技术,也是一种新方法,它侧重于信息挖掘和预测。将大数据运用到网络舆情管理工作之中,必将对舆情管理产生重要作用。在大数据环境下,网络舆情的管理方法也必将发生变革与创新。探讨大数据环境下网络舆情分析方法,以大数据为背景和前提创新网络舆情管理方法,总结大数据下舆情管理理念、视角、方式和方法等方面的变革与创新的思路,具有重要意义。

关键词:网络舆情;大数据;管理方法;变革与创新

DOI:10.15938/j.cnki.iper.2017.01.025

中图分类号: G641文献标识码:A文章编号:1672-9749(2017)01-0124-06

据《第37次中国互联网络发展状况统计报告》(由中国互联网络信息中心(简称:CNNIC)在2016年1月发布)显示,截至2015年12月,中国网民规模达6.88亿,全年新增网民3951万人。互联网普及率为50.3%,中国手机网民规模达6.20亿,手机上网使用率为90.1%[1]。随着移动互联网(Mobile Internet)、社交网络(Social Networking)、电子商务(Electronic Commerce)等的迅速发展,互联网的边界和应用范围有了极大扩展,各种信息和数据极具增多,并正在迅速膨胀变大。

网民们经常通过互联网表达意愿、观点,讨论各种话题,以表达自己的思想观点和诉求。互联网既是一个收纳器,聚集网民思想动态表达、文化和社会生活信息;又是一个扩音器,传播大众的社会舆论。在社交媒体时代,人们通过互联网平台表达社情民意,体现自己的意愿、态度和评论观点。舆情作为社会舆论的一个风向标,开展舆情分析主要是针对民众态度、观点的收集整理,分析出民众相关的意见倾向,客观体现舆情动态。

作为世界上网民数量最多、互联网访问量最大的国家,有效地分析网络舆情,对于政府,媒体、大型企事业单位都有着非常重要的意义。从政府的角度,有效的舆情管理有利于政府了解公众态度和诉求,有助于提升政府的政务管理和构建良好的社会和网络环境;从企业的角度,有效的舆情管理有利于企业掌握用户和大众对产品质量、产品功能与服务的评价及客户特征信息,更好地提供个性化产品与服务,实现利润增长,更有利于企业了解用户和大众对企业社会形象的反馈和认知,提升企业品牌知名度和社会声誉;从媒体的角度,有效的舆情管理能够突破传统信息搜集和发布渠道,更能够通过对公众舆论深入分析,提升新闻效果,实现新闻价值增值。因此,社会各界都非常重视网络舆情分析,并不断创新舆情的分析和管理的方式和方法,都是想最大化舆情的价值。

一、大数据及网络舆情的相关定义及特点

1.大数据的定义及特点

随着人们对大数据的研究和理解的不断深入,大数据已不仅仅是一个技术方面的名词了。而今,大数据相关的理论无论从内涵还是外延上,都在不断丰富和充实。关于大数据的定义,不同的机构和学者从不同的角度给出略有差异的定义:如高德纳咨询公司(2013)提出,大数据是指具有更强的洞察力和流程优化能力的海量、多样化的信息[2]。维基百科对大数据的定义是“一个超大的、难以用现有常规的数据库管理技术和工具处理的数据集”。Gartner对大数据的定义:“大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量高增长率和多样化的信息资产” [3]。

IDC市场研究公司2012年提出,“大数据”是为了从大容量的、不同类型的数据中获取有价值的信息而设计的新型架构和技术[2],并对大数据的采用三步法进行了界定,如图1所示。首先,从数据源场景方面,可以有三种情况,或者说需要具备三种情况至少满足一种,即大数据的容量大于等于100TB或数据源于超高速的数据流(Data Streaming),或数据产生的年增速大于60%;其次,必须部署在可动态适应的基础设施(dynamically adaptable infrastructure)上。这里的基础设施既可以是传统的scale-up架构,也可以是水平扩展架构(scale-out infrastructure);最后,必须有两个以上的数据源或数据格式,或者高速流数据源(如点击流或机器产生的数据流)。有了以上三个步骤的界定,才可以形成大数据。IDC指出“大数据技?g描述了一种新一代技术和架构,以非常经济的方式,以高速的捕获、发现和分析技术,从各种超大规模的数据中提取价值” [2]。

尽管对大数据的定义角度各有不同,但大数据的核心本质和特征的表述和定义相对比较统一,均认为大数据与传统意义数据具有本质区别。较传统数据相比,在数据基础上,大数据更倾向于全体数据而非抽样;在分析方法上,更强调相关分析而非因果分析;在分析效果上,追求的是效率而非绝对精确和在数据规模上强调相对数据而不是绝对数据。

在数据和信息的规模/体量方面、在内容形式和数据结构方面具有复杂性/变化频度多样、在产生速度方面及价值密度等四个方面都极大地超越了传统的数据形态,具有4V特征:

第一,数据规模大(Volume)

第二,数据种类多样(Variety)

第三,数据处理速度快(Velocity)

第四,数据价值密度高(Value)

如图2所示:大数据的4V特征。

具体而言,一是数据规模大(Volume):从容量角度,大数据具有数据容量大,“容量”或“体量”,从 TB→PB→EB级,每级都是按照进率1024(2的十次方)计算,这足以说明大数据规模之庞大。二是数据种类多样(Variety):结构化数据、非结构化数据以及半结构化数据,Web数据、文字、语音音频数据、图片图像数据、视频数据、模拟信号等数据都体现了数据的多样性。三是速数据处理速度快(Velocity):对数据访问、处理、交付等速度的要求快,而且数据产生速度也非常之快;四是价值(Value):大数据的核心价值在于资源优化配置,通过搜集海量数据,进而展开全量数据挖掘,分析数据背后的相关性,开展预测分析,获得数据的应用价值。

这些特性使得大数据与传统数据区别开来,强调了大数据是具有结构松散性、形式复杂性和有利用价值的数据信息资源[3]。

2.网络舆情的定义与特点

“舆情(Public Opinion)”翻译为“民众或公众的意愿、意见或观点”。根据百度百科:舆情是“舆论情况”的简称,是指在一定的社会空间内,围绕中介性社会事件的发生、发展和变化,作为主体的民众?ψ魑?客体的社会管理者、企业、个人及其他各类组织及其政治、社会、道德等方面的取向产生和持有的社会态度。它是较多群众关于社会中各种现象、问题所表达的信念、态度、意见和情绪等等表现的总和。

有学者从社会学视域考察舆情的定义,认为舆情是指社会各阶层民众对社会现象或事件所持有的情绪、态度、观点、看法、意见和行为倾向等[4]。网络舆情则是社会总体舆情的一个组成部分,是以网络为载体存在,以网络传播方式汇聚、形成和表达的舆情,是在互联网上的民众情绪、态度和意见汇聚的总和[5]。

网络舆情的信息来源主要有:网络新闻(如:搜狐、新浪、人民网,或以RSS为基础聚合类新闻,如头条等),论坛贴吧(如:BBS,百度贴吧,天涯,西祠胡同等),新闻评论,社会化媒体社交网络(即时通讯工具:如:聊天室、QQ、微信、微博、博客等),搜索引擎(如:百度,google等),网络发起线上活动、网络调查、电子邮件等。

通常我们把网络舆情的基本特征概括为自由性与可控性、互动性与即时性、丰富性与多样性、隐匿性与外显性、情绪化与非理性、个体化与群体极化性[6]。如图3所示:网络舆情的特征

3.大数据是网络舆情管理的有效方式之一

大数据的目的在于发现新的知识与洞察并进行科学决策。大数据与网络舆情具有非常相似的特征。从这点上可见,利用大数据的手段管理网络舆情是网络舆情管理的有效方式之一。首先,大数据能够全方位记录民意,完整展现社会舆情,大数据体量巨大,从TB级到PB乃至ZB级别,能够完全、完整的记录社会民众的社情民意;其次,大数据的特点是挖掘数据背后的相关联性,因此,大数据能精准体现舆情背后的事件、相关人员以及读者等要素内在逻辑和社会关联;最后,大数据具有很强的预测能力,通过分析事件的读者特征(群体肖像刻画)、被关注程度/热度、传播速度、传播范围、发展趋势、影响程度和网民情绪变化等,也可以针对某个观点的深度研究,从而预测舆情走向,帮助决策者进行决策和判断。因此,大数据技术为网络舆情的预测提供了重要的技术、理论支撑和保证,也成为舆情研究关键技术的支撑和核心概念。

二、基于大数据技术网络舆情管理的一般步骤与方法

网络舆情的管理模型主要分为:信息采集、信息预处理、舆情分析、舆情报告四个步骤。如图4所示:大数据管理模块及流程示意。

1.信息采集

信息采集当前常用方式是网络爬虫技术。在网络爬虫的爬行策略中,应用最为基础的是深度优先遍历策略、广度优先遍历策略。对于信息抓取过程,要求信息抓取的覆盖范围要全面。高速发展的信息高速路使得网络信息数据容量不断增大、信息和数据的类型更加丰富和复杂、网页数量不断增多,这对舆情信息抓取的效率和全面性提出了更高的要求。

大数据网络舆情信息搜集改变了传统网络舆情信息的搜索采集方式,采用定向站点信息抓取辅以全面的实时监控、聚合内容(RSS)、社交网站信息搜集和摘要搜集等搜集技术,与传统人工监测采集相结合的方式进行,抓取效率和覆盖范围都有突破性进展。

数据监测要全面和实时,要做到精细采集信息数据。笔者整理了较为常用的监测范围和基本监测指标,如表1所示。

2.信息处理

信息处理主要包括数据清洗(Data Cleaning)、信息提取、文本分类等。信息处理的主要任务是将采集的各种信息转化成格式化文本存入数据库。

网络舆情在大数据环境中流动和变化速度非常快,因此,在信息处理部分,要求信息处理的时效性。

3.舆情挖掘与分析

大数据分析就是对海量数据进行分析、梳理和加工,获得具有价值的产品(Product)和服务(Service)或深刻洞见(Insight)的数据及处理方法。数据分析的主要技术手段是采用数据挖掘(Data Mining),数据挖掘又称数据库中的知识发现,即从数据库的大量数据中揭示出隐含的、前所未有的并具有潜在价值的信息的价值聚合、提炼的过程[7]。

舆情分析的技术方法主要有文本分类、聚类分析(不预先设定数据归类类目,完全根据数据本身性质将数据聚合成不同类别)、热点发现(利用关键词过滤、语义分析、数值统计识别热点和敏感话题)、话题识别、主题检测与跟踪、观点/文本倾向性识别和分析(对文章的观点进行倾向性分析和统计,识别正负面信息)、自动摘要等计算技术挖掘网络文本内容蕴含的各种观点(Opinion)、喜好(Preference)、态度(Attitude)、情感(Emotion)等,也可以明确网络传播者的意图和倾向,以及影响程度、影响范围和发展趋势。

当前一些实验室、研究机构等依据大数据分析的方法和实际的工作相结合,开发和建立了以下舆情专属的分析模型和方法。如:人民网推出的“舆论共识度”指数将为中国网络舆论场的研究和社会舆论的理性引导提供新的观察视角和决策依据。它把网络用户分为媒体、网民和意见领袖三大群体,通过对不同群体的舆论分析,对每月前十或前100的社会热点问题进行评估,形成“舆论共识度”,进而对用户对舆论话题的共识程度进行评价。

互联网与国家治理研究中心、中山大学大数据传播实验室设计的“网民认知模型”,通过透析网民对不同事件的情绪变化、态度偏向等,评测用户“正负能量”,分别从“网民情绪指数”“网民理性指数”和“网民态度指数”三个维度来评价具体热点事件当中网络舆论场的“网民正能量指数”,对舆情分析和研判也非常有帮助。

还有机构建立的热度评估指数,通过话题在传统媒体报道量、网络媒体报道量、微博量、论坛帖文量、博客文章量,转发数量、用户跟贴数量、评论数量、被关注数量、传播的速度和范围、关注的用户形态特征等相关数据,之后加权各项指标,得到每个热度事件或话题的综合热度指数。

更有一些专项深入分析,如针对传播源头的分析、传播渠道的分析、意见领袖的分析、传播主体挖掘分析或针对隐性数据(网络日志)的分析。

也有专家学者提出,舆情分析需要是一个综合分析模式,以大数据的方式为重点,同时要结合专项话?}市场调研、综合民意调查(定性与定量)、软件与人工、分析师与专家会商等方式相结合的方法来分析。

4.舆情报告

舆情分析的结果需要以报告的方式呈现,并将分析报告反馈或发布,为用户、管理者和决策者提供依据。

舆情报告要求舆情分析数据要真实可靠,分析方法要恰当准确,描述要符合客观事实,结论要简明扼要、通俗易懂。舆情报告中恰当采用示意图、图表、列表等展示形式,可以更形象、清晰、直观,并且更逻辑地展示舆情事件的发生、发展和变化,舆情的发展态势等。针对不同的表达目的可以选用不同的图表或图示方式,如:描述事件发展趋势可用折线图表示、展示用户立场或观点的比例可用饼状图、体现热点人群的分布可以用散点分布图、表示频率分布可以用网状图或柱状图、说明事态发展变化可以用流程图、用户之前或背后的人际关系可以用网状关系图等。丰富的图表工具可以更形象、生动的表述舆情的现状、发展和变化。

三、大数据环境下舆情管理模式变革与管理方法创新

虽然,目前对大数据研究越来越热,国内诸多大的互联网公司、各行业内的企业及科研机构都投入了巨大的人力、物力开展大数据及大数据下舆情研究,但在我国大数据研究依然处于探索阶段,在很多方面还只是停留在理论或对未来的畅想阶段。例如:在技术方面,目前常见的舆情监测工作的主要手段仍以人工检索为主,尽管也使用了市面相对成熟的相关搜索软件进行辅助搜索,但搜索舆情的技术仍采用传统的二维搜索方式,即主题关键词和网络平台二维坐标,由舆情管理的工作人员对采集的信息进行二次加工成舆情产品。而且搜索的舆情信息结果多为一级文本信息,对于深层次的多级舆情信息,如新闻、微博后的评论,网民的社会关系,网民针对某一事件评论反映出的情绪变化等数据无法深度挖掘,仍靠人工采集和分析判断。受制于舆情分析人员的知识水平和价值判断的不同,极有可能导致有价值的舆情信息丢失,无法准确及时预测舆情走势,大大降低了舆情监测工作的效率、准确性。

随着互联网的发展、自媒体的兴起,网络、通信技术在人们信息领域深入运用,发布者在人口统计学方面的特征、发布的载体、发布的形式、传播渠道、信息的数量和形式等有了全新的变化,这对舆情的管理提出了更高的要求,要求变革网络舆情管理方式以适应大数据时代的新形势。因此,舆情管理工作者在舆情管理的理念、模式和方式方法上均需要有相应的变革与创新。

1.舆情工作者的研究视角需要发生转变

舆情工作者要从全局角度,把舆情研究从单一向度的内容研究向多元化、多向度内容及关系研究方向转化。网络数据和信息背后体现的人的行为轨迹和复杂的人与人的社会关系(Social networking),所以关系研究将成为未来的研究重点。大数据的特征之一“关联分析”,通过社会话语表达、社会关系分析、社会心理描绘、社会诉求预测等多个角度[8],进行多向度的分析研究能够帮助构建立体化、全局化和动态化的网络舆情数据系统,通过舆情分析,挖掘网络舆情和社会动态背后的深层次关系,实现网络舆情管理和社会治理的紧密联动、同步推进。

2.舆情的研究方法需要创新

即便是研究的视角发生了改变,要想真正落实到具体工作中,研究方法的创新尤为关键。要在分析方法上更加丰富,结合数据挖掘技术分析(Data Mining)方法与行为分析(Behavior Analysis)方法的研究、结合云计算、移动可追塑性分析、个性化特征识别的网络机器人与社会心理分析实验因果模型等方法,一是要提升数据监测技术,实现对媒体、论坛、博客、微博、微信等各个网络平台数据的全面抓取和记录,特别是要提高对图片、音视频、模拟信号等数据的自动识别能力;二方面提高数据挖掘技术,从海量数据中快速识别有价值数据,并挖掘数据背后隐藏的规律。三要注重数据分析技术,包括关联分析、聚类分析、语义分析等等,自动分析网上言论背后的观点、意见倾向和信息、相互之间的关联性,揭示舆情发展趋势。四是确保数据安全和保密技术,包括网络攻击与攻击检测与防范问题、安全漏洞与安全对策问题、数据备份与恢复问题、灾难恢复问题等等,确保数据安全和保密[9]。

在数据分析方面,数据分析的准确性尤为重要。引入云计算的概念和技术,与大数据相结合,会使舆情分析更加准确。开展数据间、不同维度、不同领域的数据、多样化的数据间的关联分析,是十分重要的。专家认为舆情关联关系是网络舆情数据库中存在的一类重要的、可被发现的知识,引入网络舆情支持度和网络舆情可信度,可以更准确表示网络舆情间的关联度,量化网络舆情关联规则的相关性,从而使挖掘结果更准确。

3.研究结果要易懂、易应用和可视化呈现

大数据的真正价值是运用,舆情的最终价值是指导工作。研究结果的使用者未必是大数据和舆情分析的专家。因此,研究结果要求易懂易识,界面必须友好,结果必须可以直观识别。“用数据说话”。数据最有说服力,由于图表与列表能够清晰、直观、简洁、深刻、形象地表现舆情事件,因此舆情的研究结果要注重运用图表等可视化方式来展现。

4.重点强调舆情的预测,面向未来,做好舆情数据的再利用

大数据的核心是预测,未来舆情研究的重点应由舆情监测转向舆情预警和预测。舆情工作者通过收集分析互联网上关于社会热点或网民关注焦点事件的大量消息报道,发掘背后隐藏关系,进而预测事态发展趋势,为舆情事件处置提供决策参考。

展望未来,大数据时代数据使用的关键是数据再利用,数据再利用的意义在于:挖掘数据的潜在价值,实现数据重组的创新价值。基于大数据的舆情分析,能同时分析更多数据,揭露更多隐藏价值,使预测更准确,决策更合理。未来大数据将使舆情监测功能大大丰富,舆情分析功能更加强大,舆情预测能力进一步增强,这将实现全方位、立体式的综合舆情管理模式,实现舆情管理的价值最大化。

参考文献

[1] 中国互联网络信息中心(CNNIC).第37次中国互联网络发展状况统计报告[EB/OL].[2016-01-22].http://www.teniu.cc/hlwfzyj/hlwxzbg/hlwtjbg/201601/PO***51954.pdf.[2] 谢耘耕,刘锐,乔睿,等.大数据与社会舆情研究综述[J].新媒体与社会,2014(4):133-154.[3] 张宁熙.大数据在突发公共事件网络舆情信息工作中的应用[J].现代情报,2015(6):38-42.[4] 王宏伟.舆情信息工作策略与方法[M].北京: 中国人事出版社,2012:6.[5] 戴维民,刘轶.我国网络舆情信息工作现状及对策思考[J].图书情报工作,2014(1):24-29.[6] 刘毅.网络舆情研究概论[M].天津: 天津人民版社,2007:74.[7] 喻国明.大数据分析下的中国社会舆情:总体态势与结构性特征――基于百度热搜词(2009―2012)的舆情模型构建[J].中国人民大学学报,2013(5):2-9.[8] 李小娜.大数据时代社会舆情监测的转变和发展[J].青年记者,2015(11):69-70.[9] 卿立新.创新大数据时代的网络舆情管理[J].红旗文稿,2014(22):28-29.[责任编辑:张学玲]

第四篇:大数据论文

大数据时代

摘要:随着物联网、移动互联网、智能便携终端和云计算技术的发展,人类社会进入了“大数据”时代。对于数据分析,这无疑是一个前所未有的黄金时代。现在,几乎每个人的衣袋都有一部可以随时联网的智能手机,更强大的平板电脑则安静的躺在数亿人的手提包里,加之久久没有退出历史舞台的个人电脑和方兴未艾的物联网中的电子设备,这个世界,每时每刻有数以百亿计的电子精灵在产生数据,一个崭新的数据爆炸时代正喷薄而出。大数据在社会经济、政治、文化,人们生活等方面产生深远的影响,大数据时代对人类的数据驾驭能力提出了新的挑战与机遇。

关键词:大数据 数据爆炸海量发展 影响

一、大数据的概念及形成

1、大数据的概念

“大数据”是一个体量特别大,数据类别特别大的数据集,并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。狭义的大数据概念,主要指大数据技术及其应用,是指从各种各样类型的数据中,快速获得有价值信息的能力,一方面,强调从海量数据、多样数据提取微价值,即具有价值(Value)特征;另一方面,强调数据获取、数据传递、数据处理、数据利用等层面的高速高效,即具有快速处理(Velocity)特征。大数据概念里的“数据”,是指具有可追踪、可分析、可量化特性的数据。大数据概念里的“大”,是指“大数据”所应具有的“大量化”(Volume)、“多样化”(Variety)两个特征。从概念内涵上讲,“大数据”(Big Data),一方面,反映的是规模大到无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合;另一方面,主要是指海量数据的获取、存储、管理、分析、挖掘与运用的全新技术体系。

事实上,大数据的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。很显然,挖掘大数据价值、提供大数据服务的能力,是大数据时代的核心竞争力。

2、大数据形成的必然性

数据管理理念不断变革,大数据成为信息技术发展的必然选择。随着现代信息传播技术手段和方式不断丰富,信息获取、信息传递、信息处理、信息再生、信息利用等功能应用日益多样化,智能化信息系统逐渐形成一个信息网络体系,人类社会的生产方式、工作方式、学习方式、交往方式、生活方式、思维方式等发生了极其深刻的变革,互动化、即时性、全媒体等,成为常态性的信息生态环境,传统的数据库组织架构和信息服务模式已经难以适应信息社会现实需要,整个信息技术架构的革命性重构势在必行,大数据成为信息技术发展的必由之路。大数据源于虚拟网络的迅速发展和现实世界的快速网络化。虚拟网络的迅速发展和现实世界的快速网络化,两者交互影响,最终导致海量数据的持续生成和繁杂数据的不断出现。

大数据成了决定我们未来数字生活方式的重大技术命题,几乎所有世界级的互联网企业,都将业务触角延伸至大数据产业;无论社交平台逐鹿、电商价格大战还是门户网站竞争,都有它的影子;美国政府投资2亿美元启动“大数据研究和发展计划”,更将大数据上升到国家战略层面。2013年,大数据正由技术热词变成一股社会浪潮,将影响社会生活的方方面面。

二、大数据的五个特点

1、类型多。大数据分为结构化数据和非结构化数据。结构化数据包括“1、2、3、4”等传统数字以及符号,非结构化数据包括网络日志、音频、视频、图片、地理位置信息等。

2、容量大。根据IDC(国际数据公司)的监测统计,2011年全球数据总量已经达到1.8ZB,而这个数值还在以每两年翻一番的速度增长,预计到2020年全球将拥有35ZB的数据量,增长近20倍。

3、存取速度快。存取速度快有两个意思。一是数据产生的快;二是数据处理的快

4、应用价值大。大数据之“大”,其实并不在于其表面的“大容量”,而在于其潜在的“大价值”.如果不能把拥有的数据转化为价值,那么拥有再多的数据也是毫无意义的。

5、具备大智能。正是因为大数据拥有的“大价值”,才使得大数据有机会成为社会的财富和创新的基础,是大数据能够像土壤一样,在不久的将来孕育出一个更加智能的社会。

三、大数据应用的现状分析

最早提出世界已经迎来“大数据”时代的机构则是全球知名的咨询公司——麦肯锡。麦肯锡在其研究报告中指出:数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产因素;而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。事实上,全球IT业巨头都已经意识到数据的重要意义和“大数据”时代的到来。包括IBM、EMC、惠普、微软在内的全球知名跨国公司都陆续通过收购与“大数据”相关的厂商来实现技术整合。目前典型的大数据应用领域有:商业智能。例如:用户行为分析,即结合用户资料、产品、服务、计费、财务等信息进行综合分析,得出细致、精确的结果,实现对用户个性化的策略控制,这在营销网络的流量经营分析中占有越来越举足轻重的地位。公共服务。一方面,公共机构可以利用大数据技术把积累的海量历史数据进行挖掘利用,从而提供更为广泛和深度的公共服务,如实时路况和交通引导;另一方面,公共机构也可以通过对某些领域的大数据实时分析,提高危机的预判能力,如疾病预防、环境保护等,为实现更好、更科学的危机响应提供技术基础。政府决策。通过对数据的挖掘,从而有效提高政府决策的科学性和时效性。

四、大数据时代对生活、工作的影响

大数据,其影响除了经济方面的,它同时也能在政治、文化等方面产生深远的影响,大数据可以帮助人们开启循“数”管理的模式,也是我们当下“大社会”的集中体现,三分技术,七分数据,得数据者得天下。

“大数据”的影响,增加了对信息管理专家的需求。事实上,大数据的影响并不仅仅限于信息通信产业,而是正在“吞噬”和重构很多传统行业,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。大数据在个人隐私的方面,大量数据经常含有一些详细的潜在的能够展示有关我们的信息,逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。

总结:这是一个信息爆炸的时代,大数据时代的到来给国家和个人带来了很多机遇,同时也带来了很多挑战。在当下的大数据时代,大数据只是冰山一角,其中的大部分都隐藏在冰山之下,因此大数据还有很多方面值得我们去发现和探索。

参考文献:王珊《架构大数据:挑战、现状与展望》

维克托•迈尔•舍恩伯格《大数据时代:生活、工作与思维

的大变革》

中国百强报刊《时事报告:大学生版》

第五篇:云计算环境下的数据挖掘研究论文

摘要:文章首先对云计算的特点进行简要分析, 在此基础上对云计算环境下的数据挖掘进行研究。期望通过本文的论述能够对数据挖掘效率的提高有所帮助。

关键词:云计算;数据挖掘;服务;云计算的特点分析

1.1 超大规模

国内外大型互联网企业纷纷建立起云平台, 开启一大批服务器, 如Google公司、亚马逊公司、微软公司等公司都建立了云平台, 大幅度提升了网络平台数据运算效率、存储效率和交互效率, 使云计算具备超大规模特点。

1.2 虚拟化

云平台是向网络平台提供资源的平台, 网络用户可借助云计算技术在任意位置获取应用服务, 这种应用服务不是固定实体, 而是虚拟化的。在云平台上, 需要运行虚拟化的搜索、储存、上传下载操作, 网络用户无需了解资源的获取渠道, 只要通过终端设备就可以获取网络服务信息, 实现数据快速互传。

1.3 可靠性高

云平台可提高数据互传、存储的可靠性, 其采用计算节点同构可互传、数据多副本容错等措施增强服务的可靠性, 即使在数据传输或存储丢失的情况下, 也可以找回渠道恢复数据, 与计算机自带硬盘相比, 网络云计算平台的可靠性更高。

1.4 通用性强

云计算技术的针对性不强, 对其他设备没有过高的要求, 只需在网络平台上建设平台, 配备足够的服务器, 就可以实现云计算技术的应用。在同一云平台的支撑下, 可满足不同设备的运行要求。

1.5 扩展性好

云平台既可以满足不同类型企业的需求, 也可以满足个人用户需求, 其本身带有动态伸缩性。用户可根据自身需求对空间、功能进行定制, 满足个性化的应用要求, 使云平台具备良好的扩展性。

1.6 按需服务

云平台可提供充足的空间, 便于用户在云平台上存储、调用、传输数据资源。为了避免用户过度占用云平台资源, 云平台一般设置了计费标准, 要求用户按需购入占用量, 促使云平台成为可交易的资源。云计算环境下的数据挖掘

2.1 数据挖掘服务层次结构

2.1.1 基础设施层

该层主要为整个数据挖掘服务提供存储和计算资源, 在基础设施层运行中, 通过接口可连接网络资源与物理资源, 实现不同类型资源的高度共享。该层还提供数据挖掘服务的虚拟化接口, 满足资源对接要求, 为资源存储、共享提供技术支撑。

2.1.2 虚拟化层

在云计算技术上建立数据挖掘服务模式, 利用虚拟化层快速处理大量资源。在结构体系中, 虚拟化层根据云计算技术虚拟化汇聚分布式资源, 在封装处理虚拟资源的基础上, 分类和管理不同资源, 从而提高挖掘服务执行效率。在对资源进行封装后, 通过开发和利用平台层实现资源共享。虚拟化技术是资源封装的重要技术, 既可以提高资源运行效率, 也可以实现对资源的合理调动, 提高服务模式的便捷性。

2.1.3平台层

在数据挖掘服务模式中,平台层作为数据核心服务部分, 负责管理不同数据及其功能, 实现不同服务目录的高效管理。用户可根据服务内容和使用需求组合不同服务目录, 发挥数据功能性管理作用。在平台层中, 可有效调度计算资源, 提高计算资源的运行效率, 这使得平台层在数据挖掘服务中占据着不可替代的地位。

2.1.4 应用层

该层由终端层和接口层组成, 其中接口层为用户提供服务等级, 满足各种服务请求, 终端层将服务请求显示出来, 并且可根据请求的服务内容作出评价。在终端层的内容访问中, 根据用户访问请求、访问内容对访问接入作出不同选择, 再结合用户访问情况, 借助终端设备实现数据挖掘服务。

2.2 体系的建模流程

2.2.1 对服务进行自定义

在数据挖掘服务运行时, 可通过自定义完成相关数据的搜集, 从而快速找到与之相关的资源。由此可以使数据挖掘人员开展工作时, 对候选加以充分利用, 进而形成服务目录, 为用户使用提供方便。

2.2.2 组件构建

在对数据挖掘服务组件进行构建时, 应当确保调用服务接口的统一性, 同时在构建其它服务组件时, 需要绑定服务和数据, 从而构建起数量更多的组件, 为用户提供所需的数据挖掘服务模式。

2.3 数据挖掘体系的服务过程

2.3.1 分析阶段

该阶段主要负责分析数据挖掘内容, 确定需要挖掘的数据, 根据对应的数据服务内容设置相应的服务模式, 并对服务模式作出定义。为保证数据挖掘与实际需求相符, 在数据挖掘时需先进行数据分析, 深入到外部环境中调查市场发展趋势和市场需求情况, 以市场为导向开发大数据挖掘模式, 使云计算下的数据挖掘服务更具备高效性、实用性和针对性。

2.3.2 设计阶段

该阶段要根据前期市场调查情况对数据挖掘服务方案进行设计, 最终确定符合用户使用习惯的数据处理模式。数据挖掘服务模式设计不仅关系到用户体验的满意程度, 而且还影响着数据挖掘服务运行效率。在某些特定的情况下, 甚至可能对供应商与消费者带来利益冲突, 阻碍数据挖掘服务在信息化环境中的有效应用, 为了解决上述问题, 必须以市场调查为前提开展数据挖掘服务模式设计, 避免不必要的矛盾。

2.3.3 开发阶段

在该阶段, 一套相对完整的数据挖掘服务体系会随着设计得以呈现, 各种服务内容与方法在该阶段中得到合理应用。体系开发时, 应对各项功能进行定义, 并将所有的功能整合到一起, 以此来实现多种不同的服务目标, 确保数据挖掘服务模式的高效运行。对体系进行开发的过程中, 可基于服务接口的实现, 对相关的功能进行有效地协调, 从而使开发出来的功能更符合用户的使用需要, 由此可使数据挖掘服务的价值得以充分体现, 有利于推动数据挖掘服务市场的持续、稳定发展。结论

综上所述, 云计算以其自身所具备的诸多特点, 在诸多领域中得到越来越广泛的应用。本文在简要阐述云计算特点的基础上, 对云计算环境下的数据挖掘进行分析研究, 提出数据挖掘服务模式的构建方法, 以期能够对数据挖掘效率的进一步提升有所帮助。

参考文献

[1]孙亮.数据挖掘服务模式应用云计算的优化策略探究[J].黑河学院学报, 2018(01):23-25.[2]王勃, 徐静.基于云计算的Web数据挖掘Hadoop仿真平台研究[J].电子设计工程, 2018(01):43-44.[3]包科, 蔡明.高速接入网云计算平台的大数据挖掘算法研究[J].机床与液压, 2017(12):143-144.[4]冯丽慧.云计算和挖掘服务融合下的大数据挖掘体系架构设计及应用[J].电脑编程技巧与维护, 2017(12):132-133.

大数据环境下的数据安全研究论文(五篇范文)
TOP