使用R语言异构平台进行数据挖掘资料VIP免费

使用R语言异构平台进行数据挖掘摘要：数据产生和收集的指数级增长导致我们站在了数据分析和信息提取的新时代。基于通用处理器的常规系统不能够和大量计算需求的数据挖掘技术并驾齐驱。像GPU和FPGA的高性能协处理器有处理大量的计算工作负载的潜力。在本文中，我们提出了一个可扩展框架，旨在提供一个能够在异构平台上开发和使用高性能的数据挖掘应用平台。该框架采用了软件基础架构和高性能的内核库。此外，它包含了各种增加应用程序吞吐量的优化。该框架涵盖多种技术，包括R、GPU、多核心CPU、MPI和并行netCDF，利用它们的能力进行高性能计算。本文还介绍了来自多个应用程序提供显著的效能增益的交错GPU核心的概念。因此，相比喻其它可用的数据挖掘工具，我们的框架提供了一个易于使用的和可扩展的环境，无论是应用程序开发和执行。该框架是作为一个软件包，它可以很容易地集成在R编程环境上。关键字——R；GPU；数据挖掘；MPI；K-Means；模糊K-Means；PCA；并行netCDF；I．介绍要在当今世界中取得成功，知识驱动决策是一个关键。工商企业，金融机构，政府部门，研究和发展组织收集大量的数据，以获得在各自的领域更深入的了解。社交网络如Facebook和微型博客网站Twitter上生成大量的能够提供当今社会最新趋势的有用信息的数据。通过筛选这样大量收集的数据和发现未知的模式不是一个简单的任务，尤其是当数据的大小是艾字节和千兆兆字节的顺序排列。数据挖掘提出了自动分析技术池，可以发现隐藏的知识，并预测新的趋势和行为。分析大量的数据需要计算资源。最近看许多像GPGPU、胞、多核、FPGA等，均设计了自己独特的优势的高性能架构的出现。同质范式计算的所有节点都具有相同的架构，正逐步转型为异构计算，每个任务被分配到最适合其属性的架构。由于数据挖掘内核的特征在密集计算，新一代架构可以显著提升其性能。此外，存储和检索大量数据增加了数据挖掘应用的复杂性。探索隐藏的模式和趋势需要数据挖掘的收集技术。例如Clementine和WEKA工具提供了丰富的收集算法。然而，它们缺乏利用协处理器的好处，并没有可扩展的I/O功能的能力。这限制了它们作为一个高性能的数据分析工具的可用性。本文介绍了在异构计算骨干开发并行应用程序的可扩展的框架。它采用的计算密集型内核库，并探讨了性能优化技术来提高应用程序的吞吐量。在我们的框架中，使用由模块组成的脚步来编写应用程序（例如，常用的内核）。该框架提供了中间件部署这些模块到异构硬件平台的群集上。此外，处理大量的数据需要读取和写入存储设备，如磁盘驱动器，固态硬盘等。I/O显示了在数据挖掘应用的整体性能中，作为一个贫乏的读/写接口可以阻碍从并行体系结构得到任何好处的显著瓶颈。为了缓解这个问题，我们的框架采用了并行I/O接口。因此，在本文中讨论的框架提供在I/O和计算的并行，同时仍然简单而灵活。除了上述功能外，拟议框架概述了一个新的旨在为了GPU架构的优化技术。这项技术涉及到从不同的应用程序交织的内核，以提高他们的产量。优化依赖于特定领域的知识，它并不总是知道最好的apripori算法来采集原始数据的有用信息。在这种情况下数据是利用多个算法探索。由于所有的算法对同一数据集工作，他们可以密切配合运行，以提高整体性能。总体来说，本文的主要贡献如下：1）一个用于在异构平台上编写高性能应用程序的可扩展框架。2）常用的内核进行数据探索的高性能库。3）并行I/O功能的接口。4）各种优化，以增加应用程序的吞吐量。本文的结构如下。第二节介绍了相关工作；第三部分提出了框架的执行概述；第四部分介绍了如何用框架来写应用程序；第五节介绍了讨论结果。我们在文章的第六节总结并指示今后的工作。II．相关工作R是一种广泛使用的编程语言，用于统计和数据处理。鉴于其现今经常用于处理庞大的统计问题，已经开发出了许多平行的R套件。有几个这样显式并性的包如下所述。Rmpi包提供从R到MPI接口。SNOW包运行在RMPI之上（或通过套接字或直接），允许程序员更方便地表达作品的并行处理。Rdsm包提供了在R编程的共享内存视图，但对象不是物理共享。相反，它们被存储在一个服务器上，并且通过网络套...