第R語言常用兩種并行方法之snowfall詳解上一篇博客（R中兩種常用并行方法之parallel）中已經(jīng)介紹了R中常見的一種并行包：parallel，其有著簡單便捷等優(yōu)勢，其實(shí)缺點(diǎn)也是非常明顯，就是很不穩(wěn)定。很多時(shí)候我們將大量的計(jì)算任務(wù)掛到服務(wù)器上進(jìn)行運(yùn)行時(shí)，更看重的是其穩(wěn)定性。

這時(shí)就要介紹R中的另一個(gè)并行利器——snowfall，這也是在平時(shí)做模擬時(shí)用的最多的一種方法。

針對上篇中的簡單例子

首先是一個(gè)最簡單的并行的例子，這個(gè)例子不需要載入任何依賴庫、函數(shù)、對象等。相對也比較簡單：

library(snowfall)#載入snowfall包

#并行初始化

sfInit(parallel=TRUE,cpus=detectCores()-1)

#進(jìn)行l(wèi)apply的并行操作

sfLapply(1:3,function(x)c(x,x^2,x^3))

#結(jié)束并行，返還內(nèi)存等資源

sfStop()

語法基本也比較好理解，代碼中的注釋也有進(jìn)行說明。sfLapply()的操作是與lapply()相對應(yīng)的。類似地，還有sfSapply()，sfApply()等函數(shù)，其用法與apply組中的函數(shù)一致。

snowfall進(jìn)階

在實(shí)際操作時(shí)，我們進(jìn)行的函數(shù)往往沒有這么簡單，往往還需要依賴一些其它的函數(shù)、變量、R包等，這時(shí)就不能用上述的方法簡單的進(jìn)行操作了。

下面給出一個(gè)具體實(shí)際的操作案例，來展示如何載入函數(shù)中依賴的對象等參數(shù)。

n-100

m-100

fun1-function(...){

fun2-function(...){

sfInit(parallel=TRUE,cpus=10)#初始化

sfLibrary(MASS)#載入依賴R包MASS

sfLibrary(ggplot2)#載入依賴R包ggplot2

sfExport("n","m")#載入依賴的對象

sfExport("fun1","fun2")#載入依賴的函數(shù)

#并行計(jì)算

result-sfLapply(1:10000,myfun)

#注意：myfun是自己定義的函數(shù)，里面需要用到包MASS,ggplot2；變量m,n；函數(shù)fun1,fun2。

sfStop()#結(jié)束并行

其實(shí)很簡單，對于并行函數(shù)依賴的庫，就是sfLibrary()進(jìn)行載入，所以來的對象以及函數(shù)則使用sfExport()進(jìn)行載入。

當(dāng)函數(shù)或者對象非常多時(shí)，不方便一個(gè)一個(gè)單獨(dú)輸入，這時(shí)我們可將所有的對象與函數(shù)存到allfun.R文件夾中，然后再采用sfSource('allfun.R')將所有的對象與函數(shù)進(jìn)行導(dǎo)入，方便快捷。

下面我們再來看看如何查看并行進(jìn)度：

使用sfCat查看并行進(jìn)度

這部分參考：Howtooutputamessageinsnowfall

我們只需在函數(shù)中添加sfCat()函數(shù)，即可查看并行進(jìn)度，其示例代碼如下所示：

sfInit(parallel=TRUE,cpus=2,slaveOutfile="test.txt")

sfLibrary(snowfall)

res-sfLapply(1:100,function(x){

sfCat(paste("Iteration",x),sep="\n")

sfStop()

需要注意的是，在初始化并行中，我們多加了一串命令：slaveOutfile="test.txt"，這個(gè)表示其顯示的進(jìn)度會儲存在test.txt文件中，其余部分基本沒什么變化。

與Rcpp結(jié)合會遇到的問題

當(dāng)我們進(jìn)行模擬想要再次進(jìn)行提速時(shí)，通常都會使用Rcpp將我們的R代碼改成C++代碼。平時(shí)在我們使用的時(shí)候，直接使用Rcpp::sourceCpp()就可以直接將我們的C++代碼中的函數(shù)進(jìn)行導(dǎo)入，然想要使用snowfall進(jìn)行并行時(shí)則會遇到問題。

這里使用了兩種方法來進(jìn)行嘗試：

使用sfSource('myCppfun.cpp')進(jìn)行導(dǎo)入，會在導(dǎo)入的時(shí)候直接報(bào)錯(cuò)。

先使用Rcpp::sourceCpp('myCppfun.cpp')將函數(shù)讀入變量空間，然后再使用sfExport("myCppfun")將函數(shù)。這樣做在最后運(yùn)行代碼的時(shí)候會報(bào)錯(cuò)。

所以遇到這種問題，只能將我們的C++代碼中的函數(shù)打包成一個(gè)包，然后直接在使用snowfall進(jìn)行并行時(shí)，調(diào)取這個(gè)包來運(yùn)行則不會報(bào)錯(cuò)。

關(guān)于如何