美文网首页R微生物消灭虫子
R稀疏矩阵转化稠密矩阵|使用as.matrix()报错:Chol

R稀疏矩阵转化稠密矩阵|使用as.matrix()报错:Chol

作者: 纷纷不可诉 | 来源:发表于2022-06-22 19:53 被阅读0次

在进行一些数据分析是经常会需要将一个数据对象转化为矩阵,以及稀疏矩阵(sparse matrix)和稠密矩阵之间的互化。

问题&报错

在R环境中,用的非常普遍的函数就是as.matrix(),但是,当转化的稀疏矩阵对象非常巨大的时候,例如细胞数目非常多的单细胞数据,R就会报如下类似的错误:

Error in asMethod(object) :
  Cholmod error 'problem too large' at file ../Core/cholmod_dense.c

原因&解决

这是因为as.matrix这个函数本身不支持大体量的系数矩阵转换为稠密矩阵(也就是我们常规的矩阵),但如果采取用高级语言(例如R或python)循环填进去的方法的话,极其耗费资源,所以可以选择直接修改该函数的底层C++语言,来解决这个问题:

library(Rcpp)
Rcpp::sourceCpp(code='
#include <Rcpp.h>
using namespace Rcpp;
// [[Rcpp::export]]
IntegerMatrix asMatrix(NumericVector rp,
                       NumericVector cp,
                       NumericVector z,
                       int nrows,
                       int ncols){
  int k = z.size() ;
  IntegerMatrix  mat(nrows, ncols);
  for (int i = 0; i < k; i++){
      mat(rp[i],cp[i]) = z[i];
  }
  return mat;
}
' )

as_matrix <- function(mat){
  row_pos <- mat@i
  col_pos <- findInterval(seq(mat@x)-1,mat@p[-1])
  tmp <- asMatrix(rp = row_pos, cp = col_pos, z = mat@x,
                  nrows =  mat@Dim[1], ncols = mat@Dim[2])
  row.names(tmp) <- mat@Dimnames[[1]]
  colnames(tmp) <- mat@Dimnames[[2]]
  return(tmp)
}
as_matirx() #接下来调用即可

PS,如果数据是浮点型需要把上述的IntegerMatrix替代为NumericMatrix,不然会强制转化为整型的矩阵。

构建稀疏矩阵

此外,如果需要将稠密矩阵转化成为稀疏矩阵,方法很多,介绍一种使用

library("Matrix")
dg <- as(matrix_object,"dgCMatrix")

具体关于构建和解释稀疏矩阵,可以参照:https://blog.csdn.net/jeffery0207/article/details/122507934

题外

最后,其实如果不想这么麻烦,又不想去sample随机取样缩减数据量,大家也不用那么死板,那就先把大矩阵拆分成几个小的,转完之后再合并就行了,效果是一样的,不是非得一次性转完才算好,曲线救国的方式很多,bug自然就消失了。

相关文章

  • R稀疏矩阵转化稠密矩阵|使用as.matrix()报错:Chol

    在进行一些数据分析是经常会需要将一个数据对象转化为矩阵,以及稀疏矩阵(sparse matrix)和稠密矩阵之间的...

  • 普通矩阵转化为稀疏矩阵

    之前见到的矩阵都是稠密矩阵:如 看看占了多少内存 转化为稀疏矩阵 看看占了多少内存 再转化为普通矩阵

  • 机器学习中的稀疏矩阵

    什么是稀疏矩阵? 大多数元素都是0的矩阵称为稀疏矩阵,否则称为稠密矩阵。规模巨大的稀疏矩阵在应用机器学习中很常见,...

  • 邻接矩阵和稀疏矩阵之间的转化

    1、邻接矩阵转化成coo格式的稀疏矩阵 在使用pytorch_geometric框架时,他所使用的数据Data(x...

  • 稀疏矩阵

    1.什么是稀疏矩阵?2.什么时候使用稀疏矩阵? 稀疏矩阵就是就是在一个矩阵的的阵列中大多数都是默认数据0为什么使用...

  • R语言入门学习3——矩阵

    1.矩阵生成 matrix()函数as.matrix() 将对象强制转换为矩阵is.matrix()判断对象是否为...

  • keras使用稀疏输入进行训练

    稀疏矩阵 稀疏矩阵是指矩阵中数值为0的元素数目远远多于非0元素的数目,在实际中遇到的大矩阵基本都是稀疏的。如果使用...

  • 构建邻接矩阵

    构建邻接矩阵 net = spconvert(linklist);%把外部数据转换为稀疏矩阵 稀疏矩阵 对于矩阵 ...

  • 稀疏矩阵与稠密矩阵以及 LibRec 中的实现

    稀疏矩阵 在矩阵中,若数值为0的元素数目远远多于非0元素的数目时,则称该矩阵为稀疏矩阵。与之相反,若非0元素数目占...

  • iOS/OC: OC里矩阵运算

    矩阵求逆 matrix 待求逆的矩阵r 矩阵的行/列 使用 Accelerate里的矩阵基本运算例如矩阵乘法

网友评论

    本文标题:R稀疏矩阵转化稠密矩阵|使用as.matrix()报错:Chol

    本文链接:https://www.haomeiwen.com/subject/ztczmrtx.html