美文网首页文献阅读
临床大数据文献|大数据研究中的缺失值处理

临床大数据文献|大数据研究中的缺失值处理

作者: 医科研 | 来源:发表于2020-03-13 09:18 被阅读0次

临床大数据研究系列文献分享第二篇,由浙江大学章仲恒老师撰写的临床大数据系列专栏文章发表在 Annals of Translationa杂志,这篇文章主要介绍的是处理大数据中的缺失值的一些基本技能。

  • 注:这里只做学习交流,版权归原作者所有。

前言

当观测值中没有变量的数据值时,就会出现缺失值。价值缺失现象在涉及大数据的临床研究中普遍存在。护士可能会忘记在特定时间点记录尿量。患者可能仅测量一种血液中的乳酸,而研究人员则对探索乳酸趋势对死亡率结果的影响感兴趣。值丢失的其他原因包括但不限于编码错误,设备故障和不响应。在统计包中,某些命令(例如逻辑回归)可能会自动删除缺少值的观测值。如果有一些不完整的观察结果,那没有问题。但是,当存在大量缺少值的观测值时,默认的逐列表删除可能会导致信息的大量丢失。在这种情况下,分析人员应仔细研究缺失的模式,并找到适当的方法来应对。本文将介绍如何在R中处理缺失值,并提供一些处理缺失值的基本技巧

BCT01-1.png BCT01-2.png BCT01-3.png BCT01-4.png BCT01-5.png BCT01-6.png

参考文献

Zhang Z. Missing values in big data research: some basic skills. Ann Transl Med 2015;3(21):323. doi:
10.3978/j.issn.2305-5839.2015.12.11

相关文章

  • 临床大数据文献|大数据研究中的缺失值处理

    临床大数据研究系列文献分享第二篇,由浙江大学章仲恒老师撰写的临床大数据系列专栏文章发表在 Annals of Tr...

  • 数据的缺失值处理说明

    缺失值说明 缺失值产生的原因 缺失值处理 缺失值说明 缺失数据是指粗糙数据中由于缺少信息而造成的数据的聚类、分组、...

  • 机器学习 - 特征工程

    数据处理 缺失值处理行数据缺失过多,用户区分度就会降低,列数据缺失过多会导致建模存在偏差fillna:填充缺失值;...

  • 121、处理缺失数据

    处理缺失数据 滤除缺失数据 填充缺失数据 如果全为NA值则插值方法不起作用。 源码:

  • 数据清洗

    数据清洗:删除原始数据集中的无关数据,重复数据,平滑噪声数据,处理缺失值和异常值 缺失值的处理:删除记录 数据插补...

  • 笔记|数据分析之pandas基础----Series与DataF

    如何处理缺失数据 在练习中经常遇到pandas使用浮点值NaN来表示数组中的缺失数据。那我们该如何处理这些缺失数据...

  • 利用R进行脏数据清洗

    在进行正式的数据分析之前,必须要保证数据的质量,故而我们要处理缺失值、异常值这些脏数据。 一、缺失值 缺失值的处理...

  • pandas学习笔记之缺失值处理

    对于数据中的缺失值,有两种处理思路: 删除 插补 如何判断数据中是否存在缺失值? pd.isnull(df) ->...

  • python数据分析包4|Pandas-02之缺失值(NA)处理

    本篇详解pandas中缺失值(Missing data handling)处理常用操作。缺失值处理常用于数据分析数...

  • day80-数据清洗及数据库连接

    1数据清洗 1.1缺失数据处理 isnull检测缺失值;dropna删除缺失值;python内置的none值在对象...

网友评论

    本文标题:临床大数据文献|大数据研究中的缺失值处理

    本文链接:https://www.haomeiwen.com/subject/opskjhtx.html