对于大数据和人工智能（AI）来说，已经发展十年了，这是我们在本世纪看到的最大的两个技术趋势。从数据驱动制造到自动驾驶汽车，我们目睹了数百个令人惊叹的，以前难以想象的壮举，这要归功于大数据分析和人工智能的进步。
以前，各行业的企业都拥有大量的数据，但是不确定他们可以通过这种方式获得竞争优势。但是随着机器学习、深度学习、自然语言处理等方法的进步，计算能力的提高，看似无用的数据突然开始有了意义。
例如，企业可以使用客户数据分析人口统计资料，购物习惯和其他行为，这有助于改善营销活动和整体的用户体验。
尽管人工智能带来了很多好处，但它的发展给大数据带来了无数的挑战，特别是考虑数据需求大的AI系统时。
这些挑战是我们在充分认识人工智能和大数据潜力之前必须解决的最大障碍。
1.数据隐私和安全
AI系统，即使是最基本的形式，也是非常复杂的，大量的算法掩盖了系统实际上在底层做了什么。 因此，用于这种处理的任何数据通常是隐藏的，这引发了关于这种数据的透明性和隐私性的问题。
以Cookie为例，这是用于从网站收集用户数据以进行高级分析的代码段。 虽然许多国家现在要求网站通知用户使用cookie从浏览器收集数据，但是没有办法知道通过这些网站收集了多少数据或特定类型的数据。
另外，当AI系统在联网的分布式数据库中处理海量数据时，总会存在数据安全问题。 在诸如电信行业的许多自动化行业中，例如，被窃取的数据可用于发布自动垃圾邮件呼叫，例如全球许多国家都存在的垃圾邮件。
2.有限的技术能力
尽管迄今为止我们已经成功地构建了更快更好的处理器以提高计算能力，但这些能力不断受到日益苛刻的处理任务和大量待处理数据的挑战。
人工智能算法通常非常复杂，通常需要数以千计的计算 ，有时甚至每秒计算一次。随着云计算和分布式处理在过去十年的发展，处理这些算法变成了现实，也迎来了人工智能驱动数据分析的当前时代。
然而，随着对更强大处理器需求的增加，瓶颈将开始出现，企业很难采用这种技术。对于创业公司和中小型企业来说，这意味着需要筹集大笔资金，以使用更好的处理器和更大的存储服务器，这是很多中小型企业难以做到的。
这一趋势也意味着企业将难以跨越多个不断发展的非关系数据库来保护数据。
3.缺乏人力资本
数据分析是一个复杂的领域，当考虑到机器学习，深度学习和常用于分析数据的AI的其他组件时，事实会变得更加复杂。
因此，对于在各个领域有才能的数据科学家有着巨大的需求，纯粹是因为这项工作是多学科的。麦肯锡的一项研究预测，到2018年，仅美国就有大约20万个跨行业的大数据科学家和专业人员就业岗位。随着数据收集和先进的基于人工智能的分析方法的不断增加的途径，这种需求将会增长，如何找到合适的专业人员来处理这些数据，这会给企业增加压力。
除了机器学习和数据挖掘外，数据科学家需要的一些技能还包括统计学，软件工程，线性代数，Python和Java等编程语言，以及用于高级分析的Hadoop等平台。
网友评论