Question

保护大数据安全的10个要点

Answer 1

一项对2021年数据泄露的分析显示，总共有50亿份数据被泄露，这对所有参与大数据管道工作的人来说，从开发人员到DevOps工程师，安全性与基础业务需求同等重要。

大数据安全是指在存储、处理和分析过于庞大和复杂的数据集时，采用任何措施来保护数据免受恶意活动的侵害，传统数据库应用程序无法处理这些数据集。大数据可以混合结构化格式(组织成包含数字、日期等的行和列)或非结构化格式(社交媒体数据、PDF 文件、电子邮件、图像等)。不过，估计显示高达90%的大数据是非结构化的。

大数据的魅力在于，它通常包含一些隐藏的洞察力，可以改善业务流程，推动创新，或揭示未知的市场趋势。由于分析这些信息的工作负载通常会将敏感的客户数据或专有数据与第三方数据源结合起来，因此数据安全性至关重要。声誉受损和巨额经济损失是大数据泄露和数据被破坏的两大主要后果。

在确保大数据安全时，需要考虑三个关键阶段:

当数据从源位置移动到存储或实时摄取(通常在云中)时，确保数据的传输

保护大数据管道的存储层中的数据(例如Hadoop分布式文件系统)

确保输出数据的机密性，例如报告和仪表板，这些数据包含通过Apache Spark等分析引擎运行数据收集的情报

这些环境中的安全威胁类型包括不适当的访问控制、分布式拒绝服务(DDoS)攻击、产生虚假或恶意数据的端点，或在大数据工作期间使用的库、框架和应用程序的漏洞。

由于所涉及的架构和环境复杂性，大数据安全面临着许多挑战。在大数据环境中，不同的硬件和技术在分布式计算环境中相互作用。比如：

像Hadoop这样的开源框架在设计之初并没有考虑到安全性

依赖分布式计算来处理这些大型数据集意味着有更多的系统可能出错

确保从端点收集的日志或事件数据的有效性和真实性

控制内部人员对数据挖掘工具的访问，监控可疑行为

运行标准安全审计的困难

保护非关系NoSQL数据库

这些挑战是对保护任何类型数据的常见挑战的补充。

静态数据和传输中数据的可扩展加密对于跨大数据管道实施至关重要。可扩展性是这里的关键点，因为除了NoSQL等存储格式之外，需要跨分析工具集及其输出加密数据。加密的作用在于，即使威胁者设法拦截数据包或访问敏感文件，实施良好的加密过程也会使数据不可读。

获得访问控制权可针对一系列大数据安全问题提供强大的保护，例如内部威胁和特权过剩。基于角色的访问可以帮助控制对大数据管道多层的访问。例如，数据分析师可以访问分析工具，但他们可能不应该访问大数据开发人员使用的工具，如ETL软件。最小权限原则是访问控制的一个很好的参考点，它限制了对执行用户任务所必需的工具和数据的访问。

大数据工作负载所需要的固有的大存储容量和处理能力使得大多数企业可以为大数据使用云计算基础设施和服务。但是，尽管云计算很有吸引力，暴露的API密钥、令牌和错误配置都是云中值得认真对待的风险。如果有人让S3中的AWS数据湖完全开放，并且对互联网上的任何人都可以访问，那会怎么样?有了自动扫描工具，可以快速扫描公共云资产以寻找安全盲点，从而更容易降低这些风险。

在复杂的大数据生态系统中，加密的安全性需要一种集中的密钥管理方法，以确保对加密密钥进行有效的策略驱动处理。集中式密钥管理还可以控制从创建到密钥轮换的密钥治理。对于在云中运行大数据工作负载的企业，自带密钥 (BYOK) 可能是允许集中密钥管理而不将加密密钥创建和管理的控制权交给第三方云提供商的最佳选择。

在大数据管道中，由于数据来自许多不同的来源，包括来自社交媒体平台的流数据和来自用户终端的数据，因此会有持续的流量。网络流量分析提供了对网络流量和任何潜在异常的可见性，例如来自物联网设备的恶意数据或正在使用的未加密通信协议。

2021年的一份报告发现，98%的组织感到容易受到内部攻击。在大数据的背景下，内部威胁对敏感公司信息的机密性构成严重风险。有权访问分析报告和仪表板的恶意内部人员可能会向竞争对手透露见解，甚至提供他们的登录凭据进行销售。从内部威胁检测开始的一个好地方是检查常见业务应用程序的日志，例如 RDP、VPN、Active Directory 和端点。这些日志可以揭示值得调查的异常情况，例如意外的数据下载或异常的登录时间。

威胁搜寻主动搜索潜伏在您的网络中未被发现的威胁。这个过程需要经验丰富的网络安全分析师的技能组合，利用来自现实世界的攻击、威胁活动的情报或来自不同安全工具的相关发现来制定关于潜在威胁的假设。具有讽刺意味的是，大数据实际上可以通过发现大量安全数据中隐藏的洞察力来帮助改进威胁追踪工作。但作为提高大数据安全性的一种方式，威胁搜寻会监控数据集和基础设施，以寻找表明大数据环境受到威胁的工件。

出于安全目的监视大数据日志和工具会产生大量信息，这些信息通常最终形成安全信息和事件管理(SIEM)解决方案。

用户行为分析比内部威胁检测更进一步，它提供了专门的工具集来监控用户在与其交互的系统上的行为。通常情况下，行为分析使用一个评分系统来创建正常用户、应用程序和设备行为的基线，然后在这些基线出现偏差时进行提醒。通过用户行为分析，可以更好地检测威胁大数据环境中资产的保密性、完整性或可用性的内部威胁和受损的用户帐户。

未经授权的数据传输的前景让安全领导者彻夜难眠，特别是如果数据泄露发生在可以复制大量潜在敏感资产的大数据管道中。检测数据泄露需要对出站流量、IP地址和流量进行深入监控。防止数据泄露首先来自于在代码和错误配置中发现有害安全错误的工具，以及数据丢失预防和下一代防火墙。另一个重要方面是在企业内进行教育和提高认识。

框架、库、软件实用程序、数据摄取、分析工具和自定义应用程序——大数据安全始于代码级别。 无论是否实施了上述公认的安全实践，代码中的安全缺陷都可能导致数据泄漏。 通过在软件开发生命周期中检测自研代码及开源组件成分的安全性，加强软件安全性来防止数据丢失。