Question

spark sql能处理多大的数据量

Answer 1

spark支持运算量大的数据处理吗
1. Web Service 简介
Web Service是一个平台独立的，低耦合的，自包含的、基于可编程的web的应用程序，可使用开放的XML（标准通用标记语言下的一个子集）标准来描述、发布、发现、协调和配置这些应用程序，用于开发分布式的互操作的应用程序。
Web Service技术， 能使得运行在不同机器上的不同应用无须借助附加的、专门的第三方软件或硬件， 就可相互交换数据或集成。依据Web Service规范实施的应用之间， 无论它们所使用的语言、 平台或内部协议是什么， 都可以相互交换数据。Web Service是自描述、 自包含的可用网络模块， 可以执行具体的业务功能。Web Service也很容易部署， 因为它们基于一些常规的产业标准以及已有的一些技术，诸如标准通用标记语言下的子集XML、HTTP。Web Service减少了应用接口的花费。Web Service为整个企业甚至多个组织之间的业务流程的集成提供了一个通用机制。
（Web Service 在此不做过多介绍，具体介绍可百度下）
2. WEB Service 开发
2.1. 服务配置
Asp.Net 一般支持上传4MB大小文件，为实现上传超过4MB大小文件，Asp.Net项目需要调整配置（Web.Config）的httpRuntime节点。
<Runtime maxRequestLength="40960" executionTimeout="1800" />
maxRequestLength：指定输入流缓冲阈值限制（以 KB 为单位）。此限制可用于防止拒绝服务攻击；例如，因用户向服务器发送大型文件而导致的拒绝服务攻击。
默认值为 4096 (4 MB)。
executionTimeout: 指定在被 ASP.NET 自动关闭前，允许执行请求的最大秒数。默认值110秒。