Question

Spark SQL怎么创建编程创建DataFrame

Answer 1

创建DataFrame在Spark SQL中，开发者可以非常便捷地将各种内、外部的单机、分布式数据转换为DataFrame。以下Python示例代码充分体现了Spark SQL 1.3.0中DataFrame数据源的丰富多样和简单易用：

1. # 从Hive中的users表构造DataFrame
   
2. users = sqlContext.table("users")
   
3. 
   
4. # 加载S3上的JSON文件
   
5. logs = sqlContext.load("s3n://path/to/data.json", "json")
   
6. 
   
7. # 加载HDFS上的Parquet文件
   
8. clicks = sqlContext.load("hdfs://path/to/data.parquet", "parquet")
   
9. 
   
10. # 通过JDBC访问MySQL
    
11. comments = sqlContext.jdbc("jdbc:mysql://localhost/comments", "user")
    
12. 
    
13. # 将普通RDD转变为DataFrame
    
14. rdd = sparkContext.textFile("article.txt") \
    
15.                   .flatMap(lambda line: line.split()) \
    
16.                   .map(lambda word: (word, 1)) \
    
17.                   .reduceByKey(lambda a, b: a + b) \
    
18. wordCounts = sqlContext.createDataFrame(rdd, ["word", "count"])
    
19. 
    
20. # 将本地数据容器转变为DataFrame
    
21. data = [("Alice", 21), ("Bob", 24)]
    
22. people = sqlContext.createDataFrame(data, ["name", "age"])
    
23. 
    
24. # 将Pandas DataFrame转变为Spark DataFrame（Python API特有功能）
    
25. sparkDF = sqlContext.createDataFrame(pandasDF)

Answer 2

char * strcpy(char * dst, const char * src) // 实现src到dest的复制
{
　if ((src == NULL) || (dst == NULL)) //判断参数src和dest的有效性
{
return NULL;
}
char *strdest = dst; //保存目标字符串的首地址
char *strStr =(char *)src;//这里需要强制转换一下
while ((*strdest++=*strStr++)!='\0'); //把src字符串的内容复制到dest下
　　return strdest;
}