Question

编程开发都有哪些常用的开源框架？

Answer 1

对于程序员来说，大部分都是学习的编程开发语言，而编程也一直是互联网软件开发领域的主流编程语言之一。今天，我们就一起来了解一下，的生态圈都包含了哪些框架。

的生态环境开放、自由，在Sun/Oracle、Google、Apache、Eclipse基金会等各大厂商，还有技术大牛的共同努力下，的生态圈异常繁荣，各种优秀的开源框架层出不穷。

SpringBoot

SpringBoot是Pivotal团队推出的一个支持快速开发的框架，伴随Spring4.0而生，继承了Spring的优秀特质，简化了使用Spring编码、配置、部署的过程，使项目的开发变得简单、敏捷。

SpringCloud

SpringCloud是基于SpringBoot的一整套分布式系统下的微服务构建框架，包含了众多的子项目，如SpringCloudConfig、SpringCloudStream等。

Hadoop/Spark

Hadoop是个获得极大应用的大数据框架，是大数据领域标志性的解决方案。

Spark通过完善的内存计算和处理优化，极大的提升了速度，是具备流处理能力的下一代批处理框架。

Spark体系还包括一系列附加库，如SparkStreaming、SparkMLlib、SparkGraphX、SparkNet、CaffeOnSpark等。

Kafka

Kafka是LinkedIn使用Scala开发的一个分布式消息中间件，可以实现不同应用之间的松耦合，由于其可扩展、高吞吐、低延迟、高可靠等特性而被广泛使用。

ElasticSearch

ElasticSearch是基于Lucene的实时分布式搜索引擎，北京北大青鸟认为由于其搜索稳定、可靠，速度快、安装方便等特点，是使用广泛的开源搜索引擎之一。

Nutch

Nutch是Apache旗下的高度可扩展、可伸缩、可插拔的开源网络爬虫框架，功能完整。

当然爬出框架还有很多：Heritrix、Crawler4j、WebCollector、WebMagic、SeimiCrawler、HtmlUnit等，可根据实际项目需要选择。

在爬虫领域，Python可能使用的更多一些，入门也简单。

爬虫的难点不在于语言的选择，无论、Python都可以胜任，关键还是反反爬策略的制定，以及各种实战的积累。