Question

Scala在大数据处理方面有何优势

Answer 1

Scala是不善于处理大数据的。作为一个函数式语言，必须在内存消耗和性能消耗两者之间徘徊，而普通的命令式语言就并不会有这种问题。举个例子，从数据结构来看，函数式语言要求不能修改原有结构（如果修改了，就不再吻合Immutable这一黄金定律），对于普通的链表（链表List在函数式语言中比数组Array更常见），每当你做一次操作，比如增加元素，删减元素等等，照理说会生成一个新的链表，而非像过程式语言，直接通过指针对链表本身进行修改。为了让操作速度达到与过程式语言类似或者相匹配，函数式语言的天才们发明了很多种不同方法，比如用结构分享（Structural Sharing）的技巧来应付链表，每次操作只记录下那一项特殊操作，而不毁坏或者替代原有链表。对更高级一些的结构，比如哈希图（HashMap），普通命令式语言用哈希列表（HashTable）这种简单的方式来执行，但悲壮的函数式语言就必须依赖于2-3拇指树（2-3 Finger Trie）一类的高端结构来达到相同的操作效率。