Question

每秒约插入1万行数据进数据库，求解决方案

每秒约会产生1万条数据，字段都固定，加ID共6个，其中4个会经常查询，其中1个需要全文查询。

现在使用mysql,每秒只能越插入100多条数据。。

求方案
不好意思我说的不太清楚，着重点不在查询，而在记录，能记录完全，查询慢点问题不是太大（也不能太慢。。）
以前是纯文本记录，数据量大约1MB/s的样子，因为数据量太大，每天记录都自动压缩，查询起来非常不方面，经常为了查询一条数据，解压都解1个小时。。
改数据库后第一便于查询，第二每个记录数据量也不纯文本要小的多。
现在1个小时1张表，索引只做了datetime和一个varchar(50)字段的联合索引。
字段分别是 bigint(8),varchar(50),varchar(255),datetime.
mysql不给力。。 昨天改成sqlserver,拿了一台每秒300kb/s左右的数据源测试，每秒可以记录2000条左右了。。
但还是达不到性能指标。。

Answer 1

在分割线下面)

弄个服务器，所有用户只需要用户名和密码就可以登陆了，然后登陆到自己的网上操作系统当中。

这样做的好处是再也不需要下载了，无论是软件、程序、游戏都可以直接拖拽服务器中的快捷方式，然后直接在虚拟系统中运行，用户甚至不需要安装CPU、内存和硬盘，只需要有一个显卡和显示器，就可以玩转所有的一切。因为所有的计算都在服务器完成了，用户只需要下载这些影音文件和提交本地操作数据就完成整体的交互了。

而且在也不会存在丢失文件的问题，操作系统弄的乱七八糟了，就直接还原到以前的还原点，这样不仅大大减少了用户配置计算机的费用，还提高了文件的安全性，多好~~

如果需要详细的，我再提供给你一些，这个东西我都想了好久好久了，但没技术没钱，开发不了~~

---------------------------------------------------------------------

如果这个系统弄成了，简单说一下，就是用户配台电脑，只需要主板、显卡、显示器~~基本上大体是这样的。

然后不需要安装任何操作系统，U盘一插，自动上网登录服务器内的操作系统当中，就好像开机进入windows一样。U盘也只是第一次使用的时候需要插入，以后就不用了，因为U盘就是安装微型操作系统。

任何游戏、软件都是安装在服务器内的，也就是说第三方同网络操作系统方的协议关系，就好像现在第三方开发的软件都在为微软服务，得到微软的支持一样。
但不同的地方就是用windows会有病毒，用网络操作系统不会，因为东西是系统提供商安装的，而不是用户自己安装的，所以不存在中毒。

用户使用只是将这个程序的快捷方式在自己的“桌面”上激活，这样程序本身还是在服务器内，运算也一样。但用户通过点击之后就可以使用它（以用户名为密匙来确认使用记录）。

如果成功，这个世界上就不再有盗版了，只有免费和付费之分。因为用户没有安装程序的权力，只有使用的权力，而不付费就无法使用，非常简单。

游戏和电影、音乐也是同理。

用户使用电脑有几个问题，总结一下：

1、硬件不会配置，需要别人帮忙攒机
2、安装操作系统经常装不明白
3、安装驱动经常装不明白
4、安装软件经常装不明白
5、经常因为插件或者安装文件、删除文件导致注册表错误或系统文件损坏
6、软件或游戏安装不明白，抱怨游戏或软件的安装程式有问题
7、胡乱使用电脑导致系统崩溃
8、不合理操作或误操作导致资料损失
9、拒绝正版
等等......

而使用网络操作系统根本不存在以上的问题，并且网络操作系统可以最大限度的支持正版。

同时，盈利是可观的，弄一部分免费用户，比如开放500个电影收藏+免费软件使用+免费游戏使用+30个系统还原点等等，这些用户就是免费的，充人气的。

然后运营好了之后就可以增加收费项目了，比如5000个电影收藏，收费软件享受八折优惠，收费游戏享受八折优惠，200个系统还原点。收费是每个月50元。

还有更高级的，以此类推~~

安全+高效+简单+实用+暴利+N

----------------------------------------------------------------------------

k4me兄很多地方说的非常专业，部分是我考虑的不周。

但同时也有一些不同的看法：

CPU：服务器的CPU费用肯定不会高于个人PC，之所以这样说是因为我们正常使用电脑的话，CPU是很少在满载的情况下工作的。如果平均来算，24小时之中能有1个小时占用量超过70%就不错了。即使是大型游戏，让CPU高于50%的情况也很少见。这就表示服务器端一块同等的CPU可以同时为很多人服务。在这里必须提前否定一个观点，就是所有人同一时间同时做能让CPU满载的事情。之所以否定，是因为这种概率微乎其微，否则真要如此的话，这个世界上就没有银行了，因为没有任何一家银行能承受全部用户同一时间提取所有现金。

内存：针对内存的情况，可能需要找到一个平衡点。如果不能免，那是否可以考虑使用其他方式？比如减小尺寸等等，简单来说就是换一个形态。

安全：安全是必须保障的，否则一旦出现问题，就是成百上千的用户同时丢失资料。相信网络操作系统绝对不会是我们最先想到的，因为我有这个想法至少也要几年的时间了。而大家之所以没有做，主要原因可能就是安全性。至于存储设备的成本，个人认为可以忽略不计，因为用户的存储是长时间的。而服务器针对此用户的投资是一次性的，也就是说：服务器购买一块2T的硬盘，可以同时为数十个用户服务，而平时只需要支付少量的维护费用。用一年是这块硬盘，用十年还是这块硬盘，对于服务器系统来说，肯定会有合作伙伴，无论是CPU和硬盘，乃至其他硬件设备，拿到的都是冰点价格，并且陆续跟上很多其他服务。

即使用户不停的在增加需要储存的数据，服务器操作系统也不会有损失，因为这完全应该属于增值业务。还有需要明确的一个误区，影音文件和游戏、大型软件才是占用高存储空间的三大件，而这些东东在服务器操作系统上都是只安装一份的，用户在自己的桌面点击的都只是快捷方式而已，因此存储空间没有想象的那么庞大，但系统厂商却可以以此来收取高昂的费用。

同意k4me针对错乱操作系统的看法，的确，一个混乱的脑袋无论使用怎样的操作系统，其使用结果都依旧是混乱的。

但有一点，在现实中，这些混乱的脑袋大多不懂电脑，甚至不会重做系统，我认识一个网上的朋友就是，每个月固定去装机店做一次系统，N年下来，做系统的钱足够买一台不错的电脑了。但是在网络操作系统上，他不需要重做，只需要找到还原点而已。这绝对是浅显易懂的一件事。

并且针对用户上传资料这部分，用户上传的资料必须是经过严格审查的，所谓的严格审查，其实是审核服务器中是否存在这样的资料，有的话就直接推荐给用户了，比如影音文件。而用户实际开发出的一些大型文件，比如PSD文档等，在使用掉免费空间之后，是需要付费才能享受更多空间的。

而这点，相信任何用户都能理解，比如2T的硬盘现在网上卖1000块钱，系统商完全可以收取用户500元。这中间就存在着很多猫腻，用户多久能占满这2T？如果时间长，那其余空间是大家共享的（现在所有的服务器运营商都是在这么做，普遍率达到了100%），等到用户占满了，将来还有维护的费用，虽然不多，但足以收回成本。而对于用户而言，花更少的钱，享受世界上最安全的存储，并且拥有更多的还原点可操作，绝对是可以接受的一件事。

退一步讲，即使我们的存储不能获得较大的利润，甚至赔钱。但我们同硬盘厂商不同，他们硬盘赚不到就铁定死翘翘，但网络操作系统还有N-1的赢利点，此消彼长，让用户感觉到自己占便宜会让系统厂商赚取更大的利润。

盗版在网络操作系统上应该是看不到的，不存在盗版，只存在竞争。因为安装的任何东西都是经由系统厂商审核过的，影音文件和游戏也是同合作伙伴共同完成的，根本不具备盗版的土壤。如果说其他人自己开发这样的操作系统，实力是否具备先不说，和今天完全不是一个概念，因为今天还没有这种东西，属于蓝海，而那时这种东西已经开始获利了，大家都在看着，老厂商也会打压新品牌，其压力要大的多。就算有人拥有这样的实力，开始开发网络操作系统，那他也属于竞争的范畴，也非盗版。

k4me的组合想法棒极了，当初我只想过做这样的衣服（模块化），也想过做这样的便携个人电脑，比如微型摄像头，插在手表上（个人终端），个人终端就拥有了视频能力，微型麦克就拥有了对讲能力，微型GPS就拥有了导航能力等等，但从没想过软件应该这样~~

针对广告商和正版收费的问题，广告商不是固定的，比如新浪的首页广告，现在一个广告位30万每天，这样的价格导致大多数企业挺不上一个月，但广告商很多，你做一天，我做两天，就把新浪给成全了。而且广告元素是多元化的，不一定都是硬性广告，这里面甚至可以参杂一些活动、游戏等等，我们不能拘泥于现在的形态来考虑将来的东西，否则那样一定会束手束脚的。说到正版电影，N美元是现在收费的价格，如果放入网络系统中，价格是肯定要变动的。并且我依然强调一点，采用新的形式来促进整体消费。打个比如，一个电影，买来需要支持5美元，那我们可以这样卖，一次性支付50美元可以获赠20个分享名额。至于购买分项名额的用户，他卖多少钱是他的事，我想肯定不会高于5美元，也绝不会低于2.5美元。高了大家可以买我们的，低了他就赔钱了。而这样做的好处就是大家可以在消费的同时或节省消费，或赚取利润。而这样的办法如果我愿意，每天都能想出一堆来，我想很多人都是如此。

最后说一句：“近200年的时间，全球诞生了两百多项改变人类生活和命运的发明，而天朝居然一个都不没有，是我们不行，还是我们没有土壤？”

---------------------------------------------------------------------------

针对 xh0603的疑问~

话不是这么说，这是一个从传统转变的过程，感觉你之所以认为这种情况不合理，是因为惯性的原因。

我们用QQ，看网站，甚至玩游戏，哪个不是将资料存在别人的家里？为什么这些就可以接受，而操作系统就不可以呢？

至于付费，QQ、游戏，图片储存空间，虽然都有免费的，但谁敢拍着胸脯说，这些东西我从来都没花过一分钱？当然，即使曾经花过，现在也可以不花，但有没有考虑一点，不花钱同样会丢失掉很多的功能，比如QQ会员，游戏VIP等等。网络操作系统也是这样的。有免费的，有增值服务，也有可以随时停掉的增值服务，几乎没有什么本质的区别，问题只在于我们能否放弃自己思维惯性。

而且从狭义的角度来看，数据储存在本地也不见得就是安全的，抛去操作和老化的问题不谈。天朝为什么每年投那么多钱来开发自己的芯片，自己的操作系统？理由很简单——安全性！毕竟这些尖端东西是老外做的，不是咱们自己搞的，谁敢100%保证，比尔不能按一下键盘让世界上所有联网的计算机全部瘫痪？当然，是否会这样不在本文的研究范围，会与不会都没关系，反正真到那一步也就活不了几天了，呵呵~~

--------------------------------------------------------------------

最后补充一些资料，关于Google开发的一个项目Chrome操作系统~

一旦正式发布，Chrome操作系统将成为谷歌的一个里程碑。它不仅代表谷歌正式进入长期由微软统治的操作系统市场，并且也将成为一个新的计算范式。

Chrome操作系统设计的目的在于帮助计算机在数秒内就可连接网络。使用Chrome系统的用户必须通过在线或“云计算”的方式完成他们的工作，而无需下载 iTunes或微软Office等传统的应用软件，也不必将文件储存在硬盘里。运行Chrome系统的数码产品将持续接收软件的更新并可获得额外的安全保护，同时大部分用户的数据将储存在谷歌的服务器上。

一些分析人士对此提出质疑，他们认为对运算行为施加如此严格的限制将使普通用户望而却步。 研究公司Interpret的分析师迈克尔·加腾伯格(Michael Gartenberg)指出，Chrome操作系统“是一个赌注”，赌的是“将来我们可以超越各种的应用程序，所有的一切最终都通过网络完成”。但是那样的时刻还没有到来，他说：”今年、明年，Chrome很大程度上都只是个科学研究。”

谨以此来证明网络操作系统的可实现性！

Answer 2

我的记录更多每小时4600万行，试过oracle，插入也不快，数据库大小跟文本大小差不多，反正也不经常查询，还是记录的文本，在linux下文本查起来也挺快的，压缩后只有原来的三分之一，4G的文件压缩需要4分半，一小时压缩一次，还可以接受。

Answer 3

这个不好弄，以前看过一个资料，好像是ebay平均每秒钟还是每分钟执行3亿多条数据库查询，一般来所碰到这种情况他们都不是使用软件数据库，而是直接硬件数据库，省了操作系统这个环节，所以这是最理想的解决方案，如果做不到这一点，只能从代码逻辑进行有限的优化了，以前碰到过一个类似的项目，一个考勤系统，在上班打卡的高峰期，要有好几万人同时操作，所以只能先把数据放到内存队列中，一个一个来。另外数据库不要设计主键，表和表之间也不要关联，一切全靠程序控制，尽可能多的使用缓存，换用oracle等数据库，这样数据库性能能好一点，但也只能一定程度上优化，不能彻底解决

Answer 4

这个不好弄，以前看过一个资料，好像是ebay平均每秒钟还是每分钟执行3亿多条数据库查询，一般来所碰到这种情况他们都不是使用软件数据库，而是直接硬件数据库，省了操作系统这个环节，所以这是最理想的解决方案，如果做不到这一点，只能从代码逻辑进行有限的优化了，以前碰到过一个类似的项目，一个考勤系统，在上班打卡的高峰期，要有好几万人同时操作，所以只能先把数据放到内存队列中，一个一个来。另外数据库不要设计主键，表和表之间也不要关联，

Answer 5

同意二楼的意见，常规方案是放在缓存中慢慢处理。
如果一定要实时处理的话，只能从硬件上着手，提高机器性能，插入1万条数据这样的操作，几乎可以肯定IO操作是性能瓶颈，所以可能考虑换上固态硬盘，使用内存数据库等。