Question

java多线程并发性能调优

下面是代码

public class ThreadTest implements Runnable{
private String type;
public ThreadTest(){}
public ThreadTest(String type){
this.type=type;
}
public void run(){
try {
System.out.println(Thread.currentThread().getName()+"____________________"+type);
} catch (Exception e) {
System.out.println(e);
}
}
public void getIndexData(String type) throws Exception{
for (int i = 0; i < 1000; i++) {
new Thread(new ThreadTest(type)).start();
}
}
public static void main(String[] args) {
try {
ThreadTest t=new ThreadTest();
t.getIndexData("测试1");
t.getIndexData("测试2");
t.getIndexData("测试3");
t.getIndexData("测试4");
t.getIndexData("测试5");
t.getIndexData("测试6");
} catch (Exception e) {
e.printStackTrace();
}
}

}
需求,爬取网页的数据，由于数据量过大只能分线程去爬然后插入到数据库
能不能让 测试1执行完了再执行测试2 ...然后一直执行下去
线程这样写会不会有安全性方面的问题(就是当线程数量过大的时候会不会出现线程阻塞等等的异常)
这样写会不会很耗费程序的性能
等等其他未知的问题
小生刚接触线程,急求大神指点，或者更好的解决办法

若以下回答无法解决问题，邀请你更新回答

Answer 1

为什么要测试1跑完了再跑测试2? 你这个代码看不出什么问题, 除了线程数太多了, 去网站拉数据可能被认为是ddos攻击, 把你屏蔽掉

追问

你好，我这样写不会存在线程安全的问题吗,或者说线程错乱阻塞问题

追答

你目前的代码中是没有问题的

追问

线程开多少位最合适

追答

自己的机子开个一百个应该就可以了, 关键还要看网站会不会屏蔽你

追问

为什么要测试1跑完了再跑测试2? 因为它不会等测试1跑完了再跑测试2 如上列代码 就是同时开启6000个线程，所以我想等测试1跑完 在跑测试2这样性能上好点,所以想 有木有什么办法让测试1跑完了再跑测试2(我在getIndexData 方法上加synchronized一异步锁)也不行

追答

那你少开点线程不就好了吗, 我的问题是你为什么要分六次执行1000个线程, 不直接一次执行6000个线程?

追问

因为我是向网页爬取数据，一次开启6000个线程相当于向网页发送6000个请求，所以我才分 1000个1000个去请求，预防网站封杀IP,还是我理解错了吗

追答

那你就1000个线程一直执行就行了, 为啥要执行一会结束掉, 然后又重新起1000个线程这样做?

追问

好的，那我使用线程池处理线程吧,大哥，有QQ不，还想请假下httpclient的知识

追答

System.out.println("q541241544");