关于网友提出的“ 请教各位高手关于数据采集的优化问题”问题疑问，本网通过在网上对“ 请教各位高手关于数据采集的优化问题”有关的相关答案进行了整理，供用户进行参考，详细问题解答如下：
问题： 请教各位高手关于数据采集的优化问题
描述: 各位高手
大家好！有一个问题想请教大家（java方面）。
有一批量采集程序每次采集5000条，对student表进行采集，该表有100多万条记录（oracle数据库）
如：第一次采集如下：
select aa,bb,cc,dd,ee,ff,gg,hh,ii from
(
select aa,bb,cc,dd,ee,ff,gg,hh,ii,rownum rown
from student where 1=1 and login_date between '20080401' and '20080501'
)where rown >= 1 and rown <= 5000
第二次采集如下：
select aa,bb,cc,dd,ee,ff,gg,hh,ii from
(
select aa,bb,cc,dd,ee,ff,gg,hh,ii,rownum rown
from student where 1=1 and login_date between '20080401' and '20080501'
)where rown >= 5001 and rown <= 10000
....
其中子查询
select aa,bb,cc,dd,ee,ff,gg,hh,ii,rownum rown
from student where 1=1 and login_date between '20080401' and '20080501'
在每次采集时都一样，只有外部查询的rown在变动。这样每次采集时都要从数据库里面先得到子查询的结果，导致采集速度慢。
不知道利用缓存能不能提升速度，能不能把子查询的部分放到缓存里面，这样每次采集直接从缓存里面得到子查询的结果。
我用的是proxool-0.9.0RC3数据库连接池，如何跟缓存框架结合使用，用哪个缓存框架比较好。
请各位高手有空指教，谢谢！
至
礼
赵军奇
QQ:448178351
EMAIL:junqi39@163.com
2008-05-06
以上介绍了“ 请教各位高手关于数据采集的优化问题”的问题解答，希望对有需要的网友有所帮助。
本文网址链接：http://www.codes51.com/itwd/3283988.html
