关于网站服务器慢的问题

网站测试期间，服务器已经换过三次了，从美国换到香港，在香港又换了一次，目前这个服务器4核4G内存，配置已经不低了，偶尔会慢，大部时间的速度还可以的，如果个别会员访问太卡，就换个时间再访问。因为服务器定购了一年，无法退款，最近又比较忙，注册会员数量还不算多，所以想先用两三个月，等有空了，会员也多了再换服器。