前老板找过来要我帮忙做个小功能，以前在他那里工作，关系还不错，一直有往来，基本上春节也会走动走动拜拜年啥的，他目前开了一个客服外包的公司，他自己办公室里面买了一台戴尔的刀片服务器，上面跑了他们公司自己用的IVR和callcenter系统，由于办公室没有办固定IP是动态IP，他之前用的都是某生壳动态域名来远程访问这两个系统的，最近某生壳开始收费了，而且获取到的动态IP也不对，导致无法远程访问了，他寻思着能不能帮他做个小软件，能自动获取到办公室的动态IP然后显示在一个页面上，这样他就能通过IP直接访问到他办公室里面服务器上的系统了，我寻思了一下，这不难，有两种方案，但是都需要一个有固定IP的服务器来参与：，下面我们就来聊聊关于java抓取网页怎么实现?接下来我们就一起去了解一下吧!
java抓取网页怎么实现
前老板找过来要我帮忙做个小功能，以前在他那里工作，关系还不错，一直有往来，基本上春节也会走动走动拜拜年啥的，他目前开了一个客服外包的公司，他自己办公室里面买了一台戴尔的刀片服务器，上面跑了他们公司自己用的IVR和callcenter系统，由于办公室没有办固定IP是动态IP，他之前用的都是某生壳动态域名来远程访问这两个系统的，最近某生壳开始收费了，而且获取到的动态IP也不对，导致无法远程访问了，他寻思着能不能帮他做个小软件，能自动获取到办公室的动态IP然后显示在一个页面上，这样他就能通过IP直接访问到他办公室里面服务器上的系统了，我寻思了一下，这不难，有两种方案，但是都需要一个有固定IP的服务器来参与：
1、获取当前机器的外网IP，各种网站像什么IP138还有ipinfo之类的好多，获取到了通过接口发到邮箱或者指定的服务器上去就行；
2、直接在当前机器定时访问一下指定的服务器，服务器上就能获得客户机的IP了；
而我刚好有一台买来自己玩的服务器，正好可以用上，于是就采用第二种方案，比较简单快速，由于客户机是windows系统，于是就用 schtasks 和 curl 来实现，用schtasks建一个定时任务，每1分钟执行一次bat脚本，bat脚本只有一行代码，就是用curl访问我服务器的一个API，这个API里面获取客户机的IP，并存起来，大概的流程如下：
简易的流程图
schtasks定时任务的脚本：
schtasks /create /sc minute /mo 1 /tn "AutoGetIp" /tr "C:\\Users\\BadSmile\\Desktop\\AotuGetIpJob\\getIp.bat"
curl的脚本：
curl -s "http://xxx.com/other/ip/v1/reg?group=机器标识，通过不同标识支持多个机器通用&secret=秘钥"
这样当本地的办公室IP改变后，服务器就能及时感知到，服务器处理分为三个接口：
1、ip注册，通过传入不同的group标识，可以支撑多台机器使用同一个服务，互不干扰；
2、查看ip，通过传入group，查看指定group的最新ip信息，或者不传入group信息，查看所有group的ip信息；
3、重定向，通过传入group和需要重定向的项目名以及端口号，既通用又方便，就能适应不同项目使用，适合一个环境下跑多个服务的情况；
服务器端代码如下：
/**
* 注册IP，不同分组的ip单独存放，可以保存多个服务器的IP
* @param group
* @return
*/
@RequestMapping(value = "v1/reg", method = RequestMethod.GET)
@ResponseBody
public String reg(@RequestParam String group,@RequestParam String secret) {
log.info("注册ip接口参数，group={}", group);
if(SECRET_KEY.equals(secret)){
String time= DateTool.dateToStr2(Calendar.getInstance().getTime());
String key=CACHE_KEY group;
IPCacheVo vo= redisMapper.get(key,IPCacheVo.class);
String ip=getTerminalAddr();
if(vo==null){
vo=new IPCacheVo();
vo.setGroup(group);
vo.setIp(ip);
vo.setUpdateTime(time);
redisMapper.set(key,vo);
}else{
if(!vo.getIp().equals(ip)){
vo.setIp(ip);
vo.setUpdateTime(time);
redisMapper.set(key,vo);
}
}
return SUCCESS;
}
return FAIL;
}
/**
* 查看注册的ip列表
* @param group
* @return
*/
@RequestMapping(value = "v1/get", method = RequestMethod.GET)
@ResponseBody
public String get(@RequestParam(required = false) String group) {
log.info("查看ip接口参数，group={}",group);
if(StringUtils.isEmpty(group)){
String key=CACHE_KEY "*";
List<IPCacheVo> vos = redisMapper.values(key,IPCacheVo.class);
if(CollectionUtils.isEmpty(vos)){
throw new BizException(OtherResultCode.NOT_FIND_IP_INFO);
}else{
return JSON.toJSONString(vos);
}
}else{
String key=CACHE_KEY group;
IPCacheVo vo= redisMapper.get(key,IPCacheVo.class);
if(vo==null){
throw new BizException(OtherResultCode.NOT_FIND_IP_INFO);
}else{
return JSON.toJSONString(vo);
}
}
}
/**
* 重定向到指定的分组
* @param group
* @return
*/
@RequestMapping(value = "redirect", method = RequestMethod.GET)
public ModelAndView redirect(@RequestParam String group,@RequestParam String domain,@RequestParam String port){
log.info("重定向接口参数，group={}，domain={},port={}",group,domain,port);
if(StringUtils.isEmpty(group)){
throw new BizException(OtherResultCode.NOT_FIND_IP_INFO);
}else{
String key=CACHE_KEY group;
IPCacheVo vo= redisMapper.get(key,IPCacheVo.class);
if(vo==null){
throw new BizException(OtherResultCode.NOT_FIND_IP_INFO);
}else{
return new ModelAndView(new RedirectView("http://" vo.getIp() ":" port "/" domain "/"));
}
}
}
这样，就能解决办公室或者家里没有固定IP但是又想远程访问WEB服务的问题了，远程访问的时候，浏览器访问指定的地址即可，如：
http://xxxx.com/other/ip/redirect?group=office&domain=callcenter&port=9999
就会自动重定向到office所在机器的最新外网IP上的9999端口的callcenter服务上，最终重定向的URL如下：
http://实时外网动态IP:9999/callcenter
这只是朋友用到的小功能，主要解决他目前遇到的问题，办公室没有外网固定IP，但是又想外网访问办公室的内网服务器的问题，当然也可以用这个方法实现域名的自动解析，接入某云的域名解析SDK，就可以在感知到IP变化的时候自动修改域名解析，当然能用某生壳的还是用某生壳，这只是一个好玩的小功能，不喜勿喷。
前老板反馈还不错
