背景

最近有项目需求，改用无头浏览器进行微信文章得爬取，并对文章进行相应得改动，我虽并非爬虫方向开发，在需求开发过程中也有所总结，踩了不少坑，特此记录一下。

目前业界比较公认的无头浏览器是selenium+chrome的方式，除此之外也可以firefox，safari，ie等等，但是这些方案都有前提就是你的服务器上需要安装相应的浏览器，所以最初的时候，我尝试的是另一个浏览器引擎JBrowser（可被坑惨了....），下面我会相应介绍两种方案的不同，以及我所遇到的问题

selenium + jbrowser

jbrowser这个项目是github上的一个开源项目，基于javaFx技术实现网站爬取，无需在服务器上安装额外的浏览器，只需要安装带有javaFx的jdk8即可，不过据说在jdk10中javaFx被移除了，所以使用的话请注意一下
项目网址：https://github.com/MachinePublishers/jBrowserDriver

README中明确的介绍和使用案例，有三种模式，单机模式，独立节点模式和网格模式，个人理解大概就是单节点还是多节点的区别吧，我这里主要介绍单机模式

maven依赖

<dependency>
  <groupId>com.machinepublishers</groupId>
  <artifactId>jbrowserdriver</artifactId>
  <version>1.1.1</version>
</dependency>

<dependency>
   <groupId>org.seleniumhq.selenium</groupId>
   <artifactId>selenium-java</artifactId>
   <version>3.141.59</version>
</dependency>

jbrowser demo

public static void main(String[] args){

        String url = "https://www.baidu.com";
        
        // 创建jBrowser driver
        JBrowserDriver driver = new JBrowserDriver(Settings.builder()
                // 设置时区
                .timezone(Timezone.ASIA_SHANGHAI)
                // 设置1s连接超时
                .connectionReqTimeout(1000)
                // 设置socket超时时间2s
                .socketTimeout(2000)
                .build());
        
        // 获取网页内容
        driver.get(url);
        // 获取网页状态码
        System.out.println(driver.getStatusCode());
        // 获取网页代码
        System.out.println(driver.getPageSource());
        // 关闭jBrowser进程（与close方法有别，close是关闭标签页）
        driver.quit();
    }

---

问题一：linux环境缺少javafx环境

这段代码在window上是可以完美运行的，但是在Linux上就会报错

image.png
我在GitHub项目下边找到了这个issue，地址：https://github.com/MachinePublishers/jBrowserDriver/issues/344
大概的意思就是说，window环境的jdk8是带有jfx功能的，但是在linux环境是被移除的，linux环境更期望用户自己安装javaFx功能。
后来，我对比了一下window环境和linux环境的jdk，Linux缺少少了jfxrt.jar这个包
image.png
image.png
然后我在linux安装openjfx这个东西发现找不到，实在没办法，我就将jfxrt.jar这个包上传这个ext这个目录下，试试吧，看能不能生效。

---

问题二：Graphics Device initialization failed for : sw

又重新试了一下，报了一个新的问题：

image.png
同样，在github上也找到了issue，地址：https://github.com/MachinePublishers/jBrowserDriver/issues/87
大概的意思就是说，我的linux环境缺少了环境，文章有推荐安装xxx什么的，我跟着都装了一遍，发现没用，还是报这个错误，然后我觉得可能你把那个jar包拷贝进来根本没用，思考了一下绝地本质问题就是linux没有javaFx功能导致的，然后我寻寻觅觅终于找到的答案。

---

解决方案

参考链接：
https://blog.csdn.net/haoranhaoshi/article/details/102892216 https://blog.csdn.net/huangdeijia/article/details/79445046
通过这两篇文章，我得知linux环境的openjdk1.8是不带javaFx功能，如果你想要让系统中javaFx功能，有两种方法：一种是你直接安装oracelJDK8就好了；另一种是你要手动编译openJFX，我想图省事，选用了第一种方案，安装OracleJDK地址贴在下方，安装之后成功解决
安装OracleJDK8：https://blog.csdn.net/wen524/article/details/88104688

image.png
上边的是jbrowser自带的debug信息，不必在意，另外请各位注意一个问题：我访问https协议的网页时， 拿到的返回码是499，查了一下是说需要令牌，并且https协议的网页速度也很慢
image.png

---

总结

jbrowser无需安装额外的浏览器，但是需要本地jdk带有javaFx功能；Linux环境下的openJdk自身不带有javaFx模块，你可以通过自行编译openJFX或者更换为OracleJDK解决jbrowser无法启动的问题
另外，关于https协议的网页报499和https网页爬取速度优化的问题，我没有继续探究，感兴趣的同学可以研究一下，在评论中交流一下，jbrowser这个开源项目在网上的信息比较少，遇到问题的时候我在GitHub下边留言也没有人搭理我（可能我英文不太好/(ㄒoㄒ)/~~），但是确实不同于现在市面上的浏览器方案，根据需要进行选用吧。

---

selenium + chrome

这个方案算是网页爬取上比较常见方案，也是我最终选用的方案，我会分享一下我的使用过程。

前提条件

• 安装chrome浏览器（Debian7的apt源安装有点问题，会缺少依赖，建议升级Debian8的源）
• 将对应版本的chromedriver文件上传到服务器上，附下载地址：http://npm.taobao.org/mirrors/chromedriver/

maven依赖

<dependency>
            <groupId>org.seleniumhq.selenium</groupId>
            <artifactId>selenium-java</artifactId>
            <version>3.141.59</version>
        </dependency>

chrome driver demo

 public static void main(String[] args) throws IOException {

        // 设置环境变量，指定chromedriver位置
        System.setProperty("webdriver.chrome.driver","d://chromedriver.exe");
        ChromeDriver driver = null;
        try {

            // 设置chrome浏览器的启动参数
            ChromeOptions options = new ChromeOptions();
            options.addArguments("--headless", "--disable-gpu", "--no-sandbox");
            Map<String, Object> prefs = new HashMap<>(2);
            prefs.put("pageLoadStrategy","eager");
            options.setCapability("prefs",prefs);

            // 构建chrome driver
            driver = new ChromeDriver(options);

            // 打开指定链接
            driver.get("https://mp.weixin.qq.com/s/jx0cygGoPsmASa5TUjtdfg");

            // 使用Jsoup解析网页内容
            Document document = Jsoup.parse(driver.getPageSource());

            // 关闭Jsoup的空格打印
            document.outputSettings().prettyPrint(false);

            // 将网页内容输出到文件中
            File file = new File("./chrome.html");
            FileWriter writer = new FileWriter(file);
            writer.write(document.toString());
            writer.flush();
            writer.close();
        } finally {

            // 关闭chrome driver 进程
            if (driver != null){
                driver.quit();
            }
        }
    }

chrome启动参数说明

• --headless：启用chrome浏览器的无头模式，使用此参数时，不会有可视化浏览器弹出
• --disable-gpu：禁用gpu渲染功能
• --no-sandbox：关闭沙盒模式。chrome浏览器在Linux环境下会有一个问题，就是root用户必须关闭沙盒模式才能启动。
• pageLoadStrategy=eager：设置页面加载策略是加载完html即可返回。关于这个参数是用来提高get(url)的返回速度的。pageLoadStrategy这个参数有三个值，分别是none、eager、normal，含义分别是不加载、加载完html、加载完整个页面，chrome浏览器默认策略是normal，因此会导致get(url)的时间很长，要将近20s。具体请参考：https://blog.csdn.net/ouyanggengcheng/article/details/83036680
  另外请注意，网上有的帖子是在setCapability方法中设置这个参数，是不对的，会报一个无效参数的错误，在java中，请使用map去存放这个参数（我忘记我在哪里找到的）
  如果是新版本的selenium包，可以直接使用setPageLoadStrategy方法设置

options.setPageLoadStrategy(PageLoadStrategy.EAGER);

使用技巧

• 保证dirver.quit()方法的执行，用以关闭chrome driver进程，不然服务器上会有很多chrome driver进程的，他的进程不会复用
• ChromeDriver还有很多方法，比如获取窗口大小，运行js脚本进行页面滑动之类
• jsoup可以操作document对象，进行元素、属性的操作，配合chrome driver进行网页的处理。在使用过程中发现jsoup的解析结果中加入空格导致页面样式改变，所以使用prettyPrint(false)关闭

---

结果展示：成功

image.png image.png

项目不足及提醒

我最终选用了这个方案，对微信公众号文章进行解析和爬取，图片、部分视频需要进行特殊处理才能正常显示，有一部分的公众号文章样式有问题，部分视频是无法展示的，但是95%以上的文章在处理完之后是可以正常显示的（市面上有产品时支持那些有问题的文章的，但是我暂时并没有去完善）

---

文章到这里就结束了，欢迎各位在评论区进行交流和指正。