用js采集网页数据并插入数据库最快的方法

今天教大家一个快速采集网站数据的方法，因为太晚了，直接上例子，这里以采集易车网的产品数据为例。

思路：利用js获取网页数据并生成sql命令，执行sql命令把采集的数据插入数据库。

1.用谷歌浏览器或者火狐浏览器打开网站：http://car.bitauto.com/（品牌大全），http://car.bitauto.com/audi/（车型大全）

2.按F12进入调试模式，选择console并敲入以下代码

// JavaScript Document

(function() {

  var hm = document.createElement("script");

  hm.src = "http://apps.bdimg.com/libs/jquery/2.1.4/jquery.min.js";

  var s = document.getElementsByTagName("script")[0];

  s.parentNode.insertBefore(hm, s);

})();

setTimeout(function(){

    $.ajaxSettings.async = false;

    //var data = [];

    var sql = '';

$(".list_pic li").each(function(index, element) {

    var brand ={url: $(this).find("a:eq(1)").attr('href'),name:$(this).find("a:eq(1)").text(),cars:[]};

    sql += "INSERT INTO `dp_jgcrm_brand`(pid,title) VALUES('0', '"+$(this).find("a:eq(1)").text()+"');\r\n\

    set @pid = LAST_INSERT_ID();\r\n";

    $.get(brand.url,function(html){

        $(html).find(".cartype-section .p-list .name a").each(function(index, element) {

            sql += "INSERT INTO `dp_jgcrm_brand`(pid,title) VALUES(@pid, '"+$(this).text()+"');\r\n";

            brand.cars.push($(this).text());

        });

    });

    //data.push(brand);

});

//console.log(data);

console.log(sql)

},2000)

3.复制sql命令，剩下的你们都应该知道了吧

学程序的难点是思路和方法，语言只是工具，如果你愿意与我一同学习，可以加我的微信：fafa2088

for SE：汽车数据词典、汽车数据采集

用js采集网页数据并插入数据库最快的方法的相关教程结束。