突发奇想想在网上爬一本书,就随便创建了个js文件开始写。
内容如下:
var axios = require('axios')
var cheerio = require('cheerio')
var fs = require('fs')
// 创建文件夹
if(!fs.existsSync('text')) {
fs.mkdirSync('text')
}
// 请求书的地址
const baseUrl = 'https://www.shutxt.com/shaoer/18971'
const charpterFirst = 1064743
const charpterLast = 1064757
for(let i = charpterFirst; i < charpterLast + 1; i++) {
axios.get(`https://www.shutxt.com/shaoer/18971/${i}.html`).then(res => {
var $ = cheerio.load(res.data)
var title = $('title').text().split('_')[0]
var p = $('.zw p')
var content = ''
for (let i = 0; i < p.length; i++) {
var li = p.eq(i).text()
content += li + '\r\n\r\n'
}
const article = title + '\r\n\r\n\r\n' + content
fs.writeFileSync(`./text/${title}.txt`, article, 'utf-8', (err) => {
if(err)
console.log('写文件出错了,错误是:' + err)
else
console.log(title + ':ok')
})
})
}
然后成功的爬下来了一本书(非常傻瓜式),开心~
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。