This repository has been archived by the owner on Jul 12, 2020. It is now read-only.
-
Notifications
You must be signed in to change notification settings - Fork 0
/
scrape.js
60 lines (45 loc) · 2.05 KB
/
scrape.js
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
'use strict';
const puppeteer = require('puppeteer');
let scrape = async () => {
const browser = await puppeteer.launch({headless: false});
const page = await browser.newPage();
await page.goto('http://books.toscrape.com/');
// await page.click('#default > div > div > div > div > section > div:nth-child(2) > ol > li:nth-child(1) > article > div.image_container > a > img');
await page.waitFor(1000);
const result = await page.evaluate(() => {
let data = [];
let elems = document.querySelectorAll('.product_pod');
for(let elem of elems){
let title = elem.childNodes[5].innerText;
let price = elem.childNodes[7].children[0].innerText;
data.push({title, price});
}
return data;
});
browser.close();
return result;
};
scrape().then((value) => {
console.log(value);
});
//const puppeteer = require('puppeteer');
// let scrape = async () => {
// const browser = await puppeteer.launch({headless: false});
// const page = await browser.newPage();
// await page.goto('http://books.toscrape.com/');
// const result = await page.evaluate(() => {
// let data = []; // Создаём пустой массив для хранения данных
// let elements = document.querySelectorAll('.product_pod'); // Выбираем все товары
// for (var element of elements){ // Проходимся в цикле по каждому товару
// let title = element.childNodes[5].innerText; // Выбираем название
// let price = element.childNodes[7].children[0].innerText; // Выбираем цену
// data.push({title, price}); // Помещаем объект с данными в массив
// }
// return data; // Возвращаем массив
// });
// browser.close();
// return result; // Возвращаем данные
// };
// scrape().then((value) => {
// console.log(value); // Получилось!
// });