diff --git a/geckodriver.log b/geckodriver.log index 00d2158..112fb9c 100644 --- a/geckodriver.log +++ b/geckodriver.log @@ -3679,3 +3679,22 @@ JavaScript error: resource://gre/modules/AsyncShutdown.jsm, line 718: Error: Pha JavaScript error: resource://gre/modules/AsyncShutdown.jsm, line 718: Error: Phase "profile-before-change" is finished, it is too late to register completion condition "OS.File: flush I/O queued before profileBeforeChange" JavaScript error: resource://gre/modules/AsyncShutdown.jsm, line 718: Error: Phase "profile-before-change" is finished, it is too late to register completion condition "OS.File: flush I/O queued before profileBeforeChange" JavaScript error: resource://gre/modules/AsyncShutdown.jsm, line 718: Error: Phase "profile-before-change" is finished, it is too late to register completion condition "OS.File: flush I/O queued before profileBeforeChange" +1675416840604 geckodriver INFO Listening on 127.0.0.1:61522 +1675416843640 mozrunner::runner INFO Running command: "C:\\Program Files\\Mozilla Firefox\\firefox.exe" "--marionette" "--headless" "--window-size=1920,1080" "--d ... 3" "--remote-allow-hosts" "localhost" "-no-remote" "-profile" "C:\\Users\\dhohi\\AppData\\Local\\Temp\\rust_mozprofilevuQ0xw" +*** You are running in headless mode. +1675416844251 Marionette INFO Marionette enabled +Dynamically enable window occlusion 0 +1675416844260 Marionette INFO Listening on port 61530 +Read port: 61530 +WebDriver BiDi listening on ws://127.0.0.1:61523 +1675416844495 RemoteAgent WARN TLS certificate errors will be ignored for this session +[GFX1-]: RenderCompositorSWGL failed mapping default framebuffer, no dt +console.warn: SearchSettings: "get: No settings file exists, new profile?" (new NotFoundError("Could not open the file at C:\\Users\\dhohi\\AppData\\Local\\Temp\\rust_mozprofilevuQ0xw\\search.json.mozlz4", (void 0))) +DevTools listening on ws://127.0.0.1:61523/devtools/browser/01e53287-51f5-425a-9e82-b4ac74a2964f +1675416863058 Marionette WARN Ignoring event 'DOMContentLoaded' because document has an invalid readyState of 'complete'. +[2023-02-03T09:34:25Z ERROR mp4parse] Found 2 nul bytes in "\0\0" +[2023-02-03T09:34:25Z ERROR mp4parse] Found 2 nul bytes in "\0\0" +[2023-02-03T09:34:25Z ERROR mp4parse] Found 2 nul bytes in "\0\0" +[2023-02-03T09:34:25Z ERROR mp4parse] Found 2 nul bytes in "\0\0" +[2023-02-03T09:34:25Z ERROR mp4parse] Found 2 nul bytes in "\0\0" +[2023-02-03T09:34:25Z ERROR mp4parse] Found 2 nul bytes in "\0\0" diff --git a/results/gudang garam_scroll-2_20230203_163419.txt b/results/gudang garam_scroll-2_20230203_163419.txt new file mode 100644 index 0000000..ad79345 --- /dev/null +++ b/results/gudang garam_scroll-2_20230203_163419.txt @@ -0,0 +1,87 @@ +https://www.youtube.com/watch?v=AA4CO9B5S8o¦¦MAKAM TERSEMBUNYI ORANG TERKAYA SE-INDONESIA | BOS PT GUDANG GARAM KEDIRI¦¦4,2 jt x ditonton¦¦1 tahun yang lalu +https://www.youtube.com/watch?v=-uMWNUHWWHU¦¦MELIHAT KONDISI MAKAM BOS GUDANG GARAM¦¦168 x ditonton¦¦1 hari yang lalu +https://www.youtube.com/watch?v=4Wgx-xAfsUA¦¦GAP PASTI TERTUTUP ?! SAHAM GUDANG GARAM BISA NUTUP GAP ! BAGAIMANA DENGAN SAHAM HMSP?¦¦568 x ditonton¦¦3 minggu yang lalu +https://www.youtube.com/watch?v=WlIJvjk-9e4¦¦Jajaran TRUK SULTAN di Garasi Gudang Garam¦¦1,9 jt x ditonton¦¦2 tahun yang lalu +https://www.youtube.com/watch?v=TedyNJUIrFU¦¦KISAH HIDUP SURYA WONOWIDJOJO (TJOA JIEN HWIE) || PENDIRI PT. GUDANG GARAM Tbk.¦¦165 rb x ditonton¦¦6 bulan yang lalu +https://www.youtube.com/watch?v=G3dxq21mlFQ¦¦PT. GUDANG GARAM Tbk Kediri Ngintip proses produksi PT. GUDANG GARAM, Tbk. Kediri Cigarette Kretek¦¦1,6 jt x ditonton¦¦2 tahun yang lalu +https://www.youtube.com/watch?v=ZL5nq0-UxUs¦¦TILIK GUDANG TEMBAKAU PT GUDANG GARAM DAN DJARUM¦¦1,5 jt x ditonton¦¦2 tahun yang lalu +https://www.youtube.com/watch?v=uZRT8MIBcdM¦¦Analisa Bisnis Saham GGRM ( Rokok Gudang Garam ) - PT Gudang Garam Tbk¦¦530 x ditonton¦¦4 minggu yang lalu +https://www.youtube.com/watch?v=mYCgvgnMskI¦¦Prospek Saham GGRM Gudang Garam¦¦14 rb x ditonton¦¦1 bulan yang lalu +https://www.youtube.com/watch?v=1pWvz6MS8-o¦¦Rahasia dan Kisah Sukses Gudang Garam yang Mendunia! Oh ternyata Selama ini Begini Ceritanya…..¦¦1,1 jt x ditonton¦¦4 tahun yang lalu +https://www.youtube.com/watch?v=gk8Ebbkc2jw¦¦200jt Batang Sehari proses produksi pembuatan rokok Gudang Garam di pabriknya cigarette by hand¦¦2,1 jt x ditonton¦¦2 tahun yang lalu +https://www.youtube.com/watch?v=Kgrt3bm1B8M¦¦PENASARAN ISI RUMAH TERMEWAH BOS MUDA SI SULTAN ANDARA, KEADAANYA SETELAH 5 TAHUN KOSONG¦¦2,3 jt x ditonton¦¦1 tahun yang lalu +https://www.youtube.com/watch?v=peEJmL6GBjI¦¦Cara Scan Saham Super Performance¦¦312 x ditonton¦¦2 jam yang lalu +https://www.youtube.com/watch?v=z4om9PttI-g¦¦MAKAM TERSEMBUNYI TOKOH PENTING! Inilah 10 Kuburan Orang Terkaya Paling Mewah di Indonesia¦¦1 jt x ditonton¦¦9 bulan yang lalu +https://www.youtube.com/watch?v=TqG8v9QL3Ng¦¦Ojo Nanggap Wayang Ae,Kolo Kolo Yo Pengajian Nginiki wkkk , Anwar Zahid Sinder Bos Gudang Garam¦¦1,1 jt x ditonton¦¦5 tahun yang lalu +https://www.youtube.com/shorts/wa7RBfVVjTw¦¦Urutan rokok enak dari Gudang Garam lur 🔥¦¦1,4 jt x ditonton¦¦5 bulan yang lalu +https://www.youtube.com/watch?v=TYonsdZmQ2w¦¦Review Rokok Gudang Garam International¦¦43 rb x ditonton¦¦2 tahun yang lalu +https://www.youtube.com/watch?v=AX_sTn07ymY¦¦TVC Gudang Garam Filter International 2023 – The Greatest Choice (60s)¦¦3,8 rb x ditonton¦¦3 minggu yang lalu +https://www.youtube.com/watch?v=CwYk_7NAXe8¦¦Riview GegeDbako : Sensasi Gudang Garam Surya 16¦¦3,4 rb x ditonton¦¦4 bulan yang lalu +https://www.youtube.com/watch?v=b5SlKOJ0iR4¦¦TVC Kemerdekaan 2022 (Full Version)¦¦106 rb x ditonton¦¦5 bulan yang lalu +https://www.youtube.com/watch?v=Nu_qSdpWWlw¦¦Kenapa Saham Gudang Garam Turun - Harga GGRM Berpotensi Terbang ke Rp100.000¦¦2,1 rb x ditonton¦¦3 bulan yang lalu +https://www.youtube.com/shorts/KOq1RI3rKJc¦¦KENAPA GUDANG GARAM JUALAN ROKOK BUKANNYA GARAM #faktaunik¦¦23 rb x ditonton¦¦3 minggu yang lalu +https://www.youtube.com/watch?v=4mJstjeDmzw¦¦Iklan Gudang Garam Surya (TVRI 1980)¦¦584 rb x ditonton¦¦7 tahun yang laluhttps://www.youtube.com/watch?v=AA4CO9B5S8o¦¦MAKAM TERSEMBUNYI ORANG TERKAYA SE-INDONESIA | BOS PT GUDANG GARAM KEDIRI¦¦4,2 jt x ditonton¦¦1 tahun yang lalu +https://www.youtube.com/watch?v=-uMWNUHWWHU¦¦MELIHAT KONDISI MAKAM BOS GUDANG GARAM¦¦168 x ditonton¦¦1 hari yang lalu +https://www.youtube.com/watch?v=4Wgx-xAfsUA¦¦GAP PASTI TERTUTUP ?! SAHAM GUDANG GARAM BISA NUTUP GAP ! BAGAIMANA DENGAN SAHAM HMSP?¦¦568 x ditonton¦¦3 minggu yang lalu +https://www.youtube.com/watch?v=WlIJvjk-9e4¦¦Jajaran TRUK SULTAN di Garasi Gudang Garam¦¦1,9 jt x ditonton¦¦2 tahun yang lalu +https://www.youtube.com/watch?v=TedyNJUIrFU¦¦KISAH HIDUP SURYA WONOWIDJOJO (TJOA JIEN HWIE) || PENDIRI PT. GUDANG GARAM Tbk.¦¦165 rb x ditonton¦¦6 bulan yang lalu +https://www.youtube.com/watch?v=G3dxq21mlFQ¦¦PT. GUDANG GARAM Tbk Kediri Ngintip proses produksi PT. GUDANG GARAM, Tbk. Kediri Cigarette Kretek¦¦1,6 jt x ditonton¦¦2 tahun yang lalu +https://www.youtube.com/watch?v=ZL5nq0-UxUs¦¦TILIK GUDANG TEMBAKAU PT GUDANG GARAM DAN DJARUM¦¦1,5 jt x ditonton¦¦2 tahun yang lalu +https://www.youtube.com/watch?v=uZRT8MIBcdM¦¦Analisa Bisnis Saham GGRM ( Rokok Gudang Garam ) - PT Gudang Garam Tbk¦¦530 x ditonton¦¦4 minggu yang lalu +https://www.youtube.com/watch?v=mYCgvgnMskI¦¦Prospek Saham GGRM Gudang Garam¦¦14 rb x ditonton¦¦1 bulan yang lalu +https://www.youtube.com/watch?v=1pWvz6MS8-o¦¦Rahasia dan Kisah Sukses Gudang Garam yang Mendunia! Oh ternyata Selama ini Begini Ceritanya…..¦¦1,1 jt x ditonton¦¦4 tahun yang lalu +https://www.youtube.com/watch?v=gk8Ebbkc2jw¦¦200jt Batang Sehari proses produksi pembuatan rokok Gudang Garam di pabriknya cigarette by hand¦¦2,1 jt x ditonton¦¦2 tahun yang lalu +https://www.youtube.com/watch?v=Kgrt3bm1B8M¦¦PENASARAN ISI RUMAH TERMEWAH BOS MUDA SI SULTAN ANDARA, KEADAANYA SETELAH 5 TAHUN KOSONG¦¦2,3 jt x ditonton¦¦1 tahun yang lalu +https://www.youtube.com/watch?v=peEJmL6GBjI¦¦Cara Scan Saham Super Performance¦¦312 x ditonton¦¦2 jam yang lalu +https://www.youtube.com/watch?v=z4om9PttI-g¦¦MAKAM TERSEMBUNYI TOKOH PENTING! Inilah 10 Kuburan Orang Terkaya Paling Mewah di Indonesia¦¦1 jt x ditonton¦¦9 bulan yang lalu +https://www.youtube.com/watch?v=TqG8v9QL3Ng¦¦Ojo Nanggap Wayang Ae,Kolo Kolo Yo Pengajian Nginiki wkkk , Anwar Zahid Sinder Bos Gudang Garam¦¦1,1 jt x ditonton¦¦5 tahun yang lalu +https://www.youtube.com/shorts/wa7RBfVVjTw¦¦Urutan rokok enak dari Gudang Garam lur 🔥¦¦1,4 jt x ditonton¦¦5 bulan yang lalu +https://www.youtube.com/watch?v=TYonsdZmQ2w¦¦Review Rokok Gudang Garam International¦¦43 rb x ditonton¦¦2 tahun yang lalu +https://www.youtube.com/watch?v=AX_sTn07ymY¦¦TVC Gudang Garam Filter International 2023 – The Greatest Choice (60s)¦¦3,8 rb x ditonton¦¦3 minggu yang lalu +https://www.youtube.com/watch?v=CwYk_7NAXe8¦¦Riview GegeDbako : Sensasi Gudang Garam Surya 16¦¦3,4 rb x ditonton¦¦4 bulan yang lalu +https://www.youtube.com/watch?v=b5SlKOJ0iR4¦¦TVC Kemerdekaan 2022 (Full Version)¦¦106 rb x ditonton¦¦5 bulan yang lalu +https://www.youtube.com/watch?v=Nu_qSdpWWlw¦¦Kenapa Saham Gudang Garam Turun - Harga GGRM Berpotensi Terbang ke Rp100.000¦¦2,1 rb x ditonton¦¦3 bulan yang lalu +https://www.youtube.com/shorts/KOq1RI3rKJc¦¦KENAPA GUDANG GARAM JUALAN ROKOK BUKANNYA GARAM #faktaunik¦¦23 rb x ditonton¦¦3 minggu yang lalu +https://www.youtube.com/watch?v=4mJstjeDmzw¦¦Iklan Gudang Garam Surya (TVRI 1980)¦¦584 rb x ditonton¦¦7 tahun yang lalu +https://www.youtube.com/watch?v=AA4CO9B5S8o¦¦MAKAM TERSEMBUNYI ORANG TERKAYA SE-INDONESIA | BOS PT GUDANG GARAM KEDIRI¦¦4,2 jt x ditonton¦¦1 tahun yang lalu +https://www.youtube.com/watch?v=-uMWNUHWWHU¦¦MELIHAT KONDISI MAKAM BOS GUDANG GARAM¦¦168 x ditonton¦¦1 hari yang lalu +https://www.youtube.com/watch?v=4Wgx-xAfsUA¦¦GAP PASTI TERTUTUP ?! SAHAM GUDANG GARAM BISA NUTUP GAP ! BAGAIMANA DENGAN SAHAM HMSP?¦¦568 x ditonton¦¦3 minggu yang lalu +https://www.youtube.com/watch?v=WlIJvjk-9e4¦¦Jajaran TRUK SULTAN di Garasi Gudang Garam¦¦1,9 jt x ditonton¦¦2 tahun yang lalu +https://www.youtube.com/watch?v=TedyNJUIrFU¦¦KISAH HIDUP SURYA WONOWIDJOJO (TJOA JIEN HWIE) || PENDIRI PT. GUDANG GARAM Tbk.¦¦165 rb x ditonton¦¦6 bulan yang lalu +https://www.youtube.com/watch?v=G3dxq21mlFQ¦¦PT. GUDANG GARAM Tbk Kediri Ngintip proses produksi PT. GUDANG GARAM, Tbk. Kediri Cigarette Kretek¦¦1,6 jt x ditonton¦¦2 tahun yang lalu +https://www.youtube.com/watch?v=ZL5nq0-UxUs¦¦TILIK GUDANG TEMBAKAU PT GUDANG GARAM DAN DJARUM¦¦1,5 jt x ditonton¦¦2 tahun yang lalu +https://www.youtube.com/watch?v=uZRT8MIBcdM¦¦Analisa Bisnis Saham GGRM ( Rokok Gudang Garam ) - PT Gudang Garam Tbk¦¦530 x ditonton¦¦4 minggu yang lalu +https://www.youtube.com/watch?v=mYCgvgnMskI¦¦Prospek Saham GGRM Gudang Garam¦¦14 rb x ditonton¦¦1 bulan yang lalu +https://www.youtube.com/watch?v=1pWvz6MS8-o¦¦Rahasia dan Kisah Sukses Gudang Garam yang Mendunia! Oh ternyata Selama ini Begini Ceritanya…..¦¦1,1 jt x ditonton¦¦4 tahun yang lalu +https://www.youtube.com/watch?v=gk8Ebbkc2jw¦¦200jt Batang Sehari proses produksi pembuatan rokok Gudang Garam di pabriknya cigarette by hand¦¦2,1 jt x ditonton¦¦2 tahun yang lalu +https://www.youtube.com/watch?v=Kgrt3bm1B8M¦¦PENASARAN ISI RUMAH TERMEWAH BOS MUDA SI SULTAN ANDARA, KEADAANYA SETELAH 5 TAHUN KOSONG¦¦2,3 jt x ditonton¦¦1 tahun yang lalu +https://www.youtube.com/watch?v=peEJmL6GBjI¦¦Cara Scan Saham Super Performance¦¦312 x ditonton¦¦2 jam yang lalu +https://www.youtube.com/watch?v=z4om9PttI-g¦¦MAKAM TERSEMBUNYI TOKOH PENTING! Inilah 10 Kuburan Orang Terkaya Paling Mewah di Indonesia¦¦1 jt x ditonton¦¦9 bulan yang lalu +https://www.youtube.com/watch?v=TqG8v9QL3Ng¦¦Ojo Nanggap Wayang Ae,Kolo Kolo Yo Pengajian Nginiki wkkk , Anwar Zahid Sinder Bos Gudang Garam¦¦1,1 jt x ditonton¦¦5 tahun yang lalu +https://www.youtube.com/shorts/wa7RBfVVjTw¦¦Urutan rokok enak dari Gudang Garam lur 🔥¦¦1,4 jt x ditonton¦¦5 bulan yang lalu +https://www.youtube.com/watch?v=TYonsdZmQ2w¦¦Review Rokok Gudang Garam International¦¦43 rb x ditonton¦¦2 tahun yang lalu +https://www.youtube.com/watch?v=AX_sTn07ymY¦¦TVC Gudang Garam Filter International 2023 – The Greatest Choice (60s)¦¦3,8 rb x ditonton¦¦3 minggu yang lalu +https://www.youtube.com/watch?v=CwYk_7NAXe8¦¦Riview GegeDbako : Sensasi Gudang Garam Surya 16¦¦3,4 rb x ditonton¦¦4 bulan yang lalu +https://www.youtube.com/watch?v=b5SlKOJ0iR4¦¦TVC Kemerdekaan 2022 (Full Version)¦¦106 rb x ditonton¦¦5 bulan yang lalu +https://www.youtube.com/watch?v=Nu_qSdpWWlw¦¦Kenapa Saham Gudang Garam Turun - Harga GGRM Berpotensi Terbang ke Rp100.000¦¦2,1 rb x ditonton¦¦3 bulan yang lalu +https://www.youtube.com/shorts/KOq1RI3rKJc¦¦KENAPA GUDANG GARAM JUALAN ROKOK BUKANNYA GARAM #faktaunik¦¦23 rb x ditonton¦¦3 minggu yang lalu +https://www.youtube.com/watch?v=4mJstjeDmzw¦¦Iklan Gudang Garam Surya (TVRI 1980)¦¦584 rb x ditonton¦¦7 tahun yang lalu +https://www.youtube.com/watch?v=sclLTeZQsWY¦¦Kunjungan Sales Gudang Garam || Order Barang || Warung Sembako¦¦574 x ditonton¦¦1 bulan yang lalu +https://www.youtube.com/watch?v=D--8tOHlKP8¦¦Review GUDANG GARAM signature mild¦¦174 x ditonton¦¦1 bulan yang lalu +https://www.youtube.com/watch?v=zT3_m1ssui8¦¦Gudang Garam Tbk saham GGRM saingan HMSP¦¦298 x ditonton¦¦1 bulan yang lalu +https://www.youtube.com/watch?v=WHch6q0gNpw¦¦Review Rokok Gudang Garam Signature¦¦29 rb x ditonton¦¦9 bulan yang lalu +https://www.youtube.com/shorts/Cp32a2chylQ¦¦Truk Trailer Gudang Garam keluar SPBU medaeng¦¦3,2 rb x ditonton¦¦1 bulan yang lalu +https://www.youtube.com/watch?v=EztJa_e-voY¦¦Luasnya Pabrik Rokok Gudang Garam (Aerial Videography)¦¦17 rb x ditonton¦¦2 tahun yang lalu +https://www.youtube.com/watch?v=Xu9BbJq_V0k¦¦PT Gudang garam¦¦Belum ditonton¦¦15 jam yang lalu +https://www.youtube.com/shorts/cL4hbEXXhp8¦¦Bus Po Discovery & Truk Gudang Garam¦¦Belum ditonton¦¦14 menit yang lalu +https://www.youtube.com/shorts/512NPDQtf9s¦¦gudang garam punya #niboss¦¦2,1 rb x ditonton¦¦21 jam yang lalu +https://www.youtube.com/watch?v=XtoO0kwZETM¦¦Laba Gudang Garam (GGRM) Merosot 63,92% Jadi Rp 1,49 triliun pada Kuartal III 2022¦¦339 x ditonton¦¦3 bulan yang lalu +https://www.youtube.com/watch?v=6UZDjCojjgE¦¦Jenis Rokok Produksi PT.Gudang Garam.tbk Tahun 2020 | Rokok Antik | Perusahaan Rokok¦¦59 rb x ditonton¦¦2 tahun yang lalu +https://www.youtube.com/watch?v=CT8mYs8WOss¦¦Harga Saham Emiten Rokok Menguat di Tengah Sentimen Negatif, Cermati Saran Analis¦¦193 x ditonton¦¦8 hari yang lalu +https://www.youtube.com/watch?v=XDNttnSJWS0¦¦TABRAK LARI DI PANTURA‼️ TRUCK GUDANG GARAM - GRAND LIVINA VIRAL KARENA SOPIR TRUCK KABUR¦¦252 x ditonton¦¦9 bulan yang lalu +https://www.youtube.com/watch?v=UnC6lazd2zI¦¦Pendiri Rokok Gudang Garam ternyata Pernah Merantau ke Pulau Garam¦¦1,3 rb x ditonton¦¦10 bulan yang lalu +https://www.youtube.com/watch?v=YJ56GXkI2I0¦¦Evakuasi Truck Gudang Garam Kecelakaan Di Madiun | Laka Beruntun | Laka Truk Vs Truk¦¦170 x ditonton¦¦1 bulan yang lalu +https://www.youtube.com/watch?v=UfB7aw-lPKo¦¦Rinny Budoyo: PENDIRI GUDANG GARAM, PEBISNIS YANG HUMANIS ‼️ (HistoRiny #18)¦¦4,6 rb x ditonton¦¦2 bulan yang lalu +https://www.youtube.com/watch?v=5QvmeNmxPVc¦¦Review Rokok Gudang Garam Patra¦¦10 rb x ditonton¦¦1 tahun yang lalu +https://www.youtube.com/shorts/gEVLHJwgtsc¦¦payung gratis dari GUDANG GARAM¦¦3 rb x ditonton¦¦8 bulan yang lalu +https://www.youtube.com/watch?v=J3ypO3uyeCo¦¦DIVIDEN PT. GUDANG GARAM (GGRM) TBK 2022!! dividen JUMBO tapi..¦¦1,5 rb x ditonton¦¦6 bulan yang lalu \ No newline at end of file diff --git a/yt_scraper_sroll/__init__.py b/yt_scraper_sroll/__init__.py index a7e89f4..108357f 100644 --- a/yt_scraper_sroll/__init__.py +++ b/yt_scraper_sroll/__init__.py @@ -47,102 +47,121 @@ def handler(request, jsonify): print('Query URL: ', query_url) now = datetime.datetime.now() - driver.get(f"https://www.youtube.com/results?search_query={query_url}") - - scroll_height = driver.execute_script("return window.innerHeight") - video_links = [] - video_titles = [] - video_views = [] - video_published_times = [] - - res_data = [] - - max_scroll = scroll - file_name = f"{query}_scroll-{max_scroll}_{now.strftime('%Y%m%d_%H%M%S')}" - - # while True: - while max_scroll > 0: - print("Scroll:", max_scroll) - video_ids = driver.find_elements(By.XPATH, "//a[@id='video-title']") - # print('video_ids: ', video_ids) - - for i, video_id in enumerate(video_ids): - # skip playlist - if "list" in video_id.get_attribute("href"): - print("playlist") - continue - - # skip channel - if video_id.get_attribute("href").startswith("/@"): - print("channel") - continue - - video_links.append(video_id.get_attribute("href")) - video_titles.append(video_id.get_attribute("title")) - - video_infos = driver.find_elements( - By.XPATH, "//span[@class='inline-metadata-item style-scope ytd-video-meta-block']") - - for i, video_info in enumerate(video_infos): - if "views" in video_info.text or "ditonton" in video_info.text: - view_count = video_info.text - video_views.append(view_count) - elif "ago" in video_info.text or "yang lalu" in video_info.text: - published_time = video_info.text - video_published_times.append(published_time) - - document_height_before = driver.execute_script( - "return document.documentElement.scrollHeight") - driver.execute_script( - f"window.scrollTo(0, {document_height_before + scroll_height});") - - time.sleep(3) - - print("video_links:", len(video_links)) - print("video_titles:", len(video_titles)) - print("video_views:", len(video_views)) - print("video_published_times:", len(video_published_times)) - - # write to file - with open(f"{BASE_DIR}/results/{file_name}.txt", "a", encoding="utf-8") as f: - for i, video_link in enumerate(video_links): - try: - v_title = video_titles[i] - except IndexError: - v_title = "-" - - try: - v_views = video_views[i] - except IndexError: - v_views = "-" - - try: - v_published_times = video_published_times[i] - except IndexError: - v_published_times = "-" + try: + driver.get(f"https://www.youtube.com/results?search_query={query_url}") + + scroll_height = driver.execute_script("return window.innerHeight") + video_links = [] + video_titles = [] + video_views = [] + video_published_times = [] + + res_data = [] + + max_scroll = scroll + file_name = f"{query}_scroll-{max_scroll}_{now.strftime('%Y%m%d_%H%M%S')}" + + scroll_num = 1 + # while True: + while scroll_num <= max_scroll: + print(f"Scrolling {scroll_num} of {max_scroll}") + video_ids = driver.find_elements( + By.XPATH, "//a[@id='video-title']") + + finish_video_ids = False + for i, video_id in enumerate(video_ids): + # skip playlist + if "list" in video_id.get_attribute("href"): + print("playlist") + continue + + # skip channel + if video_id.get_attribute("href").startswith("/@"): + print("channel") + continue + + video_links.append(video_id.get_attribute("href")) + video_titles.append(video_id.get_attribute("title")) - res_data.append({ - "url": video_link, - "title": v_title, - "views": v_views, - "published": v_published_times - }) + if i == len(video_ids) - 1: + finish_video_ids = True + + video_infos = driver.find_elements( + By.XPATH, "//span[@class='inline-metadata-item style-scope ytd-video-meta-block']") + + finish_video_infos = False + for i, video_info in enumerate(video_infos): + if "views" in video_info.text or "ditonton" in video_info.text: + view_count = video_info.text + video_views.append(view_count) + elif "ago" in video_info.text or "yang lalu" in video_info.text: + published_time = video_info.text + video_published_times.append(published_time) - if i < len(video_links) - 1: - f.write( - f"{video_link}¦¦{v_title}¦¦{v_views}¦¦{v_published_times}\n") + if i == len(video_infos) - 1: + finish_video_infos = True + + # print("video_links:", len(video_links)) + # print("video_titles:", len(video_titles)) + # print("video_views:", len(video_views)) + # print("video_published_times:", len(video_published_times)) + + def write_to_file(): + if finish_video_ids and finish_video_infos: + with open(f"{BASE_DIR}/results/{file_name}.txt", "a", encoding="utf-8") as f: + for i, video_link in enumerate(video_links): + try: + v_title = video_titles[i] + except IndexError: + v_title = "-" + + try: + v_views = video_views[i] + except IndexError: + v_views = "-" + + try: + v_published_times = video_published_times[i] + except IndexError: + v_published_times = "-" + + res_data.append({ + "url": video_link, + "title": v_title, + "views": v_views, + "published": v_published_times + }) + + if i < len(video_links) - 1: + f.write( + f"{video_link}¦¦{v_title}¦¦{v_views}¦¦{v_published_times}\n") + else: + f.write( + f"{video_link}¦¦{v_title}¦¦{v_views}¦¦{v_published_times}") else: - f.write( - f"{video_link}¦¦{v_title}¦¦{v_views}¦¦{v_published_times}") - - max_scroll -= 1 - - time.sleep(2) - document_height_after = driver.execute_script( - "return document.documentElement.scrollHeight") - if document_height_after == document_height_before: - break - - # driver.quit() - # driver.close() + print("Video ID or Video Info not finished") + write_to_file() + + write_to_file() + + document_height_before = driver.execute_script( + "return document.documentElement.scrollHeight") + driver.execute_script( + f"window.scrollTo(0, {document_height_before + scroll_height});") + + scroll_num += 1 + + # delay before next scroll + time.sleep(2) + document_height_after = driver.execute_script( + "return document.documentElement.scrollHeight") + + # end of scroll + if document_height_after == document_height_before: + break + + except Exception as e: + print("Error: ", e) + return jsonify({'message': str(e)}), 500 + return jsonify({'message': 'success', "filename": f"{file_name}.txt", "results": res_data}), 200