[ home / recent / all ] [ b / dis / pol ] [ a / c / e / fa / g / lgbt / m / mu / o / p / re / v / w / we ] [ rss / tor / about ]

/b/ - Базгранина

Name
Email
Subject
Comment
File
Embed
Password (For file deletion.)
[Return] [Go to bottom] [Catalog]


File: 15807513641040.jpg (66.32 KB, 359x520) ImgOps

 No.1538

В цю нитку запрошуються лінуксоїди зі стажем, щоб пояснити а як користуватись такою штукою як wget.
Як наприклад вивантажити нитку з найнача? А що як певний медіа контент типу вебм, картинок і гіфок є насправді посиланнями на сторонній хост?
А якщо я хочу вивантажити багато одноманітних сторінок, як тоді має виглядати скрипт, що використовує wget?
Наприклад, мене цікавить архівач і якась конкретна нитка. Права кнопка миші -> save page as збереже сторінку але не її контент(замість картинок будуть лише прев'юшки). Також існує така штука як dollchan, що разом з violent monkey дозволяє робити багато чого з іміджбордами, в тому числі і завантажувати нитки. Але ось біда, архівач регулярно падає, вивантажити нитку можна тільки чере тор-дзеркало, а це неееймовірно повільно.
Я хотів би опанувати wget, щоб мати змогу завантажувати цікаві мені ресурси без сторонніх програм. Реквестую допомогу юніксоджентельменів

 No.1539

>>1538
> В цю нитку запрошуються лінуксоїди зі стажем, щоб по

Ставиш віндовс.

 No.1540

>>1539
віндовс - гівно.

 No.1542

File: ClipboardImage.png (189.17 KB, 2516x1045) ImgOps

>>1538
>Як наприклад вивантажити нитку з найнача? А що як певний медіа контент типу вебм, картинок і гіфок є насправді посиланнями на сторонній хост?
Ну давай спробую. Пишу:

wget https://9ch.site/b/res/1538.html
Завантажується лише html сторінка.
Аби вивантажити пікчі й вебмки, треба писати скриптець, використовуючи дещо крім wget, або скористатися геть іншим інструментом, який заархівує сторінку. Хз, чи такі є для CLI, але мають бути, гадаю.

П.С. Для довідки: curl -O спрацьовує так само як wget.

 No.1546

File: Screenshot 2022-09-16 at 2….png (407.52 KB, 2543x996) ImgOps

Додам до сказаного: >>1542. Покопався ще в man wget. Загалом існує прапорець, аби вивантажувати сторінку з пікчами та стилями (–page-requisites або -p):

wget -p https://example.com/page.html

Проте воно не працює гладенько саме по собі, навіть для супер-олдскульної статики. Наприклад, не тямить реляційних URL чи посилань на сторонні хости.

Для оптимізації, ман-сторінка радить додати такі прапорці:

wget -E -H -k -K -p http://example.com/page.html

В принципі, мені спрацювало для тутешнього треду, що відповідає на твій реквест. Див. пікрілейтед.

 No.1547

File: cup of tea.jpg (9.28 MB, 5059x3372) ImgOps

>>1546
тримай чашку чаю, шановний.
Залишилось зрозуміти як змусити wget працювати з тор проксі.

 No.1548

>>1547
З пошуку бачу, що способів декілька.

Наприклад:

torsocks wget http://foo.onion/data.bar

Інші варіанти глянь тут: https://superuser.com/questions/404732/how-to-use-wget-with-tor-bundle-in-linux

 No.1549

>>1548
уже спробував, уже отримав помилку:
"…. socks5 libc connect: Connection refused (in socks5_connect() at socks5.c:202)"
Типові рішення, які я можу знайти власноруч працюють далеко не завжди, саме тому я і шукаю юніксоджентельменів

 No.1551

File: 1662739095288236.png (191.68 KB, 359x401) ImgOps

>>1549
Спробував — works on my machine.

Тільки звісно мав ще запустити сервіс Тора.

sudo systemctl start tor

Далі як по маслу:

torsocks wget -E -H -k -K -p http://ninechtv5neapzmvmivoqel6kstawcfwo4kavwweahu2wi6jxpde74ad.onion/b/res/1538.html

Тільки картинки зі звичайного бравзера не розгортаються, бо як картинки <img/> в HTML-коді вічан виставляє лише прев'юхи з локації /thumb/ їх wget і викачує як пікчі веб-сторінки, а повнорозмірні картинки підвантажує Джаваскриптом з іншого місця, локації /src/ їх wget вже не тямить і не вивантажує.

Тож коли викачуєш тред з усіма Джаваскриптами, вони працюють, але підвантажують пікчі по зовнішньому посиланню з інету, у даному випадку з Тор сайту, який у простому веб-бравзері недоступний.

Це, до речі, назагал вада такого способу «архівації». Виходить, усе одно доведеться скриптик писати, аби докачувати повнорозмірні пікчі треду з /src/ і підставляти в HTML або JS залежно як воно працює локальні посилання замість веб-ланок.



[Return][Go to top] [Catalog] [Post a Reply]
Delete Post [ ]
[ home / recent / all ] [ b / dis / pol ] [ a / c / e / fa / g / lgbt / m / mu / o / p / re / v / w / we ] [ rss / tor / about ]