Сохранен 84
https://2ch.hk/b/res/203784604.html
24 декабря 2023 г. Архивач восстановлен после серьёзной аварии. К сожалению, значительная часть сохранённых изображений и видео была потеряна. Подробности случившегося. Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!

сап пилю автоматический архивач тредов с 450+постами

 Аноним 14/09/19 Суб 18:01:26 #1 №203784604 
15154307808980.jpg
сап
пилю автоматический архивач тредов с 450+постами и высокими просмотрами
нужен блэклист
пока такой
"webm", "fap", "вебм", "фап", "аварий"
буду признателен за дельные предложения
Аноним 14/09/19 Суб 18:01:53 #2 №203784628 
15154338200050.jpg
Аноним 14/09/19 Суб 18:02:10 #3 №203784645 
15154336920380.jpg
Аноним 14/09/19 Суб 18:02:26 #4 №203784653 
15154329783440.jpg
Аноним 14/09/19 Суб 18:02:52 #5 №203784673 
15154340511771.jpg
Аноним 14/09/19 Суб 18:03:17 #6 №203784693 
политика аниме трап украина путин
Аноним 14/09/19 Суб 18:03:17 #7 №203784694 
>>203784604 (OP)
Сакральный олень
Ролл
Гороскоп
Аноним 14/09/19 Суб 18:04:06 #8 №203784721 
>>203784693
ну и СОПЛЯ, конечно же
Аноним 14/09/19 Суб 18:04:48 #9 №203784749 
>>203784694
>Олень
Впервые вижу, кто такой чем знаменит
>Ролл,гороскоп
Спасибо

Как по умному засмеялся треды доджить? не охота скипать все треды где в оп посте есть это слово

Абу благословил этот пост.
Аноним 14/09/19 Суб 18:05:54 #10 №203784791 
>>203784749
олень - точно такая же рулетка
засмеялся-обосрался треды хуета все равно хуета
Аноним 14/09/19 Суб 18:08:35 #11 №203784902 
mp3 mp4 музыкальный музыка
Аноним 14/09/19 Суб 18:08:57 #12 №203784923 
откройте gg f fap гг
Аноним 14/09/19 Суб 18:09:00 #13 №203784925 
>>203784791
>засмеялся-
сейчас я это тоже добавлю, но неохота пропустить какой-то эпичный тред о том как загнивает двач просто потому что там в оп-посте есть упоминания засмеялся треда

пока думаю просто количество атачментов в треде считать, но это очень специфичное решение получается
Аноним 14/09/19 Суб 18:09:28 #14 №203784943 
>>203784923
поясни за gg и откройте >>203784902
>mp3
Аноним 14/09/19 Суб 18:09:31 #15 №203784944 
>>203784604 (OP)
калдурас
Аноним 14/09/19 Суб 18:09:56 #16 №203784957 
>>203784604 (OP)
На чем пилишь? Я тоже начинал с периодического сохранения threads.json на ноде, но потом забил. Сделай опенсорс
Аноним 14/09/19 Суб 18:10:35 #17 №203784976 
>>203784925
так учитывать ключевые слова только в шапках тредов
Аноним 14/09/19 Суб 18:10:41 #18 №203784981 
>сами воруют контент...
>пук среньк воришки...
Аноним 14/09/19 Суб 18:11:57 #19 №203785040 
>>203784902
спасибо
Аноним 14/09/19 Суб 18:12:10 #20 №203785051 
>>203784943
чтобы попасть в /gg/ /e/ и некоторые другие разделы нужно сделать пост, но полоумные двачеры создают целые треды
Аноним 14/09/19 Суб 18:13:42 #21 №203785131 
>>203784976
Так так и делаю
>>203784957
На ноде, архивировать буду скринами в телеграф
Аноним 14/09/19 Суб 18:14:57 #22 №203785196 
>>203785051
спасибо

Текущий
"webm", "fap", "вебм", "фап", "аварий", "ролл", "гороскоп", "олень", "засмеялся-", "gg", "e", "mp3", "mp4","музыкальный", "музыка"
Аноним 14/09/19 Суб 18:16:19 #23 №203785265 
15119701606300.webm
15208967983270.webm
Так как получил пару ответов - запощу пару вебмок
Аноним 14/09/19 Суб 18:18:20 #24 №203785373 
>>203785131
Хощу на computer engine если интересно
Там есть околобесплатные виртуальыне машины + кредит от гугла
Аноним 14/09/19 Суб 18:18:22 #25 №203785375 
Хуйню с "твои действия?"
Аноним 14/09/19 Суб 18:19:21 #26 №203785413 
>>203784604 (OP)
процессор
голова
рулетка
ролл
гетеро
трап
сами воруете программы
вл тред
я тян
скину через
добропочта
злопочта
хуетред
флорентина
аниме
пкм
qtr4
олень
как можно любить тян которую кто-то ебал
засмеялся проиграл
угадай
кунчик
тест
test
морская улиточка
не иметь тян
покрас
европа

https://www.youtube.com/watch?v=TKfS5zVfGBc
Удачи с проектом
Аноним 14/09/19 Суб 18:21:02 #27 №203785496 
>>203785375
А там ничего интересного не бывает?
Я если что из тех людей кто думаю что раз биопроблемный набрал 450+постов и высокие просмотры, то он если и не интересный то кому-то нужен
>>203785413
>флорентина
проорал немного, а вообще спасибо
Аноним 14/09/19 Суб 18:21:44 #28 №203785526 
>>203784604 (OP)
Голова, дай денег?
Аноним 14/09/19 Суб 18:22:41 #29 №203785573 
Дёргай треды с топа тредов, там вряд - ли говно будет кого я обманываю, конечно будет.
Аноним 14/09/19 Суб 18:23:30 #30 №203785619 
бамп
Аноним 14/09/19 Суб 18:23:45 #31 №203785637 
>>203785496
Да и вообще все пасты можешь загнать. Про кассира макдака, про "проснулся от минета заказал пиццу и джек дениелс", только пасты про говно оставь, они лучшие.
Аноним 14/09/19 Суб 18:23:46 #32 №203785638 
>>203784604 (OP)
вебм рост пкм vs авг фап аниме gg hc e рулетка почему ты я чьмоня пидорахи украина путин пыня навальный флорентина сопля дота как же хочется опять на рост вес инцел шлюхо член музыко танцульки это примерно я так накидал
Аноним 14/09/19 Суб 18:24:02 #33 №203785651 
15680463654140.jpg
>>203784604 (OP)
УВАЖАЕМЫЙ
Аноним 14/09/19 Суб 18:24:54 #34 №203785701 
tumblroiapfgDcNH1vty5bgo6r11280.jpg
>>203785413
Правда отличный список,спасибо
Аноним 14/09/19 Суб 18:29:39 #35 №203785949 
Как призвать Абу? Или кого еще из модеров
Учитывая что проект я скорее всего допилю, и монетизировать не планирую, я могу скинуть ссылку на него в треде на /б и побампать ?
Аноним 14/09/19 Суб 18:31:30 #36 №203786048 
14983534324670.png
Ещё кое-что
Какое оптимальное количество постов для архивации?
Обновлять архивы не планирую, цель просто иметь подборку раз в день что-бы почитать в транспорте/на паре
Аноним 14/09/19 Суб 18:34:09 #37 №203786194 
15225134725980.jpg
>>203785949
>>203786048
Аноним 14/09/19 Суб 18:35:50 #38 №203786289 
арт-красивые-картинки-castle-Mateusz-Michalski-3825411.jpeg
>>203785949
>>203786048

Аноним 14/09/19 Суб 18:36:35 #39 №203786334 
>>203785638
>пидорахи
Мб полит треды на 450 постов - интересные ?
Аноним 14/09/19 Суб 18:39:49 #40 №203786508 
15189484512291.jpg
>>203785949
>>203786048
Аноним 14/09/19 Суб 18:41:31 #41 №203786631 
>>203786048
400
скинь ссылку где будет
Аноним 14/09/19 Суб 18:45:50 #42 №203786875 
>>203786631
За это бан на пару дней во первых
Мне всё ещё нужно прикрутить пару штук
/если кому интересно то штуки в данном контексте это сохранение всех ссылок на пастебине с тем чтобы раз в день брать оттуда топ-10 и поститить типо подборку/
Аноним 14/09/19 Суб 18:46:38 #43 №203786913 
Когда допилю создам тред, побампаю, как забанят мб с другого айпи еще один создан, но вряд ли больше
Аноним 14/09/19 Суб 18:48:55 #44 №203787046 
>>203786913
Название дай, потом найду
Аноним 14/09/19 Суб 18:49:09 #45 №203787063 
>>203784604 (OP)
Танцульки
Рома Прыгун
Банк тиньков
ЕОТ
Энергетики
Ножи, баллоны, травматы, охотничья ебола, эдк
Аноним 14/09/19 Суб 18:56:57 #46 №203787513 
>>203787046
udobnoe
Аноним 14/09/19 Суб 18:57:14 #47 №203787530 
>>203787063
>Танцульки
Они еще живы? лол
Аноним 14/09/19 Суб 19:02:03 #48 №203787824 
Если кому интересно то я сейчас запустил тестовый ран, если выйдет норм то скину пару ссылок на результат
Аноним 14/09/19 Суб 19:02:41 #49 №203787860 
15189483871052.png
Аноним 14/09/19 Суб 19:04:11 #50 №203787945 
15161905113170.jpg
Аноним 14/09/19 Суб 19:06:15 #51 №203788063 
15161978399392.jpg
Аноним 14/09/19 Суб 19:07:12 #52 №203788110 
Захвата карт Европы и т.п. треды.
Аноним 14/09/19 Суб 19:09:20 #53 №203788253 
>>203787824
кидай
Аноним 14/09/19 Суб 19:11:49 #54 №203788387 
>>203788253
Запускаю на виртуалке, поэтому ничего не обещаю
Аноним 14/09/19 Суб 19:17:37 #55 №203788741 
15157450563050.jpg
Аноним 14/09/19 Суб 19:19:24 #56 №203788831 
"дабл", "трипл", дабы никакие говнотреды а-ля "называю кота" не архивились
Аноним 14/09/19 Суб 19:21:15 #57 №203788924 
>>203788831
Вот ты так говоришь, а знаешь как обидно пропустить тред где кто-то просит назвать кота а там выбадает трипл типа #213123666 "Люцифер" и 15 ответов к нему
Аноним 14/09/19 Суб 19:24:46 #58 №203789116 
image.png
Если кого интересует то скрипт запустился но почему-то очень медленно работает на больших тредах
Гораздо медленнее чем на тестовых тредах в 150 постов, поэтому я думаю что где-то проебался
Квик фикс - походу переступил порог диск i/o в гугл клауде
Аноним 14/09/19 Суб 19:28:54 #59 №203789351 
>>203789116
Что значит на больших тредах?
Ты что, каждый раз заново записываешь его в БД?
Аноним 14/09/19 Суб 19:32:13 #60 №203789516 
>>203786334
В них интересно участвовать, причём далеко не всем. Жги.
Аноним 14/09/19 Суб 19:33:15 #61 №203789574 
>>203789351
Тестил сейчас на тредах в 150 постов, занимал один тред секунд 20-30 на хостинге, теперь запустил на треде в 400 постов и вот спустя 20 минут только половина из них готово
Аноним 14/09/19 Суб 19:33:31 #62 №203789586 
>>203784604 (OP)
Кунчик, тяночка
Аноним 14/09/19 Суб 19:34:53 #63 №203789686 
>>203789574
А и никакой бд, будет просто скрипт который раз в 5 минут чекает на появился ли тред на 400+ посстов, если да то закинуть "архивированную" версию в телеграф
Аноним 14/09/19 Суб 19:37:10 #64 №203789807 
>>203789574
Единственный вариант от чего такая просадка - из-за асинхронной природы ноды я где-то проебался и скрипт пытается тащить сразу несколько тредов, но логи говорят об обратном, по логам всё хорошо, просто медленно
Аноним 14/09/19 Суб 19:39:21 #65 №203789933 
Последние 15 минут записываю на диск что-то со скоростью 35мб/сек что равняется около 30 гигам(которых там не должно быть, лол)
Аноним 14/09/19 Суб 19:39:24 #66 №203789936 
>>203789807
Кинь кусок куда загрузчика на @ nodermoder, посмотрю что там такое медленное
Аноним 14/09/19 Суб 19:47:21 #67 №203790396 
15060041032841.jpg
Аноним 14/09/19 Суб 19:48:41 #68 №203790479 
1568479700276.jpg
1568479700346.jpg
1568479700374.jpg
1568479700402.jpg
Вот, анон, моё автоскрытие
Аноним 14/09/19 Суб 19:49:01 #69 №203790498 
>>203784604 (OP)
пук
Аноним 14/09/19 Суб 19:49:06 #70 №203790505 
1568479726110.jpg
>>203790479
И ещё одно
Аноним 14/09/19 Суб 19:49:25 #71 №203790527 
>>203784604 (OP)
> нужен блэклист
Поройся https://pastebin.com/vsGG1gWT, может найдешь чего полезное (это набор правил скрытия для куклы).
Аноним 14/09/19 Суб 19:50:01 #72 №203790571 
>>203790479
>>203790505
>>203790527
Спасибо
Аноним 14/09/19 Суб 19:50:39 #73 №203790611 
>>203790527
Запятая к ссылке прилипла. Правильная ссылка: https://pastebin.com/vsGG1gWT
Аноним 14/09/19 Суб 19:52:24 #74 №203790704 
>>203790479
Я смотрю, ты в регулярных выражениях не шаришь. А зря.
Аноним 14/09/19 Суб 19:53:52 #75 №203790785 
>>203784604 (OP)
> нужен блэклист
Ты же погромист? Мог бы почтовый антиспам надрочить на определение ненужных тредов. "Фап" и "аварии" в тексте нормальных тредов тоже встретиться могут.
Аноним 14/09/19 Суб 19:55:30 #76 №203790864 
>>203790571
Можно ли следующие три правила свести в одно?
#exp(/((можно|нужен|скиньте) )(с(оу|ур|ова)с|фулл)/i) |
#exp(/((можно|нужен|скиньте) )( плез)/i) |
#exp(/(с(оу|ур|ова)с|фулл)( плез)/i) |
Аноним 14/09/19 Суб 19:56:01 #77 №203790894 
>>203790785
Да, это правда
За идею спасибо
Только это скорее проект чем чем продукт
Аноним 14/09/19 Суб 19:59:05 #78 №203791063 
>>203784604 (OP)
Зачем?
Аноним 14/09/19 Суб 20:00:15 #79 №203791137 
15189457557270.jpg
Аноним 14/09/19 Суб 20:32:09 #80 №203792948 
>>203784604 (OP)
Если в ОП-посте есть слово оправдывайтесь или сосач.
Аноним 14/09/19 Суб 20:49:42 #81 №203794116 
о
Аноним 14/09/19 Суб 21:18:54 #82 №203796277 
\гороскоп

Сегодня звезды встали таким образом, что ты можешь пощелкать хлебалом в тредике. Однако, есть риск растянуть андижан. Поэтому Двач напоминает тебе, братишка: талант не пропьёшь, если, конечно, твой талант не бухать..
Аноним 14/09/19 Суб 21:23:19 #83 №203796519 
e
Аноним 14/09/19 Суб 21:58:48 #84 №203798562 
>>203784604 (OP)
Homescreen
comments powered by Disqus

Отзывы и предложения