Версия для печати темы

Автор: Shift 11.1.2009, 20:49

Сегодня после того как достали вылеты XBT я начал смотреть почему это происхоит, был изменен конфиг для того чтоб в MYSQL писалось реже, помогло но не на долго, после отметки 22 000 он упорно вылетал , смотрю загрузку процесора - 1% - 2%
ну думаю ладно пливать поставлю я свой апатчь на 2710 порт и суну туда ретрекер на PHP
Сделал , после отметки в 6000 апатчь начал жрать 40% проца MYSQL - 30%

Кто не верит - проверьте и убидитесь сами ))
После эксперементов , я вернулся к XBT и сейчас колдую над его вылетами , раньше он у меня писал в удаленную MYSQL базу , щас сделал в свою дела стали лучше, так же я ретрекер запихать на наш хостинг , только вот я думаю выдержит ли он таких извращений ?

Автор: Shift 11.1.2009, 21:03

Мдя ситуация с падениями моего трекера из-за перегруза окончательно меня достала , трекер перенес на наш хостинг , щас увиличу время тамаута на более боооольшое и отключи SCRAPE надеюсь что сам ретрекер не выселят , но моя полоса с нагрузом не справляеться
__

Так де ретрекер по старому адресу будет работать .....

Автор: MASMAS 11.1.2009, 23:14

у меня тоже сцуко вылетает, продержался сутки

да еще и винрут один раз завалился, никогда такого не было. большие подозрения на атаки из тырнета

Автор: Shift 11.1.2009, 23:24

ПО логам на моем роутере мне на порт шлют флуд - оооооочень длиииииинный запрос с охринеть длиннм хэшем торрента , трекер естественно его не пишет в базу но время обработки увеличиваеться а когда сразу несколько таких - валиться , вот интересно кто таки против нашей системы так как и у меня и масмаса XBT работал очень стабильно до глобального аннонса (юзер бары и прочая хрень) на торрентах
щас у меня стоит другой трекер на PHP то что он делает с апатчем под виндой я писал выше , на хостинге все вполне стабильно , так же я прикрутил к нему статистику вида http://re-tracker.ru/stats/stats_mini.php от Питерского псевдо трекера, это кол-во народа за час на новом стат трекере по идее он должен быть стабильней,

так же у нас пошел процес сооздания статистики , сейчас пока думаем над PHP скриптом сбора онной , но примерный вид представляем, будет время нарисую концепт

Автор: Lisson 12.1.2009, 0:27

кто то недавно совсем говорил о "одумавшихся" людях переходящих с псевдо на xbt ))))
вот кстати столкнулся один раз с вот таким уже вылетом, так что псевдо далеко не убирал

а по делу если - после обновки торрентпатчера появился анонсер на re-tracker.ru - это статистика??
на основе чего ее подняли?

Автор: Shift 12.1.2009, 0:34

Я ее сделал из псевдо статистики подправив немного так же есть полный вариант http://re-tracker.ru/stats/stats.php?action=show_all&order=

естественно работает криво так как нужные данные не аннонсяться на трекер , можете не пробывать патчить торренты (на сайте в пробной статистике) так как всеравно информация после патча никуда не пойдет
по идее хотелсоь бы что то вроде этого только работующие с топ 100 ну и не такое страшное )

Автор: Shift 12.1.2009, 0:38

И кстати я не говорю что XBT плохой , напротив у меня полоса отдачи 1 мб она не справляеться - пропадает коннект с MYSQL сервером а значит он вылетает , так как XBT иногда переподключаеться но непонятно от чего то завивисит, то как работал псевдо трекер у меня я уже писал выше ) комп был загружен на 100%
40% апатчь и 30% мускул , остальное - остальные проги и иногда мускул брал все 60%
вывод - ставить PHP скрипты можно на никс системах , сейчас это подтверждает то что у пентиума (у него стоит трекер для Питера) нанего щас переключены пиры с локально-статистического трекера и он справляеться , потому что
1) корбина
2) сервер под никсом

замечу чтоб небыло холивара ) я не говорю что сервера на винде гамно, напротив я их очень люблю , но тут лучше никсовый )

Автор: Lisson 12.1.2009, 0:39

А представляешь ее развить, сделать фильтры, и вывод графический через gd2 библиотечку, соотнести со структурой инишника районы и провов... Размечтался короче

Автор: Shift 12.1.2009, 0:42

я тут PHP учил )) вот все бзер бары денамические - именно гд библиотека , кстати я их перевел и адаптировал под новый трекер , теперь тоже работают поже включу динамический заголовок
не включаю так как на новый ретрекер только перешли а с 5 000 пирами позориться не хочеться

Автор: Lisson 12.1.2009, 0:47

круто, мне пхп нравился, хороший и логичный
а я в связи с нынче руководящей работой уже пхп забывать стал)))
ну ладн, чем сможу поможу)) накрайняк буду бетаюзером
до завтра, а то скоро вставать на работу

Автор: Shift 12.1.2009, 8:05

В качевстве теста стат ретрекер был перекинут на сервер пентиума из Питера который держал 40к пиров , в тест условиях и 30+к в реальных , после перекидывания стат трекера - через час сервер лег а точнее мускул, из этого можно сделать вывод что идет DDOS атака на домен ) , сейчас как вы знаете статистический ретрекер - наш хостинг он стоит на площадке HC.ru РБК , а значит при DDOS атаке можно будет почитать логи и они сами могут заблокировать его так как хостеры привыкшее к ддосу )
смотрим развитие событий , для еще одного теста временно был переключен на 3 сервер с количевством пиров 300 000, если и он ляжет то .....
а хостеровский пашет
http://re-tracker.ru/stats/stats_mini.php

Автор: MASMAS 12.1.2009, 11:33

а фрикчейндж пашет, сволочь

Автор: Seregaxaker 12.1.2009, 14:52

чет теперь у меня подтармаживает наш форум =)))
а фри наверное и бомбит)))

Автор: MASMAS 12.1.2009, 15:24

http://pentium02.org/ - Database Error: Unable to connect to the database:Could not connect to MySQL

что-то мне подсказывает, что в my.ini нужно увеличивать размеры памяти под хранение баз

фри проглотил и не поперхнулся - http://local-torrent-stats.no-ip.org:2710/sta

Автор: Shift 12.1.2009, 15:31

память не причем ) ну да ладно вам таково апокалипсиса не грозит а стат ретрекер всеравно каогда либо был бы переведен на хостинг , для учета расширенной статистики

Автор: MASMAS 12.1.2009, 17:44

так совпало,что и торрентс стал недоступен )

Автор: Shift 12.1.2009, 18:13

Да нет это упал канал , говорят что бомжи сперли кабель оптику , правдо непонятно как

Автор: MASMAS 12.1.2009, 21:10

не бомжи сперли, а порвали снегоуборочной техникой

Автор: Shift 12.1.2009, 21:43

Ну эт я с хабры взял , а там написали что с офф форума корбины) самое интересное что и акадо тоже колбасило

Автор: FONARIK 19.1.2009, 6:47

После установки ХВТ пашет стабильно уже несколько дней, а вот OUTPOST с момента установки каждые 15-30 минут ловит Rst- и Nuke-атаки, достал. Может, конечно, фаер какие-то нужные пакеты принимает за атаки, я не спец по таким вопросам, а кто разбирается, может подскажет. А вдруг это и является причиной нестабильности ХВТ?

Автор: Shift 19.1.2009, 8:46

у меня при тестировании была удалена вся защита, после установлен KAV 2009
а вообще аутпост параноидный стал .....

Автор: FONARIK 20.1.2009, 8:46

Снял защиту, кайфанул от скорости в Торренте, особо от того, что еще не докачав фильм
коэффициент отданного к скачанному 5.000 и более, но..... с утра на мониторе
"синенький такой экранчик с беленькими буковками..." , хорошо еще, что подвис комп
около 8.00 утра, хоть за ночь рейтинга успел хватануть.
По логам прошли атаки с MACOMNET сети и пипц!
А оутпост их все-таки блокировал, просто раздражало сильно (постоянные оповещения).

Автор: Shift 20.1.2009, 8:54

Попробуй KIS по идее он тоже должен блочить ну или попробуй W7
А у тех кто писал дрова для аутпоста надо что то оторвать так как после 1 часа работы у меня комп на любой (!) оси падает в БСОД
будь это
WinXP\WinVista\Win 7

Автор: FONARIK 20.1.2009, 8:57

Спасибо, попробую.

Автор: FONARIK 21.1.2009, 10:12

Еще вопросик!
У меня статический внешний IP, проверил, работают два адреса:
http://10.177.41.244:2710/announce и
http://95.31.4.83:2710/announce
Есть ли смысл анонсировать второй?

Автор: Seregaxaker 21.1.2009, 12:08

второй нет....второй интернетовский и постоянно меняецца

Автор: Shift 21.1.2009, 16:05

Оставь сообщение в теме со своим городом для добавления ...

Автор: FONARIK 21.1.2009, 16:29

Москва, Северо-Западный округ, Щукино,
провайдер - Corbina Telecom,
Ретрекер http://10.177.41.244:2710/announce

Автор: FONARIK 21.1.2009, 16:37

Второй интернетовский, но не динамический, а статический,
во всяком случае до тех пор, пока я за него плачу...

Автор: Shift 21.1.2009, 16:55

Странно но твой IP уже есть в патчере

Автор: FONARIK 21.1.2009, 17:05

Для меня тоже странно, я дня два назад только ХВТ поставил,
и анонсы выложил только здесь и на форуме Torrents.ru

Автор: Shift 21.1.2009, 17:09

Ну мне когда то Yodj базу давал может там ты был

Автор: FONARIK 21.1.2009, 17:20

Главное - оперативно, за это - спасибо!

Автор: Yodj 21.1.2009, 17:44

Может быть просто кто то другой на этом IP в тот момент был. Т.к. Фонарик дейсвительно только два дня назад поставил ретрекер.

Автор: Shift 21.1.2009, 18:04

я тоже так подумал , Фонарик раз ты уже поставил сделай по человечески через NO-IP сервис , чтоб если внутрений Ip смениться см смог поменять , и чтоб все локальные раздачи не здохли

Автор: FONARIK 21.1.2009, 18:24

Сделаю и к вечеру дам знать.

Автор: Shift 21.1.2009, 18:30

отлично

Автор: FONARIK 21.1.2009, 19:28

Извините, что не сразу, из-за неопытности пришлось читать FAQ,
результат получился такой:
http://logovo.no-ip.info:2710/announce
Проверял, статистику кажет...

Автор: FONARIK 21.1.2009, 19:32

Если не ошибаюсь, из свойств раздач в Торрент-клиенте
анонс 10.177.41.244...... можно убрать?

Автор: Shift 21.1.2009, 19:48

Все заменил на DNS имя .....

Автор: FONARIK 21.1.2009, 20:01

Все же посоветуй, в свойстве одного из торрентов я для проверки
вручную вписывал вновь создаваемые анонсы, сейчас их получилось три:
http://10.177.41.244:2710/announce
http://95.31.4.83:2710/announce
http://logovo.no-ip.info:2710/announce
все три имеют статус "работает".
Оставить, как есть или первые два теперь можно и убрать?

Автор: Shift 21.1.2009, 20:05

можно

Автор: FONARIK 21.1.2009, 20:07

ОК. Спасибо!

Автор: Seregaxaker 22.1.2009, 9:40

я тебе в лс дал последний адрес)))) за одно и проверил ))))

Автор: FONARIK 25.1.2009, 23:03

Shift, я Вам утром писал в ЛС дважды, но отправка проходила с каким то сбоем
так что не уверен, что Вы читали сообщение. Если нет, дайте знать, я отправлю заново.

Автор: Shift 26.1.2009, 8:38

Эм , по поводу чего ?

Автор: FONARIK 26.1.2009, 10:54

Понял, значит на получил, в течении часа повторю попытку.

Автор: FONARIK 26.1.2009, 11:26

На форуме torrents.ru (у меня там другой НИК, тока рожа та же) часто мелькала тема о том, что на анонсы, которые выдает патчер, те, что привязаны к DNS-именам при последующей проверке трэйс идет через VPN. Причина кажется в том, что не все устанавливая у себя прогу обновления IP-адресов (No-IP DUC v2.x.x) впоследствии меняют в ней внешний IP-шник на локальный, а по умолчанию ставится именно внешний. Вот и ждут потом владельцы ре-трекеров пришествия ЛОКАЛЬНЫХ пиров с заветными 100 Mb/s через сами понимаете ЧТО. Не плохо было бы известить об этом общественность, ведь многие туда заглянуть не догадаются. Вот сюда: http://ipicture.ru/Gallery/Viewfull/12181589.html С уважением!

Автор: Shift 26.1.2009, 16:36

Читал это , только непонятно зачем ставить прогу авто смену внутр IP , я например его руками меняю .....

Автор: FONARIK 26.1.2009, 16:57

Это для таких, как я, которые не умеют делать самостоятельно по неопытности, а берут FAQ, и делают, что там написано.
А там написано:"Зайдите на сайт, скачайте прогу, установите.....и.т.д.", что многие и делают, потом публикуют анонсы, а оттрэйсить
их многие догадаются? Вот например трэйс к ре-трекерам (некоторым), которые в моем районе якобы доступны по версии патчера:
Трассировка маршрута к local-torrent-stats.no-ip.org [94.75.207.136]
с максимальным числом прыжков 30:
1 1 ms 1 ms 1 ms vpn255-l1.msk.corbina.net [85.21.0.254]
2 * * * Превышен интервал ожидания для запроса.

Трассировка маршрута к corbina-local-re-tracker.no-ip.org [85.21.79.28]
с максимальным числом прыжков 30:
1 <1 мс <1 мс <1 мс 10.177.40.1
Трассировка завершена.

Трассировка маршрута к hg-services2.corbina.net [85.21.79.28]
с максимальным числом прыжков 30:
1 1 ms <1 мс <1 мс 10.177.40.1
2 <1 мс <1 мс <1 мс 10.219.49.101
Трассировка завершена.
Лишние строчки убрал, оставил только важные. Спасибо!

Автор: Gri.fon 27.1.2009, 9:22

http://ipicture.ru/Gallery/Viewfull/12320838.html
Что это за ошибка и как с ней бороться?

Автор: Gri.fon 28.1.2009, 12:20

Че неушто ни у кого не было такой ошибки, раньше норм было, щас каждый день стала появляться

Автор: Yodj 28.1.2009, 13:20

Стала появляться после чего? Ставили что то, удаляли??

Автор: Gri.fon 28.1.2009, 17:31

в том то и дело что ничего не ставил связанного с трекером или mysql

Автор: Yodj 28.1.2009, 18:24

Попробуйте переустановить и то и другое. Только не уповайте на память, очень частая ошибка- это при установке думать что помнишь как все ставиться.

Автор: Gri.fon 29.1.2009, 0:27

Переустановил, проработало пару часов и опять таже ошибка, раньше все норм было, щас какая та фигня начилась, на этом же mysql серве стоит база форума, он как пахал так и пашет без проблем, я все таки склоняюсь к тому что эта ошибка с ним связана тока вот от чего она возникает не могу понять

Автор: Shift 29.1.2009, 0:59

включи логи , и скринчег ошибки сюда

Автор: Gri.fon 29.1.2009, 10:23

а как вкл логи?

Автор: Shift 29.1.2009, 14:39

Такс , добавь к своему конфигу
В файле xbt_tracker.conf

announce_interval = 4500
anonymous_connect = 1
anonymous_announce = 1
anonymous_scrape = 0
full_scrape = 0
auto_register = 1
log_access = 0
log_announce = 0
log_scrape = 0
redirect_url = http://re-tracker.ru
scrape_interval = 5000
table_announce_log = xbt_announce_log
table_files = xbt_files
table_files_users = xbt_files_users
table_scrape_log = xbt_scrape_log
table_users = xbt_users
write_db_interval = 100
read_config_interval = 500
read_db_interval = 100
gzip_scrape = 0
clean_up_interval = 200

Автор: Yodj 29.1.2009, 17:35

А это извиняюсь, что? Это позволяет делать что? Это надо для статистики? Расскажииитеееее пжалустаааааа!!!

Автор: Shift 29.1.2009, 17:37

Это конфиг который держит 20 000+ пиров ......

Автор: Yodj 29.1.2009, 17:48

А мне, как чайни....., т.е. как держателю локального ретрекера надо прописывать этот конфиг??? Или обойдется и так?

Автор: Shift 29.1.2009, 18:25

Если не падает можно не прописывать этот конфиг - щидящий режим для MySQL
Если проблем нет лучше не трогать

Автор: Yodj 29.1.2009, 19:00

Ок, понял!

Автор: provokatorx3 4.2.2009, 1:02

хм, ну незнаю за несколько месяцев ни разу не падал, вот сейчас уже 6ой день аптайм...

Автор: Shift 4.2.2009, 1:28

у меня при кол-во пиров меньше 15 к он держался месяц после превышения отметки 23 начал падать по непонятным причинам

Автор: Gri.fon 10.2.2009, 0:40

А можно как нибуть связаться с разрабом этого XBT, мб он знает в чем трабла у меня?

Автор: Shift 10.2.2009, 0:49

на сурс фордже если только контакты смотреть ...

Автор: Gri.fon 10.2.2009, 4:17

А может быть этот баг из за версии sql серва? у меня стоит чуть постарее чем тот что лежит в архиве с ретрекером

Автор: MASMAS 12.2.2009, 22:19

у меня точно такая же проблема, появилась как только число пиров перевалила за 5 тысяч. В чем проблема - так и не выяснил, появляется в случайный момент времени - может до сбоя и сутки проработать, а бывает и через 5 мин после запуска падает


Просто в планировщике задач каждый час запускаю батник с содержимым

net stop "XBT Tracker"
net start "XBT Tracker"

Автор: alex14n 10.3.2009, 12:13

Могу рассказать про стабильность XBT. Живёт на одном трекере уже 2 года.
Сейчас обслуживает 120-180 тысяч пиров при 5-минутном анонсе, т.е. 400-600 запросов в секунду.
Пробовали ставить 1-минутный анонс - 1800-2000 запросов в секунду, Load Average почти поднялся до 1.
Вот целая статья про него: http://habrahabr.ru/blogs/server_side_optimization/53360/

Для ретрекера на самом деле ему вообще не нужен MySQL.
Ставится анонимный режим, без логирования, с авто-регистрацией, и всё.
В таком режиме он и десятки тысяч запросов в секунду обслужит, только скорее интернет-канал умрёт чем сам XBT.

Автор: MASMAS 10.3.2009, 18:49

под винду хбт штука жутко лагучая, падает даже при небольшой нагрузке, выдавая select failed - enobufs


на линухе постабильнее, но тоже падает

например этот http://p2p.corbina.net:2710/sta трекер падает примерно раз в 1-2 суток (по счастью сам автоматически перезапускается), макс. поток запросов 250 штук в секунду

Автор: JDVU 10.3.2009, 21:01

на линухе не падает, это всё руки. смотрите настройки мускля и тыды

Автор: Gri.fon 10.3.2009, 21:42

А вот про это можно поподробней, как именно это сделать и какими командами, трекер стоит на винде

Автор: RoadTrain 10.3.2009, 23:56

xbt_tracker.conf
http://xbtt.sourceforge.net/tracker/
поковыряйте параметры.

Автор: FreeM@N 11.3.2009, 0:58

ИМХО тоже всё в настройки упирается...

Автор: alex14n 11.3.2009, 2:44

м... даж не знаю, в *никсах это зависит от максимально допустимого числа открытых файлов - его можно вручную поднимать, а чего в винде...

ещё вроде в винде есть некий IOCP, который планируют поддержать в Libevent:
https://blog.torproject.org/blog/some-notes-progress-iocp-and-libevent



это исключительно вопрос настройки. видел XBT с миллионом пиров с аптаймом в несколько месяцев

а opentracker в качестве ретрекера никто не пробовал кстати?
http://erdgeist.org/arts/software/opentracker/


надо смотреть всю ли работу с базой можно отключить из конфигов,
если нет - в server.cpp можно закомментировать всё что не надо
(в write_db_users и write_db_files + заполнение буферов,
впрочем и read_db_users и read_db_files_sql не нужны).
отключать scrape кстати смысла нет - он вообще ресурсы не ест, нагрузку не создаёт

Автор: SaveTheRbtz 11.3.2009, 2:45

Вот тут обсуждалось:
https://sourceforge.net/forum/forum.php?thread_id=3077704&forum_id=328824 - лимит на количество дескрипторов у select()
https://sourceforge.net/forum/forum.php?thread_id=3054115&forum_id=328824 - маленький backlog у listen()

Тюним ОС(Фря i386)
loader.conf


sysctl.conf


В основном изменения направлены на увеличение лимита открытых файлов (как в общем, так и для одного процесса), увеличение кол-ва сетевых буферов и уменьшения их размеров.



Нагрузка небольшая, но трекер сам по себе не падает, перезапускаем только при в несении изменений в код

Автор: alex14n 11.3.2009, 2:56

в мускуле обязательно надо поднять размер буфера... max_allowed_packet если ничего не путаю

Автор: alex14n 11.3.2009, 15:01

Глянул исходник. В конфиге надо указать mysql_host=- (минус) тогда XBT вообще к мускулу лезть не будет

Автор: Shift 11.3.2009, 15:08

а смысл ? все держать в оперативке ? MySQL как то надежней

Автор: alex14n 11.3.2009, 16:26

что "всё"? список пиров XBT всегда держит только в оперативке. учитывать трафик юзеров - не дело ретрекера.

Автор: Shift 11.3.2009, 16:51

вообщето он много чего пишет посмотри структуру БД его , я не думаю что он сможет без нее он куда то пишет хэш , IP сколько скачано , отдано ...

Автор: RoadTrain 11.3.2009, 17:37

мускул для ретрекера не нужен в принципе. Все необходимые данные xbt хранит в памяти.

Автор: alex14n 11.3.2009, 23:55

м... есть вариант пересобрать его с #define FD_SETSIZE 4096 как советуют http://itamarst.org/writings/win32sockets.html


я отлично понимаю и структуру базы и исходники XBT, благо портировал его под TorrentPier, добавлял кучу фишек от "золотых раздач" до IPv6.

всё что он пишет - исключительно для использования веб-мордой, писаной отдельно, например на php. сам он все свои данные держит в памяти, и никогда не обращается за ними в мускул. для закрытых трекеров ему нужны списки торрентов и юзеров, для полностью открытого - нет. если то, что он пишет, никто не использует вовне - для отчетов и прочего - мускул можно полностью отключить. стабильность от этого только возрастёт.

Автор: SaveTheRbtz 12.3.2009, 4:17

некоторые детали архитектуры XBTT разъяснены тут http://habrahabr.ru/blogs/server_side_optimization/53360/

Автор: MASMAS 20.3.2009, 22:21

выложите здесь содержимое конфиг файла

mysql_host=- добавил, все равно падает

Автор: SaveTheRbtz 24.3.2009, 15:43

http://sourceforge.net/forum/forum.php?thread_id=3077704&forum_id=328824
Тут обсуждалась проблема малого кол-ва дескрипторов у select() правда в контексте поддержки kqueue FSM'ом.
Проблема решается переводом трекера на BSD/Linux или же пересобором приложения с

или больше... в XBT вроде в последнихбилдах стоит 1024..... по крайней мере в наших.....