Сообщения

16

Общий раздел / Re: Несколько вопросов накопившихся за время использования OpenLDAP.

« : 13 Сентябрь 2017, 00:46:51 »

1. Сделайте дам базы посредством slapcat
2. Установите OpenLDAP 2.4.45 или ReOpenLDAP 1.1.6 в новую локацию.
3. Переключитесь с бэекнда хранения bdb/hdb на mdb.
4. Восстановите базу посредством slatadd.
5. Проверьте что все работает и после удалите старое.

2.4.28 - это кошмарно старая версия, её нельзя использовать.
bdb/hdb - это старые бекенды хранения на морально устаревшей Berkeley DB, причем с использование старой версии.

17

Общий раздел / Re: ReOpenLDAP на LDAPCon 2017 в Брюсселе

« : 20 Август 2017, 21:37:49 »

Приветствую, Егор.

Если поеду, то материалы Вам конечно привезу. Хотя я сомневаюсь что там будет что-то путное.

Но шансов выбраться мало, времени совсем нет.
К ноябрю нужно до-имплеменить и отрелизить libmdbx/libfpta для http://www.highload.ru/2017/abstracts/2837.html
Кроме этого http://www.highload.ru/2017/abstracts/2838.html, который всё-такие не хочется откладывать до весны.

Сама поездка требует не так много времени, грубо говоря неделю.
Но подготовка как слайдов, так и спича - гораздо больше, а еще получение визы и т.д.
Причем всё это теперь уже НЕ релевантно основной работе, т.е. как-бы хобби.

18

Общий раздел / Re: Ошибка deferring operation: pending operations

« : 14 Август 2017, 16:37:01 »

Ну это совсем не ошибка и Ховард совершенно прав.

Сообщение лишь говорит о том, что по соединению поступил очередной запрос, до того как сервер закончил обрабатывать предыдущий.
Это может быть следствием ошибки на клиентской стороне, если только это не сделано намерено.
Например в HTTP это штатная ситуация = https://ru.wikipedia.org/wiki/HTTP_pipelining

Однако, использовать такое не рекомендую. Точнее только после тщательной проверки (нагруженных тестов).
Фишка в том, что сервер волен исполнять такие запросы и возвращать результаты в произвольном порядке (не в случае ReOpenLDAP или OpenLDAP).
Соответственно, на стороне клиента нужно правильно разобрать ответы и  корректно упорядочивать разнородные запросы (чтение с последующим удалением на стороне сервера может превратиться в удаление с попыткой чтения уже удаленной информации).

19

Общий раздел / ReOpenLDAP на LDAPCon 2017 в Брюсселе

« : 14 Август 2017, 16:22:11 »

Доклад о ReOpenLDAP принят в программу конференции LDAPCon 2017, которая пройдет 19-20 Октября в Брюсселе.
https://ldapcon.org/2017/

К сожалению, есть вероятность что я не смогу выступить на конференции.
Поэтому (на всякий случай) ищу человека, который сможет меня заменить.

20

Общий раздел / ReOpenLDAP 1.1.6 - рекомендуется (авторами) как замена OpenLDAP

« : 14 Август 2017, 16:07:27 »

Приветствую.

12 августа вышла версия 1.1.6 (более подробно см новость на OpenNet), которую предлагается использовать как стабильную замену всех версий OpenLDAP, включая 2.4.45.

21

Общий раздел / Доступен SRPM для Fedora/RHEL/CentOS

« : 10 Август 2016, 10:26:49 »

Взять можно здесь = http://rgho.st/6tf8lKjy5

22

Общий раздел / Re: ReOpenLDAP-1.1.2 released

« : 01 Август 2016, 18:35:42 »

Новость на LOR = https://www.linux.org.ru/news/opensource/12778612

23

Общий раздел / ReOpenLDAP-1.1.2 released

« : 30 Июль 2016, 23:39:45 »

Кратко:

• Исправлено несколько ошибок сборки, которые были внесены при переходе на актуальные версии autoconf и automake.
• Устранена ранее внесенная ошибка в механизме репликации.
• Для configure реализованы дополнительные опции.

https://github.com/ReOpen/ReOpenLDAP/releases/tag/v1.1.2

24

Общий раздел / Сквозь тернии в МегаФон: ReOpenLDAP на конференции Highload++2016 в Сколково

« : 26 Июль 2016, 15:03:38 »

Москва, Сколково, 7-8 Ноября.

Уже два года длится наша битва с техническим долгом и проблемами исходного OpenLDAP. За последний год мы починили (переработали) механизм репликации и теперь всё больше приходим к выводу, что только ReOpenLDAP обеспечивает горячую синхронизацию по RFC4533 в мульти-мастер топологии, в объемах и с производительностью необходимыми для промышленной эксплуатации в инфраструктуре крупнейшего мобильного оператор России.

В докладе будут тезисно рассмотрены обнаруженные недостатки RFC4533, проблемы OpenLDAP и движка хранения LMDB, а также соответствующие доработки в ReOpenLDAP и MDBX.

Событие https://www.facebook.com/events/1066650220057553/
Заявка доклад http://www.highload.ru/2016/abstracts/2266.html

Новости проекта https://www.facebook.com/ReOpenLDAP
Исходный код https://github.com/ReOpen/ReOpenLDAP

25

Общий раздел / full-mesh multi-master репликация работает в ReOpenLDAP на 100% (и больше нигде)

« : 24 Март 2016, 22:15:17 »

Репликация/синхронизация починена, полностью. Плюс попутно ещё десяток-другой багов.
Пока не известны другие LDAP-сервера, репликация в которых 100% работоспособна в конфигурации full-mesh multi-master.

В драконовских тестах multi-master режима остался только один экстремальный сценарий, который изредка (с вероятностью 1/1000) подглючивает - это многократное циклическое добавление/удаление ограниченного набора DN-записей на фоне циклического развала-схождения full-mesh multi-master кластера из 4-х или более узлов (в графе связей должно быть два или более цикла разной длины). При этом на части узлов кластера может остаться одна-две удаленные записи.

Грубо говоря, если смотреть на версионные отметки, то add или modify после delete как-бы экранирует это удаление и увидеть его можно только сравнив local и remote базы поэлементно. Но это уже проблема не реализации, а самой идеи RFC4533.

В ReOpenLDAP с этим можно бороться двумя способами:
- включить limit-concurrent-refresh (см. man pages) = проблема не проявится.
- произвести развал-схождение кластера (перезапустить) = благодаря доработкам расхождение в данных будет устранено.

https://github.com/ReOpen/ReOpenLDAP/releases/tag/ReOpenLDAP-1.0-beta

26

Общий раздел / Re: ReOpenLDAP - почти починили репликацию :)

« : 11 Март 2016, 18:01:45 »

Найдено и поправлено еще несколько мега-ошибок.

Текущие результате наших "драконовских" тестов показывают что репликаций работает, с поправкой на https://github.com/ReOpen/ReOpenLDAP/issues/74 и https://github.com/ReOpen/ReOpenLDAP/issues/73 (этим занимаемся сейчас).

Оригинальная версия OpenLDAP никогда ни разу не прошла ни единой итерации такого теста.

27

Общий раздел / ReOpenLDAP - почти починили репликацию :)

« : 16 Январь 2016, 17:02:55 »

"Починили" - так как встроенные тесты теперь проходят 42 итерации при параллельном тестировании разных сборок в 4 сессии.
"Почти" - так как проблема расхождения экземпляров кластера по-прежнему может быть воспроизведена в некоторых жестких сценариях.

В сравнении с оригинальным OpenLDAP это просто супер-стабильное решение и мега-надежное решение:
- оригинальный openldap по-прежнему генерирует около 5000 предупреждений компилятора при сборке, из которых порядка 20 о реальных проблемах/ошибках.
- прогон тестов openldap с включенным ThreadSanitizer генерирует порядка 100 предупреждений о "гонках" между потоками.
- оригинальный openldap никогда не проходил более 10 итераций при параллельном тестировании, в среднем около 5.

Детали проблемы, которую "почти устранили" можно посмотреть здесь = https://github.com/ReOpen/ReOpenLDAP/issues/43#issuecomment-172208085
Эта ревизия помечена тегом "2016" = https://github.com/ReOpen/ReOpenLDAP/releases/tag/2016

Актуальная стабильная версия ReOpenLDAP всегда доступна в ветке master = https://github.com/ReOpen/ReOpenLDAP
Пояснения зачем мы занялись этим можно найти на wiki = https://github.com/ReOpen/ReOpenLDAP/wiki

28

Общий раздел / Re: ReOpenLDAP на "12-й Конференции разработчиков свободных программ"

« : 29 Октябрь 2015, 19:21:43 »

Доступны тезисы и запись доклада http://0x1.tv/20151017E

29

Общий раздел / ReOpenLDAP на "12-й Конференции разработчиков свободных программ"

« : 12 Октябрь 2015, 08:27:30 »

ALT Linux проводить традиционную осеннюю тусовку.
Вход = СВОБОДНЫЙ.

В субботу, 17 октября, в 13:00.
http://www.altlinux.ru/news/item/743/

Тезисы моего выступления по теме ReOpenLDAP на 80% совпадают с http://www.highload.ru/2015/abstracts/1829.html

Народу будет не много, давки не будет точно.
Поэтому можно общаться, задать вопросы и т.д.

Подъезжайте.

30

Общий раздел / В ближайшую пятницу, 19 июня, доклад о ReOpenLDAP и LMDB на конференции DevConf

« : 18 Июнь 2015, 00:41:22 »

Регистрируйтесь, приходите, задавайте вопросы...
Мой доклад в 19:15 на "посошок", к этому времени думаю уже можно "с пивом"
Страница регистрации: http://devconf.ru/ru/orders/add

Место проведения конференции:
Конгресс-центр Гостиницы Измайлово Бета.
105613, Москва, Измайловское шоссе, 71, корпус 2Б (станция метро "Партизанская").

Анонс доклада:
Lightning Memory-Mapped Database (LMDB) - представляет собой интересный, во многом уникальный, движок базы данных класса Berkeley DB / Level DB. Будучи относительно малоизвестным, LMDB показывает чемпионскую производительность по чтению и предлагает ряд компромиссов для достижения невероятной производительности по записи.

Так получилось, что мы сделали клон/fork исходного проекта и создали высокопроизводительное стабильное решение промышленного масштаба с открытым исходным кодом. Расскажу о внутреннем устройстве LMDB, о выявленных недостатках и наших доработках для их устранения.

Доклад точно будет интересен разработчикам, интересующимся "внутренностями" баз данных, а также специалистам, эксплуатирующим OpenLDAP в промышленном высоконагруженном масштабе: десятки миллионов записей, десятки тысяч запросов в секунду, геораспределенный кластер, многогигабайтные базы, 24x7.

LMDB был создан для использования внутри известного проекта OpenLDAP с открытым исходным кодом. Как разработчик и поставщик решений для «больших телекомов», компания «Петер-Сервис» решила задействовать связку OpenLDAP+LMDB в одном из своих проектов. Это был вход в кротовую нору, всё было как в сказке – чем дальше, тем страшнее...

Полный текст:
http://devconf.ru/ru/offers/offer/46