Подробное руководство по установке

Руководство по установке

Уважаемый пользователь!

Приветствуем Вас и благодарим за то, что Вы выбрали программное обеспечение нашей компании!

При правильной эксплуатации система VOGBIT может принести большую пользу Вам и Вашей организации, поскольку помогает решать на современном уровне многие важные для производственного предприятия задачи. Например:

• Управлять и контролировать прохождение заказов в производстве;
• Обеспечить выдачу чётких заданий работникам;
• Организовать оперативную обратную связь от производства о реальном ходе работ (в том числе с использованием специальных терминалов в цехах, технологий RFID и штрих-кодирования);
• Контролировать обеспеченность производства необходимыми материалами и комплектующими, остатки на складах, формировать заявки на недостающие позиции для снабжения и контролировать их выполнение;
• Собирать и анализировать статистику (по работникам, участкам, заказам и др.);
• Вести электронную базу данных по выпускаемой продукции, используемым компонентам (включая чертежи и другие файлы, спецификации изделий, технология изготовления и др.);
• Выполнять различные расчёты. Например, плановой себестоимости изделий или заказов;
• Организовать прослеживаемость (что из чего было сделано) от покупки материала, до отгрузки готовых изделий заказчику;
• И многое другое…

В освоении и работе с программой Вам поможет документация и видео, которые можно найти на сайте VOGBIT.ru и на нашем канале в Youtube. Вопросы, связанные с программой, вы можете задать напрямую разработчикам VOGBIT на специальном интернет-форуме. Те, кто заинтересован в максимально быстром внедрении VOGBIT на своём предприятии, могут воспользоваться дополнительными услугами (обучение, персональные консультации от разработчиков VOGBIT по вопросам как технического, так и методического характера, помощь в настройке программы и т.п., подробнее см. на сайте VOGBIT.ru).

Контактная информация приведена в последней главе данного руководства.

Желаем Вам успехов!

С уважением,

Коллектив разработчиков системы VOGBIT

Введение

Настоящее руководство посвящено вопросам, связанным с установкой программы VOGBIT. В нём приводится общая техническая информация о работе с программы, а также освещены вопросы:

• различия между версиями лицензий «СТАНДАРТ» и «ОНЛАЙН»
• как быстро установить демоверсию;
• как установить новое рабочее место;
• как создать новую базу данных;
• как корректно перенести купленную программу с одного компьютера на другой.

Те, кто хочет быстро установить программу только на один свой компьютер (например, демоверсию для начального ознакомления), могут сэкономить время и сразу перейти к главе «Быстрая упрощенная установка». Если вы хотите получить больше информации, то можете начать с главы «Общая информация о программе».

Пользователям, которые приобрели полнофункциональную версию VOGBIT, могут оказаться полезными все разделы данного руководства.

Обратите внимание, Демонстрационный режим не может быть установлен на виртуальные машины и имеет тип лицензии «СТАНДАРТ.

Общая информация о программе

Программа может использоваться в ознакомительном (ограниченном) или коммерческом (полноценном) режиме.

Ознакомительная версия ограничена по времени работы, а также по количеству данных, которые пользователь может ввести в систему. В остальном ознакомительная версия ничем не отличается от коммерческой. Все модули и функции программы в ней присутствуют.

Время работы ознакомительной версии составляет 15 дней с момента активации. Активация выполняется с подтверждения пользователя при первом запуске приложения. Информация, созданная пользователем при работе с ознакомительной версией, сохраняется и в случае приобретения лицензии с ней можно продолжить работать.

Для полноценного использования программы необходимо приобрести лицензию.

На выбор предлагается два типа лицензии: Стандарт и Онлайн.

Лицензия VOGBIT Стандарт

Позволяет использовать приложение в течение одного года на одном устройстве (компьютере), на котором соответствующая лицензия была активирована. Допускается использование одновременно только одной копии приложения на одном устройстве. Не допускается использовать приложение на виртуальных машинах.

Лицензия VOGBIT Онлайн

Позволяет использовать приложение в течение одного года на любом устройстве, но не более, чем на одном устройстве в течение одного дня. Допускается использование одновременно нескольких копий приложения на одном устройстве при наличии соответствующего количества действующих лицензий. Допускается использование приложения на виртуальных машинах и серверах терминалов.

Cрок действия лицензии 365 дней

Подробнее о стоимости и порядке приобретения лицензий можно прочитать: https://VOGBIT.ru/buy/.

С технической точки зрения система VOGBIT состоит из самой программы (Клиентского приложения) и базы данных.

База данных обеспечивает возможность одновременной (совместной) работы пользователей, а также позволяет оперировать значительными объёмами информации: большое количество изделий, деталей, материалов и комплектующих, заказов, работников и т.д.

Развернуть систему можно в локальном или сетевом варианте.

Локальный режим используется, когда с программой, предполагается, будет работать только один человек на своём компьютере. Например, Вы хотите установить систему на своём ноутбуке для первоначального ознакомления 1. Такой вариант установки программы самый простой для пользователя и не требует наличия дополнительного ПО (SQL Server) или каких-то специальных знаний.

Для развертывания системы в локальном режиме используется Упрощённый вариант установки. Программа установки самостоятельно скачивает и устанавливает (если это требуется) все необходимые компоненты, разворачивает и настраивает на компьютере пользователя базу данных, устанавливает клиентское приложение. Схематично вариант локального использования программы показан на (Рис. 1).

Рис. 1. Локальный вариант установки. Позволяет работать с VOGBIT только на одном компьютере.

Сетевой режим требует наличия SQL Server 2. Для развертывания системы в данном случае используется Выборочная установка, когда пользователь может самостоятельно управлять всеми параметрами установки: хочет ли он установить только клиентское приложение или создать новую базу данных, выбрать SQL Server, на котором будет развернута база данных, задать имя базы данных и др.

Если у вас небольшая организация, пока нет отдельного сервера и сначала вы планируете начать работать с программой на одном компьютере, но затем подключать ещё пользователей, то можно на первое время установить на свой компьютер и SQL Server (в т.ч. бесплатную версию Express Edition), и клиентское приложение (Рис. 2).

Рис. 2. Установка с использованием SQL Server на один компьютер. Позволяет при необходимости легко перейти к сетевой работе.

В таком случае, когда возникнет необходимость подключения других пользователей, достаточно будет настроить SQL сервер для работы в сети и установить на компьютеры коллег клиентское приложение VOGBIT. И вы сможете работать в программе вместе, в одной базе данных.

Вариант развертывания системы, когда SQL Server (база данных VOGBIT) располагается на одном из компьютеров пользователей, схематично показан на (Рис. 3).

Рис. 3. Сервер Базы данных расположен на одном из компьютеров пользователей

Следует отметить, однако, что такой вариант подходит для начального этапа освоения и эксплуатации программы. Для полноценной промышленной эксплуатации оптимальным будет расположение базы данных на выделенном сервере. На компьютеры пользователей в данном случае устанавливается только клиентское приложение VOGBIT (Рис. 4).

Рис. 4. Сетевой вариант использования программы. База данных расположена на выделенном сервере

Более подробно все варианты установки описаны в настоящем руководстве.

Системные требования

Данные требования являются рекомендательными для комфортной работы клиента.

Клиентский ПК

Процессор:64-разрядный (x64) процессор с тактовой частотой 2 ГГц или быстрее;

Оперативная память: 8GB DDR3 или быстрее

Жесткий диск: 128GB SSD или больше

Сетевой интерфейс: 100 Mb/s или выше

Операционная система:

Microsoft Windows 7 (x64) или выше. Рекомендуется Microsoft Windows 10 64-разрядная (x64);

Выделенный сервер (при необходимости)

Процессор:64-разрядный (x64) процессор с тактовой частотой 2 ГГц или быстрее;

Оперативная память: 8GB DDR3 или быстрее

Жесткий диск: 128GB SSD или больше

Сетевой интерфейс: 100 Mb/s или выше

Операционная система:

Microsoft Windows 7 (x64) или выше. Рекомендуется Microsoft Windows Server;

Дополнительное программное обеспечение

Microsoft .NET Framework версии 4.8 или выше

Обратите внимание: В версии «СТАНДАРТ», рабочее место VOGBIT должно быть установлено непосредственно на том устройстве, на котором работает пользователь. Использование виртуальных машин и терминальных серверов допускается только в версии «ОНЛАЙН».

Установка программы

В этом разделе подробно описаны возможные варианты установки программы и создания новой базы данных VOGBIT. Для установки вам потребуется стандартный дистрибутив VOGBIT (актуальную версию можно скачать на сайте VOGBIT.ru), компьютер под управлением операционной системы Windows (подробнее см. раздел «Системные требования») с доступом к сети Интернет 3. Для установки пользователь Windows должен обладать правами Администратора.

Дополнительная информация:

Необходимые для работы компоненты (при их отсутствии на компьютере пользователя) программа установки скачивает и устанавливает самостоятельно. Это Microsoft .NET Framework версии 4.8 или выше и Microsoft SQL Server Express LocalDB (в случае локального варианта установки). В некоторых случаях может потребоваться самостоятельная установка пользователем этих компонентов.

Прежде чем начать установку продукта внимательно ознакомьтесь с описанием вариантов установки и выберите подходящий вам режим:

Обратите внимание: Демонстрационный режим не может быть установлен на виртуальные машины и имеет тип лицензии «СТАНДАРТ.

Быстрая упрощённая установка:

• Подходит для установки ознакомительной версии или для работы в локальном режиме;
• Наиболее простая, не требует никаких специальных знаний и навыков, автоматически скачивает и устанавливает необходимые программные компоненты;
• Не требует наличия Microsoft SQL Server;
• Ставит все компоненты системы в автоматическом режиме для локальной работы (один пользователь на одном своём компьютере).

Выборочная установка (требует наличия Microsoft SQL Server):

• Можно устанавливать отдельно только нужные компоненты системы (клиентское приложение, база данных);
• Можно настроить параметры установки: путь для приложения, имя для создаваемой базы данных;
• Можно выбрать SQL сервер, на котором разворачивать базу данных;
• Используется для установки системы для работы в сетевом режиме;
• Используется для обновления уже существующих баз данных более ранних версий;
• Позволяет при создании базы данных задать параметры сортировки с учётом особенностей конкретного языка (для установки на серверах, где основной язык не Русский и не Английский).

Далее будут подробно рассмотрены оба варианта установки программы.

Если вы хотите установить демо-версию версию, то вам достаточно будет ознакомиться с разделом «Быстрая упрощённая установка».

Разделы «Установка VOGBIT» и «Создание новой базы данных» будут полезны тем, кто приобрёл программу.

В них описывается:

• Как установить новое (ещё одно) рабочее место VOGBIT;
• Как создать новую (ещё одну) базу данных VOGBIT.

Быстрая упрощенная установка.

Этот раздел предназначен для пользователей, которые хотят установить VOGBIT на один компьютер в целях ознакомления или использовать коммерческую версию в локальном режиме. Скачайте и разархивируйте архив со стандартным дистрибутивом VOGBIT (актуальную версию можно скачать на сайте VOGBIT.ru). Перед запуском установщика проверьте наличие соединения с сетью интернет. Запустите установочный файл Setup.exe.

Рис. 5. Запуск установки VOGBIT

Если Вы ещё не ознакомились с условиями лицензионного соглашения, то перейдите по ссылке, указанной в стартовом окне мастера установки (Рис. 5) и прочитайте лицензионное соглашение. Устанавливая и запуская программу на своём компьютере, вы соглашаетесь с условиями лицензионного соглашения и обязуетесь их не нарушать.

Нажмите кнопку «Далее».

Выберите вариант установки «Быстрая упрощённая установка» (Рис. 6).

Рис. 6. Выбор варианта установки — "Быстрая упрощённая установка"

Выберите, какую базу данных вы хотите развернуть (Рис. 7).

Рис. 7. Выбор базы данных при установке

• «Производство. Движение заказа» — пример для изучения

База данных, предназначенная для первичного ознакомления с программой и начального обучения работе в VOGBIT. Демонстрационный пример «Движение заказа» (2022 г.). Содержит все необходимые настройки и данные, чтобы сразу, без какой-либо подготовки посмотреть и опробовать некоторые базовые возможности системы. Подробнее см. Руководство по работе с демонстрационной версией, Движение заказа. Рекомендуется для начинающих пользователей.

• «Производство (2015)» — пример для изучения

База данных с демонстрационным примером 2015 г. Может быть интересна, как дополнительный материал, для пользователей, самостоятельно изучающих программу. Подробнее см.руководство по работе с демоверсией (2015).

• «Металлоконструкции» — пример для изучения

База данных с демонстрационным примером «Металлоконструкции» 2015 г. Узкоспециализированная настройка программы для производства строительных каркасных металлоконструкций. Может быть интересна для специалистов в производстве строительных каркасных МК. Подробнее см. специальное руководство по работе с демонстрационной версией «Металлоконструкции» (2015).

• Пустая – для опытных пользователей

«Пустая», база данных, подготовленная для начала реальной работы с программой. Выполнены минимально необходимые общие настройки, но нет никаких примеров или исходных данных. Рекомендуется устанавливать только после изучения демонстрационных примеров и начального обучения.

Обратите внимание: Для ознакомления с программой и обучения работе с VOGBIT настоятельно рекомендуется сначала использовать базы данных с демонстрационными примерами. Начинать работать с «Пустой» базой данных можно только, если вы уже достаточно хорошо владеете основными навыками работы в программе и чётко представляете куда, как и какую информацию нужно ввести для получения желаемого результата.

Убедитесь, что вы выбрали тот вариант базы данных, который вам нужен, и нажмите Далее. В следующем окне будет выведена текущая конфигурация установки.

Рис. 8. Конфигурация установки

Нажмите «Далее». Запустится установка (Рис. 8).

Процесс установки займёт определённое время, не прерывайте его и дождитесь завершения. Также в процессе установки программа может скачать и установить нужные компоненты операционной системы, если их нет на вашем компьютере (например, .net Framework нужной версии).

Рис. 9. Установка VOGBIT

По завершении установки программа выдаст окно с сообщением об этом и предложением запустить приложение (Рис. 10).

Рис. 10. Установка VOGBIT завершена

Нажмите «Готово» и начинайте работать с VOGBIT!

Выборочная установка VOGBIT

Этот режим позволяет сконфигурировать установщик VOGBIT для развертывания программы в локальном или сетевом режиме и рассчитан на наличие уже установленного Microsoft SQL Server.

Если вы в первый раз разворачиваете систему VOGBIT, то вам нужно будет создать новую базу данных и установить клиентское приложение. В этом случае обратите внимание на раздел «Подготовка подключения к Microsoft SQL Server».

Если база данных VOGBIT у вас уже существует, а вы хотите только установить дополнительное клиентское место, то раздел «Подготовка подключения к Microsoft SQL Server» можно пропустить.

Подготовка подключения к Microsoft SQL Server

Если вы решили самостоятельно выполнить новую установку Microsoft SQL Server Express на одном из ПК в вашей сети, то выполните ее в соответствии с нашими рекомендациями.

Обратите внимание: В приведенной нами инструкции по настройке Microsoft SQL Server Express рассматривается вариант установки в «Смешанном» режиме аутентификации (проверки подлинности). В этом случае при установке задается пароль для встроенной учетной записи администратора SQL server (SA). При желании вы можете выбрать другой режим (аутентификация Windows), если это позволяет конфигурация сети вашего предприятия.

Если вы хотите организовать совместную работу в программе нескольких пользователей, то помимо установки Microsoft SQL Server требуется настроить возможность доступа к нему по сети. Немного подробнее об этом: в нашем кратком руководстве по настройке SQL Server для работы в сети.

После установки SQL Server или внесения изменений в его настройки перезагрузите компьютер.

Если в сети вашего предприятия уже есть Microsoft SQL Server, то уточните у системного администратора вашей компании следующие параметры подключения:

• Имя или IP-адрес Microsoft SQL Server и, если есть, имя экземпляра SQL сервера, на котором вы хотите развернуть базу данных;
• Уточните у администратора SQL сервера в каком режиме проверки подлинности (аутентификации) работает SQL сервер на вашем предприятии;
• Пароль встроенной учетной записи администратора Microsoft SQL Server (SA) или данные (имя и пароль) учетной записи пользователя с правами sysadmin (возможность создавать новые базы данных, управление пользователями);
• Наличие сетевого доступа на удаленное подключение с вашего ПК к компьютеру или серверу, где установлен Microsoft SQL Server.

Если все условия выполнены и данные для подключения к SQL серверу известны, можно приступать к установке.

Установка VOGBIT

Скачайте и разархивируйте архив со стандартным дистрибутивом VOGBIT (актуальную версию можно скачать на сайте VOGBIT.ru). Перед запуском установщика проверьте наличие соединения с сетью интернет. Запустите установочный файл Setup.exe.

Рис. 11. Запуск установки VOGBIT

Если Вы ещё не ознакомились с условиями лицензионного соглашения, то перейдите по ссылке, указанной в стартовом окне мастера установки (Рис. 11) и прочитайте лицензионное соглашение. Устанавливая и запуская программу на своём компьютере, вы соглашаетесь с условиями лицензионного соглашения и обязуетесь их не нарушать.

Нажмите кнопку «Далее»

Рис. 12. Выборочная установка VOGBIT

Выберите «Выборочная установка» и нажмите «Далее».

Рис. 13. Выбор компонентов установки VOGBIT

В окне «Выбор компонентов для установки» выберите нужное вам:

• Клиентское приложение – установить на текущий компьютер клиентское приложение VOGBIT с указанным типом лицензии;
• База данных – создать на SQL server новую базу данных VOGBIT или обновить уже существующую более ранней версии

При создании новой базы данных нужно выбрать один из доступных вариантов:

• «Производство. Движение заказа» — пример для изучения

База данных, предназначенная для первичного ознакомления с программой и начального обучения работе в VOGBIT. Демонстрационный пример «Движение заказа» (2022 г.). Содержит все необходимые настройки и данные, чтобы сразу, без какой-либо подготовки посмотреть и опробовать некоторые базовые возможности системы. Подробнее см. Руководство по работе с демонстрационной версией, Движение заказа. Рекомендуется для начинающих пользователей.

• «Производство (2015)» — пример для изучения

База данных с демонстрационным примером 2015 г. Может быть интересна, как дополнительный материал, для пользователей, самостоятельно изучающих программу. Подробнее см.руководство по работе с демоверсией (2015).

• «Металлоконструкции (2015)» — пример для изучения

База данных с демонстрационным примером «Металлоконструкции» 2015 г. Узкоспециализированная настройка программы для производства строительных каркасных металлоконструкций. Может быть интересна для специалистов в производстве строительных каркасных МК. Подробнее см. специальное руководство по работе с демонстрационной версией «Металлоконструкции» (2015)

• Пустая – для опытных пользователей

«Пустая», база данных, подготовленная для начала реальной работы с программой. Выполнены минимально необходимые общие настройки, но нет никаких примеров или исходных данных. Рекомендуется устанавливать только после изучения демонстрационных примеров и начального обучения.

• Обновление — обновление существующей базы данных VOGBIT в случае выпуска новой версии ядра системы (подробнее см. отдельное руководство по обновлению).

Отметьте нужное и нажмите «Далее».

Если вы выбрали создание новой базы данных, то следующим шагом нужно задать параметры подключения к SQL серверу, где будет развёрнута база (Рис. 14) (см. главу «Подготовка подключения к Microsoft SQL Server» выше)

В поле «Сервер» укажите имя SQL сервера (с учётом имени экземпляра, если таковой есть), на котором вы хотите развернуть базу данных.

Программа может попробовать сама найти все доступные в Вашей сети или на локальном компьютере SQL серверы и предложить для выбора. Чтобы выполнить поиск нажмите на стрелку раскрывающегося списка (Рис. 14), и после формирования списка (может занять некоторое время) выберите нужный вам SQL сервер.

Рис. 14. Поиск доступных Microsoft SQL Server

В некоторых случаях (например, при подключении к серверу через интернет или виртуальную локальную сеть) может потребоваться ввести имя сервера вручную в формате <Сетевое имя компьютера> <имя экземпляра SQL сервера>.

Например:MY-SERVERSQL2017.

Также вместо имени компьютера можно указать его IP адрес.

Например:192.168.0.250SQLSERVER.

Строкой ниже выберите требуемый режим аутентификации SQL сервера.

Подробнее о выборе режима аутентификации SQL сервера смотрите в разделе «Подготовка подключения к Microsoft SQL Server» данного руководства.

Если выбран режим «Использовать аутентификацию SQL Server», то потребуется заполнить поля «Имя пользователя» и «Пароль», выданный администратором SQL Server.

Если используется аутентификация Windows, то ваш пользователь должен иметь достаточные права для создания базы данных на SQL сервере.

Если вы создаёте базу данных VOGBIT на своём компьютере и в качестве SQL сервера используете Microsoft SQL Server Express, который установили согласно краткой инструкции с сайта VOGBIT.ru, то следует использовать тот режим аутентификации, который был выбран при установке Microsoft SQL Server Express.

Если был выбран режим «Использовать аутентификацию SQL Server», то в поле «Имя пользователя» укажите – sa (встроенная учётная запись администратора SQL server), а пароль нужно ввести тот, который вы назначили для администратора при установке SQL server.

Рис. 15. Установка параметров подключения к Microsoft SQL Server

В нижней части окна (Рис. 15) можно задать имя для базы данных VOGBIT, которая будет развёрнута. Если вы хотите создать несколько баз данных на одном сервере (рабочая, с примерами, тестовая и т.п.), то каждой базе данных нужно дать своё уникальное имя.

Также есть возможность выбора порядка сортировки. Этот параметр позволяет при создании базы данных задать параметры сортировки с учётом особенностей конкретного языка и предназначен для установки на серверах, где основной язык не Русский и не Английский (для Русского и Английского языков устанавливается программой автоматически).

Если все сделано правильно, установщик готов к развертыванию VOGBIT (Рис. 16).

Если по каким-либо причинам программе не удалось установить соединение с SQL сервером, то вместо сообщения о готовности к установке на экране появится окно Проверка параметров подключения. В этом случае необходимо изучить текст сообщения, вернуться назад и устранить причину ошибки. Наиболее типичные причины ошибок и способы их устранения можно найти на нашем форуме или в разделе Часто задаваемые вопросы о VOGBIT.

Рис. 16. Установка VOGBIT

Нажмите «Далее» для запуска процесса установки.

Установка займёт некоторое время, дождитесь завершения процесса, не прерывайте его.

Рис. 17. Установка VOGBIT

Установка VOGBIT завершена

Запуск приложения

Если в завершающем окне установки вы не выбрали пункт «Запустить приложение сразу после установки», то найдите группу VOGBIT созданную установщиком в главном меню Windows, и запустите программу. Если вы только что создали новую базу данных или обновили базу данных, то после первого запуска приложения и подключения к базе данных начнётся автоматическое его обновление

Рис. 18. Стартовое окно VOGBIT

Обратите внимание:
Если при установке вы выбрали тип лицензии «СТАНДАРТ», то при первом запуске вам понадобится активировать пробный период или приобретенный лицензионный номер.
Для работы с лицензией «ОНЛАЙН» наряду с постоянным соединением с интернет потребуется вводить лицензионный номер каждый раз, когда произойдет смена пользователя windows или компьютера.

Активация и деактивация

Обратите внимание: Данный раздел актуален только для пользователей лицензии «СТАНДАРТ».
Лицензия «ОНЛАЙН» активируется автоматически при наличии соединения с интернет.

Общая информация об активации и деактивации

Для возможности работы с программой она должна быть активирована. Активация производится после первого запуска приложения. Если вы не приобретали лицензию VOGBIT, то активация возможна только в демонстрационном режиме (с ограничением по времени работы и количеству данных).

После активации полной версии (приобретённой лицензии) программа будет работать на этом компьютере без каких-либо дальнейших запросов, подтверждений и ограничений в течение срока действия лицензии. Срок действия лицензии определяется при её приобретении. Подробную информацию о стоимости сроках действия, порядке приобретения и продления лицензий можно найти по адресу: https://VOGBIT.ru/buy/.

Удаление и повторная установка программы на том же компьютере не влияют на лицензию и активацию. Т.е. если после проведения активации вы удалите программу, а затем снова установите её на тот же самый компьютер, то программа после этого будет работать, повторная активация не потребуется 4.

При необходимости установленную и работающую программу можно деактивировать. Это может понадобиться, например, для переноса купленной программы на другой компьютер, или в случае существенной модернизации аппаратной части вашего компьютера. После деактивации на соответствующем компьютере программа работать больше не будет. Но с помощью «освобождённой» таким образом лицензии можно активировать VOGBIT на любом другом компьютере или повторно на этом же компьютере после его модернизации. Деактивация возможна только для полноценной, купленной лицензии VOGBIT (не демонстрационной). Одну лицензию можно деактивировать и повторно активировать не более 10 раз.

Обратите внимание: Если вы планируете поменять оборудование вашего компьютера или переустановить операционную систему, то вполне вероятно, что после этого активированное приложение у вас более не запустится. В таком случае, перед тем как выполнять соответствующие изменения, выполните Деактивацию установленной программы. После завершения работ по модернизации компьютера активируйте приложение повторно.
При изменении параметров лицензии (например, увеличении срока её действия) может понадобиться выполнить повторную активацию (переактивацию).

Демонстрационный режим

Если вы пока ещё не приобрели лицензию, то можете бесплатно активировать программу в демонстрационном (ознакомительном) режиме. Для этого в окне, которое появится при первом запуске приложения (Рис. 19), нажмите Пробный период.

Рис. 19. Активация программы в демонстрационном режиме

Активация будет выполнена автоматически, приложение запустится (Рис. 19). Выбирайте сервер и базу данных, к которой Вы хотите подключиться.

Следует использовать тот режим аутентификации, который был выбран при установке.

Важно!

Если установка была выполнена в режиме «Быстрая упрощенная установка», то следует выбрать режим «Использовать аутентификацию Windows».

Рис. 20. Активация демонстрационного режима

В остальных случаях необходимо выбрать тот режим аутентификации, который был выбран при установке программы в «Выборочном режиме».

При использовании режима «Использовать аутентификацию SQL Server», необходимо указать имя и пароль пользователя для входа в VOGBIT (Рис. 21).

Сразу после создания новой базы, подключиться со своим именем к ней сможет только тот пользователь, который создал эту базу данных (её администратор). Чтобы другие пользователи могли входить в программу и подключаться к этой базе данных, администратор должен уже средствами VOGBIT создать для них учётные записи для входа в программу. Подробнее об этом можно прочитать в отдельном руководстве (https://VOGBIT.ru/support/4153/).

Вводите имя пользователя и пароль и начинайте работать с VOGBIT!

Рис. 21. Программа активирована и запущена

Демонстрационный режим предназначен только для ознакомления с программой, но не для реальной работы с ней. Все функции и режимы работы VOGBIT будут доступны, но существуют ограничения на объём информации 5, которую вы можете ввести в базу данных. При достижении ограничений на экране появится сообщение об этом, и часть возможностей системы будет заблокирована.

В демонстрационном режиме программа будет работать ровно 15 дней с момента активации (первого запуска). По истечении этого срока при попытке запуска VOGBIT будет выдаваться сообщение об окончании пробного периода (Рис. 22). Если Вы хотите продолжить работать с программой, то для этого нужно приобрести лицензию.

Рис. 22. Сообщение об окончании периода использования программы в демонстрационном режиме

После окончания пробного периода повторная активация программы в демонстрационном режиме на этом же компьютере невозможна.

Полная версия

Активация

Если вы приобрели лицензию VOGBIT, то можете активировать на своём компьютере полную версию программы, которая будет работать без каких-либо ограничений в течение срока действия лицензии. При этом у вас должен быть серийный номер вашей копии программы, предоставленный разработчиком (высылается по электронной почте). Если вы приобрели сразу несколько лицензий программы, то продавец должен предоставить вам соответствующее количество серийных номеров VOGBIT. Один номер позволяет активировать программу на одном компьютере.

Если на вашем компьютере программа ранее не устанавливалась, то при первом запуске VOGBIT появится окно, как показано на (Рис. 23). Нажмите кнопку «Активировать».

Рис. 23. Активация купленной программы на новом компьютере

В случае если вы ранее работали с программой в демонстрационном режиме, при запуске VOGBIT появится окно с сообщением об окончании срока действия ознакомительной лицензии (Рис. 24). Нажмите в нём «Полная версия».

Рис. 24. Активация программы после окончания срока действия ознакомительной лицензии

В результате откроется консоль активации (Рис. 25).

Рис. 25. Консоль активации

Введите серийный номер своей копии программы (Рис. 26). Чтобы не набирать вручную, можно скопировать номер из письма, которым вам его прислали.

Рис. 26. Ввод серийного номера для активации купленной программы

Если ваш компьютер подключен к интернет, то просто нажмите «Далее», и активация будет выполнена автоматически. Если на данном рабочем месте нет доступа в интернет, то нажмите «провести активацию другим способом» и следуйте инструкциям, которые появятся на экране. В этом случае вы можете активировать свою копию программы через специальный сайт или с помощью электронной почты, используя любой компьютер или мобильное устройство, где есть доступ в интернет.

При успешной автоматической активации на экране появится сообщение об этом (Рис. 27). Можно запускать VOGBIT и работать с программой!

Рис. 27. Сообщение об успешной активации программы

Дективация

Согласно условиям лицензионного соглашения одна лицензия даёт право на использование одного экземпляра программы на одном устройстве (компьютере) пользователя. На этом компьютере можно устанавливать программу, удалять её и переустанавливать любое количество раз без ограничений. Для работы с программой на другом компьютере потребуется приобретение ещё одной лицензии VOGBIT.

Если по каким-то причинам вы хотите «перенести» купленную, установленную и активированную программу на другой компьютер, или в случае существенной модернизации (замены аппаратной части) вашего компьютера, можно деактивировать лицензию VOGBIT и затем использовать этот же серийный номер для активации программы на другом компьютере (или на этом же после его модернизации). Деактивировать одну и ту же лицензию можно не более 10 раз.

Для деактивации установленной программы откройте в VOGBIT окно О программе и нажмите в нём Активация (Рис. 29).

Рис. 28Кнопка «О программе» в меню.
. Рис. 29. Переход к консоли для Деактивации установленной программы

Подтвердите закрытие приложения и переход к работе с консолью активации/деактивации.

В открывшейся консоли выберите «Активировать или деактивировать продукт» и нажмите «Далее»

Рис. 30. Управление лицензией

Если ваш компьютер подключен к Интернет, то нажмите «Деактивировать» (Рис. 31). Если на этом рабочем месте отсутствует доступ в интернет, то нажмите провести деактивацию другим способом.

Рис. 31. Деактивация лицензии

Подтвердите желание деактивировать программу (Рис. 32). При наличии подключения к сети интернет деактивация будет выполнена автоматически. Если вы выбрали «другой вариант», то следуйте инструкциям в окне, которое появится у Вас на экране 6.

Рис. 32. Подтверждение деактивации программы

После деактивации программа больше не будет работать на этом компьютере. Но теперь вы можете использовать «освободившуюся» лицензию, чтобы активировать VOGBIT на любом другом рабочем месте.

Повторная активация (переактивация)

Повторная активация (переактивация) уже работающей программы на том же компьютере может потребоваться в случае изменения параметров лицензии. Например, продления срока её действия.

Запустите VOGBIT. Выберите вкладку меню Главная, нажмите «О программе» (Рис. 33).

Рис. 33. Переход к окну информации о программе для активации/деактивации.

Нажмите Активация (Рис. 34) для перехода к консоли активации/деактивации. Консоль так же можно вызвать если запустить ярлык программы удерживая кнопку «Shift» на клавиатуре.

Обратите внимание: Для лицензий «ОНЛАЙН» повторная активация производится автоматически. Запуск консоли активации/деактивации требуется только при смене лицензионного номера.

Рис. 34. Запуск консоли активации/деактивации

Для работы с консолью активации/деактивации необходимо закрыть само приложение (VOGBIT). Программа запросит разрешение сделать это. Нажмите «Да».

Откроется окно консоли активации/деактивации программы (Рис. 35). Выберите «Активировать или деактивировать продукт» и нажмите «Далее».

Рис. 35. Запуск активации

В окне активации должен быть уже заполнен серийный номер вашей копии программы. Если ваш компьютер подключен к интернет, то просто нажмите «Далее». Если на вашем компьютере нет доступа в интернет, то нажмите провести активациюдругим способом.

Рис. 36. Окно активации

Если в этот момент текущая лицензия ещё действует, то программа сообщит об этом и предложит выбрать: продолжить использовать текущую лицензию, или заново активировать (переактивировать) лицензию. Выберите «Активировать» (Рис. 37).

Рис. 37. Активация программы

Если ваш компьютер подключен к сети интернет, то переактивация лицензии пройдёт автоматически. Если перед этим вы выбрали провести активацию другим способом, то следуйте инструкциям, которые появятся на экране.

В результате появится окно, с сообщением об успешной активации и информацией о сроке действия текущей лицензии.

Рис. 38. Активация программы

Продление лицензии

Стандартная лицензия даёт возможность использовать программу в течение определённого времени (обычно, 365 дней). За несколько дней до окончания срока действия лицензии программа начинает при запуске выдавать предупреждение об этом (Рис. 39).

Рис. 39. Предупреждение о приближающемся окончании срока действия лицензии

Если в дальнейшем вы хотите продолжать пользоваться программой, то можете на льготных условиях продлить свою текущую лицензию (подробную информацию можно найти на сайте https://VOGBIT.ru). Статус всех ваших лицензий вы сможете посмотреть в личном кабинете на нашем сайте в разделе «Ваши лицензии». Также мы обязательно заранее уведомим вас по e-mail, если срок действия одной из ваших лицензий будет подходить к концу.

Обратите внимание: Продлить лицензию на льготных условиях можно в течение ограниченного времени после окончания срока её действия (или заранее, не дожидаясь окончания срока действия). Если в течение означенного времени вы не стали продлять свою лицензию, то в дальнейшем, если вы когда-нибудь захотите возобновить работу с программой, для этого нужно будет купить новую стандартную лицензию на общих основаниях. Полную информацию по данному вопросу можно найти на сайте https://VOGBIT.ru

Если срок действия лицензии закончился, то при попытке запуска приложения появится сообщение, как на (Рис. 43).

Рис. 40. Сообщение об окончании срока действия лицензии

Если вы ещё не оплатили продление своей лицензии, но хотите продолжить пользоваться программой, то нужно оплатить продление.

Если вы уже оплатили продление лицензии, то нажмите Повторить. В этом случае на экране появится окно активации (Рис. 41).

Рис. 41. Активация продлённой лицензии

Если ваш компьютер подключен к интернет, то просто нажмите «Далее».
Если у вас на этом рабочем месте нет доступа к сети, то нажмите провести активацию другим способом и следуйте инструкциям на экране 7.

После завершения процесса активации на экране появится сообщение об этом (Рис. 42). Вы можете продолжать работать с программой!

Рис. 42. Сообщение об успешной активации лицензии после продления

Если вместо сообщения об успешной активации (Рис. 42) у вас на экране появляется сообщение, как на (Рис. 43), то это означает, что продление вашей лицензии не оплачено (лицензия закончилась и не продлена). Оплатите продление своей лицензии и после этого повторите действия, описанные в данном разделе.

Рис. 43. Сообщение о том, что лицензия не продлена

1 При желании ознакомительную версию программы можно развернуть и использовать и в сетевом режиме, никаких дополнительных ограничений в этом плане нет.

2 Система Управления Базами Данных. Подробнее см. раздел «Системные требования» настоящего руководства.

3 Можно установить и активировать приложение и на компьютере, не имеющем доступа в интернет, но в этом случае может потребоваться большее количество действий от пользователя, а для активации коммерческой лицензии будет нужно любое другое устройство, имеющее доступ в интернет (например, телефон).

4 На срок действия лицензии установка, удаление, активация и деактивация программы никак не влияют.

5 Ограничения достаточные для того, чтобы беспрепятственно посмотреть все режимы работы VOGBIT на примерах, заложенных в демонстрационных базах данных «Производство» и «Металлоконструкции», а также, если есть такое желание, ввести свой небольшой пример.

6 При отсутствии доступа в интернет деактивацию своей копи программы можно выполнить на специальном сайте или с помощью электронной почты с любого другого компьютера или устройства, где есть доступ к сети.

7 В этом случае можно провести активацию, используя другой компьютер или мобильное устройство, где есть выход в интернет.

Комментарии

В предыдущей статье я рассказывал, как построить простой кластер Kubernetes с одним мастер-узлом. Прошло время, опали листья… и мне захотелось большего, поэтому решил позариться на высокодоступные кластеры. В интернете много статей о том, как построить подобное решение, и давайте даже опустим тот факт, что многие из них уже устарели. Одно дело — установить кластер, а как же обслуживание: удаление, добавление, замена узлов? Про это и не вспоминают! В итоге оказалось, что не всё так просто, и вот, спустя больше ста установок, удалений и замен, у меня получилось собрать подробнейшее руководство по установке и, главное, обслуживанию highly available кластера с помощью Kubespray.

Оглавление

1. Введение

2. Установка высокодоступного Kubernetes-кластера

   • Настройка виртуальных машин

   • Настройка Ansible-машины

   • Установка кластера

3. Обслуживание кластера

   • Добавление worker node

   • Удаление worker node

   • Замена master node

4. Полезные команды

Введение

Высокодоступный кластер (aka high-availability) — это еще один шажок к production-ready кластеру. Как написано в официальной документации, построить высокодоступный кластер значит:

1. Отделить плоскость управления (мастер) от рабочих узлов

2. Реплицировать компоненты плоскости управления на несколько узлов

3. Добавить балансировщик нагрузки на API Kubernetes

4. Иметь достаточное количество рабочих узлов, чтобы выдержать нештатные ситуации и высокие нагрузки

Если подходить серьезно к вопросу, то наш будущий кластер будет квази high-available (в основном из-за внешнего балансировщика). Кластер будет состоять из четырёх узлов — двух мастеров и двух рабочих. Машины с характеристиками получше можно использовать как рабочие, а машины послабее — как мастера. На последних не будет запускаться рабочая нагрузка.

Сетап кластера:

1. Kubenetes version — 1.23.7

2. Сontainer runtime — Сontainerd 1.6.4

3. Network plugin — Calico 3.22.3

Доступные виртуалки и их роли я распределил так:

1. IP 185.186.142.53 — Master #1

2. IP 185.186.142.5 — Master #2

3. IP 46.8.19.144 — Worker #1

4. IP 46.8.19.244 — Worker #2

У всех машин характеристики: 2 CPU 3,0 ГГц, 4 Гб RAM, 100 Гб HDD, ОС Ubuntu 20.04. На рабочих машинах заявлена частота процессора 3,6 ГГц, хотя команда grep MHz /proc/cpuinfo говорит, что фактически 3 ГГц (на мастер-узлах и того чуть меньше). По стоимости четыре машины в месяц обходятся в 2700 руб. (с учётом скидки за оплату на три месяца вперёд). Хочу опять отметить, насколько такой handmade дешевле Kubernetes-as-a-Service решений, аж на 75%!

Важно (но не обязательно) чтобы ваш VPS провайдер поддерживал снимки виртуальных машин, это облегчит обслуживание и тренировку по установке кластера.

Устанавливать кластер будем с домашней машины (далее — Ansible-машина). На ней должны быть Python, Ansible версии 2.4 или выше, и Jinja (это всё мы установим немного позже).

Большая головная боль при установки Kubernetes на «голое» железо — это отсутствие внешнего балансировщика. Для пользователя облачного сервиса GKE или AWS балансировщик прилагается в комплекте.

В предыдущей своей статье проблему решал с помощью MetalLb, в этот раз попробую другой подход. Все 4 узла смогут принимать трафик извне, так как поды ingress-nginx будут развернуты на каждом узле (с помощью ресурса Daemonset) и использовать порт 80/443 этой машины.

И конечно нужно привести цитату с предостережением по безопасности данного решения:

Enabling this option exposes every system daemon to the NGINX Ingress controller on any network interface, including the host’s loopback. Please evaluate the impact this may have on the security of your system carefully.

Заключительный штрих — я заказал доменное имя awesomeservice.pro на которое будут разрешаться все 4 IP адреса, таким образом задействуем DNS балансировку трафика. Балансировка осуществляется с помощью алгоритма Round Robin — алгоритма кругового обслуживания. Первый запрос передается одному серверу, затем следующий запрос передается другому, и так далее до достижения последнего сервера. Затем направление запросов начинается сначала. Это самое бюджетное и простое решение которое я нашел на данный момент. Именно из-за DNS балансировки будущий кластер выйдет почти высокодоступным. Данное решение имеет ряд неприятных минусов:

1. Сложно управлять пулом адресов. Хорошо если DNS провайдер предоставляет API для программного изменения адресов. Но это лишний софт, плюс надо учитывать TTL на стороне клиента, его в таком случае советуют ставить на минимальное значение.

2. И самая большая проблема — нет отслеживания состояния серверов. Если одна машина из пула выйдет из строя, DNS сервер все равно будет отдавать этот адрес. Эту проблему и её последствия я наглядно продемонстрирую после установки кластера.

альтернативное решение

Если ваш VPS провайдер позволяет создавать Virtual IP, то можно его привязать ко всем 4 удаленным машинам и тогда не нужна будет никакая DNS балансировка. Мой провайдер, к сожалению, не предоставляет такой функционал, поэтому протестировать такое решение не могу. А там, где есть данная фича VPS стоят неоправданно дорого.

Приступим к делу.

↑

Установка высокодоступного Kubernetes-кластера

В основе главы лежит эта статья, но на текущий момент она уже устарела, поэтому некоторые разделы будут продублированы и дополнены либо изменены.↑

Настройка виртуальных машин

Этот раздел необходимо выполнить для каждой виртуальной машины будущего кластера. Прежде всего настроим SSH-доступ без пароля. Для этого выполните команду ssh-copy-id на своей локальной машине. Например, у меня она выглядит так:

ssh-copy-id root@185.186.142.53

Тут необходимо будет ввести пароль от удалённой машины. После успешного выполнения команды подключаемся к удалённой машине без пароля:

ssh root@185.186.142.53

Установим Python:

sudo apt update
sudo apt install python

Включим переадресацию IPv4:

echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf

Отключим подкачку памяти:

swapoff -a

Пример из жизни №1

# This file is managed by man:systemd-resolved(8). Do not edit.
#
# This is a dynamic resolv.conf file for connecting local clients to the
# internal DNS stub resolver of systemd-resolved. This file lists all
# configured search domains.
#
# Run "resolvectl status" to see details about the uplink DNS servers
# currently in use.
#
# Third party programs must not access this file directly, but only through the
# symlink at /etc/resolv.conf. To manage man:resolv.conf(5) in a different way,
# replace this symlink by a static file or a different symlink.
#
# See man:systemd-resolved.service(8) for details about the supported modes of
# operation for /etc/resolv.conf.

nameserver 127.0.0.53
options edns0 trust-ad
search template

nameserver 127.0.0.53
options edns0 trust-ad
search template

nameserver 8.8.8.8
nameserver 1.1.1.1

Удаленная машина успешно настроена и готовка к установке Kubernetes. Инструкции из этого подраздела повторите на всех оставшихся машинах будущего кластера.

Также крайне рекомендую на этом этапе сделать снимок системы, чтобы при переустановке кластера можно было откатить систему до текущего состояния. Причём даже не понадобится перенастраивать SSH-доступ без пароля. И тогда в будущем об этом подразделе можно забыть. Функциональность снимков предоставляется провайдером VPS (у меня это vmmanager).

↑

Настройка Ansible-машины

Эти инструкции нужно выполнить только на своей локальной машине, с которой будет устанавливаться Kubernetes. Перейдите в подготовленную директорию и клонируйте репозиторий проекта Kubespray:

git clone git@github.com:kubernetes-sigs/kubespray.git
cd kubespray

Помните, что подобные инструкции по установке любого софта без указания версии могут в будущем привести к проблемам. Либо статья устареет, либо новые версии могут быть обратно несовместимыми. Если вы уверены в себе и готовы решать проблемы и несостыковки, клонируйте мастер-ветку. У меня на данный момент tag v2.19.0. Команда для переключения:

git checkout tags/v2.19.0

Перейдём к установке Kubernetes-кластера. Подготовим наш инвентарь, шаблон находится в папке sample, мы его скопируем под новым именем и будем использовать при установке:

cp -rfp inventory/sample inventory/k8s

Должна появиться новая директория k8s. Теперь объявим переменную IPS массивом с перечислением наших виртуальных машин, это нужно для последующего генерирования конфигурации:

declare -a IPS=(185.186.142.5 185.186.142.53 46.8.19.144 46.8.19.244)

Сгенерируем конфигурацию в новый инвентарь:

CONFIG_FILE=inventory/k8s/hosts.yaml python3 contrib/inventory_builder/inventory.py ${IPS[@]}

Был создан файл, посмотрим его содержимое:

nano inventory/k8s/hosts.yaml

У меня конфиг выглядит следующих образом

all:
  hosts:
    node1:
      ansible_host: 185.186.142.5
      ip: 185.186.142.5
      access_ip: 185.186.142.5
    node2:
      ansible_host: 185.186.142.53
      ip: 185.186.142.53
      access_ip: 185.186.142.53
    node3:
      ansible_host: 46.8.19.144
      ip: 46.8.19.144
      access_ip: 46.8.19.144
    node4:
      ansible_host: 46.8.19.244
      ip: 46.8.19.244
      access_ip: 46.8.19.244
  children:
    kube_control_plane:
      hosts:
        node1:
        node2:
    kube_node:
      hosts:
        node1:
        node2:
        node3:
        node4:
    etcd:
      hosts:
        node1:
        node2:
        node3:
    k8s_cluster:
      children:
        kube_control_plane:
        kube_node:
    calico_rr:
      hosts: {}

Получилась такая конфигурация кластера:

• Мастер-узлы перечисляются в разделе kube_control_plane, в моём случае это node1 и node2.

• Всего четыре Kubernetes-узла: node1, node2, node3 и node4.

• Etcd-кластер будет установлен на три хоста: node1, node2 и node3. Три потому, что для etcd-кластера жизненно необходим кворум большинства, то есть всегда должно быть нечётное количество работающих узлов. Если попробуете удалить один из хостов в etcd:hosts, то Ansible-роль завершится с ошибкой о необходимости нечётного количества узлов

↑

Установка кластера

Настройки будущего кластера находятся в папке group_vars. Чтобы не устанавливать Helm вручную на каждом мастер-узле, установим в файле addons.yaml параметр helm_enable равным true:

# Helm deployment
helm_enabled: true

В том же файле addons.yaml раскомментируем и активируем nginx-ingress, а также параметр ingress_nginx_host_network, благодаря которому, к каждому узлу будет привязана пода nginx-ingress:

# Nginx ingress controller deployment
ingress_nginx_enabled: true
ingress_nginx_host_network: true

Итоговый файл выглядит следующим образом

---
# Kubernetes dashboard
# RBAC required. see docs/getting-started.md for access details.
# dashboard_enabled: false

# Helm deployment
helm_enabled: true

# Registry deployment
registry_enabled: false
# registry_namespace: kube-system
# registry_storage_class: ""
# registry_disk_size: "10Gi"

# Metrics Server deployment
metrics_server_enabled: false
# metrics_server_container_port: 4443
# metrics_server_kubelet_insecure_tls: true
# metrics_server_metric_resolution: 15s
# metrics_server_kubelet_preferred_address_types: "InternalIP,ExternalIP,Hostname"

# Rancher Local Path Provisioner
local_path_provisioner_enabled: false
# local_path_provisioner_namespace: "local-path-storage"
# local_path_provisioner_storage_class: "local-path"
# local_path_provisioner_reclaim_policy: Delete
# local_path_provisioner_claim_root: /opt/local-path-provisioner/
# local_path_provisioner_debug: false
# local_path_provisioner_image_repo: "rancher/local-path-provisioner"
# local_path_provisioner_image_tag: "v0.0.21"
# local_path_provisioner_helper_image_repo: "busybox"
# local_path_provisioner_helper_image_tag: "latest"

# Local volume provisioner deployment
local_volume_provisioner_enabled: false
# local_volume_provisioner_namespace: kube-system
# local_volume_provisioner_nodelabels:
#   - kubernetes.io/hostname
#   - topology.kubernetes.io/region
#   - topology.kubernetes.io/zone
# local_volume_provisioner_storage_classes:
#   local-storage:
#     host_dir: /mnt/disks
#     mount_dir: /mnt/disks
#     volume_mode: Filesystem
#     fs_type: ext4
#   fast-disks:
#     host_dir: /mnt/fast-disks
#     mount_dir: /mnt/fast-disks
#     block_cleaner_command:
#       - "/scripts/shred.sh"
#       - "2"
#     volume_mode: Filesystem
#     fs_type: ext4
# local_volume_provisioner_tolerations:
#   - effect: NoSchedule
#     operator: Exists

# CSI Volume Snapshot Controller deployment, set this to true if your CSI is able to manage snapshots
# currently, setting cinder_csi_enabled=true would automatically enable the snapshot controller
# Longhorn is an extenal CSI that would also require setting this to true but it is not included in kubespray
# csi_snapshot_controller_enabled: false
# csi snapshot namespace
# snapshot_controller_namespace: kube-system

# CephFS provisioner deployment
cephfs_provisioner_enabled: false
# cephfs_provisioner_namespace: "cephfs-provisioner"
# cephfs_provisioner_cluster: ceph
# cephfs_provisioner_monitors: "172.24.0.1:6789,172.24.0.2:6789,172.24.0.3:6789"
# cephfs_provisioner_admin_id: admin
# cephfs_provisioner_secret: secret
# cephfs_provisioner_storage_class: cephfs
# cephfs_provisioner_reclaim_policy: Delete
# cephfs_provisioner_claim_root: /volumes
# cephfs_provisioner_deterministic_names: true

# RBD provisioner deployment
rbd_provisioner_enabled: false
# rbd_provisioner_namespace: rbd-provisioner
# rbd_provisioner_replicas: 2
# rbd_provisioner_monitors: "172.24.0.1:6789,172.24.0.2:6789,172.24.0.3:6789"
# rbd_provisioner_pool: kube
# rbd_provisioner_admin_id: admin
# rbd_provisioner_secret_name: ceph-secret-admin
# rbd_provisioner_secret: ceph-key-admin
# rbd_provisioner_user_id: kube
# rbd_provisioner_user_secret_name: ceph-secret-user
# rbd_provisioner_user_secret: ceph-key-user
# rbd_provisioner_user_secret_namespace: rbd-provisioner
# rbd_provisioner_fs_type: ext4
# rbd_provisioner_image_format: "2"
# rbd_provisioner_image_features: layering
# rbd_provisioner_storage_class: rbd
# rbd_provisioner_reclaim_policy: Delete

# Nginx ingress controller deployment
ingress_nginx_enabled: true
ingress_nginx_host_network: true
ingress_publish_status_address: ""
# ingress_nginx_nodeselector:
#   kubernetes.io/os: "linux"
# ingress_nginx_tolerations:
#   - key: "node-role.kubernetes.io/master"
#     operator: "Equal"
#     value: ""
#     effect: "NoSchedule"
#   - key: "node-role.kubernetes.io/control-plane"
#     operator: "Equal"
#     value: ""
#     effect: "NoSchedule"
# ingress_nginx_namespace: "ingress-nginx"
# ingress_nginx_insecure_port: 80
# ingress_nginx_secure_port: 443
# ingress_nginx_configmap:
#   map-hash-bucket-size: "128"
#   ssl-protocols: "TLSv1.2 TLSv1.3"
# ingress_nginx_configmap_tcp_services:
#   9000: "default/example-go:8080"
# ingress_nginx_configmap_udp_services:
#   53: "kube-system/coredns:53"
# ingress_nginx_extra_args:
#   - --default-ssl-certificate=default/foo-tls
# ingress_nginx_termination_grace_period_seconds: 300
# ingress_nginx_class: nginx

# ALB ingress controller deployment
ingress_alb_enabled: false
# alb_ingress_aws_region: "us-east-1"
# alb_ingress_restrict_scheme: "false"
# Enables logging on all outbound requests sent to the AWS API.
# If logging is desired, set to true.
# alb_ingress_aws_debug: "false"

# Cert manager deployment
cert_manager_enabled: false
# cert_manager_namespace: "cert-manager"
# cert_manager_tolerations:
#   - key: node-role.kubernetes.io/master
#     effect: NoSchedule
#   - key: node-role.kubernetes.io/control-plane
#     effect: NoSchedule
# cert_manager_affinity:
#  nodeAffinity:
#    preferredDuringSchedulingIgnoredDuringExecution:
#    - weight: 100
#      preference:
#        matchExpressions:
#        - key: node-role.kubernetes.io/control-plane
#          operator: In
#          values:
#          - ""
# cert_manager_nodeselector:
#   kubernetes.io/os: "linux"

# cert_manager_trusted_internal_ca: |
#   -----BEGIN CERTIFICATE-----
#   [REPLACE with your CA certificate]
#   -----END CERTIFICATE-----
# cert_manager_leader_election_namespace: kube-system

# MetalLB deployment
metallb_enabled: false
metallb_speaker_enabled: true
# metallb_ip_range:
#   - "10.5.0.50-10.5.0.99"
# metallb_pool_name: "loadbalanced"
# matallb_auto_assign: true
# metallb_speaker_nodeselector:
#   kubernetes.io/os: "linux"
# metallb_controller_nodeselector:
#   kubernetes.io/os: "linux"
# metallb_speaker_tolerations:
#   - key: "node-role.kubernetes.io/master"
#     operator: "Equal"
#     value: ""
#     effect: "NoSchedule"
#   - key: "node-role.kubernetes.io/control-plane"
#     operator: "Equal"
#     value: ""
#     effect: "NoSchedule"
# metallb_controller_tolerations:
#   - key: "node-role.kubernetes.io/master"
#     operator: "Equal"
#     value: ""
#     effect: "NoSchedule"
#   - key: "node-role.kubernetes.io/control-plane"
#     operator: "Equal"
#     value: ""
#     effect: "NoSchedule"
# metallb_version: v0.12.1
# metallb_protocol: "layer2"
# metallb_port: "7472"
# metallb_memberlist_port: "7946"
# metallb_additional_address_pools:
#   kube_service_pool:
#     ip_range:
#       - "10.5.1.50-10.5.1.99"
#     protocol: "layer2"
#     auto_assign: false
# metallb_protocol: "bgp"
# metallb_peers:
#   - peer_address: 192.0.2.1
#     peer_asn: 64512
#     my_asn: 4200000000
#   - peer_address: 192.0.2.2
#     peer_asn: 64513
#     my_asn: 4200000000


argocd_enabled: false
# argocd_version: v2.1.6
# argocd_namespace: argocd
# Default password:
#   - https://argoproj.github.io/argo-cd/getting_started/#4-login-using-the-cli
#   ---
#   The initial password is autogenerated to be the pod name of the Argo CD API server. This can be retrieved with the command:
#   kubectl get pods -n argocd -l app.kubernetes.io/name=argocd-server -o name | cut -d'/' -f 2
#   ---
# Use the following var to set admin password
# argocd_admin_password: "password"

# The plugin manager for kubectl
krew_enabled: false
krew_root_dir: "/usr/local/krew"

Добавим в конфигурацию Ansible пользователя, под которым логинимся по SSH:

nano ansible.cfg

В группе ssh_connection добавьте параметр remote_user, равный root:

remote_user=root

Полностью файл выглядит так:

[ssh_connection]
pipelining=True
ssh_args = -o ControlMaster=auto -o ControlPersist=30m -o ConnectionAttempts=100 -o UserKnownHostsFile=/dev/null
#control_path = ~/.ssh/ansible-%%r@%%h:%%p
[defaults]
# https://github.com/ansible/ansible/issues/56930 (to ignore group names with - and .)
force_valid_group_names = ignore

host_key_checking=False
gathering = smart
fact_caching = jsonfile
fact_caching_connection = /tmp
fact_caching_timeout = 7200
stdout_callback = default
display_skipped_hosts = no
library = ./library
callback_whitelist = profile_tasks,ara_default
roles_path = roles:$VIRTUAL_ENV/usr/local/share/kubespray/roles:$VIRTUAL_ENV/usr/local/share/ansible/roles:/usr/share/kubespray/roles
deprecation_warnings=False
inventory_ignore_extensions = ~, .orig, .bak, .ini, .cfg, .retry, .pyc, .pyo, .creds, .gpg
remote_user=root
[inventory]
ignore_patterns = artifacts, credentials

И наконец, команда запуска установки кластера. Выполните её в корне директории kubespray:

ansible-playbook -i inventory/k8s/hosts.yaml cluster.yml

Установка кластера может занять от получаса до полутора часов, в зависимости от скорости интернета. После установки вывод в консоли должен быть примерно таким:

Теперь нужно проверить состояние узлов. Выполните команду:

kubectl get nodes

Затем важно проверить, работают ли системные поды (coredns, kube-controller-manager, kube-scheduler и тд.):

kubectl get pods -n kube-system

nano /etc/kubernetes/kubelet-config.yaml

resolvConf: "/etc/resolv.conf"

reboot

Готово, установка Kubernetes-кластера завершена. Теперь проверим на практике. насколько кластер высокодоступный, то бишь high-availability.

На любом из мастер-узлов развернём простое приложение из предыдущей статьи, которое по GET-ручке возвращает случайно сгенерированный UUID. Создадим три ресурса, первый — deployment:

kubectl create deployment uuid-server --image=mopckou/sticky-session:0.0.5

Далее — Service с типом LoadBalancer:

kubectl expose deployment uuid-server --type=LoadBalancer --port=8080

И наконец, создадим манифест ingress с хостом uuid.awesomeservice.pro, который принимает и обрабатывает запросы:

cat <<EOF> ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: uuid-server-ingress
spec:
  rules:
    - host: uuid.awesomeservice.pro
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: uuid-server
                port:
                  number: 8080
EOF

Применим его:

kubectl apply -f ingress.yaml

Проверим созданный ingress:

kubectl get ingress

У ресурса появились выделенные адреса — все 4 узла могут принимать трафик. Но по факту трафик будет поступать только на две машины 185.186.142.53 и 185.186.142.5. Всё потому что только их я завязал на домен uuid.awesomeservice.pro у своего DNS провайдера. Теперь проверим, что сервер отвечает:

В инструментах разработчика можно посмотреть, на какой узел поступил и обработан запрос:

Ответила node1 (185.186.142.5). Ради интереса выполнил запрос в другом браузере (Safari):

В Safari запрос был обработан узлом node2 (185.186.142.53). Таким образом заодно убедились, что DNS-балансировка работает. Теперь посмотрим, как будет отработана внештатная ситуация и для чего вообще нужен высокодоступный кластер. Допустим, что один из узлов выходит из строя и становится недоступным. Я руками выключаю удалённую машину и через второй узел смотрю состояние кластера:

Теперь проверим, как запрос обработается через браузер:

Как видите, раньше запрос в Chrome обрабатывался узлом node1 (185.186.142.5), а после того, как тот стал недоступен, запросы пошли на узел node2 (185.186.142.53). На самом деле мне повезло, видимо TTL истек и локальный кэш выполнил новый запрос к DNS серверу и получил второй адрес. Стоит чуть подольше потыкать запросы, и начинаются проблемы. В какой-то момент браузер всё таки получит адрес недоступного узла (185.186.142.5) и тогда запрос подвисает на 1 минуту, после чего браузер берет второй адрес из пула и наконец запрос успешно выполняется. На картинке видно, что обработка длилась чуть больше минуты.

Но последующие запросы будут сразу поступать на работающий узел:

В итоге мы имеем, что кластер не совсем ВЫСОКО доступный. Если в кластере из 4 узлов, один выходит из строя, то мы будем иметь 25% долгих запросов. Но при этом надо отметить, что они всё же будут успешными. Данное поведение я проверил в 2-х браузерах и ради интереса сделал запрос в Python скрипте — там, тоже самое, долгий запрос, но в итоге успешный.

На этом установка и тестирование кластера завершено. С учетом полученных знаний и подводных камней решайте, подходит ли вам данная сборка кластера.

↑

Обслуживание кластера

Данный раздел был основан на этой статье и issue, а в последствии доработан.

Добавление worker node

Перед тем, как добавлять новый узел, удалённую машину нужно подготовить.

Теперь займемся конфигурациями: добавим в наш инвентарь новый хост. В файле hosts.yaml аналогично добавьте три строчки с новым адресом в раздел all.hosts, и добавьте ссылку на этот хост в раздел с перечислением всех узлов в кластере — all.children.kube_node.hosts. Я добавил пятый узел с адресом 46.8.19.76.

Полный файл hosts.yaml

all:
  hosts:
    node1:
      ansible_host: 185.186.142.5
      ip: 185.186.142.5
      access_ip: 185.186.142.5
    node2:
      ansible_host: 185.186.142.53
      ip: 185.186.142.53
      access_ip: 185.186.142.53
    node3:
      ansible_host: 46.8.19.144
      ip: 46.8.19.144
      access_ip: 46.8.19.144
    node4:
      ansible_host: 46.8.19.244
      ip: 46.8.19.244
      access_ip: 46.8.19.244
    node5:
      ansible_host: 46.8.19.76
      ip: 46.8.19.76
      access_ip: 46.8.19.76
  children:
    kube_control_plane:
      hosts:
        node1:
        node2:
    kube_node:
      hosts:
        node1:
        node2:
        node3:
        node4:
        node5:
    etcd:
      hosts:
        node1:
        node2:
        node3:
    k8s_cluster:
      children:
        kube_control_plane:
        kube_node:
    calico_rr:
      hosts: {}

Перед тем, как запускать плейбук присоединения нового рабочего узла к кластеру, нужно выполнить команду:

ansible-playbook -i inventory/k8s/hosts.yaml facts.yml

Это сбор информации о кластере, он не займёт много времени. Теперь можно пользоваться ключом --limit, который нужен, чтобы во время добавления нового worker-узла не беспокоить уже существующие узлы. После успешного сбора информации запускаем основной плейбук присоединения worker-узла:

ansible-playbook -i inventory/k8s/hosts.yaml --limit=node5 scale.yml

Пример из жизни №3

 systemctl enable systemd-resolved.service

↑

Удаление worker node

Чтобы удалить рабочий узел, нужно всего лишь воспользоваться следующим плейбуком:

ansible-playbook -i inventory/k8s/hosts.yaml -e node=node5 remove-node.yml

Удаление занимает немного времени, не больше 10 минут. По завершении работы плейбука будет примерно такой вывод:

Плейбук завершится успешно только в том случае, если worker-узел жив. Если он абсолютно нерабочий, то смотрите следующий раздел про замену master-узла, там будет подробно рассказано, как удалить из кластера нерабочий узел.

↑

Замена master node

Удалить мастер-узел, который не отвечает и не на связи, с помощью kubespray не получится. Пробовал разные варианты: запускал плейбук remove-node.yaml, запускал facts.yml, чтобы запросить актуальные данные кластера, запускал upgrade-cluster.yaml — всегда зависает на опросе недоступной ноды. Придётся удалять вручную. Эту инструкцию я долго искал по разным issue github, в итоге после небольших экспериментов получилось успешно удалить как не отвечающий мастер-узел, так и рабочий.

Сейчас кластер состоит из четырёх узлов: двух мастеров и двух рабочих машин:

Допустим, первый мастер-узел выходит из строя и не отвечает. Для этого собственноручно выключаю удалённую машину, и примерно через минуту узел помечается как «Not Ready»:

Воспроизвели нештатную ситуацию, теперь давайте заменять мастер-узел. Прежде всего объявим его нерабочим:

kubectl cordon node1
kubectl drain node1 --ignore-daemonsets

Ключ --ignore-daemonsets обязателен для недоступных узлов. Возможно, консоль подзависнет на команде drain, поэтому можно прервать ожидание (Ctl+C). После этих команд узел перейдёт в состояние NotReady, SchedulingDisabled.

Удалим узел:

kubectl delete node node1

Теперь нужно обновить cluset-info, а именно, указать в поле server актуальный адрес мастер-узла:

kubectl edit cm -n kube-public cluster-info

Я заменил на 185.186.142.53 (node2), так как это единственный на данный момент живой мастер. Напомню, что на каждом мастер-узле ещё и развёрнут etcd-кластер, а это значит, что наша нештатная авария задела и etcd-узел вместе с node1 kubernetes. Поэтому нужно подчистить всю информацию, связанную с etcd-1. На каждом рабочем мастер-узле открываем конфигурацию:

nano /etc/kubernetes/manifests/kube-apiserver.yaml

И удалим нерабочий etcd-узел в строке --etcd-servers. В нашем случае IP-адреса будут одинаковы:

Аналогично, на каждом мастер-узле нужно отредактировать etcd-конфигурацию:

nano /etc/etcd.env

И удалить неактивную etcd-ноду в поле ETCD_INITIAL_CLUSTER:

После актуализации конфигураций последний штрих — это удаление ноды непосредственно из etcd-кластера. Воспользуемся консольной утилитой etcdctl для доступа к кластеру etcd. Эта утилита должна быть установлена на мастер-узлах. Прежде всего посмотрим существующие etcd-узлы:

etcdctl member list --cacert=/etc/ssl/etcd/ssl/ca.pem  --cert=/etc/ssl/etcd/ssl/admin-node2.pem  --key=/etc/ssl/etcd/ssl/admin-node2-key.pem

Вывод будет примерно таким:

Обратите внимание, что ключи --cacert, --cert и --key обязательны, и эти сертификаты уже сгенерированы kubespray и будут лежать в директории /etc/ssl/etcd/ssl/ на каждой машине, где развёрнут etcd-кластер. Теперь удалим из etcd-кластера неактивный узел:

etcdctl member remove 4f211fee4e79e7e7 --cacert=/etc/ssl/etcd/ssl/ca.pem  --cert=/etc/ssl/etcd/ssl/admin-node2.pem  --key=/etc/ssl/etcd/ssl/admin-node2-key.pem

Вывод будет такой:

Можете после этого проверить предыдущей командой, что etcd-узел удалён. И последнее: возвращаемся на локальную машину и удаляем неактивный host из файла hosts.yaml:

nano inventory/k8s/hosts.yaml

Достаточно будет удалить три строчки из children.kube_control_plane.hosts, children.kube_node.hosts и children.etcd.hosts (в all.hosts можно оставить, если потом захотите повторно добавить этот хост в кластер):

all:
  hosts:
    node1:
      ansible_host: 185.186.142.5
      ip: 185.186.142.5
      access_ip: 185.186.142.5
    node2:
      ansible_host: 185.186.142.53
      ip: 185.186.142.53
      access_ip: 185.186.142.53
    node3:
      ansible_host: 46.8.19.144
      ip: 46.8.19.144
      access_ip: 46.8.19.144
    node4:
      ansible_host: 46.8.19.244
      ip: 46.8.19.244
      access_ip: 46.8.19.244
    node5:
      ansible_host: 46.8.19.76
      ip: 46.8.19.76
      access_ip: 46.8.19.76
  children:
    kube_control_plane:
      hosts:
        node2:
    kube_node:
      hosts:
        node2:
        node3:
        node4:
    etcd:
      hosts:
        node2:
        node3:
    k8s_cluster:
      children:
        kube_control_plane:
        kube_node:
    calico_rr:
      hosts: {}

Теперь нужно запустить Ansible-роль актуализации кластера (upgrade-cluster.yml). При вызове этой команды возникнет ошибка чётного количества etcd-серверов. Чтобы эту ошибку проигнорировать, нужно добавить специальный ключ ignore_assert_errors. Команда для запуска роли:

ansible-playbook -i inventory/k8s/hosts.yaml -e ignore_assert_errors=yes upgrade-cluster.yml

После выполнения роли вывод консоли будет такой:

Теперь можно добавлять новый мастер-узел в кластер. Но перед эти подготовить удалённую машину. Я вместо подготовки на node1 (185.186.142.5) накатил снимок ОС с готовым сетапом для установки Kubernetes. Отредактируем hosts.yaml:

nano inventory/k8s/hosts.yaml

Добавим новый host (в моем случае это node1) в all.hosts в разделы children.kube_control_plane.hosts, children.kube_node.hosts и children.etcd.hosts. Надо отметить, что советуют всегда добавлять новый хост в конец списка.

Полный файл hosts.yaml

all:
  hosts:
    node1:
      ansible_host: 185.186.142.5
      ip: 185.186.142.5
      access_ip: 185.186.142.5
    node2:
      ansible_host: 185.186.142.53
      ip: 185.186.142.53
      access_ip: 185.186.142.53
    node3:
      ansible_host: 46.8.19.144
      ip: 46.8.19.144
      access_ip: 46.8.19.144
    node4:
      ansible_host: 46.8.19.244
      ip: 46.8.19.244
      access_ip: 46.8.19.244
    node5:
      ansible_host: 46.8.19.76
      ip: 46.8.19.76
      access_ip: 46.8.19.76
  children:
    kube_control_plane:
      hosts:
        node2:
        node1:
    kube_node:
      hosts:
        node2:
        node3:
        node4:
        node1:
    etcd:
      hosts:
        node2:
        node3:
        node1:
    k8s_cluster:
      children:
        kube_control_plane:
        kube_node:
    calico_rr:
      hosts: {}

Запускаем плейбук cluster.yaml. В ключе --limit указываем etcd и kube_control_plane, тогда при установке работоспособность worker-узлов затронута не будет.

ansible-playbook -i inventory/k8s/hosts.yaml --limit=etcd,kube_control_plane cluster.yml

Готово, мастер-узел успешно добавлен!

Решение возможных проблем

journalctl -n 100 --unit=etcd

"error":"error validating peerURLs {ClusterID:95417c89898c861a Members:[&{ID:5baef32decc40060 RaftAttributes:{PeerURLs:[https://185.186.142.53:2380] IsLearner:false} Attributes:{Name:etcd1 ClientURLs:[https://185.186.142.53:2379]}} &{ID:80fbe9a8863e9bfe RaftAttributes:{PeerURLs:[https://46.8.19.144:2380] IsLearner:false} Attributes:{Name:etcd2 ClientURLs:[https://46.8.19.144:2379]}}] RemovedMemberIDs:[]}: member count is unequal"

nano /etc/etcd.env

etcdctl member add etcd3 --endpoints=185.186.142.53:2379,46.8.19.144:2379 --peer-urls=https://185.186.142.5:2380 --cacert=/etc/ssl/etcd/ssl/ca.pem  --cert=/etc/ssl/etcd/ssl/admin-node3.pem  --key=/etc/ssl/etcd/ssl/admin-node3-key.pem

etcdctl member list --endpoints=185.186.142.53:2379,46.8.19.144:2379  --cacert=/etc/ssl/etcd/ssl/ca.pem  --cert=/etc/ssl/etcd/ssl/admin-node3.pem  --key=/etc/ssl/etcd/ssl/admin-node3-key.pem

etcdctl endpoint health --endpoints=https://185.186.142.53:2379,https://46.8.19.144:2379,https://185.186.142.5:2379  --cacert=/etc/ssl/etcd/ssl/ca.pem  --cert=/etc/ssl/etcd/ssl/admin-node2.pem  --key=/etc/ssl/etcd/ssl/admin-node2-key.pem

ansible-playbook -i inventory/k8s/hosts.yaml --limit=etcd,kube_control_plane cluster.yml

↑

Полезные команды

Вот список полезных команд, которые наверняка понадобятся.

Просмотр журнала логов etcd, kubelet:

journalctl --unit=etcd -n 100
journalctl --unit=kubelet -n 100

Просмотр статуса и перезагрузка службы:

systemctl status kubelet
systemctl restart kubelet

Возможно, понадобится сделать снимок с etcd- узла. Вот рабочий пример:

ETCDCTL_API=3 etcdctl --endpoints https://185.186.142.53:2379 snapshot save snapshot.db --cacert=/etc/ssl/etcd/ssl/ca.pem  --cert=/etc/ssl/etcd/ssl/admin-node2.pem  --key=/etc/ssl/etcd/ssl/admin-node2-key.pem

Мониторинг ресурсов виртуалки:

wget -qO- bench.sh | bash

К оглавлению ↑

А на этом всё. Пишите, если знаете, как бюджетно (и, желательно, просто и без дергающегося глаза) реализовать внешний балансировщик (отказоустойчивый, конечно!). Хочется, чтобы технология была ближе к обычным работягам 🐝, без сложных Enterprise-решений.

Hidden text