Zabbix agent установка и настройка

Введение или что нового в zabbix 3.2

Начнем, как обычно, с рассмотрения наиболее интересных и полезных нововведений. Вот список наиболее значимых из них с моей точки зрения, с учетом моего опыта использования заббикса:

У триггеров появилось новое поле для тэгов. По тэгам их теперь можно будет группировать. Думаю, это полезно будет практически всем. Хорошее нововведение, о котором я даже не задумывался раньше.

Проблемы можно будет закрывать вручную. А вот этого я очень ждал. Иногда висит какая-то проблема. Ты о ней уже давно знаешь, но не можешь по тем или иным причинам исправить. Нужно либо триггер отключать, любо исправлять. Теперь проблему можно будет просто закрыть.

Вложенные группы узлов

Буквально недавно обратил внимание на это ограничение, когда строил очень распределенную структуру. Оказалось, что группу в группе создать нельзя

Мне было очень неудобно из-за этого, пришлось придумывать коды в названиях групп, чтобы как-то размечать их. Теперь группы могут быть вложенными.

Появилась совершенно новая страничка с проблемами. На мой взгляд получилось удобно и функционально. Классное нововведение.

Новое условие закрытия триггера. Тоже полезное нововведенеие, сейчас расскажу, о чем речь. К примеру, у вас стоит оповещение — при превышении 85-ти градусов температуры процессора идет уведомление о проблеме. Если у вас температура будет прыгать в районе 83-87 вы будете постоянно получать уведомления об открытии и закрытии проблемы. Теперь можно установить в триггере, что он считается закрытым, только если температура упала ниже 75.

Просмотр автоматически созданных элементов данных и работа с ними как с обычными элементами. Удобная штука, которая позволит быстро очистить хост от лишнего мусора, например в виндовом шаблоне в автообнаруженных сетевых интерфейсах.

Там много разных нововведений, я отметил лишь те, что показались удобными мне. Подробнее со списком изменений можно познакомиться в официальной документации. Перейдем непосредственно к обновлению. Делать будем по той же схеме, что и раньше, при обновлении с 2.4 до 3.0.

Установка обновления zabbix 3.4 до 4.0

Centos 7

Устанавливаем само обновление zabbix на сервер Centos 7 следующей командой:

# yum upgrade zabbix-server-mysql zabbix-web-mysql zabbix-agent

Это список программ заббикса для общего случая. Если у вас установлено что-то еще, лучше обновить все сразу. Посмотреть список установленных пакетов zabbix можно командой:

# rpm -qa | grep zabbix
zabbix-web-mysql-3.4.13-1.el7.noarch
zabbix-server-mysql-3.4.13-1.el7.x86_64
zabbix-release-3.4-2.el7.noarch
zabbix-agent-3.4.13-1.el7.x86_64
zabbix-web-3.4.13-1.el7.noarch
zabbix-get-3.4.12-1.el7.x86_64
zabbix-sender-3.4.12-1.el7.x86_64

В моем случае есть еще пакеты zabbix-get и zabbix-sender. Обновляем все сразу:

# yum upgrade zabbix-server-mysql zabbix-web-mysql zabbix-agent zabbix-get zabbix-sender

Debian 9/Ubuntu 18

Устанавливаем само обновление zabbix на сервер с Debian или Ubuntu следующей командой:

# apt-get install --only-upgrade zabbix-server-mysql zabbix-frontend-php zabbix-agent

Дальше инструкция общая для всех систем. После завершения обновления, запускаем сервер:

# systemctl start zabbix-server

В момент запуска произойдет обновление базы данных. Для маленькой базы (1-2 гб) это не займет много времени. Вы можете даже не заметить процесса. Если база больше, то надо подождать, пока не закончится обновление. Следить за ним можно с помощью просмотра лог файла zabbix сервера.

# tail -f /var/log/zabbix/zabbix_server.log

После завершения обновления базы, сервер запустится. После этого можно запустить и агент.

# systemctl start zabbix-agent

В логах агента и сервера можно посмотреть версию запущенных сервисов.

Starting Zabbix Agent . Zabbix 4.0.0 (revision 85308).
Starting Zabbix Server. Zabbix 4.0.0 (revision 85308).

Теперь можно идти в веб интерфейс и смотреть на обновленную версию zabbix server. Перед этим почистите кэш браузера и удалите куки от страницы заббикса. Если этого не сделать, то могут быть проблемы и ошибки, с чем я не раз сталкивался.

В веб интерфейса в самом низу будет показана текущая версия сервера:

Можете знакомиться с нововведениями и брать их на вооружение.

Установка Zabbix agent на XigmaNAS

Открываем доступ пользователю Root по SSH в веб панели управления и заходим стандартными командами для подключения по ssh.

ssh root@192.168.0.108
root@192.168.0.108's password: вводим пароль
Last login: Fri Jul 12 22:09:31 2019
Welcome to XigmaNAS!
nas: ~#

Еmbedded версия XigmaNAS

Обновляем пакеты:

pkg update

Выводим список всех возможных пакетов Zabbix:

pkg search zabbix

На момент написания статьи актуальная версия была 4.2.4:

pkg install zabbix42-agent-4.2.4

Активируем сервис как службу:

sysrc zabbix_agentd_enable=YES

Копируем конфигурационный файл настройки агента и открываем его для редактирования:

cp /usr/local/etc/zabbix42/zabbix_agentd.conf.sample /usr/local/etc/zabbix42/zabbix_agentd.conf
ee /usr/local/etc/zabbix42/zabbix_agentd.conf
= необходимые параметры c пояснениями = 
Server=192.168.0.109 # IP адрес сервера Zabbix
ServerActive=192.168.0.109 # IP сервера Zabbix на который активный агент будет отправлять данные 
Hostname=test # имя узла мониторинга, которое указано на сервере zabbix

Сохраняем файл и запускаем агент Zabbix:

service zabbix_agentd start

Для проверки смотрими логи выполнив команду:

tail -f /tmp/zabbix_agentd.log
= вывод команды =
2466:20190717:212904.511 IPv6 support: YES 
2466:20190717:212904.511 TLS support: YES 
2466:20190717:212904.511 **************************
2466:20190717:212904.511 using configuration file: /usr/local/etc/zabbix42/zabbix_agentd.conf 
2466:20190717:212904.513 agent #0 started 
2467:20190717:212904.517 agent #1 started 
2469:20190717:212904.542 agent #3 started 
2468:20190717:212904.557 agent #2 started 
2470:20190717:212904.565 agent #4 started 
2471:20190717:212904.572 agent #5 started 

Проверить статус можно следующей командой:

service zabbix_agentd status
= вывод команды =
zabbix_agentd is running as pid 1812.

Full версия XigmaNAS

При использовании full версии после перезагрузки агент не запуститься и при попытке запустить в ручном режиме выдаст ошибку.

service zabbix_agentd start
= вывод команды =
zabbix_agentd : user zabbix does not exist
zabbix_agentd : cannot run as root!

Ошибка говорит о том что пользователя Zabbix нет. Добавлять пользователя через консоль используя стандартные команды для FreeBSD не получится. Работать с пользователями и группами вы сможете только используя веб панель управления.

Добавте пользователя и группу Zаbbix через веб панель управления XigmaNAS. При добавлении пользователя обязательно сделайте ему домашней папку /var/run/zabbix.

В консоли из под пользователя root дайте необходимые права на папку с программой и лог файл:

chown -R zabbix:zabbix /var/run/zabbix
chown zabbix:zabbix /tmp/zabbix_agentd.log

После этого служба будет нормально стартовать после перезагрузки.

service zabbix_agentd start
= ошибка при отсутствии прав на лог файл =
zabbix_agentd : cannot open "/tmp/zabbix_agentd.log":  Permission denied

Установка сервера Zabbix 3.0

Подключаем официальный репозиторий 3.0:

# rpm -ivh http://repo.zabbix.com/zabbix/3.0/rhel/7/x86_64/zabbix-release-3.0-1.el7.noarch.rpm

Устанавливаем Zabbix сервер с веб-интерфейсом и с базой данных MySQL:

# yum install -y zabbix-server-mysql zabbix-web-mysql

Дожидаемся окончания загрузки всех зависимостей. После этого нужно создать пользователя и базу данных для мониторинга. Если вы ранее настраивали отдельно web сервер по моей статье, то можете сделать это через phpmyadmin. Если у вас его нет, то делаем все через консоль.

# mysql -uroot -ptopsecret
> create database zabbix character set utf8 collate utf8_bin;
> grant all privileges on zabbix.* to zabbix@localhost identified by 'zabpassword';
topsecret пароль пользователя root mysql, это не системный root
zabpassword пароль пользователя zabbix, у которого полный доступ к базе mysql zabbix

Теперь импортируем схему БД и начальные данные.

# zcat /usr/share/doc/zabbix-server-mysql-3.0.1/create.sql.gz | mysql -uroot -ptopsecret zabbix

Обращаю внимание на выделенный путь. Возможно, путь будет другой, когда вы будете устанавливать, так как выйдет новая версия

Имейте это ввиду.

Теперь редактируем файл конфигурации сервера заббикс. Прописываем данные для подключения к БД.

# mcedit /etc/zabbix/zabbix_server.conf

Изменяем строки:

DBHost=localhost
DBName=zabbix
DBUser=zabbix
DBPassword=zabpassword

Этих минимальных настроек достаточно, для работы сервера. Запускаем его и добавляем в автозагрузку.

# systemctl enable zabbix-server
# systemctl start zabbix-server

Проверяем лог файл на наличие ошибок.

# cat /var/log/zabbix/zabbix_server.log

Если у вас так же, значит все в порядке. Сервер штатно запустился и готов к работе.

Для продолжения настройки сервера, нам нужно зайти в web интерфейс. Перед этим отредактируем файл конфигурации web сервера. Открываем конфиг и раскомментируем одну строку, изменив ее под свой часовой пояс.

# mcedit /etc/httpd/conf.d/zabbix.conf

php_value date.timezone Europe/Moscow

Сохраняем файл. Теперь запускаем httpd и добавляем его в автозагрузку.

# systemctl start httpd
# systemctl enable httpd

Можно заходить на веб интерфейс по адресу http://192.168.1.25/zabbix, где 192.168.1.25 ip адрес сервера, где устанавливаем и настраиваем мониторинг.

На этом этапе важно проверить настройки firewalld. Если вы его не настраивали и не отключали, то скорее всего по указанному адресу у вас ничего не откроется

В данной статье я не буду отвлекаться на настройку фаервола, это тема отдельного разговора. Подробно вопрос настройки iptables я рассмотрел отдельно. Либо настройте firewalld, либо просто отключите. В приведенной ссылке рассказано, как это сделать.

Открываем в браузере web интерфейс zabbix. Нас встречает страница приветствия. Если у вас то же самое, вы на верном пути.

Жмем Next step и попадаем на страницу проверок. Если все делали точно по инструкции, то все проверки у вас будут пройдены.

Двигаемся дальше и указываем параметры для подключения к mysql. Данные те же, что мы указывали ранее при создании БД и пользователя.

На следующем этапе надо указать адрес сервера и порт, на котором он будет работать. Оставляем значения по-умолчанию.

Еше раз проверяем все настройки. Если все в порядке, двигаемся дальше на заключительный этап установки.

Если поучили это сообщение, то поздравляю, установка сервера мониторинга Zabbix 3.0 закончена.

Нажимаете Finish и попадаете на страницу логина в систему. Данные по умолчанию следующие:

Пользователь Admin
Пароль zabbix

Нас встречает голая панель управления, так как никаких параметров мы не наблюдаем и не имеем ни одного объекта сбора данных.

Обращаю внимание на данный скриншот. Я устанавливал и затем заходил в панель через IE 11

Здесь можно увидеть, что реально я не залогинился админом, а зашел как гость, так как нет некоторых разделов администратора. Я несколько раз перепроверил, почистил темпы, перезапустил браузер, но ничего не помогло. Я не мог войти в систему под админом, хотя использовал админскую учетку. Все стало в порядке, когда я зашел через Chrome. Имейте это ввиду. В прошлом релизе 2.4 я не мог нормально провести установку через Yandex браузер, тут же ошибка в IE, хотя я специально использовал его, так как думал, что в нем вероятность ошибки будет меньше. Я ошибся.

Сбор данных мы настроим чуть позже, установив zabbix агент на этот же сервер. А пока сделаем некоторые минимальные и необходимые настройки на сервере.

Rebuilding a package from source in Debian and derivatives (Mepis, Mint, Ubuntu)

This guide addresses the following scenarios

  1. You are using Debian stable, and want to rebuild from source to change some default options
  2. You are using Debian stable, and want to use the version in testing or unstable
  3. You want to build a deb package from upstream sources
  4. Alternatives to the official Debian packaging system

The rest of the guide will assume the commands are being run by a non-root user with sudo access

   $ sudo -l
  • Install the required infrastructure for building, recompiling and packaging
   $ sudo aptitude install build-essential devscripts quilt

1. You are using Debian stable, and want to rebuild the sources

Create a temporary directory to work in

   $ mkdir ~/temp && cd ~/temp

Get the source package

   $ apt-get source zabbix

or alternatively (if you don’t have a deb-src line in your sources.list
pointing to the stable release), you can get the .dsc file from the web,
for current stable this would be

  1. fetch the sources from the repositories
  2. validate the cryptographic signature of the package
  3. apply all distro specific patches

Check the debian/rules makefile

   $ cd zabbix*
   $ vi debian/rules

This is the main makefile for the packaging process, here you can review
optional configure options, and can also enable/disable features regarding
all the packages that will be built (server, agent, proxy)

Review the patches with quilt

Let’s suppose you are interested in one or more of the distro patches
not being applied. To check what patches are available in the sources, use

   $ quilt series

Check for the already applied patches (at this stage the list should be identical)

   $ quilt applied

Revert all the patches

   $ quilt pop -a

Optionally remove the unwanted ones

   $ quilt delete -r $patch_name

Apply the rest of the patches

   $ quilt push -a

Install the dependencies of the package you are going to recompile

   $ apt-get build-dep zabbix

Optionally tag the package

   $ dch -l +local 'Rebuilt from sources'

Check the dch manpage if you need to add a more elaborated changelog entry.

Finally, recompile the package

   $ debuild -us -uc

After the process, outside the zabbix-* directory, you will find the deb
packages you just compiled, ready to install

   $ sudo dpkg -i $deb_package

2. You are using Debian stable, and want to use the version in testing or unstable

The following precautions apply

  • The package might not build for you at all
  • In order to build it might need updated dependencies
  • In order to build it might need additional packages
  • The packaging layout might have changed

The process is the same as rebuilding for the stable release, with the
exception of the source package, which can be obtained either from apt
repositories using a line like this in your sources.list (note, only one of the
two alternatives)

or again, using the web

An extra precaution would be tagging the packages to ease identification in
case uninstallation is needed.

   $ dch -l ~local 'Sid backport'

The rest of the process is identical, and the result will be backported
packages that can be installed along the rest.

3. You want to build a deb package from upstream sources

After this, all the patches in the debian/patches must be reviewed in order to
determine if they still are useful or have to be discarded. Use quilt as described
above. Finish the recompile process tagging

   $ dch -l ~local 'Upstream packaging'

rebuilding

   $ debuild -us -uc

and installing

   $ sudo dpkg -i $deb_package

the package(s).

4. Alternatives to the official Debian packaging system

Some people find the Debian packaging system excessively complicated but still
want to benefit from the advantages of using a packaged software. Some projects
exist that try to address this situation. A list is given here, but the
details of using these tools is left as an exercise for the reader.

David Sastre Medina, 2013

d.sastre.medina<at>gmail.com

dawud on freenode.net IRC

This page has been written using the RPM howto as a template. Thanks, Volter.
Please help improving this page with comments, suggestions and corrections.

Установка zabbix агент на Windows и настройка мониторинга

Теперь для полноты картины добавим к серверу один агент, установленный на windows машину и настроим ее мониторинг. Для этого идем на страницу загрузок http://www.zabbix.com/download.php и скачиваем самый последний агент для Windows. Все агенты находятся в разделе Zabbix pre-compiled agents. Прямая ссылка на последнюю версию на момент написания статьи — zabbix_agents_3.4.0.win.zip

Распаковываем архив. Создаем на диске С: папку zabbix и копируем туда следующие файлы:

  • zabbix_agentd.exe
  • zabbix_get.exe
  • zabbix_sender.exe
  • zabbix_agentd.win.conf

Исполняемые файлы берите той разрядности, какая у вас в системе. В исходном архиве есть как x32 так и x64. Дальше открываем командную строку с правами администратора и выполняем следующую команду для установки zabbix agent на windows:

c:/zabbix/zabbix_agentd.exe --config c:/zabbix/zabbix_agentd.win.conf --install

Открываем файл zabbix_agentd.win.conf любым текстовым редактором и изменяем следующие параметры:

LogFile=c:\zabbix\zabbix_agentd.log
Server=10.1.4.81
ServerActive=10.1.4.81
Hostname=win7-01

Теперь открываем оснастку со службами, ищем службу с именем Zabbix agent и запускаем ее.

Не забываем создать разрешающее правило в «Брандмауэре Windows». Брандмауэр Защитника Windows – Дополнительные параметры – Правило для входящих подключений – Создать правило.

  • Тип правила: Для порта;
  • Протоколы и порты: Протокол TCP; Определенные локальные порты: 10050;
  • Действие: Разрешить подключение;
  • Профиль (ставим галочки): Доменный, Частный, Публичный;
  • Имя: Zabbix Agent;

Чтобы работал мониторинг windows машины, нужно добавить на сервер мониторинга host с таким же hostname, что мы указали в конфиге агента. Для этого идем в web панель, открываем раздел Configuration -> Hosts и жмем Create host.

На первой вкладке указываем имя хоста, такое же, как на клиенте, добавляем в любую существующую группу и задаем ip адрес компьютера.

Потом переходим на вкладку Templates и нажимаем Select. Выбираем шаблон Template OS Windows и жмем маленькую ссылку Add, затем большую.

Новый host мониторинга добавлен, осталось подождать несколько минут свежих данных. Проверить их можно там, где и раньше, в Latest data, выбрав новый хост.

На этом установка и настройка мониторинга windows с помощью zabbix agent закончена. Можно добавлять новые компьютеры с разными версиями windows. Одна и та же версия агента подходит для всех, и десктопных, и серверных систем.

Step 2 – Configure Apt Repository

Before installing Zabbix first configure Zabbix package repository in your system using following commands. Use commands as per your operating system.

## For Debian 10:

wget https://repo.zabbix.com/zabbix/4.0/debian/pool/main/z/zabbix-release/zabbix-release_4.0-3+buster_all.deb
sudo dpkg -i zabbix-release_4.0-3+buster_all.deb

## For Debian 9:

wget https://repo.zabbix.com/zabbix/4.0/debian/pool/main/z/zabbix-release/zabbix-release_4.0-3+stretch_all.deb
sudo dpkg -i zabbix-release_4.0-3+stretch_all.deb

## For Debian 8:

wget https://repo.zabbix.com/zabbix/4.0/debian/pool/main/z/zabbix-release/zabbix-release_4.0-3+jessie_all.deb
sudo dpkg -i zabbix-release_4.0-3+jessie_all.deb

Step 7 – Run Zabbix Web Installer

Zabbix web installer can be accessed on subdirectory URL on your servers IP or domain. For example, host.tecadmin.net is pointed to my Zabbix server. Now access the Zabbix using the following URL. You must change FQDN as per your setup.

http://host.tecadmin.net/zabbix/

and follow the steps as per given screenshots below.

This is the welcome screen of Zabbix web installer. Go forward by click on next button.

Check if your system has all required packages, if everything is ok click next.

Enter database details created in Step #4 and click next to continue.

Zabbix Server Details

This is the host and port of running Zabbix server. As your Zabbix server is running on the same host, so keep the values unchanged. You can give a name for your instance.

In this step will show the summary you have entered the previous steps, so simply click next.

Install Zabbix

If everything goes correctly, you will see a successful installation message on this page. This will also show you a message for the created configuration file.

Zabbix Login Screen

Login to Zabbix using default credentials.

 Username:  Admin
 Password:  zabbix

After successful login, You will get Zabbix dashboard like below.

Congratulation! Your Zabbix setup has been completed. Read our next article to Install Zabbix Agent and Add Host in Zabbix Server.

Step 4 – Create Database Schema

Now create a database schema for your Zabbix server. Login to your MySQL server using administrative privileges and use the following queries to create MySQL database and user for the Zabbix server.

mysql -u root -p

mysql> CREATE DATABASE zabbixdb character set utf8 collate utf8_bin;
mysql> CREATE USER 'zabbix'@'localhost' IDENTIFIED BY 'password';
mysql> GRANT ALL PRIVILEGES ON zabbixdb.* TO 'zabbix'@'localhost' WITH GRANT OPTION;
mysql> FLUSH PRIVILEGES;

Also, load the Zabbix database schema to the database created above.

cd /usr/share/doc/zabbix-server-mysql
zcat create.sql.gz | mysql -u zabbix -p zabbixdb

Описание работы простых проверок (simple check)

Стал искать материал на эту тему и прочитал про simple check (простые проверки) в zabbix. Оказалось, это то, что нужно. Их можно использовать для безагентских проверок удаленных сервисов. При этом требуется минимум настроек и только на сервере. Можно создать шаблон и распространить на любое количество хостов.

Принцип работы простых проверок следующий. Вы создаете item, в нем указываете тип simple check, в качестве ключа выбираете net.tcp.service, указываете соответствующие параметры в скобках и все. Сервер сам начинает опрашивать указанный сервис и возвращать в зависимости от его доступности или 1. Устанавливать агент на хост не нужно. Мониторить можно любую сетевую службу, к которой есть доступ по tcp.

Возвращаемые значения net.tcp.service
сервис недоступен
1 сервис работает

Всего в простых проверках доступны 5 ключей. Подробнее о них читайте в документации. В данном случае меня будет интересовать только ключ net.tcp.service. В нем предопределены алгоритмы проверок следующих служб: ssh, ntp, ldap, smtp, ftp, http, pop, nntp, imap, https, telnet. Детали реализации проверки каждой службы описаны тут. Если вы мониторите службу, которая не входит в указанный выше список, то происходит просто проверка возможности подключения, без отправки и получения каких-то данных.

Подготовка сервера к установке

Начинаем традиционно с подготовки рабочего окружения. Первым делом вам необходимо установить и настроить сервер CentOS 7. Дальше нам нужно настроить web сервер для работы интерфейса управления. У меня есть подробный материал на тему настройки web сервера на centos 7, можете ознакомиться с ним и настроить внимательно и осмысленно. Далее я буду просто приводить команды установки, без пояснений. В этой статье я буду делать стандартную установку Zabbix на традиционный веб сервер apache + php. Если вы хотите, чтобы ваш заббикс работал на веб сервере nginx + php-fpm, читайте отдельный материал по установке zabbix на nginx и php-fpm.

# yum update

Работа будет проходить на следующей версии CentOS:

Отключаем SElinux. Любителям с ним повозиться, дальше можно не читать. Не люблю споров на тему SElinux. Каждый сам решает для себя в конкретной ситуации, нужен он ему на сервере или нет. Я не вижу смысла с ним заморачиваться на сервере мониторинга в локальной сети.

# mcedit /etc/sysconfig/selinux

Редактируем строку:

SELINUX=disabled

и выполняем команду:

# setenforce 0

Теперь установим mariadb. Ее необходимо ставить отдельно, почему-то она не устанавливается как необходимая зависимость при установке самого сервере zabbix.

На всякий случай упомяну для тех, кто не знает, что такое mariadb и почему мы ставим ее, а не mysql. Mariadb — ответвление mysql. Они полностью совместимы, возможен в любой момент переход с одной субд на другую и обратно. Есть информация, что mariadb пошустрее работает mysql и люди потихоньку перебираются на нее. Разработчики CentOS начиная с версии 7 и Debian, начиная с 9-й предлагают ее как сервер баз данных по-умолчанию.

# yum install mariadb mariadb-server

Запускаем mariadb и добавляем ее в автозагрузку:

# systemctl start mariadb
# systemctl enable mariadb.service

Отрабатываем скрипт первоначальной настройки mysql:

# /usr/bin/mysql_secure_installation

Все подготовительные работы выполнены, двигаемся дальше.

Заключение

Сразу после обновления я проверил некоторые новые функции. Отредактировал триггеры в шаблонах, в которых хочу вручную закрывать проблемы. Этот функционал начинает работать только, если разрешен в свойствах триггера. Пробежался по другому функционалу. Надо теперь подумать, как использовать тэги, чтобы сделать работу с системой более удобной.

В общем, есть над чем подумать. Спасибо разработчикам за полезное обновление. Для меня система мониторинга zabbix вне конкуренции. Бесплатный и при этом очень качественный продукт, с которым приятно работать. Очень жду изменения внешнего вида графиков. Выглядят они архаично и не современно, обновление напрашивается, и разработчики об этом знают.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *