Автоматизация для самых маленьких. часть 1.1. основы виртуализации

Содержание:

Технологии и системы
Основные проблемы при работе с VirtualBox
Виртуализация операционных систем
Шаг 4: Весёлая часть
Физический сервер vs VDS
Виртуализация на рабочем месте
VDS
Области применения виртуализации
Объем и динамика рынка NFV
- 2017: данные IDC
Приведите пример виртуализации
VMware vSphere
Заключение
- - Похожие темы

Технологии и системы

OpenVZ
Технология заключается в выполнении различных систем с разными настройками и корневой системой под одним ядром. Данная технология часто используется при предоставлении услуги VDS/VPS. Т.к. ядро по сути одно и тоже, потеря производительности минимальна, но выбор систем ограничивается дистрибутивами linux’а с одним ядром. Существует платный вариант данной системы с большим количеством функций: Virtuozzo.
Xen
В основе лежит технология паравиртуализации. Вкратце: гостевая система специально подготавливается для работы с Xen, и соответственно получается довольно небольшая потеря производительности. В качестве гостевой системы может выступать Linux (ядро гостевой системы может отличатся от ядра основной системы), FreeBSD, NetBSD, OpenBSD, OpenSolaris, Plan 9 и другие. Также возможен запуск практически любой системе через технологии виртуализации Intel/AMD, но нужен процессор с поддержкой данных архитектур. Мой сервер, в отличии от ноутбука как оказалось не поддерживает данные технологии, по этому данный метод виртуализации расcматриваться не будет.
VirtualBOX/VMWare/Qemu и подобные системы эмуляции.
Данные системы обеспечивают эмуляцию, ценой потери производительности, по этому они рассматриваться не будут.

Основные проблемы при работе с VirtualBox

Автоматизация для самых маленьких. часть первая (которая после нулевой). виртуализация сети

VirtualBox – стабильный и качественный программный продукт, и если пользователям приходится сталкиваться с проблемами в процессе его эксплуатации, то причинами последних чаще всего становятся ошибки самих пользователей. Так, с ошибкой «Не удалось открыть сессию для виртуальной машины» (код E_FAIL 0x80004005) придется столкнуться тем, кто попытается запустить виртуальные машины на VirtualBox при активном Hyper-V. Причина заключается в несовместимости этих платформ виртуализации. Если вы собрались пользоваться VirtualBox, будьте добры отключить Hyper-V и наоборот.

Впрочем, к той же ошибке может привести отключенная функция виртуализации в BIOS. На это будет указывать недоступность опций аппаратной виртуализации в настройках виртуальных машин (VT-x/AMD-V и Nested Paging в разделе Система – Ускорение). Кстати, данные опции должны быть включены даже при активной виртуализации в BIOS, в противном случае ВМ также не запустится.

Падение ВМ в BSOD при запуске – распространенная проблема, вызываемая нехваткой выделяемых гостевой операционной системе ресурсов физического компьютера. При создании виртуальной машины в VirtualBox нужно следить, чтобы выделяемые ресурсы соответствовали требованиям операционной системы.

Синий экран смерти также может быть вызван включенной в хостовой системе Hyper-V и несоответствием типов контроллера. Если раньше виртуальный диск был подключен к SATA, а затем вы подключили его к IDE, работа гостевой ОС завершится критической ошибкой с падением в BSOD. Решается вопрос созданием нового совместимого контроллера и подключением к нему файла-контейнера с гостевой системой.

К невозможности запуска ВМ может привести случайное удаление пользователем файлов снимков. Удалять снапшоты нужно правильно – через раздел «Снимки», в противном случае вам придется полностью переустанавливать гостевую систему. Если же у вас не запускается сам VirtualBox или при его запуске выдается ошибка «Cannot access the kernel driver!», скорее всего, программу придется удалить, а потом заново установить.

Виртуализация операционных систем

Сети для самых маленьких. часть четвертая. stp

Для виртуализации операционных систем применяется серия подходов, которые по типу реализации подразделяются на программные и аппаратные.

Программная виртуализация

Динамическая трансляция

При динамической (бинарной) трансляции проблемные команды гостевой операционной системы перехватываются гипервизором. После того как эти команды заменяются на безопасные, происходит возврат управления гостевой системе.

Паравиртуализация

Основная статья: Паравиртуализация

Паравиртуализация — техника виртуализации, при которой гостевые операционные системы подготавливаются для исполнения в виртуализированной среде, для чего их ядро незначительно модифицируется. Операционная система взаимодействует с программой гипервизора, который предоставляет ей гостевой API, вместо использования напрямую таких ресурсов, как таблица страниц памяти.

Метод паравиртуализации позволяет добиться более высокой производительности, чем метод динамической трансляции.

Метод паравиртуализации применим лишь в том случае, если гостевые операционные системы имеют открытые исходные коды, которые можно модифицировать согласно лицензии, или же гипервизор и гостевая операционная система разработаны одним производителем с учётом возможности паравиртуализации гостевой системы (хотя при условии того, что под гипервизором может быть запущен гипервизор более низкого уровня, то и паравиртуализации самого гипервизора).

Впервые термин возник в проекте .

Встроенная виртуализация

Преимущества:

Совместное использование ресурсов несколькими гостевыми операционными системами (каталоги, принтеры и так далее).
Удобство интерфейса для окон приложений из разных систем (перекрывающиеся окна приложений, одинаковая минимизация окон, как в хост-системе).
При тонкой настройке на аппаратную платформу производительность мало отличается от оригинальной операционной системы. Быстрое переключение между системами (менее одной секунды).
Простая процедура обновления гостевой операционной системы.
Двухсторонняя виртуализация (приложения одной системы запускаются в другой и наоборот).

Реализации:

BlueStacks* Multi-OS (MOS).

Аппаратная виртуализация

Основная статья: Аппаратная виртуализация

Преимущества:

Упрощение разработки программных платформ виртуализации за счет предоставления аппаратных интерфейсов управления и поддержки виртуальных гостевых систем. Это уменьшает трудоемкость и время на разработку систем виртуализации.
Возможность увеличения быстродействия платформ виртуализации. Управление виртуальными гостевыми системами осуществляет напрямую небольшой промежуточный слой программного обеспечения, гипервизор, что дает увеличение быстродействия.
Улучшается защищённость, появляется возможность переключения между несколькими запущенными независимыми платформами виртуализации на аппаратном уровне. Каждая из виртуальных машин может работать независимо, в своем пространстве аппаратных ресурсов, полностью изолированно друг от друга. Это позволяет устранить потери быстродействия на поддержание хостовой платформы и увеличить защищенность.
Гостевая система становится не привязана к архитектуре хостовой платформы и к реализации платформы виртуализации. Технология аппаратной виртуализации делает возможным запуск 64-битных гостевых систем на 32-битных хостовых системах (с 32-битными средами виртуализации на хостах).

Технологии:

Режим виртуального 8086 (устарела)
Intel VT (VT-x, Intel Virtualization Technology for x86)
AMD-V

Платформы, использующие аппаратную виртуализацию:

IBM LPAR
VMware
Hyper-V
Xen
KVM
Bhyve

Виртуализация на уровне операционной системы

Виртуализация на уровне операционной системы позволяет запускать изолированные и безопасные виртуальные машины на одном физическом узле, но не позволяет запускать операционные системы с ядрами, отличными от типа ядра базовой операционной системы. При виртуализации на уровне операционной системы не существует отдельного слоя гипервизора. Вместо этого сама хостовая операционная система отвечает за разделение аппаратных ресурсов между несколькими виртуальными машинами и поддержку их независимости друг от друга. Среди реализаций:

Solaris Containers/Zones
FreeBSD Jail
LXC (Linux Containers)
OpenVZ
Virtuozzo
iCore Virtual Accounts

Шаг 4: Весёлая часть

Сети для самых маленьких. часть одиннадцатая. mpls l3vpn

Есть три способа получить ускоренный виртуальный дисплей VM с Windows на экране вашей машины.

VNC или какой-то другой протокол удалённого доступа (обычно это весьма плохое решение). В этом варианте вам нужно только подключить vGPU и отключить все остальные дисплеи и видеокарты. Также выставьте настройку . Вам не нужна опция , показанная позже.
SPICE (у меня не получилось добиться 30 FPS или выше, но работает общий буфер обмена и передача файлов между VM и хостом).
Встроенный интерфейс QEMU на GTK+ (общий буфер обмена и передача файлов не работают, но можно добиться 60 FPS с помощью патча).

Что бы вы ни собирались использовать, вам всё равно придётся использовать второй вариант, чтобы установить драйвера для GPU. Встроенные драйвера от Microsoft не очень хорошо работают с GVT-g на момент написания поста, и часто ломаются. До того, как вы подсоедините vGPU к ВМ, желательно скачать последнюю версию драйвера от Intel(Судя по всему, Intel меняет подход к распространению драйверов, так что в будущем этот шаг, возможно, будет другим, либо станет вообще не нужным). Теперь убедитесь, что у вас создан vGPU. Откройте и замените хороший быстрый QXL на медленный Cirrus во избежание конфликтов. Чтобы подключить vGPU к ВМ, нужно открыть и где-нибудь добавить такой фрагмент:

Замечание: Когда я предоставляю XML-фрагмент вроде этого, вам по возможности следует добавить его к текущему, не заменяя ничего.

Проверьте, что вы создали уникальные UUID для всех vGPU, которые вы используете, и что номера слотов не конфликтуют ни с какими из остальных PCI-устройств. Если номер слота находится после Cirrus GPU, виртуальная машина упадёт. Теперь вы можете запустить виртуальную машину. Нужно установить , чтобы увидеть оба дисплея! Подключиться к ВМ можно с помощью команды

Один из дисплеев будет пустой или не инициализированный, второй — уже знакомый маленький не ускоренный дисплей. Раскройте его и, войдя, установите драйвер для GPU. Если вам повезёт, всё заработает сразу же. В противном случае, надо выключить и снова запустить ВМ (не перезагрузить) с помощью работающего экрана. Теперь самое время открыть терминал и запустить внутри . Эта команда выдаст вам некоторую полезную информацию о проблемах и общем ходе работы с использованием vGPU. Например, при загрузке KVM будет жаловаться на заблокированные MSR, затем вы должны получить несколько сообщений о неправильном доступе, когда vGPU инициализируется. Если их слишком много — что-то не так.

Если система загрузилась, можно открыть настройки дисплея и отключить не ускоренный экран. Пустой экран можно скрыть через меню View в . В принципе, ВМ уже можно использовать, но есть ещё пару вещей, которые можно сделать, чтобы добиться более высокого разрешения и более высокой скорости.

Утилита CRU весьма полезна. Можете поиграться с ней, и даже если вы наткнётесь на какие-то графические артефакты или даже почти целиком чёрный экран, как получилось у меня, вы можете запустить файл , идущий в комплекте с программой, чтобы перезагрузить графическую подсистему Windows. Лично я использую эту утилиту для использования более высокого разрешения на более скромном vGPU.

Чтобы добиться прекрасных 60 FPS, нужно переключиться на встроенный монитор QEMU на GTK+ без поддержки общего буфера обмена с хостом и подобных плюшек, а также изменить в нём одну строчку и пересобрать QEMU. Также понадобится добавить пачку противных аргументов командной строки в ваш XML. Удалите дисплей SPICE и видеокарту Cirrus и установите атрибут у вашего vGPU в (libvirt не поддерживает дисплей на GTK+ и не позволит загрузиться с без дисплея).

Масштабирование для HiDPI у монитора QEMU работает из рук вон плохо, поэтому мы его отключим. Также, вам понадобится установить переменную в тот номер дисплея, который вы используете. Чтобы дать пользователю, запускающему qemu, права доступа к X серверу, используйте команду:

Если это не сработало, попробуйте , но убедитесь, что вы используете файрвол. Иначе попробуйте более безопасный метод.

Если вы потерялись где-то по пути, можете посмотреть мой текущий XML для libvirt.

Физический сервер vs VDS

У каждого из решений есть свои преимущества (если забыть о стоимости). К преимуществам физического сервера можно отнести производительность и большее дисковое пространство.

Как ни крути, хоть производительность виртуального сервера и будет высокой, но она все равно ниже, чем у физического сервера. Это факт. К тому же даже если сравнивать наш физический сервер с самой дорогой конфигурацией VDS, то ты получаешь 44 (300 – 256) Гбайт дополнительного дискового пространства — это довольно ощутимо.

Еще у физического сервера есть преимущество в том, что он физический. Что его можно пощупать. Попробуй шестидесятилетней тетеньке из бухгалтерии объяснить, за что нужно платить 142 тысячи рублей в год. А тут все-таки будет ящик, именуемый сервером.

Зато к преимуществам VDS можно смело отнести простоту обслуживания. Тебе не нужно беспокоиться, что жесткий диск выйдет из строя, — если даже и выйдет, то это проблемы провайдера, а ты сможешь восстановить свою виртуальную машину из бэкапа. О клонировании сервера нажатием одной кнопки я уже молчу — виртуальная машина на то и виртуальная. Тебе не нужно ни о чем заботиться — ни о перепадах напряжения, ни об отключении электричества. Все это проблемы провайдера, которые будет решать именно он.

Модернизировать VDS тоже очень просто: заказал в админке дополнительные ресурсы, и сразу после оплаты они стали доступны. Так, за 1 Мбайт оперативки придется доплатить 0,18 рубля в месяц, а за 1 Мбайт места на диске — 0,02 рубля в месяц. Не нужно останавливать сервер, переносить данные на другой жесткий диск или просто конфигурировать другой жесткий диск. Все очень просто.

VDS ты получаешь сразу после оплаты. Купил — и тут же можешь использовать. С физическим сервером все не так просто. После оплаты его нужно доставить, на что может уйти несколько дней. Затем требуется его настроить — установить операционную систему, задать параметры сервисов.
VDS сразу готов к использованию — залил свой контент, настроил DNS, и твой сайт уже работает.

К тому же в стоимость VDS уже входит один IP-адрес, гарантированный интернет-канал с неограниченным трафиком и пропускной способностью 10 Мбит/с, а также бесперебойное питание. Если первыми двумя плюшками (IP-адрес и интернет) сейчас никого особо не заинтересуешь, то о бесперебойном питании нужно поговорить отдельно.

Виртуализация на рабочем месте

При виртуализации рабочих мест на базе виртуализации приложений несколько приложений объединяются в одно унифицированное цифровое рабочее место. В результате эмулируется целое вычислительное рабочее место на виртуальной машине, что дает приложениям пользователя возможность взаимодействовать таким же образом, как на физической машине. Например, виртуализация рабочих мест дает пользователю возможность вставить таблицу в документ текстового редактора, тогда как в случае традиционной виртуализации приложений виртуализация каждого приложения происходит отдельно, поэтому они не могут взаимодействовать друг с другом.

VDS

Виртуальный выделенный сервер представляет собой сервис, в основе которого используется методика абсолютной виртуализации. Он основывается на отдельной независимой копии ядра ОС. Таким образом, каждый клиент может рассчитывать на получение полного доступа, а также возможность его изменения.

Такая архитектура предоставляет возможность ставить на VDS-хостинг различные ОС (к примеру, Windows). Этим они выгодно отличаются от VPS-серверов. Последние работают лишь с UNIX-системами. В целом, возможности VPS и VDS практически идентичны.

Именно поэтому данные понятия иногда смешиваются и меняются местами. Здесь многое будет зависеть от выбранного провайдера.

Области применения виртуализации

Виртуальные машины

VirtualBox

Основная статья: Виртуальная машина

Виртуальная машина — это окружение, которое представляется для «гостевой» операционной системы, как аппаратное. Однако на самом деле это программное окружение, которое эмулируется программным обеспечением хостовой системы. Эта эмуляция должна быть достаточно надёжной, чтобы драйверы гостевой системы могли стабильно работать. При использовании паравиртуализации, виртуальная машина не эмулирует аппаратное обеспечение, а, вместо этого, предлагает использовать специальный API.

Примеры применения:

Тестовые лаборатории и обучение: тестированию в виртуальных машинах удобно подвергать приложения, влияющие на настройки операционных систем, например инсталляционные приложения. За счёт простоты в развёртывании виртуальных машин, они часто используются для обучения новым продуктам и технологиям.
Распространение предустановленного программного обеспечения: многие разработчики программных продуктов создают готовые образы виртуальных машин с предустановленными продуктами и предоставляют их на бесплатной или коммерческой основе. Такие услуги предоставляют Vmware VMTN или Parallels PTN.

Виртуализация ресурсов

Виртуализация ресурсов (или разделение ресурсов, англ. partitioning) может быть представлена как разделение одного физического узла на несколько частей, каждая из которых видна для владельца в качестве отдельного сервера. Не является технологией виртуальных машин, осуществляется на уровне ядра операционной системы.

В системах с гипервизором второго типа обе операционные системы (гостевая и гипервизора) отнимают физические ресурсы, и требуют отдельного лицензирования. Виртуальные серверы, работающие на уровне ядра ОС, почти не теряют в быстродействии, что дает возможность запускать на одном физическом сервере сотни виртуальных, не требующих дополнительных лицензий.

Дисковое пространство или пропускной канал сети разделены на некоторое количество меньших составляющих, и потому легче используемых ресурсов того же типа.

Например, к реализации разделения ресурсов можно отнести OpenSolaris Network Virtualization and Resource Control (Проект Crossbow), позволяющий создавать несколько виртуальных сетевых интерфейсов на основе одного физического.

Агрегация, распределение или добавление множества ресурсов в большие ресурсы или объединение ресурсов. Например, симметричные мультипроцессорные системы объединяют множество процессоров; RAID и дисковые менеджеры объединяют множество дисков в один большой логический диск; RAID и сетевое оборудование использует множество каналов, объединённых так, чтобы они представлялись, как единый широкополосный канал. На мета-уровне компьютерные кластеры делают все вышеперечисленное. Иногда сюда же относят сетевые файловые системы абстрагированные от хранилищ данных на которых они построены, например, Vmware VMFS, Solaris/OpenSolaris ZFS, NetApp WAFL.

Виртуализация приложений

Виртуализация приложений — процесс использования приложения, преобразованного из требующего установки в операционную систему в не требующее (требуется только запустить). Для виртуализации приложений программное обеспечение виртуализатора определяет при установке виртуализуемого приложения, какие требуются компоненты ОС, и эмулирует их. Таким образом, создаётся необходимая специализированная среда для конкретно этого виртуализируемого приложения и, тем самым, обеспечивается изолированность работы этого приложения. Для создания виртуального приложения виртуализируемое помещается в контейнер, оформленный, как правило, в виде папки. При запуске виртуального приложения запускается виртуализируемое приложение и контейнер, являющийся для него рабочей средой. Рабочая среда запускается и предоставляет локальные ранее созданные ресурсы, которое включает в себя ключи реестра, файлы и другие компоненты, необходимые для запуска и работы приложения. Такая виртуальная среда работает как прослойка между приложением и операционной системой, что позволяет избежать конфликтов между приложениями. Виртуализацию приложений обеспечивают, например, программы Citrix XenApp, SoftGrid и VMware ThinApp.

Достоинства:

изолированность исполнения приложений: отсутствие несовместимостей и конфликтов;
каждый раз в первозданном виде: не загромождается реестр, нет конфигурационных файлов — необходимо для сервера;
меньшие ресурсозатраты по сравнению с эмуляцией всей операционной системы.

Объем и динамика рынка NFV

2017: данные IDC

В августе 2018 года аналитическая компания International Data Corporation (IDC) представила результаты исследования мирового рынка инфраструктуры для виртуализации сетевых функций (NFVI). Расходы на соответствующие оборудование и программное обеспечение в 2017 году достигли $564 млн. Ожидается, что к 2022 году выручка на рынке будет расти на 58,1% ежегодно и составит $5,6 млрд.

По словам экспертов, телекоммуникационным оператором непросто трансформировать инфраструктуру своих сетей, чтобы создавать новые сервисы, получать дополнительные источники доходов и улучшать операционную эффективность. В этих условиях операторы используют программно-определяемые сети (SDN) и развертывают сетевые функции в виртуализированных форм-факторах. Современные телекоммуникационные сети содержат как физическую, так и виртуальную инфраструктуру, используя решения NFV и SDN. Однако к августу 2018 года рынок инфраструктуры для виртуализации сетевых функций только зарождается и готовится к стремительному росту, говорится в докладе.

Рынок инфраструктуры для виртуализации сетевых функций за 2017 год оценили в $564 млн

В IDC, используя предложенные Европейским институтом стандартов телекоммуникаций (ETSI) определения сетевой архитектуры, выделяют на рынке NFVI пять основных сегментов: программно-определяемые вычисления, сетевое взаимодействие, системы хранения данных, управление и оркестрация.

По прогнозам аналитиков, оркестрация будет самым быстрорастущим сегментом благодаря тому, что спрос на такие сервисы растет для организации огромного многообразия сетевых функций — как физических, так и виртуальных — в нескольких вертикальных доменах.

Беспроводная инфраструктура вносит самый большой вклад на рынке NFVI. Следом идет маршрутизация, а 5G-сети стали главным драйвером роста расходов в беспроводную инфраструктуру NFVI.

Переосмысление принципов построения сетей

Приведите пример виртуализации

Вот распространенный сценарий виртуализации: у организации имеется три физических сервера, каждый из которых предназначен для конкретной цели: один поддерживает веб-трафик, второй — электронную почту компании, а третий — корпоративные бизнес-приложения. Поскольку каждый физический сервер используется только для одной цели, скорее всего организация использует лишь треть мощностей каждого сервера, хотя затраты на их техобслуживание оплачиваются на 100%.

Применяя виртуализацию, можно распределить мощности одного из серверов на две виртуальные машины и на треть сократить затраты на техобслуживание. Это означает, что один сервер может обрабатывать трафик электронной почты и Интернета, на втором можно разместить все бизнес-приложения, а третий можно убрать для экономии затрат или использовать для других ИТ-целей.

VMware vSphere

С помощью этого продукта из линейки компании VMware можно объединить
виртуальные системы и построить развитую сетевую инфраструктуру из
виртуальных и физических систем, обеспечив устойчивость и управляемость
всего решения. vSphere помогает сэкономить дисковое пространство и
задействует только необходимые ресурсы, а удобный интерфейс позволяет
централизованно настраивать узлы. Внедряя технологии сетевой работы и
«облачных» вычислений, vSphere позволяет добиться эффективного развития
ИТ-инфраструктуры, обеспечивая разделение физических и логических
компонентов, обособленность приложений и операционных систем.

Сегодня VMware vSphere является одним из самых интересных решений для
виртуализации серверов. Гипервизоры ESX или ESXi, как часть VMware
vSphere, обладают очень интересными возможностями, так как способны
балансировать нагрузку как для систем, развёрнутых на одном сервере, так и
между несколькими серверами. Благодаря общей системе хранения данных
VMware vSphere позволяет перемещать виртуальную машину на другой
физический сервер. Технология Enhanced vMotion позволяет перемещать машины
между системами хранения данных. Компоненты vSphere выполняют
автоматический перезапуск виртуальной машины при выходе из строя
физического сервера. VMware vSphere имеет ряд привлекательных
возможностей, например, быстрое развертывание новых сервисов, упрощенное
резервное копирование и легкое управление инфраструктурой. vSphere Storage
Appliance позволяет объединить дисковые подсистемы нескольких серверов в
один отказоустойчивый ресурс. Все эти характеристики повышают доступность
и безопасность приложений, установленных в виртуальной среде. В
большинстве решений на базе vSphere используется SAN или NAS для
подключения внешних устройств хранения данных, таким образом, что каждая
операционная система распознает все подключенные хранилища данных как
локальные. Чтобы удовлетворять растущим потребностям бизнеса в
ИТ-инфраструктуре VMware vSphere предлагает следующие возможности:

обеспечение высокоскоростными вычислительными сервисами с любого
устройства;
мониторинг и управление всеми важными аспектами инфраструктуры с
любого компьютера в сети;
обеспечение безопасности компонентов инфраструктуры и данных;
масштабирование предоставляемых ресурсов, путем выделения
дополнительных серверов и пропускной способности сети;
управление системой с большим количеством вычислительных запросов;
централизованное управление приложениями.

Заключение

Раньше любое используемое устройство обязано было существовать в реальности. Но сегодня, в нашем виртуализированном мире, физические устройства и службы постепенно исчезают из поля зрения. Физические сети виртуально разделяются на отдельные фрагменты, обеспечивая изоляцию трафика и создание виртуальных сетей между географическими разделенными регионами. Приложения вытесняются готовыми виртуальными устройствами, которые распределяются между высокопроизводительными серверами, что усложняет обязанности администратора, но повышает гибкость и управляемость разработанных решений. И, конечно, Linux находится «на передовой» разработки и применения технологий виртуализации.