Пандемия COVID-19 привела к значительным изменениям в повседневной жизни и способах работы людей. Многие компании и предприятия пересмотрели свои бизнес-процессы и стали больше зависеть от цифровых технологий и онлайн-связи в своей деятельности. Это в свою очередь увеличило потребность в центрах обработки данных (ЦОД), которые играют важную роль в обеспечении надежной работы онлайн-сервисов, хранении данных и обмене информацией. Как следствие, расширение ЦОД стало необходимым для обеспечения бизнес-сегмента быстрым доступом к нужной информации и удовлетворения растущей потребности в цифровой инфраструктуре.
Рост цифровой экономики, которая подпитывалась новыми технологиями и постоянным увеличением объёмов данных, уже много лет создаёт значительное давление на инфраструктуру центров обработки данных (ЦОД). Исследования показывают, что в период между 2010 и 2019 годами произошло удвоение площади и мощности ЦОД, и такой же рост будет ожидаемым явлением в следующем десятилетии.
Однако пандемия COVID-19 ускорила этот процесс, так как изменила образ жизни и способ работы людей, а также способ ведения бизнеса в масштабах всего мира. Это привело к увеличению потребности в дополнительной мощности дата-центров для поддержки удалённых ИТ-решений, электронной коммерции, видеостриминга, онлайн-игр и различных приложений, включая телемедицину, дистанционное образование и совместную работу по сети. Для удовлетворения этих потребностей, ЦОД сейчас активно расширяются и сосредотачиваются на обеспечении связи с малой задержкой для более эффективной работы.
Сверхкрупные и крупные облачные центры обработки данных зачастую первыми внедряют новые технологии и формируют стандарты для проектирования и развёртывания дата-центров. Как следствие их методы и практики применяются повсеместно.
Сейчас внутри этих пространств наблюдаются тенденции в области связи, которые подтверждают необходимость быстрого и экономичного увеличения мощности в ответ на развивающиеся технологии и растущий спрос на высокоскоростную работу с низкой задержкой в изменённом после пандемии COVID-19 мире цифровой экономики.
В последнее время предприятия начинают пересматривать свои подходы к облачным решениям и осознают, что экономичные гиперконвергентные решения (подход к построению информационных систем, при котором вычислительные, сетевые ресурсы и хранилище данных интегрируются в единый программно-управляемый пакет или платформу), которые становятся все более популярными, позволяют им следовать практикам гипермасштабных компаний. Для этого им важно выбрать правильную архитектуру, топологию развёртывания сети и компоненты. В этом контексте, отказ от прямых соединений точка-точка и переход к структурированной кабельной системе, которая является гибкой и основана на стандартах, становится логичным шагом.
Новые нормы фокусируются на подключениях с малой задержкой
Изначально, новые технологии, такие как Интернет вещей/Промышленный Интернет вещей (IoT/IIoT) и сети 5G, а также автономные (беспилотные) автомобили, виртуальная и дополненная реальность, искусственный интеллект (AI), машинное взаимодействие (M2M) и продвинутая аналитика данных, уже стимулировали расширение центров обработки данных. Однако пандемия COVID-19 ещё сильнее подчеркнула важность снижения задержки в сети, то есть времени, необходимого для передачи и обработки данных.
Низкая задержка в сетях передачи данных стала ключевым элементом для обеспечения связи с внешним миром и готовности к внедрению новых цифровых технологий. Это подтверждается значительным увеличением использования интернета, с особенно высокими пиками активности в потоковой передаче видео, электронной коммерции и онлайн-играх. Например, такие сервисы, как Netflix и YouTube, были вынуждены снизить качество видео, чтобы справиться с высокой нагрузкой на сеть. Поставщики облачных сервисов, такие как Amazon Web Services (AWS) и Microsoft Azure, работали на пределе, чтобы ввести в строй дополнительные сервера, причём всё это происходило при соблюдении социальной дистанции в 2 метра (инженеры почти не контактировали друг с другом).
В течение локдаунов во время пандемии COVID-19, предприятия как в государственном, так и в частном секторе столкнулись с необходимостью быстро адаптироваться и перейти к полностью цифровому формату работы. Это было необходимо для обеспечения работоспособности сотрудников на удалёнке. При этом они должны были предоставить пользователям доступ к таким вещам, как телемедицина, дистанционное обучение, онлайн-заказы продуктов с доставкой, видеоконференции, ведение продаж в Сети и виртуальные мероприятия.
Для обеспечения такого рода работы и обслуживания клиентов предприятия были вынуждены быстро увеличить пропускную способность своих информационных систем и минимизировать время простоя. Это достигалось, в частности, с использованием виртуальных частных сетей (VPN) и возможностей удаленного доступа. Кстати, VPN предоставляют защищённое соединение, что позволяет сотрудникам работать удалённо, но при этом сохраняет конфиденциальность и безопасность данных.
Согласно отчётам, использование VPN в США значительно увеличилось с начала пандемии, что свидетельствует о росте необходимости обеспечения безопасного и надёжного удалённого доступа к информационным ресурсам компаний.
«В результате недавней пандемии возрос спрос на мощность центров обработки данных, производительность сети и защиту данных», — говорит Венди Стюарт, вице-президент по продажам в компании Databank (поставщик услуг ЦОД корпоративного класса, облачных технологий и межсетевых соединений с дата-центрами по всей территории США). «Стремление к увеличению мощности центров обработки данных отчасти является результатом того, что компаниям нужна дополнительная инфраструктура для поддержки постоянного спроса на удалённую жизнь — работу, учебу и отдых. Компании не только удовлетворяют свои текущие потребности, но и планируют будущее, которое будет состоять из более территориально распределенной и виртуальной жизни, что потребует большего внимания к бесперебойной работе, масштабируемости, географическому разнообразию и безопасности».
Пандемия COVID-19 оказала несомненное влияние на центры обработки данных разных типов и размеров. Она создала огромное давление на существующую ИТ-инфраструктуру, и управляющим дата-центрами компаниям пришлось в спешном порядке расширять их мощности, обеспечивая при этом высокоскоростную полосу пропускания с низкой задержкой для максимального времени безотказной работы.
Как правило, задержки возникают из-за нескольких факторов, включая расстояние, которое данные должны пройти данные, количество сетевых узлов и ограниченную пропускную способность. Ранее задержка считалась всего лишь раздражающим фактором - будь то загрузка веб страницы за 10 секунд, случайные задержки в онлайн игре или буферизация потокового видео. Однако теперь такая задержка попросту неприемлема для новых технологий и приложений, которые стали очень важными в эпоху COVID-19.
Это связано с рядом инновационных технологий и их требований. Такие технологии нуждаются в высокой пропускной способности и минимальной задержке для обеспечения надёжной и эффективной работы. Рассмотрим следующие нововведения и требования к ним:
- беспилотным автомобилям и M2M-коммуникациям требуется миллисекундная задержка в передаче сигнала;
- для бизнеса недопустима задержка, вызывающая постоянные обрывы в онлайн-видеоконференциях с клиентами;
- медицинские работники и преподаватели должны быть четко видны во время дистанционного обучения и сеансов телемедицины;
- индустрия развлечений должна обеспечить бесперебойную и непрерывную работу виртуальных мероприятий, потокового видео и онлайн - игр.
«Из-за COVID-19 многие клиенты наших центров обработки данных сталкиваются с проблемами, связанными либо с необходимостью быстрого расширения, либо с новой реальностью удалённой работы», — рассказал Майк Петерсон, директор по управлению продуктами и взаимосвязям компании Flexential (поставщика услуг ЦОД, колокейшн, облачных решений и защиты данных с 30 дата-центрами по всей территории США. «VPN перегружены трафиком, пропускная способность исчерпывается, а устаревшие коммутируемые сети используются в способах, которые не предполагались при их создании. Компании начинают понимать, что традиционный централизованный подход приводит к проблемам с задержками. Использование оптимизированной сетевой архитектуры с сетевыми концентраторами рядом с пользователями, как внутренними, так и внешними, позволяет принимать решения о трафике ближе к периферии и приводит к повышению производительности сети и снижению задержек».
Отказ от облака
Крупные облачные центры обработки данных используют определённые архитектурные решения, схемы подключения (топологии) и компоненты, которые обеспечивают быстрые сетевые соединения с высокой пропускной способностью и низкой задержкой. Эти решения позволяют им справляться с увеличившимся трафиком, потоковым видео, электронной коммерцией и онлайн-играми, поддерживая при этом масштабирование. Стриминговые сервисы, такие как Netflix и Hulu, используют общедоступное облачное решение AWS для значительной части своей деятельности по обработке данных. Эти дата-центры также сыграли важную роль в обеспечении непрерывности бизнес-процессов предприятий во время пандемии, поддерживая работу облачных платформ, таких как Zoom, Microsoft 360, Salesforce, DocuSign и других. Благодаря своей эффективности и гибкости, эти центры обработки данных позволяют крупным технологическим компаниям быстро и с меньшими затратами внедрять новые технологии.
Многие компании уже используют облачные ресурсы для стандартных бизнес-приложений, хранения данных и разработки новых цифровых решений. Однако полный переход старых информационных технологий в общедоступное облако так и не произошёл. Вероятно, это связано с тем, что предприятия не ощущали уверенности в том, чтобы размещать конфиденциальные или критически важные рабочие нагрузки в облаке и предпочли подход, который сочетает в себе внутренние системы, размещённые либо в офисе, либо в колокейшн-пространстве. Некоторые предприятия сейчас пересматривают свой подход к облачным вычислениям и возвращают приложения обратно внутрь своих структур. Недавние опросы показывают, что в настоящее время только около 18% рабочих нагрузок компаний размещают в облаке, а большинство нагрузок остаются внутри организации. Учитывая распространение колокейшн-центров в разных локациях, что делает их ближе к пользователям и обеспечивает минимальную задержку, все большее количество компаний со временем начнут использовать эти дата-центры для размещения своих локальных ресурсов.
Изначально, облачные вычисления выглядели довольно привлекательными благодаря возможности перераспределения бюджетов на информационные технологии с капитальных вложений на операционные расходы и доступу к неограниченным ресурсам для хранения данных и вычислений. Однако со временем возникли различные опасения и проблемы, которые нивелировали эти плюсы.
Безопасность. Компании беспокоятся о повышенных рисках кибербезопасности, связанных с облачной моделью доступа к данным из любой точки мира. Они опасаются утечки критически важной информации.
Соответствие. Отрасли, такие как здравоохранение и финансы, регулируются строгими законами по защите конфиденциальных данных. Хранение данных в общедоступных облаках может привести к нарушению этих законов и правил.
Контроль. Отсутствие полного контроля и прозрачности данных, включая их местоположение и управление, вызывает недовольство у менеджеров центров обработки данных и ИТ-специалистов.
Стоимость. Переход к операционным расходам и недостаточная прозрачность часто приводят к переплатам за облачные услуги, а затраты на передачу данных могут превышать ожидаемые расходы предприятий.
«Многие компании, которые приняли переход на облачные сервисы, осознают проблемы безопасности, связанные с хранением данных в нескольких местах без достаточного контроля. Поэтому некоторые секторы, подвергающиеся строгим требованиям по защите конфиденциальных данных, такие как здравоохранение и финансы, никогда полностью не переходили в общедоступное облако, предпочитая частное или гибридное облачное решение», — отметила Кэрри Гоуэтц, RCDD/NTS, CNID, CDCP, AWS CCP, главный технический директор StrategITcom. «Другие компании, которые внимательно следят за ростом расходов и планируемым развитием, понимают, что общедоступное облако в итоге может оказаться слишком дорогим, поэтому такие компании, как Dropbox и Uber, вернули активы данных обратно в собственные центры обработки данных, где у них будет больший контроль и гибкость. В начале пандемии многие предприятия использовали облако как путь с наименьшим сопротивлением для запуска сервисов, но для многих это был временным решением . В будущем этим компаниям придется отойти на шаг назад и определить, что будет соответствовать их долгосрочной стратегии и поддерживать новую ментальность работы из любой точки мира. Это приведёт к появлению большего числа колокейшн-центров, локальных и периферийных центров обработки данных, ближе к местоположениям предприятий, где компании смогут обслуживать свою собственную инфраструктуру».
Ранее, чтобы использование облачных вычислений стало экономически оправданным для предприятия, ему необходимо было достичь определённых размеров и вычислительных потребностей. Однако теперь это далеко не так. Это стало возможным благодаря доступным и эффективным технологиям и методам гиперконвергированной инфраструктуры, которые применяются крупными гипермасштабными центрами обработки данных (например, Microsoft, Google, Amazon), а также облачными дата-центрами, которые становятся все более популярными среди компаний. С помощью продвинутых протоколов с открытым исходным кодом, аппаратного оборудования на базе «белых ящиков» (White Box) и программно-определяемых сетей предприятия теперь могут более эффективно имитировать модель гипермасштабных центров обработки данных и развертывать высоко виртуализированные серверные среды. Это облегчает масштабирование и управление для компаний, позволяя им быстро и экономично расширять вычислительные мощности и поддерживать цифровые инновации. Этот фактор также стимулирует уход от публичных облачных дата-центров, а более предприимчивые компании выбирают гиперконвергированную инфраструктуру для удовлетворения своих потребностей. Это может способствовать успешной адаптации к текущим потребностям и даже успешному развитию в условиях пандемии COVID-19 и ее последствий.
«Наш основной бизнес — колокейшн, и мы наблюдаем устойчивый рост, в частности, со стороны малого и среднего бизнеса. Хотя некоторые клиентские приложения по-прежнему переходят в публичное облако, для других это может оказаться неподходящим с технической, производительной или финансовой точки зрения, и эти предприятия переключаются на колокейшн-пространство и нашу инфраструктуру», — подчеркнул Джеймс Бир, старший вице-президент eStruxture, крупнейшего канадского поставщика услуг ЦОД. «Мы определенно не наблюдаем падения спроса на колокейшн».
Значение архитектуры и топологии
В последние годы центры обработки данных переходят к использованию полностью связанной архитектуры типа Leaf-Spine, что уменьшает задержки и поддерживает приложения, требующие большого объёма данных и чувствительных к временной задержке в виртуализированных серверных средах, где ресурсы для определенного приложения часто распределены между несколькими серверами. По сравнению со стандартной трёхуровневой архитектурой, которая создает трафик север-юг через несколько коммутаторов, подход Leaf-Spine оптимизирует трафик центра обработки данных восток-запад для обеспечения связи с минимальной задержкой между серверами, уменьшая количество коммутаторов, через которые должна проходить информация. Это достигается путем соединения каждого коммутатора доступа (leaf) с каждым другим коммутатором доступа и магистрали (spine) внутри фабрики коммутаторов.
С точки зрения топологии, установка коммутаторов в аппаратных шкафах (top-of-rack, ToR) с короткими соединениями точка-точка стало стандартом в течение последнего десятилетия. Это основной способ поддержки соединений между коммутаторами и серверами в корпоративных центрах обработки данных. Однако многие управляющие дата-центрами компании сейчас осознают, что топология ToR не может эффективно поддерживать современную виртуализированную сеть Leaf-Spine с низкой задержкой, высокой производительностью и масштабируемостью, которые требуются корпоративным бизнесом. Только нестареющая, основанная на стандартах оптическая структурированная кабельная система способна обеспечить поддержку таких сред.
Прежде всего, размещение коммутатора доступа в каждом аппаратном шкафу по схеме ToR делает подключение к каждому другому коммутатору доступа чрезвычайно неэффективным, что означает более высокую задержку при передаче данных между серверами в разных шкафах из-за избыточного количества коммутаторов в канале между серверами, что часто бывает в виртуализированной среде. Топология ToR также ограничивает масштабируемость, потому что обновление одного коммутатора увеличивает скорость подключения только к серверам, находящимся в шкафу, где находится сам коммутатор. Наличие коммутатора ToR в слое доступа в каждом шкафу требует большего энергопотребления по всему центру обработки данных и более высокой плотности портов для коммутаторов магистрали, что может вызвать дополнительные ограничения масштабируемости. Кроме того, из-за особенностей модулей малого форм-фактора типа SFP, QSFP или встроенных передатчиков, используемых в соединениях точка-точка в архитектуре ToR, такие, как короткие кабели прямого подключения (DAC) и активные оптические кабели (AOC), они не будут поддерживать несколько будущих поколений приложений и их нужно будет заменить по мере увеличения скоростей.
«В рамках возвращения ИТ-ресурсов обратно на собственные территории, предприятия должны будут оценить свои возможности и определить, что они могут поддерживать. Если у них нет достаточной мощности, чтобы заполнить серверный шкаф, то использование централизованных коммутаторов будет более разумным вариантом», — отметил Гоэтц. «Также существует фактор потери. Те, кто начинал с применения DAC для поддержки серверных соединений с пропускной способностью 10 Гбит/с и теперь готовы перейти на более высокие скорости, будут вынуждены избавиться от DAC и приобрести новое оборудование. Расстояние, скорость и срок службы также должны быть оценены при разработке наилучшей долгосрочной стратегии проектирования».
Конфигурация ToR также подразумевает большее количество коммутаторов в эксплуатации, которые могут быстро стать избыточной операционной нагрузкой. Уровень утилизация портов может привести к дополнительным затратам. При использовании конфигурации ToR в центрах обработки данных может выясниться, что не все порты коммутатора используются в полной мере из-за ограничений по питанию и охлаждению, которые часто ограничивают количество высокопроизводительных виртуализированных серверов в шкафу. Эти неиспользуемые порты на нескольких шкафах могут накапливаться и в итоге привести к ненужным закупкам коммутаторов и связанными с ними затратами на обслуживание и электропитание.
В отличие от этого, оптоволоконные структурированные кабельные системы намного лучше подходят для поддержки виртуализированных сред, обеспечивая связь между серверами с малой задержкой и предоставляя гибкость и удобство масштабирования, необходимые для быстрого и незатратного расширения. С использованием структурированной оптоволоконной кабельной системы для передачи данных на большие расстояния можно размещать крупные коммутаторы у конца ряда шкафов и подключать их к нескольким серверам внутри ряда с помощью межсоединений или кросс-соединений в СКС. Поскольку все серверы в ряду подключены к одному и тому же коммутатору у конца ряда (EoR), при необходимости связи между двумя серверами, находящимися в разных стойках, нет необходимости в дополнительном переключении.
В отличие от коммутатора ToR, более крупные коммутаторы EoR не ограничивают масштабируемость. Модернизация коммутатора EoR повышает скорость соединения со всеми серверами в ряду, а не только с теми, которые находятся в одном шкафу. Более низкие требования к количеству портов на коммутаторах магистрали также обеспечивают возможность роста, а оптоволоконная СКС поддерживает множество поколений приложений. К тому же, многомодовое и одномодовое оптоволокно сейчас поддерживают скорость до 400 Гбит/с, а организации по стандартизации уже изучают возможность увеличения до 800 Гбит/с и более высоких скоростей.
Стоит также отметить, что, в отличие от сборок точка-точка, стандартизированные оптоволоконные кабели, которые выпускают различные производители, предлагают более длительный срок службы и гарантируют подтвержденную сторонними проверками производительность при работе с оборудованием любого вендора. Максимальное утилизация портов также достигается с использованием структурированной системы кабельной проводки и коммутаторов EoR, потому что порты коммутатора не предназначены только для одной стойки. Порты коммутатора также могут быть распределены по запросу на любые серверы в нескольких шкафах в ряду. Поддержание всего одного EoR-коммутатора в каждом ряду, а не коммутатора в каждом отдельном шкафу, может помочь снизить затраты.
На втором рисунке показана разница в межсерверной связи между топологией ToR с соединениями «точка-точка» и топологией EoR с использованием структурированной кабельной системы. На изображении видно, что когда серверу A необходимо связаться с сервером B в топологии ToR, сигнал должен пройти через три коммутатора — от одного коммутатора доступа ToR до магистрального коммутатора и обратно ко второму коммутатору доступа ToR. Даже если бы каждый коммутатор доступа ToR был подключен к каждому другому, сигнал все равно должен был бы проходить через два коммутатора. Конфигурация EoR со структурированной кабельной системой требует всего одного перехода коммутатора для связи сервера A с сервером B.
«Производители ToR-коммутаторов не собираются обучать клиентов структурированной кабельной системе, потому что они будут продавать меньше портов коммутаторов, и изначально считалось, что эта топология — самое простое решение. И всем нравится когда всё делается «просто», — добавил Гоэтц. «Но благодаря “белому ящику” и дополнительным решениями с открытым исходным кодом, а иногда и более функциональными поставщикам, появились новые игроки — и многое можно сказать о понимании отдалённых последствий выбора самого простого пути и переоценке всех вариантов на основе будущих потребностей бизнеса».
Преимущества кросс-соединения
Использование структурированной оптоволоконной кабельной системы в центре обработки данных позволяет использовать зоны распределения с обычными кросс-соединениями для гибких, стандартных соединений между оборудованием, включая коммутаторы доступа и серверы, коммутаторы доступа и магистральные коммутаторы, а также серверы и устройства хранения данных. Использование кросс-соединений упрощает расширение в виртуализированных средах серверов и позволяет объединять серверы для более удобного совместного использования вычислительных ресурсов и хранилища данных. Преимущество кросс-соединения заключается в том, что с помощью панелей с оптоволоконными портами, которые дублируют порты подключаемого оборудования, управляющие дата-центрами компании создают сценарий «всё-всем», где любой порт оборудования может быть подключен к любому другому порту оборудования просто перемещением оптоволоконных патч-кордов на передних панелях.
Новые услуги могут быть быстро введены в эксплуатацию с помощью кросс-подключения. Магистральные коммутаторы (Spine) в основной зоне распределения (MDA) могут быть подключены к кросс-соединению с помощью постоянных фиксированных каналов, и новые коммутаторы доступа могут легко быть подключены к неиспользуемым портам магистральных коммутаторов с помощью кросс-соединении.
Одной из ключевых особенностей кросс-соединения является его способность обеспечивать гибкость и быстроту при внедрении новых услуг и подключении нового оборудования. Это особенно полезно в центрах обработки данных, предоставляющих услуги колокации, где клиентское оборудование должно быть легко и безопасно подключено к оборудованию провайдера услуг.
Кросс-соединение также способствует оптимизации управления кабелями и уменьшению времени простоя при перемещении или изменении конфигурации оборудования. Это позволяет более эффективно использовать ресурсы центра обработки данных и обеспечивать непрерывность его работы.
«Структурированная кабельная система — это удобный, экономичный, эффективный и безопасный метод соединения конечных пользователей с их интернет-провайдерами в центрах обработки данных. Теперь не требуется пять дней на подключение конечных пользователей к интернет-провайдерам. Подключение может быть выполнено в течение 24 часов благодаря уже существующей инфраструктуре», — уточнил Бирс из eStruxture. «Объемы наших кросс-соединений растут из квартала в квартал. Очевидно, что в отрасли наблюдается высокая сетевая активность и повышенный объём трафика, а клиентам необходимо подключаться к большему количеству поставщиков услуг и большему количеству мест. Как провайдер, независимый от оператора связи, у нас есть несколько вводов для оптоволокна и несколько коммутационных помещений для внешних соединений (meet-me room), а кросс-соединения являются источником дохода и способом соединения наших арендаторов с их предпочтительными операторам связи. Эти возможности кросс-соединения для конечных клиентов также позволяют нам привлекать дополнительных провайдеров связи».
Преимущества кросс-соединения действуют и в зонах коммутации оборудования (EDA), расположенных в колокейшн-центрах корпоративных клиентов или внутри предприятия, в центре обработки данных. Если необходимо добавить новые серверы в ряд, их можно легко подключить к Leaf-коммутатору EoR через кросс-соединение. Расстояния, поддерживаемые структурированными оптоволоконными кабельными системами, составляют от 100 метров до 10 километров в зависимости от приложения, что также означает, что кросс-соединения могут быть размещены практически в любом месте в центре обработки данных.
«После того, как вы введете в эксплуатацию шкаф, кросс-соединение позволит клиентам воспользоваться преимуществами смежных услуг, партнеров, провайдеров связи и других экосистем», — отметил Петерсон из Flexential. «Кросс-соединения передаются в meet-me room при подключении к определенным сервисам или партнёрам, или они могут проходить непосредственно из одной зоны клиента в другую. Эти кросс-соединения все чаще используют оптоволокно по мере увеличения расстояний и в еще большей степени по мере увеличения потребности в пропускной способности. Для нас кросс-соединение — это поддержка потребностей наших клиентов в подключении и их цифрового путешествия».
Когда предприятия и их провайдеры колокейшн-центров используют гиперконвергентные технологии и методики, которые взяты на вооружение из гипермасштабных и облачных центров обработки данных, и сочетают их с универсальными, гибкими и стандартизированными методами структурированных кабельных систем, это позволяет им быть гибкими и эффективно расширять свои возможности. Это особенно важно в эпоху COVID-19, когда предприятия стремятся измениться и развиваться, используя новые цифровые онлайн-инструменты и возможности.
