25 інструментів DevOps з відкритим кодом
DevOps — не магія чи рятувальна пігулка. За даними State of DevOps компанії, що успішно впровадили цю методологію у свої процеси, розгортаються частіше та швидше. При цьому швидкість не знижує якість, а ПЗ працює стабільно.
Звучить круто, проте щоб цього досягти, високоефективні команди мають правильно підібрати інструменти. Вони спрощують та пришвидшують роботу, адже охоплюють конкретні корисні функції та автоматизують процеси.
Зібрали для вас 25 інструментів DevOps з відкритим кодом для різних задач. Перевірте себе, з якими з них ви вже знайомі 😉
Інструменти для збирання та пакування
Git — система контролю версій
Один з найвідоміших та найпопулярніших інструментів — його використовують понад 93% розробників. Корисний для керування, спільного використання та відстеження змін вихідного коду. Ідеально підходить для віддалених або великих команд.
Git також чудово підходить для експериментів, бо дозволяє легко створювати нові гілки та об’єднувати різні функції, які можуть знадобитись на стадії тестування програми.
Спочатку він виконував функцію інструмента, що допомагав розробникам керувати вихідним кодом Linux. З того часу функціонал Git значно розширився, що перетворило його на спосіб зберігання коду.
Git дозволяє зберігати код у репозиторіях та керувати версіями. Ви можете відкотитися до попередньої та подивитися відмінності між версіями — і все це на вашому локальному комп’ютері.
Репозиторії дають можливість керувати різними програмними проєктами незалежно один від одного. Також ви можете поділитися своїм репозиторієм Git, включаючи всю його історію. Ділитися кодом ще простіше через онлайн-сервіси Git-сховища: GitHub, GitLab або Bitbucket.
GitHub та Bitbucket мають свої переваги. Так, GitHub надає безплатний доступ до публічних сховищ, а Bitbucket дає можливість створювати необмежену кількість приватних репозиторіїв для команд до 5 учасників.
Щоб спробувати цей інструмент, встановіть пакет git через пакетний менеджер, якщо у вас Linux. Ви зможете одразу працювати з ним в командному рядку. Ви також можете встановити Git на Windows та Mac.
Docker — контейнеризація
Не менш відомий інструмент DevOps, що дозволяє створювати та запускати ПЗ в контейнерах. Він значно полегшує керування конфігураціями, контроль над проблемами та масштабування.
*Контейнери — це пакети ПЗ, які містять усі необхідні елементи для роботи в будь-якому середовищі.
Docker полегшує розподілену розробку та робить її інтуїтивно зрозумілішою, що актуально для великих команд. Також з ним ви зможете автоматизувати роботу після розгортання. Це можливо завдяки ізоляції програм у різні контейнери, що забезпечує кращу безпеку та мобільність.
Ви зможете створювати власні образи контейнерів або завантажувати ті, які опублікували інші. Знайти їх можна в Docker Hub. Також Docker легко інтегрується з іншими корисними інструментами, наприклад, з Jenkins.
Щоб почати роботу з ним, встановіть Docker Desktop для комп’ютера чи Docker Engine для сервера. Його можна встановити на різні ОС, платформи та на віртуальні машини.
Packer — створення образів
Дозволяє створювати образи віртуальних машин із коду.
Він допомагає вам дотримуватися практики DevOps «інфраструктура як код», якщо ви працюєте з віртуальними машинами. Раніше створювати образи для них було непросто, адже це передбачало певну ручну роботу. Проте з Packer ви можете за допомогою коду створювати образи віртуальних машин скільки вам потрібно.
Packer також можна розширити за допомогою плагінів. Наприклад, використати PowerShell або Ansible для налаштування віртуальних машин. А ще можна використовувати різні конструктори на кшталт Amazon EC2 або VirtualBox, щоб запакувати свою машину в потрібний вам формат.
Цей інструмент дозволяє створити власний образ разом з операційною системою та всім необхідним ПЗ, встановленим та налаштованим за допомогою коду.
Створені за допомогою Packer образи ви можете завантажити до свого хмарного провайдера та використовувати для запуску нових віртуальних машин. Це зручно, оскільки інструмент підтримує багато форматів образів, які використовують хмарні провайдери.
Packer також стане в пригоді, якщо ви хочете створити золотий образ, тобто образ віртуальної машини, налаштований під середовище вашої компанії. В ньому може бути конкретна конфігурація та встановлені патчі безпеки. Зазвичай, золоті образи використовують для того, щоб дотриматися стандартів певної організації.
JFrog Artifactory — сховище артефактів
Сховище артефактів, що забезпечує наскрізну автоматизацію та керує двійковими файлами та артефактами протягом доставлення застосунків. Це підвищує продуктивність у вашій екосистемі розробки.
JFrog Artifactory підтримує понад 25 пакетів збірки програмного забезпечення, усі основні платформи CI/CD та інструменти DevOps. Тож ви можете обрати все, що вам потрібно для роботи.
По суті це — контейнери, які ви можете розгорнути у Kubernetes. Вони підтримують Docker, Helm Charts, а також ваш реєстр Kubernetes та Docker. А ще постачаються з повними інтерфейсами CLI та REST, які можна налаштувати під вашу екосистему.
JFrog Artifactory — гнучке рішення. Ви можете розмістити його у власній інфраструктурі, у хмарі або скористатися рішенням SaaS.
Також Artifactory надає повні метадані для всіх основних форматів пакетів — як для артефактів, так і для тек. Це і метадані з самого пакета, і створені користувачами самотужки, і автоматично згенеровані інструментами на кшталт інформації про збірку.
Цей інструмент забезпечує необмежену масштабованість та аварійне відновлення, а також витримує великі навантаження без шкоди для продуктивності.
Завантажити Jfrog Artifactory.
Sonatype Nexus — сховище артефактів
Це сховище артефактів на зразок попереднього інструменту.
Він організовує, зберігає та розповсюджує артефакти, необхідні для розробки.
За допомогою Nexus розробники можуть повністю контролювати доступ і розгортання кожного артефакту в організації з одного місця, що полегшує розповсюдження ПЗ.
Nexus Repository суміщається з популярними IDE та CI, такими як Eclipse, IntelliJ, Visual Studio та Jenkins. Також підтримує 18 форматів пакетів в одному розгортанні.
Наразі він підтримує екосистеми Maven/Java, npm, NuGet, RubyGems, Docker, P2, OBR, APT і YUM та інші.
Інструменти для оркестрації
Kubernetes
Інструмент оркестрації для програм, що працюють у контейнерах. Якщо маєте справу з DevOps, то про Kubernetes точно чули. Про нього та різні аспекти роботи з K8s є багато статей, в тому числі й наших:
- Kubernetes для початківців, що тільки починають своє знайомство з оркестрацією.
- Посібники як створити поди чи налаштувати мережі в K8s.
- Поради як моніторити Kubernetes та інші корисні статті з теми.
Kubernetes — це платформа для управління контейнерами. Вона спрощує декларативне налаштування та автоматизацію. K8s — кросплатформна та розширювана, а її екосистема швидко розвивається.
Це система оркестровки, яка обробляє планування на вузлах в одному кластері, керує робочими навантаженнями та групує контейнери в логічні одиниці, щоб керувати ними було простіше.
Docker Swarm
Інструмент, що керує контейнерами, які працюють на кластері серверів.
Docker Swarm — це група фізичних або віртуальних машин, на яких ви запускаєте програму Docker. Вона налаштована так, щоб об’єднатися у кластер.
Цей інструмент дозволяє керувати кількома контейнерами, розгорнутими на кількох хост-машинах. Після того, як група машин об’єднується в кластер, ви зможете запускати звичні вам команди Docker, але тепер їх виконуватимуть машини в цьому кластері.
Nomad
Інструмент, що керує програмами, незалежно від того, працюють вони в контейнерах чи ні.
Nomad може запускати екземпляри ваших програм на кластері серверів.
Це простий та гнучкий оркестратор, з яким ви можете розгортати, керувати та масштабувати будь-яку програму. Це може бути програма в контейнері, застаріла чи пакетна робота в приватних або публічних хмарах. Ви можете запускати такі програми через єдиний робочий процес.
Nomad простий у використанні, проте він економить свою потужність, коли обробляє складні навантаження у великих масштабах.
Інструменти для автоматизації інфраструктури
Ansible
Інструмент для автоматичного налаштування інфраструктури. З Ansible ви зможете автоматично встановлювати пакети, налаштовувати вебсервери, створювати облікові записи користувачів та інше.
Ansible керує конфігураціями та розгортанням. Він ідеально підходить для налаштування інфраструктури організації та автоматизації певних завдань розгортання.
Цей інструмент також містить кілька модулів для налаштування та інтеграції з іншими корисними програмами. Наприклад, ви можете легко розгорнути код Ansible у стандартному конвеєрі Jenkins.
Ansible відомий простотою використання, інтуїтивно зрозумілим інтерфейсом, а також своєю безагентною архітектурою. Завдяки їй Ansible передає мінімум інформації на машини, якими він керує. Це також означає, що агенти, демони чи автоматизовані боти не працюють у фоновому режимі. Завдяки цьому він — легке та безпечне рішення для налаштування автоматизації.
Terraform
Інструмент для створення та керування хмарними ресурсами за допомогою коду. Він дозволяє змінювати або налаштувати інфраструктуру як код.
Terraform чудово підходить, якщо ви хочете автоматично створювати будь-які хмарні служби, включаючи мережі, фаєрволи та бази даних.
Це популярний інструмент DevOps завдяки тому, що він не прив’язаний до конкретного провайдера хмарних технологій. Тобто дозволяє вам легко переходити з однієї хмари на іншу. Terraform підтримує різноманітні формати по типу GCP, Azure, AWS та Digital Ocean.
Код Terraform написаний на власній доменно-спеціальній мові — HCL. Це декларативна мова, що може допомогти вам змінити базову інфраструктуру без зайвих зусиль
Terraform — це інструмент, з яким ви зможете підвищити автоматизацію, зменшити людський фактор в плані можливих помилок та забезпечити узгоджене середовище для постановки, тестування та виробництва з однаковою конфігурацією.
Pulumi
Інструмент для створення та управління інфраструктурою в хмарі.
Pulumi — це теж інструмент IaC, схожий на Terraform. З його допомогою можна створити майже всі хмарні служби.
В нього є перевага над Terraform з точки зору тестування та створення скриптів. На відміну від Terraform, Pulumi дозволяє писати свій код будь-якою з сучасних мов програмування, наприклад, Python, Go, Java, Typescript та інші. Це дає вам кращу підтримку для налагодження та тестування. Проте підтримка спільноти у Pulumi не така велика, як у Terraform.
Puppet
Інструмент керування системами з відкритим кодом. Він дозволяє централізувати та автоматизувати керування конфігурацією. Його використовують для розгортання, налаштування та керування серверами.
Puppet допоможе вам визначити окремі конфігурації для кожного хосту, а також постійно слідкує, щоб ця конфігурація дотримувалася.
Цей інструмент також дозволяє динамічно масштабувати та зменшувати машини. Ще, він контролює ваші налаштовані машини, а всі централізовані зміни автоматично поширює на кожну з них.
Chef
Інструмент, що прискорює доставлення програм. Chef допомагає розв’язувати проблеми, пов’язані з реалізацією інфраструктури як коду.
Він дозволяє вам керувати хмарними та традиційними середовищами за допомогою одного інструменту, зберігаючи час, який ваша команда витратила б на вивчення окремих інструментів або перемикання між ними.
Chef підходить також, якщо ваша команда переходить від локальної архітектури до хмарної. Цей інструмент пришвидшить міграцію в хмару.
Він також пропонує інструменти тестування, щоб ви могли перевірити свій код автоматизації інфраструктури, перш ніж розгортати ці зміни в мережі.
Інструменти для безперервної інтеграції та доставлення
GitLab
Це інструмент для керування вихідним кодом програми, а також автоматизації її створення та випуску.
Вбудована функція GitLab CI/CD дозволяє створювати робочі процеси для створення, тестування та розгортання ваших програм.
GitLab — це вебсховище Git, що надає безплатні відкриті та приватні сховища та можливості відстеження проблем. Це повна платформа DevOps, де ви можете виконувати всі завдання в проєкті: від його планування до моніторингу та безпеки. Крім того, це покращує взаємодію команд, що дозволяє створювати краще ПЗ.
Цей інструмент допоможе вашій команді скоротити життєвий цикл продуктів та підвищити продуктивність.
Jenkins
Це сервер автоматизації, що дозволяє створювати та тестувати програмне забезпечення. Проте цим не обмежується.
Jenkins працює як функціональний конвеєр для постачання вашого ПЗ — ви можете під’єднати до нього безліч інших інструментів, що надасть вам повну автоматизовану екосистему інструментів.
З ним працює понад 1000 плагінів. Це робить його універсальним, адже кожна команда може знайти інструменти на свій смак.
Jenkins легко встановити та налаштувати через вебінтерфейс. Він доволі простий і лаконічний.
Tekton
Інструмент для запуску конвеєрів у Kubernetes. З ним ви можете створювати CI/CD конвеєри на K8s, щоб розробляти, тестувати та розгортати свої програми у хмарних провайдерах та на локальних системах.
Цей інструмент має власну екосистему: він складається з Tekton Pipelines, який забезпечує будівельні блоки, і допоміжних компонентів, таких як Tekton CLI та Tekton Catalog. Tekton є частиною CD Foundation, проєкту Linux Foundation.
Інструмент працює як розширення в кластері Kubernetes і має набір користувацьких ресурсів K8s, що визначають блоки, які можна створювати та повторно використовувати для своїх конвеєрів. Після встановлення, Tekton Pipelines стає доступним через Kubernetes CLI (kubectl) і через виклики API, так само як модулі та інші ресурси.
Tekton — гнучкий. Об’єкти повністю налаштовуються, тож інженери платформи можуть визначити дуже детальний каталог блоків, які розробники зможуть використовувати в різноманітних скриптах.
Ще однією особливістю є те, що сутності Tekton повністю переносяться. Після їх визначення будь-хто в організації може використовувати певний конвеєр або його блоки. Це дозволяє розробникам швидко створювати складні конвеєри, не «винаходячи колесо».
Argo CD
Інструмент безперервного доставлення для Kubernetes, який використовує принцип GitOps.
* GitOps — це принцип, за якого Git використовують як єдине джерело правдивої інформації про розгортання програми. За цим принципом стан кластера збігається зі станом, що визначений у Git.
Argo CD потрібен для того, щоб визначення програм, конфігурації та середовища були декларативними та контролювали версії. Він автоматизує розгортання застосунків та керування життєвим циклом, а також робить їх легшими для розуміння.
Особливість цього інструменту в тому, що він дозволяє отримати оновлений код зі сховищ Git і розгорнути його безпосередньо на ресурсах Kubernetes. Це дозволяє розробникам керувати як конфігурацією інфраструктури, так і оновленнями програм в одній системі.
Інструменти для тестування та перевірки якості
Selenium
Інструмент для автоматизації браузера. Він імітує взаємодію з вебсайтом, виконує тести та надає відповідну інформацію. Selenium підтримує Microsoft Internet Explorer, Google Chrome, Mozilla Suite і Mozilla Firefox для Microsoft Windows, Linux і Apple Macintosh.
Selenium дозволяє створювати тести вебзастосунків без знання мов програмування. Він надає власну мову Selenese, що дозволяє писати тести мовами C#, Groovy, Java, Perl, PHP, Python, Ruby та Scala.
SonarQube
Це інструмент перевірки якості коду. Він збирає й аналізує вихідний код та надає звіти про його якість. Поєднує інструменти статичного та динамічного аналізу, що дозволяє вимірювати якість безперервно.
SonarQube зменшує ризики, якщо ви хочете розробити ПЗ за дуже короткий час. Він автоматично знаходить помилки в коді та повідомляє про них розробників. Так вони знатимуть, що треба виправити перед розгортанням. Цей інструмент також підсвічує складні частини коду, які погано охоплюються модульними тестами.
Cypress
Дозволяє тестувати все, що працює у браузері. Тобто це інструмент, що дає писати та запускати наскрізні тести для вебзастосунків. Він створений виключно для сучасної мережі на основі JavaScript.
Інструмент допомагає розв’язувати проблемні моменти, з якими стикаються розробники та інженери з контролю якості під час тестування програми. Його особливість у тому, що він використовує унікальну техніку маніпулювання DOM і працює безпосередньо в браузері.
Інструменти для журналювання та моніторингу
Prometheus
Це система для моніторингу служб і сповіщень на основі моделі даних часових рядів. Тож він складається з бази даних часових рядів та інструментів для збору показників із програм або серверів.
Prometheus збирає дані та показники з різних сервісів та зберігає їх відповідно до унікального ідентифікатора — назви показника — і позначки часу. Так система може швидко знайти необхідні показники та дозволяє візуалізувати отримані дані.
В системі існують також мітки, що уможливлюють її розмірну модель. Ці мітки можна поєднувати з показниками, що робить запити ще більш точними та ефективними. Адже так можна ідентифікувати певний вимір конкретного показника.
Якщо інші інструменти моніторингу спілкуються з агентом, розгорнутим на хості служби, Prometheus використовує експортерів. Це таке ПЗ, що може отримувати статистику з іншої системи, не з системи Prometheus.
У Prometheus дуже багато експортерів, що дозволяє збирати показники майже для кожного програмного забезпечення. З його допомогою можна контролювати бази даних, http-сервери, інші системи моніторингу та навіть засоби відстеження проблем або інструменти постійної інтеграції.
Щоб користуватися інструментом, необхідно або налаштувати свій код так, щоб реалізувати типи його метрик. Інший варіант — моніторинговий сервіс, який передаватиме свої метрики експортеру, якщо код не можна змінити.
Grafana
Це інструмент панелі керування. Зазвичай його використовують, щоб зобразити статистичні дані системи та програми. Він дозволяє представити, що відбувається в системі.
З Grafana ви можете створювати візуальні інформаційні панелі для даних, що зберігаються в різних місцях. Вона підтримує багато різних типів сховищ даних: від інструментів вимірювання, таких як Prometheus, до баз даних, таких як Postgresql.
Сам інструмент працює на сервері, а створювати та переглядати графічні панелі можна через будь-який браузер.
Elasticsearch
Пошукова система розподіленого пошуку та аналітики на основі бібліотеки Apache Lucene. Її використовують для аналізу журналів логів, повнотекстового пошуку, аналітики безпеки, бізнес-аналітики, операційної аналітики та інших великих архівів даних.
З Elasticsearch нескладно розібратися, щоб почати роботу. Для цього він пропонує прості API на основі REST, такий самий інтерфейс HTTP та використовує документи JSON без схем, що полегшує початок роботи та швидке створення програм для різноманітних випадків використання.
Цей інструмент може паралельно обробляти великі обсяги даних та швидко знаходить відповідності вашим запитам.
Інтегрується з Kibana, Beats і Logstash, а також дозволяє легко трансформувати вихідні дані та завантажувати їх у кластер Elasticsearch. Інструмент має додаткові безплатні плагіни, як от аналізатор мови або підказки, які розширять функціональність ваших застосунків.
Підтримує різні мови, включаючи Java, Python, PHP, JavaScript, Node.js, Ruby та багато інших.
Monit
Інструмент, що слідкує за тим, щоб вказані процеси на певній машині працювали правильно. Він додає вашій програмі ще один рівень безпеки
Наприклад, якщо якийсь сервіс дає збій, Monit визначає машинний процес та усуває проблеми. Інструмент спробує перезапустити програму. Його мета — безперебійна робота програми.
Monit зберігає детальні записи та лог-файли, щоб ви могли все перевірити та впевнитися, що ви відстежуєте кожне сповіщення чи подію, на які варто звернути увагу.
Nagios
Інструмент для моніторингу інфраструктури. Він може контролювати пристрої з операційними системами Linux, Windows та Unix.
Програмне забезпечення Nagios проводить періодичні перевірки критичних параметрів програми, мережі та ресурсів сервера. Він дозволяє вести записи про різні події та збої, а також надає різноманітні звіти та графіки, щоб ви могли зручно представити інформацію команді.
Завдяки своїй спільноті, Nagios також має багато безплатних плагінів.
Висновок
Інструменти, що ми перерахували — далеко не весь список корисних програм в принципі та опенсорсних зокрема. Культура DevOps швидко розвивається, тож нові інструменти з’являються, а старі розширюють свій функціонал та створюють навколо себе цілу екосистему.
Які обирати? Залежить від ваших задач, самого проєкту та вподобань. Ви можете спробувати розібратися з цими інструментами самостійно. Проте також можете ознайомитися з певними з них на реальних кейсах. Для цього переходьте за посиланням та обирайте курс з DevOps від IT Education Center, що найбільше підходить вашому рівню знань.