Automatizace testování na průběžném integračním serveru vypadá jednoduše: připojíte repozitář, přidáte skript a testy běží. V praxi ale většina zpoždění a falešných selhání nevzniká v testech samotných, nýbrž v tom, co se kolem nich děje ručně. Pokud někdo musí před spuštěním testů nahrát konfiguraci,
spustit databázi nebo nastavit proměnné prostředí, automatizace neexistuje — jen se přesunula na člověka, který na to zapomene.
Nejčastější chyba je rollback bez ověření, že vrácená verze je opravdu ta, která na produkci fungovala. Vždy si před nasazením rollbacku ověř hash commitu a projdi základní testy. Další častá chyba je revertování více commitů najednou bez kontroly, zda na sebe nenavazují – vzniknou konflikty, které se řeší ve spěchu. A pozor na to, že revertovaný commit zůstává v historii; pokud byl problematický, je lepší ho zdokumentovat v popisu revertu, aby se stejná chyba nevrátila při příštím vývoji.
Offline režim vypadá jednoduše: aplikace něco uloží lokálně, později to pošle na server. V praxi se ale většina chyb neobjeví v síťové vrstvě, nýbrž v tom, co se děje mezi uložením a odesláním. Než začnete psát testy, rozhodněte, co je zdrojem pravdy pro každý typ dat. U poznámek to bývá lokální zařízení, u stavu objednávky server. Když tohle není jasné, testy jen potvrdí zmatek, který v aplikaci už je.
Druhá častá chyba je čekání napevno. Test, který usne na pět sekund a doufá, že služba mezitím naběhne, bude na rychlém serveru zbytečně pomalý a na pomalém nespolehlivý. Místo toho čekejte na konkrétní stav — odpověď služby, dostupnost portu,
dokončení interiéru migrace. A nastavte rozumný timeout, po kterém test selže s jasnou zprávou, ne že bude viset do vypršení celého běhu.
Nezapomeňte na úklid po integračních testech. Sdílená databáze bez izolace vede k testům, které procházejí jen v určitém pořadí a na čistém stroji padají. Řešením je transakce na test, nebo vytvoření schématu před každým během. Stejně důležité je označit pomalé testy a nespouštět je při každém uložení souboru. Rychlá zpětná vazba je to, co drží disciplínu i ve velkém týmu.
Začněte tím, že si připravíte testovací scénáře podle stavů, ne podle obrazovek. Potřebujete minimálně: změna provedená offline, změna provedená offline na dvou zařízeních současně, změna provedená offline a poté smazaná, a konflikt mezi lokální a serverovou verzí. Ke každému scénáři si napište očekávaný výsledek předem. Pokud ho sepíšete až po testu, budete mít tendenci označit za správné to, co aplikace zrovna udělala.
Práce na několika funkcích současně přestane být chaosem ve chvíli, kdy si jasně rozdělíte, co patří kam. Základem je krátká větev pro každý feature, která vychází z aktuální hlavní větve a obsahuje jen změny k dané věci. Než začnete, ověřte, že hlavní větev je čistá a synchronizovaná se vzdáleným repozitářem. Jméno větve volte podle účelu, ne podle data ani iniciál, aby bylo po měsíci zřejmé, co obsahuje a zda se ještě používá.
Nakonec počítejte s tím, že automatizace stárne. Závislosti se aktualizují, image zastarávají, testy závisí na datech, která někdo změní. Naplánujte pravidelnou kontrolu, při které se běh spustí i bez nového commitu, ať se rozbití odhalí dřív než při vydání. Cílem není dokonalý systém, ale takový, kterému tým věří natolik, že červený výsledek skutečně znamená problém.
Začněte tím, že celé prostředí pro testy popíšete jako kód. Databázi, fronty, úložiště i závislé služby spouštějte stejným příkazem, který používají vývojáři lokálně. Když se lokální a CI prostředí rozejdou, testy procházejí na jednom a padají na druhém a nikdo neví proč. Jeden skript nebo
kontejnerový soubor, který připraví vše potřebné, je základ. Vyhněte se však pokušení dát do něj natvrdo konkrétní verze nástrojů bez zámku — rozdíly mezi verzemi jsou častou př
íčinou „u mě to funguje".
Nejčastější chyba je začít nový feature na rozjeté větvi jiného feature. Zdánlivě to ušetří čas, ale při slučování pak táhnete cizí commity a řešíte konflikty, které s vaší prací nesouvisí. Pokud už na takové větvi jste, přeneste své commity na novou větev z hlavní linie pomocí přeskládání a původní větev nechte být. Před každým přeskládáním si udělejte záložní větev, abyste měli kam se vrátit.
Na závěr zaveďte testy, které běží opakovaně a bez ručního zásahu. Připravte si jeden sdílený scénář pro všechny platformy a porovnávejte výsledný stav na serveru, ne jen obrazovku v aplikaci. Do logů zapisujte, která operace byla odeslána, kolikrát a s
jak zařídit malou kuchyniým výsledkem. Bez toho se chyby v synchronizaci ladí velmi těžko, protože se projeví až po delší době a na jiném zařízení, než kde vznikly.