Rekomendowane miary dostarczania produktu

Jakie miary warto śledzić, żeby naprawdę usprawniać proces wytwarzania produktu? Poznaj nasz zestaw sześciu rekomendowanych miar procesu dostarczania od Time To Market po Delivery Predictability. Wyjaśniamy jak wprowadzać je mądrze i  dlaczego ich mierzenie jest szansą na rozwój i lepszą współpracę w zespole. Jak zawsze wplatamy przykłady z życia i historie zawodowe, by lepiej przedstawić temat.

Dlaczego mierzenie procesu jest ważne?

Mierzenie procesu pozwala lepiej zrozumieć jego kondycję. Opinie, odczucia i wyobrażenia są z natury subiektywne. W tym artykule chcemy zwrócić uwagę na to, by opierać się na możliwie konkretnych i obiektywnych danych.

Mierzenie procesu umożliwia również lepsze planowanie, prognozowanie i zwiększa przewidywalność pracy zespołu. W zależności od roli w zespole można samodzielnie planować, wspólnie prognozować działania lub pracować w strukturze, w której zespoły bazują na faktach i konkretnych danych. Takie plany da się zweryfikować, sprawdzają się co najmniej w większym przybliżeniu. Choć zawsze istnieje pewien margines nieprzewidywalności, to pomierzony proces z zasady cechuje się większą przewidywalnością niż opieranie się na subiektywnych opiniach czy przeczuciach.

Mierzenie procesu umożliwia też weryfikację tempa realizacji strategii produktowej. W większości organizacji istnieją pewne plany, które powinny zostać zrealizowane. Znajomość rzeczywistego przebiegu procesu pozwala zestawić te dane z aspiracjami firmy. Pozwoli też ocenić, czy przy obecnej kondycji procesu oczekiwania dotyczące efektów za miesiąc czy trzy miesiące są w ogóle realne.

Mierzenie procesu wspiera budowanie zaufania u interesariuszy i klientów. Jeśli wcześniejsze plany są realizowane, a informacje o procesie, jego przebiegu, typowych stanach czy statystykach, są transparentnie komunikowane, wzmacnia to wiarygodność zespołu. Interesariusze i klienci, niezależnie od tego, kim są, zyskują zrozumienie, możliwość przewidywania i poczucie, że można Wam zaufać.

I ostatni argument, którym chcemy się podzielić: miary mogą stanowić punkt odniesienia dla usprawnień procesu w zespole. Część zespołów opiera się na intuicji, rozmawia o możliwych usprawnieniach, ale nie dochodzi do konkretów. Zachęcamy, aby w takich rozmowach pojawiały się twarde dane: konkretne liczby, połączone z oczekiwaniami co do pożądanego stanu. Dzięki temu zespół może opierać refleksję na rzeczywistych, empirycznych informacjach płynących z procesu.

Sześć rekomendowanych miar procesu dostarczania

Time To Market

Definicja Time To Market

Time To Market to czas realizacji inicjatywy od momentu pojawienia się pomysłu do chwili, gdy rozwiązanie jest skutecznie wykorzystywane przez klienta końcowego. Liczenie rozpoczyna się w chwili narodzin koncepcji, niezależnie od tego, czy pojawiła się w głowie konkretnej osoby, czy w wyniku pracy większej grupy. Kończy się, gdy przekształcona w funkcję produktową idea zostaje realnie użyta przez użytkownika.

Jak mierzyć Time To Market?

Najczęściej stosowaną metodą liczenia Time To Market jest średnia krocząca z ostatnich X inicjatyw. Liczba X może wynosić np. 10, ale w przypadku dużych organizacji lub bardzo małych inicjatyw może być znacznie większa. Alternatywnie można obliczyć średnią z określonego okresu np. kwartału, półrocza lub całego roku. Stosowanie średniej kroczącej lub średniej okresowej pozwala zauważyć zmiany w czasie. Zarówno te pozytywne (przyspieszenie realizacji), jak i negatywne, np. spowolnienie procesu. Gdyby natomiast liczyć średnią ze wszystkich inicjatyw od początku istnienia organizacji, zmiany te byłyby niewidoczne. Rozmyłyby się w danych i dawały jedynie nieznaczne wahania „po przecinku”.

Time To Market – analogia z życia

Będziemy posługiwać się w całym niniejszym materiale analogią wizyty w restauracji. W przypadku Time To Market odpowiada on czasowi od momentu wejścia do restauracji do chwili, gdy klient zje pierwszy kęs zamówionego posiłku. Innymi słowy, od chwili, w której decyduje, że chce coś zjeść w konkretnej restauracji, do momentu, gdy faktycznie otrzymuje i może skosztować zamówione danie.

Time To Market – kontrowersje co do sposobu mierzenia

Powyższy przykład ma szczególne znaczenie, może być nawet powodem akademickiej dyskusji. Od kiedy właściwie powinno się liczyć Time To Market? Od wejścia do restauracji? A może od zamówienia? Świadomie chcemy zasygnalizować tę potencjalną kontrowersję, bo w praktyce mierzenie Time To Market często budzi wątpliwości. Jednym z kluczowych wyzwań jest precyzyjne określenie momentu rozpoczęcia liczenia. Od kiedy uznaje się, że inicjatywa faktycznie się rozpoczęła?

Choć hasło Time To Market jest szeroko wykorzystywane, a wiele firm deklaruje, że je mierzy, jego praktyczna aplikacja bywa problematyczna. Często zdarza się, że moment pojawienia się pomysłu nie jest nigdzie formalnie zarejestrowany. Nie trafił jeszcze do żadnego systemu ani narzędzia. Dodatkowo niektóre zespoły czy organizacje uznają, że liczenie od zbyt wczesnego etapu np. od momentu, gdy pomysł pojawia się w głowie produktowca czy stratega, jest niesprawiedliwe. Dlatego nie chcemy wskazywać jednej właściwej definicji. Warto natomiast być świadomym, że ta popularna miara niesie ze sobą spore kontrowersje. Jej interpretacja ma kluczowe znaczenie dla sposobu, w jaki analizujesz skuteczność działań swojego procesu.

Lead Time

Lead Time – definicja

Na pierwszy rzut oka może wydawać się podobna do Time To Market, jednak między nimi istnieją istotne różnice. Lead Time najczęściej definiuje się jako czas realizacji inicjatywy: od jej formalnego zgłoszenia do momentu wdrożenia. Przez inicjatywę rozumiemy tu większą całość. W klasycznym ujęciu może to być projekt. W środowisku produktowym będzie to pomysł lub okazja biznesowa, często obejmująca zestaw funkcji czy zmian. Miarę tę liczymy od chwili, gdy inicjatywa zostaje uchwycona (zapisana / nazwana /zarejestrowana), aż do momentu, gdy zostaje udostępniona użytkownikom.

Lead Time – kontrowersje co do punkt startu mierzenia

Także w przypadku Lead Time mogą pojawić się kontrowersje,  szczególnie w kwestii tego, co dokładnie oznacza „zgłoszenie” inicjatywy. Czy chodzi o zapisanie pomysłu w ogólnodostępnym repozytorium, czy o formalne przekazanie go do konkretnego zespołu? Różne organizacje mogą przyjąć odmienne podejścia, dlatego kluczowe jest jednoznaczne zdefiniowanie tego momentu.

Jak mierzyć Lead Time?

Najczęściej stosuje się średnią kroczącą z ostatnich kilku lub kilkunastu inicjatyw. Ich liczba i rozmiar zależą od specyfiki organizacji. Alternatywnie, można użyć średniej z wszystkich inicjatyw zakończonych w danym okresie, czy w kwartale. Niezależnie od przyjętej metody, świadomie dobierz analizowany przedział czasowy i upewnij się, że dane wykorzystywane do pomiaru są rzetelne. Jakość danych jest wprost zależna od dyscypliny osób korzystających z narzędzi zespołowych. A to przekłada się na wiarygodność wniosków, które można wyciągnąć na podstawie tej miary.

W porównaniu z Time To Market – gdzie czas często zaczyna być liczony jeszcze na etapie nieuchwytnego, luźnego pomysłu – Lead Time bazuje zazwyczaj na danych dostępnych w narzędziach zespołu. Czyni to Lead Time miarą łatwiejszą do uporządkowania i bardziej jednoznaczną.

Lead Time – analogia z życia

Przenieśmy Lead Time na zastosowaną już wyżej analogię restauracyjną. Jego pomiar rozpoczyna się w momencie złożenia zamówienia kelnerowi lub kelnerce, a kończy w chwili, gdy danie zostaje wydane z kuchni. To zakres węższy niż w Time To Market. Ale nadal w wielu restauracjach może zająć trochę czasu. Zawiera w sobie czasy choćby przekazania zamówienia do kuchni albo ewentualne przestoje pomiędzy przekazaniem zamówienia a faktycznym rozpoczęciem przygotowania posiłków.

Cycle Time

Definicja Cycle Time

Cycle Time to czas realizacji inicjatywy liczony od faktycznego rozpoczęcia prac wytwórczych do ich zakończenia. W tym przypadku nie bierze się pod uwagę momentu zgłoszenia inicjatywy ani okresu oczekiwania. Do pomiaru interesujący jest wyłącznie czas przetwarzania, czyli moment rozpoczęcia konkretnych działań mających na celu stworzenie produktu lub funkcji, aż do chwili zakończenia tych działań i przekazania efektu do wdrożenia.

W przypadku Cycle Time wyraźnie widać zawężenie zakresu. Obejmuje on przesunięcie zadania do stanu „in progress”, czyli faktyczne rozpoczęcie pracy przez zespół, aż do zakończenia tego zadania po jego stronie. Poza tym etapem mogą występować dalsze czynności, np. weryfikacja lub wdrożenie, które nie są objęte tą miarą.

Jak mierzyć Cycle Time?

Najczęściej obliczany jest jako średnia krocząca z ostatnich kilku-kilkunastu inicjatyw lub średnia z inicjatyw zakończonych w danym okresie (np. kwartał, półrocze, rok).

Cycle Time – analogia z życia

Cycle Time to czas od rozpoczęcia realizacji zamówienia np. obierania ziemniaków czy smażenia kotleta, aż do momentu, gdy kuchnia uzna danie za gotowe i przekaże do wydania. Innymi słowy Cycle Time do czas faktycznego procesu przygotowania posiłku.

Flow Efficiency

Definicja Flow Efficiency

Flow Efficiency (pol. Wydajność albo Sprawność Procesu) to procentowy udział czasu aktywnej pracy nad inicjatywą w całkowitym czasie jej realizacji. Wzór jest prosty: suma czasu aktywnej pracy dzielona przez Lead Time i pomnożona przez 100%. W tej mierze sprawdza się jaką część całego procesu stanowiła realna praca. Odwrotnością tej miary jest procent okresów nieaktywnych: jaki procent całego Lead Time to były przestoje, oczekiwania, blokady decyzyjne czy świadome wstrzymanie działań.

W przeciwieństwie do wyżej wymienionych miar, Flow Efficiency jest rzadziej stosowana i rzadziej uwzględniana w standardowych raportach narzędziowych. Mimo to warto rozważyć jej zastosowanie, ponieważ wnosi istotny wgląd w rzeczywistą efektywność pracy.

Flow Efficiency – wyzwania w stosowaniu miary

Największym wyzwaniem przy mierzeniu Flow Efficiency jest rzetelne oszacowanie czasu aktywnej realizacji. Odpowiedzialność za to leży po stronie osób wykonujących pracę. Ważne by dane rejestrowane w narzędziach śledzących postęp oraz czas poświęcony na zadania możliwie wiernie odzwierciedlały rzeczywistość. Choć dopuszczalne jest pewne przybliżenie, to i tak, bazując na naszym doświadczeniu, zakładamy, że w przeciętnej firmie Flow Efficiency bywa niepokojąco niskie.

Flow Efficiency – analogia z życia

Przykład restauracyjny ilustrujący Flow Efficiency: klient czeka na posiłek 30 minut – więc tyle wynosi Lead Time dla tego przypadku. Z tego czasu kucharz faktycznie poświęcił na przygotowanie dania 15 minut, a pozostałe 15 minut spędził, np. przeglądając shorts’y na YouTube Porządnego Agile’a. Oznacza to, że Flow Efficiency wynosi 50%, ponieważ tylko połowa całkowitego czasu oczekiwania była aktywnie wykorzystana na pracę nad zamówieniem.

Nie dziwi nas zbytnio, że kucharz nie mógł się oprzeć 😉 . W realiach produktów cyfrowych elementy obniżające efektywność przepływu to wszelkiego rodzaju przestoje. Mogą to być awarie, niedostępność narzędzi lub środowisk, rozpraszające spotkania czy czas oczekiwania na przekazanie informacji lub części pracy pomiędzy specjalistami.

Deployment Frequency

Jak mierzyć Deployment Frequency?

Deployment Frequency to częstotliwość wdrożeń. Mierzy się ją, zliczając wdrożenia na środowiska produkcyjne (czyli te, z których korzysta użytkownik końcowy) w określonej jednostce czasu.

Dlaczego warto mieć dużą częstotliwość wdrożeń?

Warto zauważyć, że częste wdrożenia zazwyczaj idą w parze z krótszym Time To Market lub Lead Time’em. Częste wdrożenia umożliwiają więcej iteracji i większą liczbę eksperymentów oraz częstsze doskonalenie produktu.

Co ciekawe, raport DORA wskazuje też, że częste wdrożenia często korelują z wyższą ogólną jakością produktu. Można więc wysnuć wniosek, że im częściej organizacja wdraża zmiany, tym większe prawdopodobieństwo, że jakość dostarczanego klientowi produktu będzie wyższa.

Deployment Frequency – analogia z życia

Przykład częstotliwości wdrożeń w restauracji może być mniej intuicyjny, ale wyobraźmy sobie następującą sytuację: na zmianie pracuje tylko jeden kelner, który obsługuje całą salę. W praktyce oznacza to, że co 5 minut jest w stanie dostarczyć do stolika jeden posiłek. Poza tym przyjmuje zamówienia, obsługuje płatności i odpowiada na pytania gości. Finalnie częstotliwość serwowania potraw ma bezpośrednie przełożenie na ocenę obsługi i satysfakcję klientów.

Deployment Frequency – jak poprawić tę miarę? 

W przypadku produktów cyfrowych częstotliwość wdrożeń jest ściśle powiązana ze sprawnością procesu wdrożeniowego. Niektóre organizacje, zwłaszcza bardziej zaawansowane, wdrożenia przekazują zespołom produktowym lub zespołom funkcjonalnym. W innych nadal funkcjonują odrębne jednostki, np. zespoły DevOps, które przejmują odpowiedzialność za ten etap.

Kluczowy wpływ na częstotliwość wdrożeń ma stopień automatyzacji procesu. Im większa automatyzacja i mniejsze zaangażowanie czynnika ludzkiego, tym większa szansa na częste i szybkie dostarczanie mniejszych zmian. Istotne są również narzędzia klasy CI/CD, które wspierają ten proces. Warto też zwrócić uwagę na architekturę samego produktu. Jeśli podzielono go na mniejsze komponenty lub paczki wdrożeniowe, ułatwia to częstsze i bezpieczniejsze wdrażanie. Operowanie dużymi blokami zmian znacznie ogranicza tę elastyczność.

Delivery Predictability

Definicja i sposób mierzenia Delivery Predictability

Delivery Predictability określa procent dostarczonych funkcji (lub elementów Backlogu Produktu) na koniec konkretnego odcinka czasu (najczęściej iteracji lub Sprintu), w stosunku do liczby elementów zaplanowanych na jego początku. Najczęściej dane są uśredniane, analizuje się wyniki z pojedynczych Sprintów lub z dłuższego okresu, np. kwartału. Pojedynczy słabszy Sprint może czasem wywołać spore poruszenie przy analizie tej miary. Z tego powodu obserwuje się trend, który buduje się w czasie i stanowi dla zespołu punkt wyjścia do działań usprawniających.

W Przewidywalności Dostarczania uzyskaną konkretną liczbę traktuj jako oczekiwany zakres, pewien przedział który jest pożądany. Zarówno jego wyraźny nieuzyskanie jak i trwałe przekraczanie traktować jako sytuację budzącą pytania. Proponowany przez nas zakres to zazwyczaj od 80% do 120%. Celem nie jest idealne trafienie w 100%, lecz osiągnięcie poziomu przewidywalności wystarczającego zarówno z perspektywy interesariuszy, jak i zespołu. Chodzi o to, na ile można polegać na zdolnościach planistycznych zespołu.

Zaznaczamy też, że jest to dosyć kontrowersyjna miara, często budząca wiele emocji, zarówno u praktyków technik zarządzania jak i w samych zespołach.

Delivery Predictability – analogia z życia

Załóżmy, że klient w restauracji przy składaniu zamówienia pyta obsługę, w jakim czasie otrzyma posiłek. Nie jest to sytuacja abstrakcyjna. Zdarza się, że goście pytają o to, np. mając ograniczony czas podczas przerwy w pracy i chcąc szybko zjeść. Załóżmy, że klient otrzymał informację, iż posiłek zostanie podany w 15 minut. Kuchnia nie była przeciążona, a proces wydawał się sprawny. Ostatecznie jednak danie dotarło dopiero po 30 minutach. Klient został wprawdzie przeproszony i otrzymał wyjaśnienie, jednak wcześniejsza deklaracja czasowa nie została dotrzymana.

W przypadku kuchni przewidywalność można byłoby zmierzyć poprzez zestawienie wszystkich wydanych posiłków z wcześniejszymi deklaracjami czasowymi. Miarą będzie sprawdzenie, w ilu przypadkach zostały one dotrzymane. Zakładamy przy tym, że czas jest istotnym czynnikiem, zarówno dla klienta, któremu zależy na terminowej obsłudze, jak i dla restauracji, w której opóźnienia mogą prowadzić do spiętrzenia zamówień.

Jak wykorzystać miary procesu dostarczania w praktyce?

1. Ustal dlaczego potrzebujesz miar

Pomysłów na miary jest wiele więcej, niż wymieniamy w tym materiale. Najprawdopodobniej nie dasz rady wykorzystać wszystkich jednocześnie. Warto więc świadomie określić, po co chcesz mierzyć proces. Zastanów się, które z pięciu powodów, o których piszemy na początku artykułu, są dla Ciebie najistotniejsze. Na tej podstawie dobierz konkretne miary. Takie podejście ułatwi nie tylko przemyślenie własnych priorytetów w obszarze mierzenia procesów, lecz także pomoże w późniejszej komunikacji z zespołami.

Przykład z życia: w jednej z firm typu software house mierzyliśmy się z problemem zaufania klienta oraz z częstotliwością dostarczania wysokiej jakości produktu. W tych okolicznościach zdecydowaliśmy się śledzić dwie miary:

• przewidywalność, czyli zdolność do realizacji założonych obietnic i prognoz.

• szczelność procesu testowania. Ta miara pokazywała, jaki procent błędów zgłaszają klienci. Naszym celem było dążenie do wartości bliskiej zeru. Chcieliśmy, aby wszystkie błędy były wyłapywane w procesie testowania wewnętrznego, tak by produkt dostarczany klientowi nie budził zastrzeżeń.

Przykład przedstawia sytuację, w której decyzja o mierzeniu procesów ma racjonalne podstawy. W praktyce jednak wprowadzenie mierzenia, szczególnie w organizacji, która wcześniej tego nie robiła, może zostać odebrane jako działanie kontrowersyjne. Może budzić skojarzenia z kontrolą, brakiem zaufania czy próbą rozliczania ludzi z błędów. Właśnie dlatego tak ważne jest, by jasno określić cel wdrażanych miar i sposób ich wykorzystywania w organizacji. To element komunikacji towarzyszącej zmianie, którą najprawdopodobniej planujesz wprowadzić w firmie lub jej części.

2. Zapewnij wspólne zrozumienie definicji miar

Wprowadzenie mierzenia procesu do organizacji często budzi kontrowersje. Dlatego należy precyzyjnie określić, co będzie mierzone, w jaki sposób, skąd będą pochodziły dane, jak będą przetwarzane oraz prezentowane. Każdy powinien mieć jasność, czego dotyczą miary. Szczególnie wrażliwe mogą być wskaźniki związane z czasem. W wielu firmach pracownicy zobowiązani są do logowania czasu pracy. Oczekuje się też, że są aktualizowane statusy poszczególnych elementów czy zadań składających się na tworzony produkt. Jakość zbieranych danych będzie bezpośrednio wpływać na wiarygodność uzyskanych wyników. Dlatego warto poświęcić uwagę na dokładne określenie i wspólne zrozumienie zasad pomiaru.

W przypadku miar związanych z czasem szczególnie istotne jest jednoznaczne określenie momentu rozpoczęcia i zakończenia pomiaru. Bez precyzyjnych ustaleń, kiedy stoper zaczyna i kończy odliczanie, istnieje ryzyko, że różne zespoły będą interpretować to na własny sposób. Może to podważyć wiarygodność całego procesu mierzenia i opierania decyzji na danych. Aby temu zapobiec, warto ustalić jasne zasady obowiązujące w całej organizacji. Dobrym rozwiązaniem jest również maksymalne zautomatyzowanie pomiaru i osadzenie go w narzędziach, eliminując możliwość ręcznej ingerencji. Dane powinny pochodzić bezpośrednio z systemów, bez dodatkowego przetwarzania.

3. Wybierz 1-2 miary i propaguj zmierzone wyniki do organizacji

Choć w naszym materiale pojawiło się sześć rekomendacji, uważamy, że nie warto wdrażać zbyt wielu wskaźników naraz. Zdecydowanie lepszym podejściem jest świadomy wybór niewielkiego, ale dobrze dopasowanego zestawu miar, które faktycznie zostaną wdrożone i regularnie stosowane. Ważne jest także, aby te miary były konsekwentnie komunikowane w całej organizacji zarówno przez kadrę zarządzającą, jak i przez Product Ownerów podczas podsumowań Sprintów. Zadbaj o to, by wyniki były na bieżąco przekazywane wszystkim zainteresowanym.

Liczba wybranych miar ma duże znaczenie. Nawet jedna czy dwie wprowadzone miary będą nowością i mogą budzić kontrowersje oraz pytania w organizacji. Zbyt duża liczba miar może natomiast stać się przeszkodą, która utrudni cały proces zmiany. Dlatego tak ważne jest rozsądne wybranie tych aspektów procesu, które w danej firmie mają realne znaczenie i przyniosą największą wartość.

4. Na bieżąco obserwuj odczyty miar na dashboardzie

Samo zdefiniowanie mierników to za mało. Konieczne jest zbudowanie systemu, który umożliwi kontrolowanie i bieżące śledzenie aktualnych wartości miar, aby można było podejmować działania korygujące. Warto przemyśleć, jak często zaglądać do tych danych. Codzienne monitorowanie może nie ujawnić trendów. Lepszym rozwiązaniem jest regularność skorelowana z cyklem wytwórczym, np. raz w tygodniu lub co dwa tygodnie. Warto obserwować, czy taka częstotliwość jest wystarczająca i czy pozwala dostrzec istotne sygnały.

W praktyce można to realizować na dwa sposoby. Pierwszym jest wykorzystanie radiatorów informacji. Wielu menedżerów ma ekrany lub zestawy ekranów, na których stale wyświetlane są kluczowe mierniki. Często są to nie tylko miary procesowe, lecz także dane o stabilności działania produktu czy miary biznesowe. Dzięki temu możliwe jest bieżące śledzenie istotnych informacji.

Drugim sposobem, bardziej cyklicznym, jest wykorzystywanie okazji takich jak wizyta zarządzających na Sprint Review, podsumowania miesięczne czy kwartalne. Podczas takich spotkań warto na stałe uwzględnić w agendzie omówienie jednej, dwóch lub trzech najważniejszych miar procesowych. Warto też poprosić o publiczną refleksję nad tym, jak wygląda obecny stan procesu i w jakim kierunku zmierza.

5. Wspólnie z zespołem ustalcie plan usprawniania procesu 

Samo mierzenie to za mało. Załóżmy, że proces jest już pomierzony, dane i statystyki są regularnie weryfikowane, a zespół został o nich poinformowany podczas odpowiednich spotkań. Kluczowe jest jednak to, by zgromadzone dane faktycznie wykorzystać do wprowadzania usprawnień. W tym celu warto, by zespół przy wsparciu lidera opracował konkretny plan działań. Rola lidera polega tu zarówno na inicjowaniu oczekiwania, by taki plan powstał, jak i na wskazaniu wizji, do której warto dążyć.

Jak przy każdej zmianie, wyzwaniem będzie wygospodarowanie czasu na analizę danych pozyskanych z procesu. Nie wystarczy samo wyświetlanie wskaźników na dashboardach. Kluczowe jest, by znaleźć przestrzeń na omówienie tych wyników z zespołem. Jeśli odczyty są niepokojące (albo bardzo optymistyczne),  warto wspólnie zastanowić się, co za nimi stoi. Dzięki temu można wzmacniać pozytywne zachowania wpływające na poprawę procesu lub przygotować działania korygujące, gdy dane wskazują, że sytuacja zmierza w niewłaściwym kierunku.

6. Skup się na usprawnianiu procesu, a nie podkręcaniu wyników

Unikaj poprawiania wyników „na papierze”. To ważny i często kontrowersyjny aspekt. W zespołach może pojawić się naturalna pokusa, by manipulować wynikami, skoro organizacja oczekuje ich poprawy. Kluczową rolą liderów i managerów jest konsekwentne przypominanie, że nie o to chodzi. Istotne jest posiadanie rzetelnych danych, które pozwolą faktycznie korygować proces. Należy zaakceptować, że początkowe wyniki mogą być dalekie od oczekiwań. Warto też przygotować się na tzw. efekt szoku, czyli uświadomienia sobie, że rzeczywista sytuacja odbiega od wcześniejszych wyobrażeń. Rolą lidera jest wtedy zadbać o to, aby zamiast „pudrowania” wyników, zespoły wzięły odpowiedzialność za rzeczywisty stan procesu i przygotowały działania naprawcze.

W ramach opisanych wcześniej „szoków” mogą pojawiać się pokusy manipulowania danymi, np. wyłączania z analizy inicjatyw, które wypadły gorzej, lub uznawania pewnych inicjatyw za nowe, by zacząć je liczyć od nowa. Warto w takich sytuacjach wykazać się osobistą odwagą i jasno komunikować, że dane powinny pozostać niezmienione, nawet jeśli chwilowo pokazują wyniki mniej korzystne lub niesprawiedliwe. To tylko fakty, które nie świadczą o beznadziejności zespołu, lecz o stanie procesu.

Twoją rolą jako lidera/ki będzie modelowanie właściwych postaw i dawanie przykładu. Zachęcaj do traktowania tych danych jako impulsu do refleksji i wspólnego poszukiwania rozwiązań. Zespoły i cała organizacja powinny skupić się na tym, co można zmienić: w systemie, narzędziach, sposobie pracy czy kulturze organizacyjnej, aby proces faktycznie się poprawiał, a dane odzwierciedlały realny postęp.

7. Regularnie dokonuj refleksji na temat procesu mierzenia

To stały element każdej listy naszych rekomendacji. W tym przypadku oznacza świadome i systematyczne przyglądanie się temu, jak zbierane są dane, jak komunikowane są wyniki, jakie kontrowersje to wywołuje oraz czy narzędzia wykorzystywane do mierzenia spełniają swoją rolę. Warto poprosić o informację zwrotną i wspólnie w zespole (lub szerszej grupie) przeanalizować, czy sposób mierzenia procesu i prezentowania wyników faktycznie wspiera usprawnienia.

Należy również ocenić, jak wydajny jest sam proces mierzenia i co można w nim poprawić. Zazwyczaj jest tu sporo przestrzeni do doskonalenia  m.in. eliminacja zbędnego udziału czynnika ludzkiego oraz zwiększenie użyteczności prezentowanych informacji. Dobrze prowadzone mierzenie nie powinno stać się źródłem frustracji ani powodem do porzucenia idei mierzenia. Przeciwnie, mierzenie powinno wspierać rozwój procesów i budować zaufanie do prezentowanych danych.

Nie jest to abstrakcyjna przestroga ani zachęta do bezrefleksyjnego usprawniania wszystkiego, za tą rekomendacją stoją konkretne, realne doświadczenia. W praktyce w każdej organizacji znajdą się osoby, które nie będą zainteresowane zmianą i będą dążyły do utrzymania status quo. To właśnie one jako pierwsze zaczną podważać jakość danych pochodzących z miar.

Często pojawiają się wówczas komentarze w stylu: „to nie ma sensu”, „nic z tego nie wynika”, „tracimy tylko czas”, „od początku mówiłem, że to się nie sprawdzi”. Dlatego właśnie tak ważne jest, aby sposób zbierania danych i zarządzania miarami był solidny i transparentny. Tylko wtedy mogą one faktycznie wspierać poprawę efektywności organizacji i być odpornym na tego typu podważanie.

Rekomendowane miary dostarczania produktu – podsumowanie

• Znajomość miar Twojego procesu pozwala lepiej zarządzać produktem, budować zaufanie u interesariuszy i usprawniać sposób wytwarzania.
• Mierniki procesu takie jak Time-To-Market, Lead Time czy Cycle Time są popularne. ale wymagają jasnej definicji i zdyscyplinowanego pomiaru.
• Warto rozważyć mniej popularne miary jak Flow Efficiency.
• Zbuduj w Twoim zespole plan stosowania miar i usprawniaj na tej bazie proces.

Materiały dodatkowe

• 4 Kanban metrics you should be using
• 4 Key Flow Metrics and How to Use Them in Scrum’s Events
• Flow Metrics in Agile Development

FAQ: Rekomendowane miary dostarczania produktu

Dlaczego mierzenie procesu jest ważne?

Mierzenie procesu pozwala na:

• Zrozumienie swojego procesu wytwórczego
• Lepsze planowanie, prognozowanie i przewidywalność
• Weryfikację tempa realizacji strategii produktowej
• Budowanie zaufania u interesariuszy i klientów
• Jest punktem odniesienia dla usprawnień procesu w zespole

Czym jest miara Time To Market?

Time To Market jest to czas realizacji inicjatywy, mierzony od nazwania pomysłu do skutecznego użycia przez klienta końcowego. W praktyce firmy najczęściej liczą go jako średnią kroczącą z ostatnich kilku inicjatyw albo jako średnią czasów wszystkich zakończonych inicjatyw w danym okresie.

Czym jest miara Lead Time?

Lead Time jest to czas realizacji inicjatywy mierzony od zgłoszenia inicjatywy do wdrożenia jej efektów. Najczęściej w firmach jest to średnia krocząca z ostatnich x inicjatyw albo średnia z wszystkich czasów inicjatyw skończonych w danym okresie (np. kwartale albo roku).

Czym jest miara Cycle Time?

Cycle Time to czas realizacji inicjatywy od mierzony od faktycznego rozpoczęcia prac wytwórczych do ich zakończenia. W firmach najczęściej obliczany jako średnia krocząca z ostatnich kilku inicjatyw lub jako średnia czasów wszystkich zakończonych inicjatyw w określonym przedziale czasu (np. kwartale albo roku).

Czym jest miara Flow Efficiency?

Flow Efficiency to procent czasu aktywnej realizacji inicjatywy – podziel czas rzeczywistej aktywnej pracy przez Lead Time danej inicjatywy.

W realiach rozwoju produktu cyfrowego uwidacznia jak wiele czasu zajmują nieefektywności procesu: przestoje dowolnego typu, awarie, niedostępności narzędzi, rozpraszające spotkania czy oczekiwania na przekazanie pracy pomiędzy kolejnymi specjalistami.

Czym jest Deployment Frequency (pol. częstotliwość wdrożeń)?

Deployment Frequency to liczba wdrożeń na środowiska produkcyjne w danej jednostce czasu (np. w tygodniu, miesiącu bądź kwartale). Częstsze wdrożenia są skorelowane z krótszymi czasami realizacji (Time To Market, Lead Time) oraz wyższą jakością i pozwalają na więcej iteracji i eksperymentowania.

Czym jest Delivery Predictability?

Delivery Predictability to procent zrealizowanych funkcji lub elementów w odniesieniu do pierwotnie zaplanowanej liczby w danej jednostce czasu. Najczęściej miara analizowana jest w ujęciu sprintowym (2 tygodnie) lub kwartalnym. Warto traktować tę miarę jako akceptowalny zakres (np. 80–120%), a nie próbę idealnego trafienia w 100%.

Czym różni się Lead Time od Cycle Time?

Lead Time to czas od zgłoszenia potrzeby do jej dostarczenia. Cycle Time mierzy tylko czas od rozpoczęcia prac do ich zakończenia. Różnica między tymi miarami może uwidocznić czas spędzony w inicjatywie na oczekiwaniu w kolejce do realizacji oraz ewentualny czas między końcem prac a faktycznym przekazaniem do klienta.

Jak często powinno się analizować miary efektywności procesu?

Najlepiej analizuj miary cyklicznie – np. co sprint lub co miesiąc. Ale pamiętaj, że  kluczem jest wychwycenie trendów, a nie paniczne reagowanie na każdą zmianę po pojedynczym słabszym Sprincie.

Ile miar warto śledzić jednocześnie?

Na początek wystarczą może tylko dwie, ale kluczowe dla kontekstu twoich zespołów. Mniej znaczy lepiej – łatwiej o zrozumienie, komunikację i działanie. Nadmiar danych spowalnia i może przytłoczyć zarówno członków zespołów, jak i zarządzających. Jak nabierzecie jako firma wprawy, możecie poszerzyć pulę miar o kolejne istotne aspekty.

Czy miary procesu wytwórczego mogą demotywować zespół?

Tak – jeśli są używane do kontroli i obwiniania zamiast do rozwoju i nauki. Dobre miary wspierają refleksję i decyzje, a nie piętnują błędy. Pokazują też efekty podjętych usprawnień i zachęcają do podejmowania i wspierania kolejnych zmian.

Skąd brać dane do mierzenia procesu wytwórczego?

Najlepiej z narzędzi, które zespół już używa – np. Jira, Azure DevOps. Im mniej ręcznego wpisywania, tym lepiej dla wiarygodności wyników i wygody objętych zespołów.

📄Transkrypcja podcastu „Rekomendowane miary dostarczania produktu”

Poniżej znajdziesz pełny zapis rozmowy z tego odcinka podcastu Porządny Agile.

Kuba: Niedawno miałem okazję podzielić się tematem metryk procesowych z pewną grupą produktowców. Byli to Product Managerowie i Product Ownerzy, którzy zebrali się na wewnątrzfirmowym spotkaniu o wymianę wiedzy i takiej wzajemnej inspiracji. Przygotowałem materiał, który porusza właśnie tematy związane z procesem i jego mierzeniem. Materiał na tyle dobry, że nadaje się do przytoczenia jako podstawa treści tego odcinka.

I, zanim Jacek poda spis treści tego odcinka, polecam Twojej uwadze temat możliwości zaproszenia nas na wewnątrzfirmowe konferencje, spotkania inspiracyjne, jakiejś podsumowania etapów transformacji. Robimy takie rzeczy, nie zawsze o tym słychać, nie zawsze też jest to publicznie widoczne, ale można albo nas obu, albo jednego z nas zaprosić i wzmocnić program takiego wydarzenia naszym wystąpieniem na konkretny wskazany przez Ciebie temat.

Jacek: Spis treści tego odcinka. Po pierwsze powiemy, dlaczego mierzenie procesu jest ważne. Następnie podzielimy się sześcioma rekomendowanymi miarami procesu dostarczania i na koniec podsumujemy, jak wykorzystać miary procesu dostarczania w praktyce.

Kuba: Więc zaczynając od początku. Dlaczego mierzenie procesu jest ważne?

Jacek: Po pierwsze mierzenie procesu pozwoli Ci lepiej zrozumieć, w jakiej kondycji ten proces jest. Subiektywne opinie, odczucia, wyobrażenia są bardzo subiektywne, a w tym odcinku chcemy zwrócić Twoją uwagę na to, żebyś operował lub operowała na jak najbardziej konkretnych danych. 

Kuba: Mierzenie procesu pozwala też na lepsze planowanie, prognozowanie i przewidywalność. W zależności od tego, jakie jesteś w funkcji w zespole, możesz albo osobiście planować, albo wspólnie z zespołem prognozować pewne działania, lub w ramach swojej struktury posiadać zespoły, które dobrze planują, prognozują, bazują właśnie na konkretach, na faktach. Można też te plany po prostu sprawdzić, one się sprawdzają jako tako. Oczywiście z pewną dozą dokładności zawsze jakiś rodzaj nieprzewidywalności będzie, ale jednak przewidywalność pomierzonego procesu z zasady powinna być wyższa niż takie właśnie subiektywne opinie, o których wspomniał przed chwilą Jacek.

Jacek: Po trzecie, mierzenie procesu jest ważne, bo pozwoli Ci weryfikować tempo realizacji strategii produktowej. Zwykle w firmie masz jakąś formę planów, które organizacja chciałaby, żeby były zrealizowane. No i świadomość tego, jak faktycznie wygląda Twój proces, pozwala nałożyć niejako tą informację na te aspiracje, które są w firmie zbudowane, no i ocenić czy przy takiej kondycji procesu te wyobrażenia, co będziemy mieć za miesiąc, co będziemy mieć za 3 miesiące, czy one w ogóle są realne.

Kuba: Po czwarte, mierzenie procesu pozwala na budowanie zaufania u interesariuszy i klientów. Jeśli te wspomniane przez nas poprzednie plany są realizowane, jeśli też transparentnie propagujesz informacje na temat tego, jak Twój proces wygląda, jakie ma, powiedzmy, typowe stany czy statystyki, to jest jakiś rodzaj informacji wzbudzającej zaufanie, powodującej, że interesariusze czy też klienci, w zależności od Twojej sytuacji, to mogą być bardzo różne grupy, rozumieją, przewidują, mają poczucie czy wyczucie, że można Wam zaufać.

Jacek: I ostatni argument, który chcemy się podzielić. Miary mogą być punktem odniesienia dla usprawniań procesu w zespole. Są zespoły, które usprawniają swój proces na wyczucie, rozmawiają, co można zrobić lepiej, jak można pewne rzeczy usprawnić, ale nie pojawiają się zatem żadne konkrety. Zdecydowanie tutaj chcielibyśmy Cię zachęcić do tego, żeby zadbać o to, aby podczas rozmów zespołowych o tym, jak jest, żeby w tle faktycznie pojawiały się jakieś konkretne liczby połączone z pewnymi oczekiwaniami, jakbyśmy chcieli, żeby było, no i żeby ta rozmowa po prostu opierała się na twardych, empirycznych danych, które płyną z procesu.

Kuba: Ok, to przejdźmy do drugiego rozdziału. Podamy 6 rekomendowanych miar procesu dostarczania. Na początku mikro spis treści wewnątrz tego rozdziału, żebyś miał lub miała wyczucie, o czym w ogóle dzisiaj będziemy rozmawiać. Zatem, jakie 6 miar procesu dostarczania rekomendujemy? Time To Market, Lead Time, Cycle Time, Flow Efficiency, Deployment Frequency i Delivery predictability. 

Jacek: I w tym rozdziale omówimy po kolei wszystkie te miary. Świadomie zdecydowaliśmy się na angielskie wersje tych miar, dlatego, żeby nie wprowadzać zamieszania. Wynika to z tego, że najczęściej właśnie w oryginale spotykamy te nazwy na co dzień w firmach. Takie nazwy też możecie sobie wyszukać, czy w narzędziach, z których korzystacie do wytwarzania produktów cyfrowych, czy też w internecie. Tak więc pomimo, że nagrywamy po polsku, uznaliśmy z Kubą przed nagraniem, że zachowamy oryginalne nazewnictwo tych miar i w tę formę agieską będziemy dzisiaj zachowywać.

Kuba: Chociaż czasem w niektórych dla wygody i próby niezłamania sobie języków może też użyjemy polskich odpowiedników. Dobrze, to pierwsza bardzo popularna miara, Time To Market.

Jacek: Tak, Time To Market, czyli jest to czas realizacji inicjatywy od nazwania pomysłu, czyli od momentu, kiedy się pojawia, do skutecznego użycia przez klienta końcowego. Czyli pojawia się jakaś koncepcja w głowie, w organizacji i od tego momentu włączamy licznik, natomiast wyłączamy go, gdy faktycznie ta idea w formie już zamienionej w jakąś funkcję produktu jest wykorzystana przez tego naszego klienta końcowego czy użytkownika końcowego.

Kuba: Do każdej z miar, którą proponujemy, opowiemy też, jak dokładnie można je policzyć, jakim wzorem.

No i zaczynając od Time To Market, najczęściej w firmach jest to średnia krocząca z ostatnich X inicjatyw, gdzie X to jest albo liczba typu 10, może to jest o wiele więcej, jeśli firma jest naprawdę duża, albo inicjatywy w tej firmie są na tyle małe, że ma sens to liczyć, w każdym razie bierzemy statystyki z ostatnich iluś inicjatyw i robimy z nich średnią. Czasami jest to też średnia z wszystkich czasów w danym okresie, czyli na przykład średnia z kwartału, albo średnia z ostatniego półrocza czy roku.

Dlaczego średnia krocząca albo średnia z ostatniego okresu, żeby jednak złapać pewną zmianę w czasie, gdyby się okazało, że na przykład przyspieszyliśmy, albo – co gorsza – jednak spowolniliśmy swój proces, coś się zatkało, no to będzie widać tę zmianę. Natomiast gdyby ciągle brać średnią z wszystkich inicjatyw od początku istnienia świata, no to ta zmiana w końcu przestała być w ogóle widoczna, no bo nieznaczne tam po przecinku jakieś liczby by się ujawniały.

Jacek: I chcemy też podawać dla miar takie życiowe przykłady i będziemy się tutaj trzymać takiej koncepcji wizyty w restauracji. W przypadku Time To Market jest to czas liczony od wejścia do restauracji do pierwszego kęsa, czyli zamówionego posiłku, czyli od momentu, kiedy wymyślimy sobie tak naprawdę, że chcemy w konkretnej restauracji coś zjeść, do momentu, kiedy faktycznie doświadczamy tego, co zamówiliśmy od kelnera.

Kuba: I ten przykład jest o tyle ważny i można od razu tutaj rozpocząć akademicką dyskusję z Jackiem, że jak to od wejścia do restauracji, o jak to do pierwszego kęsa. Natomiast tak naprawdę tutaj bardzo świadomie, ewentualną kontrowersję chcieliśmy wywołać, bo tak naprawdę z Time To Market czujemy, że jest właśnie ten kłopot, że bardzo dużo zależy od tego, jak dokładnie definiujemy ten moment rozpoczęcia liczenia czasu Time To Market. Time To Market jest takim dosyć wyświechtanym hasłem.

Wiele firm mówi, że mierzy albo pod tym hasłem wiele transformacji z winnych się kiedyś rozpoczęło lub dzisiaj próbuje się nadal toczyć. Natomiast takie liczenie, po pierwsze może być bardzo trudne, bo być może ten moment wpadnięcia na pomysł, na inicjatywę w ogóle nie ma jeszcze nigdzie odzwierciedlenia w żadnym narzędziu, na przykład, jeśli stosuje się jakieś narzędzia do zgłaszania pomysłów czy inicjatyw.

A po drugie wiele też organizacji czy wiele zespołów uważa, że jest trochę niesprawiedliwe, żeby na przykład bardzo wcześnie zacząć liczyć Time To Market, gdy na zarządzie albo w głowie jakiegoś produktowca czy stratega pojawił się jakiś pomysł i on jeszcze przez jakiś czas dojrzewał. Więc tutaj chyba nie chcemy stawać po żadnej ze stron, natomiast warto zdawać sobie sprawę, że ta chyba jedna z najbardziej popularnych miar ma w sobie bardzo dużo kontrowersji właśnie w tej kwestii, od kiedy liczysz Time To Market.

Jacek: Druga miara, Lead Time. Lead Time jest w pewnym sensie podobną miarą do Time To Market, ale jednak są tutaj pewne różnice. O jakich różnicach tutaj będziemy mówić Kuba?

Kuba: Zazwyczaj Lead Time definiuje się tak, że jest to czas realizacji inicjatywy od jej zgłoszenia do jej wdrożenia. Jako inicjatywę rozumiemy tu w takim klasycznym rozumieniu projekt, w organizacji bardziej produktowej to będzie bardziej jakiś pomysł produktowy czy jakaś okazja, w każdym razie jest jakaś większa całość czy jakiś taki zbiór pewnych funkcji, które są realizowane. No i teraz ten Lead Time to będzie czas od momentu jego zarejestrowania, zapisania, nazwania, jakiegoś takiego złapania aż do wdrożenia, czyli przekazania do użycia.

Jacek: I tutaj też mogą się pojawić kontrowersje. Czym jest to zgłoszenie? Czy to jest zgłoszenie do jakiegoś banku pomysłów? Czy to jest zgłoszenie już do konkretnego zespołu? Różnie mogą sobie to organizacje rozgrywać, natomiast istotne jest, żeby ten moment właściwie uchwycić. Najczęściej, podobnie jak w przypadku Time To Market, jest to średnia krocząca z ostatnich iluś inicjatyw. One mogą być o różnych rozmiarach. Ta liczba może być różna w zależności od organizacji albo średnia za wszystkich czasów inicjatyw skończonych w danym okresie.

No bo na to też warto zwrócić uwagę, że to okienko, na które patrzymy, też musi zostać wybrane w jakiś taki w miarę sensowny sposób. No a już na pewno warto mieć pewność, że te dane, w sensie jakość tych danych, które mamy pozbierane, która jest skorelowana oczywiście z jakąś tam dyscypliną po stronie osób, które pracują na tych naszych narzędziach, jest niezwykle istotna, żeby te informacje płynące z tych miar miały jakieś sensowne znaczenie.

Kuba: I à propos jakości danych, to ten komentarz taki, że w porównaniu do Time To Market, gdzie prawdopodobnie ten stoper zaczyna liczyć czas, gdy ta inicjatywa jest jeszcze bardzo mglista, gdzieś zawieszona w powietrzu jako luźny pomysł, Lead Time już najczęściej jednak w narzędziach widocznych jest i to jest relatywnie łatwiejsze do poukładania.

A przenosząc tę historię Lead Time’u na przykład z restauracji, no to Lead Time w restauracji liczyłbym od momentu złożenia zamówienia, czyli składam zamówienie kelnerowi lub kelnerce, aż do momentu wydania posiłku z kuchni. Jest to już troszkę węższe niż ten Time To Market, ale nadal może to w mniej jednej restauracji chwilę zająć.

Jacek: Zgadza się. Przechodzimy dalej i tutaj jeszcze bardziej będziemy zawężać. Mianowicie będziemy mówić o Cycle Time.

Kuba: Cycle Time to czas realizacji inicjatywy od faktycznego rozpoczęcia prac wytwórczych do ich zakończenia. Czyli tutaj już nie martwimy się, czy ta inicjatywa została zgłoszona, czy ona gdzieś tam czekała, tylko bardzo mocno patrzymy wyłącznie na ten czas, powiedzmy przetwarzania, jeśli się posilę tutaj na jakąś próbę tłumaczenia, czyli faktyczne rozpoczęcie pracy, rozpoczęcie pierwszych czynności związanych z tym, żeby stworzyć produkt albo funkcje związane z tą daną inicjatywą, aż do momentu ich realnego zakończenia i przekazania już do ewentualnego wdrożenia.

Jacek: Tak, tutaj wyraźnie widać to takie wycięcie, czyli bardzo często w zespołach jest to przesunięcie pewnych zadań do stanu in progress, czyli faktyczne rozpoczęcie, wyciągnięcie z tej kolumny, która jest kolumną, z której czerpiemy pracę, do zakończenia, ale właśnie zakończenia po stronie zespołu. Natomiast poza zespołem może występować jeszcze ileś kolejnych etapów, jakaś weryfikacja, jakieś wdrożenie, którego ta konkretna miara nie pokrywa. Podobnie jak w dwóch poprzednich miarach, najczęściej jest to średnia krocząca z ostatnich iluś wybranych inicjatyw, albo średnia ze wszystkich czasów inicjatyw skończonych w danym okresie.

Kuba: No i przykład restauracyjny, Cycle Time w restauracji, to byłoby rozpoczęcie mierzenia czasu w momencie rozpoczęcia realizacji zamówienia klienta, może jakiegoś obierania ziemniaków, albo rozpoczęcia smażenia kotleta do końca jego przygotowania, czyli przygotowania już dania. Kuchnia stwierdza danie gotowe, reszta nas nie interesuje, przestajemy liczyć czas, Cycle Time dla przygotowania posiłku.

Jacek: Kolejna czwarta miara, Flow Efficiency, czyli wydajność procesu. 

Kuba: Ta miara jest już mniej popularna. Trzy poprzednie czasy są po pierwsze bardzo popularne, po drugie też bardzo często łatwo zaszyte w jakichś raportach, w narzędziach. Natomiast zwracamy Twoją uwagę na miary, które warto pomierzyć, nawet te rzadsze. Flow Efficiency to procent czasu aktywnej realizacji inicjatywy. Wzór tutaj jest dosyć prosty, suma czasu aktywnego pracy nad daną inicjatywą dzielona jest przez Lead Time, który już zdefiniowaliśmy wcześniej i mnożona razy 100%.

Czyli jakby, mówiąc tak językiem potocznym, sprawdzamy jaki procent czasu trwania całej inicjatywy, to czas, gdy toczyły się aktywne prace. No i odwrotnością Flow Efficiency będzie też czas zupełnie nieaktywny, czyli czasy jakichś przestojów, oczekiwań, blokad, decyzji o tym, żeby jednak na chwilę zapauzować różne działania.

Jacek: Największym wyzwaniem z tą miarą jest rzetelne policzenie tego czasu aktywnej realizacji. No i tutaj jakby piłka jest po stronie osób wykonujących, żeby w narzędziach, które śledzą najczęściej postęp prac, a jednocześnie też ile czasu zostało na konkretne zadania zalogowane, no tutaj musi to być jak najbliższe rzeczywistości. Oczywiście możemy się zgodzić na jakąś tam przybliżoną dokładność, natomiast niezależnie od tego w ciemno stawiamy z Kubą, że Flow Efficiency w przeciętnej firmie może być niepokojąco niskie.

Kuba: I przykład z restauracji, tutaj już przestajemy liczyć czasy od zamówienia czy jakiegoś przetwarzania, tylko przerzucamy się na to Flow Efficiency. Załóżmy, że klient czeka na swój posiłek 30 minut i to jest Lead Time, natomiast 15 minut z tych 30 minut, czego klient nie widzi, bo nie widzi kuchni, kucharz spędził na przeglądaniu shorts’ów na YouTube Porządnego Agile’a, a nie na realnej pracy, więc danie było przygotowane w faktycznej pracy w 15 minut, a Flow Efficiency w tym przypadku to będzie 50%.

Jacek: Ja się trochę nie dziwię kucharzowi, że się nie mógł oprzeć, natomiast w realiach produktów cyfrowych te rzeczy, które powodują, że flow nie jest tak efektywne, to mogą być wszelkiego rodzaju przestoje, awarie, jakieś okresy niedostępności narzędzi, środowisk, to mogą być rozpraszające spotkania, ale to też może być czas oczekiwania, kiedy przekazujemy sobie informacje czy pewne fragmenty pracy pomiędzy konkretnymi specjalistami.

Kuba: Piąta miara to Deployment Frequency, czyli częstotliwość wdrożeń. Mierzymy to w ten sposób, że sprawdzamy liczbę wdrożeń na środowiska produkcyjne, środowiska klienckie, z których korzysta użytkownik końcowy, w danej jednostce czasu. Coś, co jest też istotne, to to, że często wdrożenia są skorelowane z krótszymi czasami realizacji, czyli tymi albo Time To Market, albo z Lead Time’em, co pozwala na większą liczbę iteracji, eksperymentowania, czy nawet z tej perspektywy, częstego poprawiania produktu.

Jacek: I co jest ciekawe, DORA Report wskazuje na to, że częste wdrożenia bardzo często idą w parze z generalną, lepszą jakością produktu. Czyli możemy z tego wysnuć taki wniosek, że im częściej firma jest w stanie wdrażać, tym najprawdopodobniej też ta jakość produktu dostarczanego do klienta będzie po prostu wyższa. 

Kuba: Z częstotliwością wdrożeń w realiach restauracyjnego przykładu będzie trochę trudniej, więc tutaj wytrzymaj z nami. Wyobraź sobie, że jeden kelner jest na zmianie, więc ma urwanie głowy, bo musi obsłużyć całą salę, więc jest w stanie wydać jeden talerz z posiłkiem na 5 minut. Oprócz tego oczywiście zajmuje się też przyjmowaniem zamówień, obsługą płatności, opieką, sprawdzaniem, załatwianiem jakichś potrzeb informacyjnych klientów, ale fakty są na końcu proste. Jeden posiłek na 5 minut i to nie jest zupełnie niemożliwe.

Dosłownie w weekend byłem w pewnej restauracji, gdzie pomimo tego, że wydawało mi się, że powinno to być przygotowane szybciej, czekałem dosyć długo, bo tak była zorganizowana ta restauracja. Tak po prostu był ułożony system, że szybciej wydawać posiłków się nie dało.

Jacek: Dałeś informację zwrotną?

Kuba: W postaci obniżonego napiwku.

Jacek: W realiach produktu cyfrowego zwykle z tą miarą jest połączona sprawność procesu wdrożeniowego. Różnie to jest czasem w tych bardziej rozwiniętych firmach, jest to coś, za co odpowiadają zespoły produktowe, feature’owe, jakkolwiek je sobie nazwiemy, ale są nadal firmy, gdzie wdrożenie jest przekazywane do jakiegoś konkretnego oddziału, do jakichś tam DevOpsów, gdzieś w każdym razie. I to oczywiście ma wpływ na to, jak często jesteśmy w stanie to zrobić.

Ale wpływ ma też stopień z automatyzowania procesu wdrożeniowego, czyli im większa automatyzacja, im mniej tutaj czynnik ludzki ma znaczenie, tym większa szansa na to, że te wdrożenia mogą być częściej, mogą być robione na mniejszych paczkach, no i jakby cały obszar narzędzi CI-CD też będzie miał na to wpływ.

Taki trochę mniej oczywisty przykład, również to, jak dzielimy produkt, to czy to jest podzielone na mniejsze paczki wdrożeniowe, czy w ogóle dzielimy produkt na mniejsze kawałki, czy operujemy na dużych fragmentach, też będzie miało duży wpływ na to, jak często jesteśmy w stanie wdrażać produkt na produkcję.

Kuba: I ostatnia miara, Delivery predictability, czyli przewidywalność dostarczania. 

Jacek: I to jest taka dosyć kontrowersyjna miara, która potrafi wzbudzać dużo emocji. Nie mniej jest to procent dostarczonych funkcji czy elementów. Na koniec już konkretnego odcinka czasu, bardzo często to jest czy iteracja, czy Sprint, w stosunku do planowanej liczby dostarczonych elementów na początku iteracji, czy na początku Sprintu.

Kuba: Najczęściej jest to jakoś uśredniane, bierzemy dane z pojedynczych Sprintów, patrzymy też być może na perspektywę dłuższego horyzontu, na przykład kwartału, czy było też tak, że pojedynczy Sprint powoduje jakąś aferę. Ten procent dostarczania w pewnym zespole jest pewnego rodzaju trendem czy jakąś taką historią, którą pewien zespół ma i może coś z tym zrobić.

Jacek: I, jeśli chodzi o przewidywalność, to tę konkretną liczbę trzeba raczej traktować jako pewien zakres oczekiwany, czyli jakie przewidywalności mogłabyś, mogłabyś oczekiwać od Twoich zespołów. My z Kubą proponujemy pewien zakres, zwykle między 80 a 120. Nie chodzi o to, żeby trafiać idealnie w 100%, a raczej, żeby ta przewidywalność była wystarczająca z perspektywy interesariuszy, wystarczająca z perspektywy zespołu. Na takiej zasadzie, jak bardzo możemy polegać na naszych zdolnościach planistycznych. 

Kuba: I przykład restauracji, tu już dosyć abstrakcyjny, chociaż może się nadal zdarzyć. Załóżmy, że jestem w restauracji i przy zamawianiu pytam kelnera lub kelnerkę, w jakim czasie dostanę posiłek. To akurat nie jest abstrakcyjne, czasami o to pytam, bo na przykład mam tylko godzinę do odjazdu pociągu i chcę jeszcze coś szybko zjeść, ale jeśli tak jest na styk, to wolę się upewnić.

Załóżmy, że dostałem informację, że posiłek dostanę w 15 minut, bo nie mamy obciążenia, bo tak sprawna jest kuchnia, a jednak posiłek dotarł po 30 minutach. Zostałem bardzo mocno przeproszony i z uśmiechem coś tam zostało mi wyjaśnione, ale tak naprawdę pewna deklaracja czasowa nie została zrealizowana.

No i przewidywalność dostarczania w tej kuchni polegałaby raczej na tym, że zsumowane zostały wszystkie wydane posiłki, złożone obietnice czasowe i sprawdzone te, które zostały zrealizowane. To byłby ten procent skuteczności przewidywania tego, w jakim czasie jest posiłek wydany. Przyjmujemy tu założenie, że ten czas jest istotny, że klientowi zależy na tym czasie i ewentualne opóźnienie jest jednak problemem zarówno dla klienta, jak i też ewentualnego spiętrzenia się zamówień dla restauracji.

Jacek: I, zanim zaczniemy ostatni rozdział, w tym odcinku przypominamy, że jeżeli chcesz pogłębić wiedzę jeszcze bardziej niż robimy to w podcaście, to znajdziesz nasze płatne produkty na stronie porzadnyagile.pl/sklep 

Jacek: Ostatni rozdział. Skupimy się tutaj na pytaniu, jak wykorzystać miary procesu dostarczania w praktyce.

Kuba: Pierwszy punkt, bardzo ważny. Ustal, dlaczego potrzebujesz miar. Wymieniamy 6 miar. Można bez problemu nagenerować jeszcze kolejnych. Najbardziej prawdopodobne jest to, że nie wykorzystasz wszystkich jednocześnie i warto się zastanowić, po co potrzebujesz tych miar. Prawdopodobnie jeden z tych pięciu powodów, które wymieniliśmy na początku odcinka będzie dla Ciebie najistotniejszy. Zastanów się, co jest dla Ciebie ważne i na tej bazie zdecyduj się na konkretny zestaw miar. Ta priorytetyzacja będzie potrzebna do tego, żeby w ogóle przemyśleć sobie same oddzielnie, co tu w ogóle jest dla mnie ważne w temacie mierzenia procesu, ale to też przyda się do komunikacji do zespołów.

Jacek: I przykład z życia. Pracowałem w firmie typu software house. Tam mierzyliśmy się z problemem zaufania klienta i też tego, jak często potrafiliśmy wysokiej jakości produkt oddawać do klienta. Stąd jakby rozumiejąc te okoliczności, zdecydowałem, że będziemy śledzić zarówno przewidywalność, czyli czy jesteśmy w stanie realizować jakieś założone obietnice, prognozy.

Z drugiej strony mieliśmy taką miarę, która się nazywała szczelność procesu testowania i ta miara pokazywała w firmie, jaki procent błędów jest zgłaszany przez klienta. Chcieliśmy, żeby ten procent był dążący do zera, czyli wszystkie błędy chcielibyśmy wyłapywać w ramach procesu testowania wewnętrznego, tak żeby klient tak naprawdę nie miał się już do czego przyczepić.

Kuba: I tak jak słuchasz tego przykładu Jacka, to to jest spokojna historia mająca racjonalne podstawy. Natomiast te doświadczenia nam pokazuje, że wprowadzenie mierzenia, zwłaszcza do organizacji, która do tej pory tego nie realizowała, potrafi być odebrane jako bardzo kontrowersyjne działanie managerskie. Że jest to kontrola, że to jest brak zaufania, że to jest jakieś rozliczanie ludzi, może rozliczanie błędów wykonywanych w ramach działań pracowników czy całych zespołów.

Więc tutaj ta bardzo świadoma decyzja na temat tego, dlaczego chcesz te miary mieć i dlaczego je będziemy wszyscy stosować jako cała organizacja, to jest część komunikacji, która będzie bardzo istotna w ramach zmiany, którą tutaj prawdopodobnie wprowadzasz do firmy czy swojej części firmy.

Jacek: Drugi punkt, zapewnij wspólne zrozumienie definicji miar. Trochę to jest powiązane z tym, co Kuba przed chwilą mówił o tych wszystkich kontrowersjach, które mogą się pojawić wraz z wprowadzaniem mierzenia do organizacji. Istotne jest, żeby dobrze zrozumieć, co tak naprawdę mierzymy, jak to mierzymy, w jaki sposób te miary będą pobierane, w jaki sposób będą obrabiane, jak będą prezentowane, tak żeby była absolutna jasność, z czym się mierzymy.

W szczególności kontrowersyjne mogą być mierniki związane z czasem. Bardzo często w firmach ludzie muszą ten czas pracy logować. Ten aspekt, o którym wspominaliśmy wcześniej, ta jakość danych, którą będziemy mieli, ona będzie determinować w twojej firmie to, czy te miary będą wiarygodne, czy też nie. 

Kuba: Z czasem jest też ta kontrowersja, od której zaczęliśmy w temacie Time to Market. Warto całej organizacji zakomunikować albo z odpowiednimi osobami jednoznacznie ustalić, kiedy ten faktyczny stoper zaczyna liczyć i kiedy przestaje liczyć, bo brak jednoznaczności w tej sferze może spowodować, że różne zespoły albo poszczególne inicjatywy będą miały to robione w sposób nieregularny, co może w zasadzie trochę skompromitować cały kontekst mierzenia i bazowania na faktach i danych, jeśli te dane będą tak niechlujnie zebrane.

Więc najczęściej jednak wiąże się też z takim aspektem, którego nie do końca może lubimy mniej związanym z agile’em, ale jednak zaszyć to wszystko w narzędziach, żeby tu może było jak najmniej interpretacji, jak najmniej okazji do tego, żeby się ktoś mógł tym bawić czy mówiąc potocznie przy tym majstrować. Po prostu suche dane wyciągane prosto z systemu bez żadnej ingerencji ludzkiej.

Kuba: Trzecia porada praktyczna to, wybierz jedną, dwie miary i propaguj zmierzone wyniki do organizacji. Jest to wynik tej porady o priorytetach, choć sami dajemy sześć przykładów, sześć rekomendacji co do miar. Jacek wymienił w przykładzie jeszcze siódmą i moglibyśmy tak iść dalej. Jednak zdecydowanie rekomendujemy, żeby wybrać pewien skończony zestaw miar, może właśnie z pełną premedytacją dwie miary, ale jednak faktycznie zastosowane, wprowadzone w życie, bez odkładania na później i propagowane do organizacji przy nadarzających się okazjach, komunikowane ze strony grona zarządzającego całą organizacją, komunikowane przez Product Ownerów na podsumowaniach Sprintu, regularnie mierzone i komunikowane do tych, którzy potrzebują tej informacji.

Jacek: I ta liczba tutaj podana przez Kubę ma znaczenie, nawet jedna czy dwie miary, one i tak będą kontrowersją, zawsze będą czymś nowym, coś co będzie powodować, że będą się w Twojej organizacji pojawiać pytania, więc jakby przeładowanie miarami, no to może być taka bramka samobójcza, która jeszcze bardziej utrudni cały proces zmiany, więc takie rozsądne wybranie istotnych aspektów procesu, które w Twojej firmie mają znaczenie, jest niezwykle istotne.

Jacek: Kolejna porada, na bieżąco obserwuj odczyty miar na dashboardzie. To, że wiesz już, co chcesz mierzyć, to nie jest wystarczające. Samo zdefiniowanie mierników to może być zbyt mało. Należy zbudować system, który pozwoli nam kontrolować, podglądać aktualny stan tych miar, tak, żebyś mógł podejmować na bieżąco akcje korygujące.

Warto tutaj zastanowić się nad tym, jak często na te miary spoglądać, pewnie takie codzienne patrzenie i odczytywanie może nie pokazać nam trendów, które się z tego wyłaniają, ale jakaś taka regularność skorelowana z cyklem wytwarzania, czyli może raz na tydzień, może raz na dwa tygodnie, to jest coś, od czego bym zaczął. I obserwował, czy taka częstotliwość jest wystarczająca i czy pozwala już nam coś zaobserwować.

Kuba: I w praktyce widzę to realizowane na dwa sposoby. Jeden ze sposobów jest wykorzystanie radiatorów informacji, więc wielu zarządzających w wielu organizacjach ma jakiś rodzaj ekranu, a może nawet pewnej puli ekranów gdzieś zawieszonych pod sufitem, gdzie pewne istotne mierniki są wyświetlane albo wręcz rotują się kolejne dashboardy z ważnymi rzeczami, które dla tego zarządzającego i dla jego obszaru są istotne.

Tam najczęściej jest coś więcej niż tylko miary procesu, o których dzisiaj mówimy, bo tam pewnie będzie też temat związany ze stabilnością działania produktu, a pewnie przede wszystkim jakieś miary biznesowe związane z tym konkretnym produktem, ale w każdym razie jest okazja do tego, żeby widzieć na bieżąco pewne odczyty.

A druga praktyka, którą widuję, może taka bardziej przerywana, związana z tym, co powiedziałeś o cyklach, Jacek, czyli wykorzystanie jakichś okazji typu Sprint Review, jakieś podsumowanie, może takie dłuższe podsumowania typu jakieś spotkania kwartalne, miesięczne, jakkolwiek jest to w firmie zorganizowane. Tam też może stałym punktem programu mógł być temat jednej, dwóch, trzech miar, na których nam zależy procesowych i jakaś refleksja publiczna, przejrzysta komunikacja na temat tego, jak proces w tej chwili wygląda i gdzie zmierza.

Kuba: Piąta porada, wspólnie z zespołem ustalcie plan usprawniania procesu. Tutaj konsekwentnie gramy teraz z Jackiem tę piłkę, samo mierzenie to za mało, czyli załóżmy, że masz już pomierzony proces, na bieżąco weryfikujesz dane, statystyki, Twój zespół ma to zakomunikowane przy jakiejś nadarzającej się okazji. Natomiast jednoznacznie rekomendujemy, żeby te miary pozyskane, żeby te liczby, które gdzieś pokazują na temat procesu pewne fakty, żeby to wykorzystać do usprawniania. I tutaj rolą liderską będzie z jednej strony oczekiwanie, żeby powstał plan usprawnień, ale też będzie pewna wizja do przekazania, jak mogłoby albo jak powinno być.

Jacek: Jak z każdą zmianą wyzwaniem może być wygospodarowanie czasu na to, żeby się nad tymi danymi, które pozyskamy z procesu zastanowić. To nie jest tak, że tak jak Kuba mówi, są jakieś dashboardy, które to wyświetlają i jakby cała reszta się dzieje samoistnie. To będzie wymagało czasu, czyli mamy jakieś odczyty. One są niepokojące albo właśnie takie optymistyczne.

No i będziesz musiał w Twojej firmie, czy musiała, znaleźć czas na to, żeby to przedyskutować z zespołem, ocenić, dlaczego tak jest, z czego to wynika, po to, żeby albo wzmacniać pewne pozytywne zachowania, które powodują, że mierniki, na których ci zależy, idą we właściwą stronę, albo żeby przygotować jakieś działania korygujące, jeśli patrzysz na dane. I one pokazują, że sprawy nie idą we właściwym kierunku.

Jacek: Przedostatnia porada, skup się na usprawnianiu procesu, a nie podkręcaniu wyników. To jest jeden z kontrowersyjnych punktów, które chcemy ci przedstawić. W takim sensie, że bywa, że uruchamia się mechanizm w ludziach, w zespołach, na zasadzie, że skoro oczekują jakiś konkretnych od nas wyników, organizacja oczekuje, no to będziemy robić tak, żeby te wyniki się pojawiły.

Tutaj wyraźną rolą liderów, managerów w organizacji jest nieustanne komunikowanie, że nie o to chodzi, że tak naprawdę istotne jest posiadanie danych, na bazie których możemy korygować proces. No i w pewnym sensie należy zaakceptować, że te początkowe wyniki nie będą tak dobre, jak intuicyjnie czujesz, że mogłyby być.

I na pewno jest tutaj temat, użyje analogizmu, zarządzania szokiem, czyli będzie zdziwienie, że wcale nie jest tak kolorowo, jak sobie wszyscy wyobrażaliśmy w firmie. No i będziesz musiał zadbać o to, żeby pomimo tego szoku, nie pojawił się efekt pomalowania, przemalowania wyników na zielono, tylko żeby jednak zespoły wzięły odpowiedzialność za to, jak jest, no i przygotowały odpowiednie działania naprawcze. 

Kuba: W ramach takich szoków, o których Jacek mówi, pojawiają się takie pomysły, jak na przykład wyłączenie pewnej puli inicjatyw ze średniej, no bo te akurat nam źle wyszły albo one były wyjątkowe, czy właśnie też takie majstrowanie, o którym wspomniałem wcześniej, że tutaj może na nowo zgłośmy tą inicjatywę, bo tak naprawdę to jest zupełnie nowa inicjatywa.

Zwracając na to uwagę, może właśnie pokażę taką odwagę osobistą poprzez poproszenie wszystkich o to, żeby jednak dane były takie, jakie są, nawet jeśli są trochę krzywdzące, trochę niesprawiedliwe, no bo to są tylko suche fakty, to nie jest tak, że jesteśmy beznadziejni, tylko taki jest właśnie proces i takie statystyki, takie dane pokazuje.

Więc tutaj Twoją dużą rolą może być no takie modelowanie zachowań, pokazanie na własnym przykładzie, pokazanie pewnej odwagi, no i przesunięcie uwagi też na to, żeby wszyscy zastanowili się w całej organizacji, co wszyscy mogą zrobić, jak zmienić system, jak zmienić narzędzie, jak zmienić sposób działania, jak zmienić kulturę, żeby ten proces usprawnić i żeby statystyki pokazały, że faktycznie jest lepiej.

Kuba: I ostatnia porada z naszej strony to regularnie dokonuj refleksji na temat procesu mierzenia. To jest nasz klasyk, zawsze różne sumy, porad czy listy jakichś naszych rekomendacji, kończymy tego typu uwagą, natomiast tutaj bardzo ważny aspekt, taki logiczny, refleksja na temat procesu mierzenia, czyli tutaj nieodłącznym elementem mierzenia jest również usprawnianie procesu, natomiast my chcemy zwrócić uwagę na temat, jak zbierane są dane, jak są komunikowane wyniki, jakie kontrowersje to wszystko wywołuje, czy narzędziówka jest taka, jaka ma być.

Czyli zastanów się, poproś o informację zwrotną, zastanówcie się w jakiejś większej grupie, jak te kwestie mierzenia procesu i propagowania tych wyników związanych z procesem, jak później ich wykorzystanie w praktyce się sprawdza, jak wydajny jest proces mierzenia procesu i co można w nim ewentualnie poprawić.

Najczęściej jest sporo do poprawy, np. eliminacja jak największej ilości czynnika ludzkiego w tym procesie, doskonalenie użyteczności pewnych informacji. Jest co w tym robić i warto to doskonalić, żeby czasami nie przypiąć takiej łatki, że niedoskonałe mierzenie powoduje, że porzucamy ten koncept, bo wszyscy mają takie poczucie, że może można było to robić lepiej, albo to, co jest dzisiaj tą pierwszą wersją, jest niewystarczająco dobre, żeby można było zaufać tym liczbom.

Jacek: Nie są to jakieś historie zmyślone czy zachęta do tego, żeby usprawniać wszystko, bo przecież jesteśmy w ramach podcastu Porządny Agile, tylko za tą przestrogą stoją konkretne historie, których z Kubą doświadczamy i tak mówiąc bardzo praktycznie, znajdą się osoby w twojej organizacji, które nie są zainteresowane zmianą, które będą zainteresowane tym, żeby było, tak jak jest.

I to będą pierwsze osoby, które będą kwestionować jakość tych danych, które będą płynąć z miar. No i bardzo łatwo będzie takim osobom skomentować, że to nie ma sensu, że widzicie, mówię od początku, nic z tego nie wynika, nic nam to nie daje, tracimy tyle czasu na to i tak dalej i tak dalej, więc jakby to są niestety żywe i prawdziwe historie, dlatego ten aspekt usprawniania sposobu zbierania i w ogóle zarządzania tymi miarami jest niezwykle istotne, żeby to miało faktyczny wpływ na poprawianie efektywności twojej organizacji.

Jacek: Podsumowując. Znajomość miar Twojego procesu pozwala lepiej zarządzać produktem, budować zaufanie u interesariuszy i usprawniać sposób wytwarzania.

Kuba: Mierniki procesu takie jak Time to Market, Lead Time czy Cycle Time są popularne, ale wymagają jasnej definicji i zdyscyplinowanego pomiaru. 

Jacek: Warto rozważyć mniej popularne miary, takie jak na przykład Flow Efficiency.

Kuba: Zbuduj w Twoim zespole plan stosowania miar i usprawniaj na tej bazie proces. 

Jacek: Temat usprawniania procesu jest jednym z elementów spisu treści mojej nadchodzącej książki, czyli „Labiryntów Scruma” wydania drugiego. Jest to drugie wydanie po kilku latach od pojawienia się pierwszej wersji. Poprawione, usprawnione, dodana jest cała masa różnych przykładów, również ta dotycząca tego jak mierzyć proces.

I książka ta będzie dostępna w sprzedaży pod koniec czerwca. Tak naprawdę trwają teraz ostatnie prace związane z poprawkami po wydruku próbnym. Jeżeli interesujecie temat jak naprawić wykorzystanie Scruma w Twoim zespole, czy chciałabyś dostać taki kompletny przewodnik jak to zrobić, to zachęcam Cię do śledzenia strony labiryntyscruma.pl, jak również mojego newslettera na stronie jacekwieczorek.pl oraz w mediach społecznościowych, w których się udzielam, najwięcej na LinkedInie, po to, żebyś dostał lub dostała informacje o tym, że faktycznie książka jest już dostępna.

Kuba: A notatki do tego odcinka, artykuł, transkrypcję oraz zapis wideo znajdziesz na stronie porzadnyagile.pl/135.

Jacek: I to by było wszystko na dzisiaj. Dzięki Kuba.

Kuba: Dzięki Jacek. I do usłyszenia wkrótce.

________

To była pełna transkrypcja odcinka podcastu Porządny Agile. Dziękujemy za lekturę!