Opowieści z pokoju wojennego: klęska DNS
Po kilku dniach bez większych problemów większość zespołu poczuła ulgę i cieszyła się nowym początkiem tygodnia. Ale problemy techniczne dotyczą również poniedziałków i mały błąd może spowodować ogromne problemy. To nasza trzecia historia z War Room i nazywamy ją Klęską DNS – tak, tytuł trochę ją psuje, ale jak niektórzy powiedzieliby: „To zawsze jest DNS”.
O 16:45 UTC niektórzy gracze zaczęli napotykać problemy z logowaniem. Zostali oni nagle rozłączeni i nie mogli się ponownie zalogować do gry. Ponieważ dotknięci gracze byli rozproszeni po różnych regionach, shardach i strefach, nasze systemy monitorujące wykryły jedynie niewielki spadek aktywności użytkowników i nie uruchomiły alarmu. Obserwując naszą aktywną społeczność Discord, jeden z pracowników firmy Mainframe zauważył niepokojący trend i szybko zdecydował się podnieść alarm i aktywować War Room.
O godzinie 17:00 UTC byliśmy w trybie diagnostycznym. Problem dotyczył logowania i zaczynał obejmować znaczną (i stale rosnącą) część naszej bazy graczy. Chociaż nadal mieliśmy dużą liczbę aktywnych graczy, krzywa była płaska lub zaczynała spadać – dokładnie wtedy, gdy powinna rosnąć. Nasze wstępne badanie obejmujące monitorowanie, wskaźniki, wykresy i alerty wskazało na kilka potencjalnych przyczyn. Jedna z naszych centralnych usług odpowiedzialnych za logowanie odnotowywała zwiększone obciążenie procesora, a w logach głównego systemu uwierzytelniania pojawiały się błędy. Dodatkowo zauważyliśmy problemy z systemem zarządzającym uprawnieniami (ustalającym, kto posiada grę i jaki typ licencji posiada) i postanowiliśmy się temu przyjrzeć, skupiając się na najbardziej prawdopodobnych winowajcach.
O godzinie 17:20 UTC postanowiliśmy ponownie uruchomić system uwierzytelniania, co wydawało się być przyczyną problemów. Z perspektywy czasu był to błąd. Ponieważ gracze już borykali się z problemami z logowaniem i ciągle próbowali ponownie. Ponowne uruchomienie systemu zaostrzyło problem. Skończyło się na tym, że musieliśmy tymczasowo zamknąć wszystkie żądania uwierzytelnienia, aby umożliwić ustabilizowanie się systemu, a ponieważ gra musiała regularnie odświeżać swoje tokeny uwierzytelniające, oznaczało to, że z biegiem czasu wszyscy gracze nie mogli kontynuować gry.
Po ponownym uruchomieniu naszego systemu uwierzytelniania postanowiliśmy ponownie zezwolić na wszystkie żądania kierowane do systemu. Ponieważ teraz wszyscy nasi gracze próbowali zalogować się jednocześnie, wcześniej zauważony problem z systemem uprawnień stał się rażąco oczywisty. System został przeciążony i całkowicie przeszedł w tryb offline, co oznaczało, że nawet ci użytkownicy, którym udało się połączyć, wyglądali, jakby nie posiadali już gry. W tym momencie wiedzieliśmy, że musimy walczyć na dwóch frontach jednocześnie. Problem z systemem uprawnień nie mógł czekać na rozwiązanie pierwotnej przyczyny rozłączeń. Na szczęście byliśmy o krok od rozwiązania tego problemu.
Zapytacie, co wywołało to bombardowanie? Niestety, była to rana, którą sam sobie zadałem. Podczas naszej diagnozy odkryliśmy, że niektóre nazwy hostów DNS nie były rozpoznawane poprawnie. Jeden z inżynierów biorących udział w rozmowie zidentyfikował problem — brakujący rekord DNS, a konkretnie krytyczny rekord delegacji NS. Inny inżynier natychmiast zorientował się, co się stało.
Wcześniej tego dnia zadanie porządkowe polegało na usunięciu niepotrzebnej infrastruktury i ten kluczowy zapis został omyłkowo usunięty. Ostatnie polecenia czyszczenia zostały wydane około 16:40 i tak się składa, że domyślny TTL (time-to-live) dla wielu rekordów DNS wynosi dokładnie 5 minut. Kilka ręcznych kroków później rekord został odtworzony i musieliśmy cierpliwie czekać na aktualizację pamięci podręcznych DNS na całym świecie.
Jednakże podstawową przyczyną jest jedynie moment wyzwalający, a ponieważ dyżurujący personel w naszym pokoju wojennym oceniał sytuację i kilku starszych inżynierów zaplecza gotowych do działania, nadal musieliśmy uporać się z problemem związanym z usługą uprawnień. Postanowiliśmy walczyć na dwóch frontach jednocześnie:
- Ścieżka eskalacji i wsparcia. Skontaktowaliśmy się z tą sprawą i przesłaliśmy tę kwestię do wyższego szczebla łańcucha wsparcia dostawcy odpowiedzialnego za przechowywanie uprawnień. Potwierdzili, że są przytłoczeni i obiecali, że rozwiązanie zostanie wkrótce wdrożone. Zegar zaczął tykać o godzinie 17:40 UTC.
- Ścieżka poprawki. Zmodyfikowaliśmy nasz kod uprawnień, aby uwzględnić metodę awaryjną faworyzującą naszych graczy. Gdybyśmy mieli problemy z rozwiązaniem uprawnień, ale gracz posiadał wcześniej określony typ licencji, założylibyśmy, że nadal tak jest i pozwolilibyśmy mu przejść. Mieliśmy już ścieżkę kodu podobną do tej, ale radziła sobie ona z ograniczeniem szybkości. Dodanie przypadku, aby uzyskać podobny wynik w przypadku, gdy usługa uprawnień nie odpowiadała, było łatwym zadaniem, a poprawka została sprawdzona, skompilowana, zbudowana i wdrożona w ciągu 10 minut.
Mieliśmy teraz trzy konie wyścigowe rywalizujące w tym samym wyścigu: nasza poprawka pozwalała graczom na dostęp w czasie, gdy usługa cierpiała, stabilizacja samej usługi uprawnień przy mniejszej liczbie przychodzących żądań i wdrażaniu poprawek oraz aktualizacja pamięci podręcznych DNS na całym świecie w celu rozpoznania odtworzonego rekordu.
Do 18:35 UTC sytuacja znacznie się poprawiła. Nasi gracze logowali się pomyślnie, system uprawnień nadrabiał zaległości, propagacja DNS dobiegała końca, a zespół War Room odwrócił tragiczną sytuację.
Problem z DNS został rozwiązany i byliśmy gotowi na kolejne wyzwanie, które pojawiło się na horyzoncie.
Aktualizacja statusu wczesnego dostępu - dzień 6
Witajcie Paxianie,
Mamy nadzieję, że miło spędziliście weekend zwiedzając rozległy świat Pax Dei. Poniżej znajdziesz aktualizację statusu dotyczącą często zgłaszanych problemów:
Badane
Badamy poniższe problemy i zapewnimy aktualizację tak szybko, jak to możliwe.
- Pętla postaci – Uniemożliwienie wejścia do gry. Wspomniane wcześniej obejście powinno pomóc w obejściu tego problemu. Mimo to nadal zastanawiamy się nad naprawieniem tego problemu.
- Problemy z umieszczaniem niektórych rekwizytów – głównie ławek, rzemieślników i skrzyń.
- Jeśli zatrzymasz akcję, węzły wydobywcze staną się niedostępne.
- Teleportacja do domu kończy się niepowodzeniem, gdy znajdujesz się w innym regionie niż Twoja ojczyzna
Zaktualizowaliśmy także naszą listę znanych problemów.
Prosimy o dalsze przesyłanie opinii oraz zgłaszanie błędów i problemów.
Pax vobiscum,
Zespół Mainframe
Aktualizacja statusu wczesnego dostępu - dzień 3
Witajcie Paxianie,
Dziękujemy wszystkim, którzy nadal zgłaszają problemy i błędy oraz znajdują obejścia niektórych z nich.
Wczoraj zastosowaliśmy kilka poprawek i poniższe problemy zostały już rozwiązane:
- Problemy z klanem (nie można zaprosić/rozwiązać)
- Odblokowywanie przepisów i wiadomości na czacie
Nadal badamy poniższe punkty:
- Problemy ze stołami rzemieślniczymi/skrzyniami. Badamy problem dotyczący usuwania niektórych elementów, takich jak skrzynie i stoły rzemieślnicze.
- Węzły wydobywcze stają się niedostępne. Badamy tę sprawę i zapewnimy aktualizację tak szybko, jak to możliwe.
- Teleportacja do kapliczki domowej z innej prowincji nie działa. Odradzamy korzystanie z teleportu, jeśli nie jesteś w swojej prowincji, dopóki tego nie naprawimy.
- Nie można zalogować postaci, gra systematycznie wyrzuca gracza z powrotem do wyboru postaci (w programie uruchamiającym, nie na Steamie). Wspomniane wczoraj obejście wydaje się działać dla wszystkich, których to dotyczy.
- Rola założyciela na Discordzie (gracze Steam). Mamy problem z procesem oznaczania roli założyciela na Discordzie dla graczy Steam. Na początku przyszłego tygodnia powinniśmy otrzymać aktualizację.
Dziękujemy za cierpliwość podczas rozwiązywania tych problemów.
Zachęcamy do dalszego zgłaszania błędów i problemów w grze za pomocą narzędzia F8. Możesz skontaktować się z naszym zespołem pomocy technicznej w przypadku jakichkolwiek problemów mających wpływ na Twoje konto (https://support.playpaxdei.com/)
Pax vobiscum,
Zespół Mainframe
W związku z niedawną awarią serwera (która miała miejsce około 21 czerwca 2024 o godzinie 16:00), możliwe, że niektórzy z Was mają problemy z ustawieniami graficznymi. Jeżeli po niedawnej awarii ustawienia graficzne uległy uszkodzeniu, zalecamy wykonanie następujących czynności:
• Zamknij klienta gry
• Otwórz menu Start, wklej następujący tekst i naciśnij Enter: %USERPROFILE%\AppData\Local\PaxDei\Saved\SaveGames\
• Z tego folderu usuń plik: GraphicSettings.sav
• Otwórz menu Start, wklej następujący tekst i naciśnij Enter: %USERPROFILE%\AppData\Local\PaxDei\Saved\Config\WindowsClient\
• Z tego folderu usuń plik: GameUserSettings.ini
• Uruchom klienta gry i powinieneś używać domyślnych ustawień użytkownika (ustawienia audio, ustawienia grafiki i przypisania klawiszy)
• Tutaj możesz ponownie dostosować ustawienia, jeśli zajdzie taka potrzeba
Aktualizacja statusu wczesnego dostępu - dzień 2
Witajcie Paxianie,
Dziękujemy wszystkim, którzy nadal zgłaszają problemy i błędy oraz znajdują obejścia niektórych z nich.
Na razie nadal mamy dwa główne problemy o priorytecie „Krytycznym” i nasze zespoły przyglądają się im, aby zapewnić jak najszybsze rozwiązanie. Wiemy, że dwa poniższe problemy mają wpływ na wrażenia z gry u niektórych z Was i szczerze przepraszamy za niedogodności.
W programie uruchamiającym (nie na Steamie) nie można zalogować postaci
gra systematycznie wyrzuca gracza z powrotem do wyboru postaci
Status problemu: Trwa sprawdzanie
Aby uniknąć wyrzucenia z powrotem do wyboru postaci, spróbuj:
- Zamknij grę,
- Znajdź plik steam_api64.dll. Powinien znajdować się pod tą ścieżką: [GAMEDIRECTORY]\Engine\Binaries\ThirdParty\Steamworks\Steamv153\Win64\steam_api64.dll,
- Zmień nazwę pliku z steam_api64.dll na steam_api64.bak,
- Otwórz grę ponownie i sprawdź, czy możesz załadować się do świata.
Mamy wiele raportów, że to obejście rozwiązuje problem. Gra w programie uruchamiającym nie powinna używać tej biblioteki DLL, ponieważ gra nie musi komunikować się ze Steam.
Uwaga: nie rób tego, jeśli grasz w Pax Dei na Steamie, to obejście jest przeznaczone tylko dla osób grających za pomocą programu uruchamiającego
Problemy z klanem
(nie można zaprosić/rozwiązać)
Zidentyfikowaliśmy główny problem, ale kodowanie i wdrożenie solidnej poprawki zajmie trochę czasu. Równolegle pracujemy nad skryptem sprawdzającym wszystkie utworzone klany i naprawiającym te, które nie mają odpowiednich uprawnień kontrolnych. Mamy nadzieję, że uda nam się go dzisiaj wdrożyć.
Rola założyciela na Discordzie
(gracze Steam)
Mamy problem z procesem, jeśli chodzi o odtwarzacze Steam. W przypadku niektórych z Was, gdy próbują połączyć swoje konto Steam z kontem Pax Dei, system wyświetla komunikat informujący, że to konto Steam jest już połączone z innym kontem Pax Dei, mimo że nigdy go nie połączyliście. W tej chwili pracujemy nad rozwiązaniem. Ponieważ jednak będziemy musieli je dokładnie przetestować, nie jesteśmy pewni, czy uda nam się je wdrożyć przed końcem weekendu.
Problemy budowlane
- Badamy problem dotyczący umieszczania elementów budynków.
- Węzły wydobywcze stają się niedostępne. Badamy tę sprawę i zapewnimy aktualizację tak szybko, jak to możliwe.
Dziękujemy za cierpliwość podczas rozwiązywania tych problemów.
Zachęcamy do dalszego zgłaszania błędów i problemów w grze za pomocą narzędzia F8. Możesz skontaktować się z naszym zespołem pomocy w przypadku jakichkolwiek problemów mających wpływ na Twoje konto (https://support.playpaxdei.com/)
Pax vobiscum,
Zespół Mainframe
Strona 31 z 62