opsmere:~$en

Archiwum dokumentów w biurze: Paperless-ngx na własnym serwerze

Umowa, faktura od dostawcy, protokół z odbioru. W biurze leżą w segregatorach albo w folderach pełnych plików o nazwach w stylu “skan_0412.pdf”. Gdy ktoś pyta, ile zapłaciliście za serwis klimatyzacji dwa lata temu, zaczyna się szukanie. Znasz nazwę pliku tylko wtedy, gdy sam go nazwałeś.

Krótka odpowiedź: elektroniczne archiwum dokumentów, które samo czyta tekst ze skanów i pozwala wyszukać dowolne słowo. Jednym z programów do tego jest Paperless-ngx: darmowy, otwarty, działa na twoim własnym serwerze, więc dokumenty nie wychodzą z firmy. Poniżej opisuję, co taki program robi, czego wymaga i na co uważać przy uruchomieniu.

Co daje archiwum dokumentów

Paperless-ngx bierze plik z jednego wybranego folderu i robi z niego dokument, który da się znaleźć. Działa to w czterech krokach:

  1. Skan. Skaner albo telefon zapisuje plik PDF w folderze wejściowym na serwerze. Można też po prostu przeciągnąć plik do tego folderu.
  2. Rozpoznanie tekstu (OCR). Program czyta obraz i zamienia go na tekst. Dzięki temu skan faktury przestaje być “zdjęciem kartki”, a staje się tekstem, w którym da się szukać.
  3. Indeks. Cały tekst trafia do wyszukiwarki. Wpisujesz numer faktury, nazwę kontrahenta albo fragment zdania z umowy i dostajesz listę dokumentów.
  4. Tagi i porządkowanie. Dokument dostaje autora (korespondenta), rodzaj, datę i tagi, na przykład “faktura” albo “umowa”. Część z tego program podpowiada sam, na podstawie wcześniejszych dokumentów.

Pierwsze przetwarzanie jest najcięższe. Potem szukanie jest szybkie, bo odbywa się w indeksie, a nie w setkach plików.

Czego to wymaga

Potrzebujesz trzech rzeczy.

Serwera, który działa cały czas. Może to być mały serwer w biurze, maszyna wirtualna albo urządzenie NAS. Program działa w kontenerach i ma w środku własną bazę danych (PostgreSQL) oraz Redis, czyli szybki bufor do kolejki zadań. Nie wymaga mocnego sprzętu, ale rozpoznawanie tekstu chwilę obciąża procesor, gdy wpada duża paczka skanów.

Miejsca na dane. Archiwum rośnie z każdym skanem. Plan na kilka lat to rozmiar twoich dzisiejszych dokumentów pomnożony przez przyzwoity zapas.

Kopii zapasowych. To warunek, nie dodatek. Archiwum, które istnieje w jednym egzemplarzu na jednym dysku, jest kolejnym miejscem, z którego dokumenty mogą zniknąć. Zadbaj o kopię całego folderu z danymi i osobną kopię bazy. Więcej o tym, jak ułożyć kopie w małej firmie, piszę w artykule Kopia zapasowa w małej firmie: co sprawdzić.

Jak to uruchomić: zarys

Opisuję instalację na serwerze TrueNAS SCALE, bo tam Paperless-ngx jest dostępny jako gotowa aplikacja w katalogu. Na zwykłym serwerze z Dockerem kroki są podobne: ścieżki do folderów, hasła i język rozpoznawania ustawiasz w pliku konfiguracji zamiast w formularzu.

Przygotuj foldery

Utwórz dwa foldery: jeden na dane programu (baza, indeks, miniatury, przetworzone dokumenty), drugi na pliki czekające na przetworzenie. W TrueNAS ustawiasz dla nich profil dostępu przeznaczony dla aplikacji. Aplikacje działają tam jako użytkownik i grupa o numerze 568, więc to do nich muszą należeć foldery.

Zainstaluj aplikację

W panelu serwera otwierasz listę aplikacji, szukasz paperless-ngx i wybierasz instalację oficjalnej wersji. Formularz ma kilka miejsc, w których łatwo się pomylić.

  • Foldery w kontenerze. Folder danych podpinasz pod ścieżkę danych programu, a folder wejściowy pod ścieżkę, z której program pobiera nowe pliki. Program oczekuje osobnego katalogu na dokumenty (“media”). Jeśli chcesz mieć wszystko w jednym miejscu, możesz wskazać dla obu ten sam folder na serwerze.
  • Użytkownik. Dla kontenera ustawiasz tego samego użytkownika i grupę (568), do których należą foldery.
  • Hasła. Klucz programu, hasło administratora, hasło do Redisa i do bazy wygeneruj losowo, najlepiej w menedżerze haseł. Nie używaj w nich znaku #.
  • Port. Pole “Web Port” to port, pod którym otworzysz aplikację w przeglądarce, na przykład 30070.
  • Języki rozpoznawania. Są dwa osobne pola. W polu z listą dodatkowych języków do zainstalowania wpisz pol (kilka języków oddzielasz spacją). W polu języka używanego do czytania wpisz pol+eng albo samo pol (kilka języków łączysz plusem). Bez tego drugiego ustawienia program nadal czyta po angielsku i gubi ogonki.
  • Strefa czasowa. Ustaw Europe/Warsaw, żeby daty dokumentów się zgadzały.

Przykład wartości, które wpisujesz (nazwy i adresy są przykładowe):

Ścieżka na serwerze: /mnt/pula/paperless/data  →  w kontenerze: /usr/src/paperless/data
Ścieżka na serwerze: /mnt/pula/paperless/media →  w kontenerze: /usr/src/paperless/media
Ścieżka na serwerze: /mnt/pula/paperless/inbox →  w kontenerze: /usr/src/paperless/consume
Użytkownik / grupa: 568 / 568
Port (Web Port): 30070
Języki OCR do zainstalowania: pol
Język OCR do czytania: pol+eng
Strefa czasowa: Europe/Warsaw

Sprawdź, czy działa

Gdy aplikacja ma status “Running”, otwierasz ją w przeglądarce pod adresem serwera, na przykład http://192.168.1.10:30070 (port z formularza instalacji), i logujesz się jako administrator. Potem wrzucasz jeden testowy PDF do folderu wejściowego. Po chwili plik powinien zniknąć z folderu i pojawić się na liście dokumentów, już z tekstem do przeszukania. Dopiero to potwierdza, że całość działa, a nie tylko że strona się otwiera.

Co może pójść nie tak

Zacznij od tej listy, gdy coś nie startuje.

  • Błędy uprawnień (“permission denied”). Kontener próbuje zmienić właściciela plików i nie ma do tego prawa. Sprawdź, czy wszystkie podpięte foldery należą do użytkownika i grupy 568. Gdy to nie pomaga, w społeczności krąży obejście: z poziomu powłoki serwera ustaw jako właściciela głównego folderu Paperless użytkownika netdata (komenda sudo chown netdata: <folder>). Jego numer zgadza się z użytkownikiem bazy PostgreSQL w kontenerze, dlatego pomaga, gdy baza się nie uruchamia. Stosuj je świadomie i tylko dla folderu Paperless.
  • Redis nie chce się połączyć. Zwykle winne jest hasło ze znakiem specjalnym, przede wszystkim #. Wygeneruj hasło bez niego.
  • Dokumenty nie są przetwarzane. Sprawdź, czy folder wejściowy jest na pewno podpięty pod właściwą ścieżkę w kontenerze i czy pliki da się odczytać.
  • Brak polskich liter w wyszukiwaniu. Sprawdź, czy pol jest na liście języków do zainstalowania i czy jest też ustawiony jako język używany do czytania (na przykład pol+eng).
  • Aplikacja się nie uruchamia. Zajrzyj do logów kontenera w panelu serwera. Komunikat zwykle wprost wskazuje, czego brakuje.

Jedna decyzja projektowa: po przetworzeniu Paperless usuwa plik z folderu wejściowego i zapisuje własną kopię w swoim katalogu. Firmom radzę zachować dotychczasowe foldery z dokumentami i wrzucać do Paperless kopie. Program przerabia wszystko na swój układ plików i swoją bazę, a ludzie i tak czasem potrzebują oryginalnego PDF-a albo pliku Worda, żeby go wysłać albo poprawić. Kosztuje to miejsce na dysku, ale nic nie zmienia w tym, jak pracują obecnie twoi ludzie.

Kiedy zrobić to samemu, a kiedy poprosić o pomoc

Jeśli w firmie jest ktoś, kto potrafi zainstalować aplikację na serwerze i ustawić uprawnienia do folderów, instalacja to kwestia popołudnia. Mała liczba dokumentów i jeden użytkownik to dobry początek: sprawdzisz, czy ci to pasuje, zanim wciągniesz w to cały zespół.

Poproś o pomoc, gdy dochodzą rzeczy, które trudno poprawić po fakcie. Dostęp spoza biura i szyfrowane połączenie przez przeglądarkę. Przyjmowanie dokumentów z poczty. Reguły, które same nadają tagi. Konta dla kilku osób z różnymi uprawnieniami. No i kopie zapasowe: ich przygotowanie warto zrobić od razu, a nie “kiedyś”. Ja używam wbudowanego eksportu dokumentów, a bazę obejmują migawki całego zbioru danych i aplikacji robione przez serwer TrueNAS. Dzięki temu wracają zarówno pliki, jak i opisy, tagi oraz historia, które siedzą w bazie.

Ponieważ dokumenty zostają na twoim serwerze, odpowiada za nie ten, kto go utrzymuje: aktualizuje program, sprawdza kopie i pilnuje miejsca na dysku. Warto to ustalić na początku, a nie wtedy, gdy dysk jest pełny.

Co dalej

Archiwum dokumentów to jedno z narzędzi, które opisuję na stronie o automatyzacji i własnych narzędziach: razem z menedżerem haseł, plikami i jednym logowaniem do kilku aplikacji. Wszystkie działają na twoim serwerze, z kopiami zapasowymi i aktualizacjami.

Nie wiesz, od czego zacząć albo czy archiwum się u ciebie opłaci? Umów się na bezpłatny audyt. Sprawdzę, jak dziś wyglądają twoje dokumenty i co da się usprawnić.

Wszystkie wpisy