AWK – co musisz wiedzieć

Zmienne i operatory w AWK

W AWK, zmienne i operatory są niezwykle ważnymi elementami, które umożliwiają manipulację danymi, a także wykonywanie różnych operacji na przetwarzanych wierszach.

Zmienne:

• W AWK zmiennych używa się do przechowywania danych, takich jak liczby, ciągi znaków itp.
• Zmienne nie muszą być deklarowane przed użyciem, są one automatycznie tworzone, gdy im przypisujemy wartość.
• AWK ma kilka wbudowanych zmiennych, takich jak NF (liczba pól w bieżącym wierszu), NR (numer bieżącego wiersza), $1, $2, …, $N (odpowiednio pierwsze, drugie, …, N-te pole w bieżącym wierszu).
• Możemy również tworzyć niestandardowe zmienne użytkownika i przypisywać im wartości.

Przykład:

W tym przykładzie tworzymy zmienną suma, która przechowuje sumę pierwszego i trzeciego pola bieżącego wiersza.

 

Pierwszy webinar z SNMP już 26 marca!

Chcesz zrozumieć, jak skutecznie monitorować sieć i szybko reagować na problemy? Dołącz do naszych darmowych warsztatów online i odkryj SNMP – potężny protokół, który umożliwia efektywne zarządzanie infrastrukturą IT! zapisz się na bezpłatny webinar z SNMP!

Widzimy się 26 marca o 13:00!

Dołącz na: https://asdevops.pl/warsztaty/ 

 

 

 

 

Operatory arytmetyczne:

• AWK obsługuje standardowe operatory arytmetyczne, takie jak + (dodawanie), – (odejmowanie), * (mnożenie), / (dzielenie) i % (modulo).
• Możemy używać tych operatorów do wykonywania prostych obliczeń matematycznych na danych.

Przykład:

W tym przykładzie obliczamy wynik równania wynik = 2 * pierwsze pole + czwarte pole dla każdego wiersza.

Operatory przypisania:

• AWK ma operator przypisania = do przypisywania wartości do zmiennych.
• Możemy również korzystać z operatorów skróconego przypisania, takich jak +=, -=, *=, /=, %= itp., aby wykonywać operacje i przypisywać wynik do zmiennej.

Przykład:

W tym przykładzie sumujemy wartości pierwszego pola we wszystkich wierszach i wynik przypisujemy do zmiennej suma.

Operatory i zmienne w AWK dają nam ogromne możliwości manipulacji danych i wykonania różnorodnych obliczeń podczas przetwarzania tekstu. Możemy w łatwy sposób wykonywać operacje matematyczne, agregować dane, filtrować wiersze i wiele innych operacji, co czyni AWK potężnym narzędziem programistycznym do analizy danych.

Wyrażenia warunkowe i pętle

Wyrażenia warunkowe i pętle są kluczowymi elementami w AWK, które pozwalają programistom na kontrolę przetwarzania danych i wykonywanie określonych operacji w zależności od warunków. Pozwól mi teraz przybliżyć temat wyrażeń warunkowych i pętli w AWK:

Wyrażenia warunkowe:

• Wyrażenia warunkowe pozwalają na wykonanie określonych akcji tylko wtedy, gdy spełniony jest określony warunek.
• W AWK używamy wyrażenia warunkowego w nawiasach klamrowych {} po wyrażeniu warunkowym.

Składnia:

wyrażenie_warunkowe { akcja }

Przykład:

W tym przykładzie, wyrażenie warunkowe to $3 > 80, co oznacza, że akcja (print $1, $2) wykona się tylko dla tych wierszy, dla których trzecie pole jest większe niż 80.

Pętle:

• Pętle pozwalają na wielokrotne wykonanie określonych akcji.
• W AWK możemy używać pętli for, while lub pętli specjalnej do-while.

Składnia pętli for:

for (inicjalizacja; warunek; krok) { akcja }

Pętla while:

while (warunek) { akcja }

Składnia pętli do-while:

do { akcja } while (warunek)

Przykład:

W tym przykładzie, używamy pętli for do wyświetlenia wszystkich pól w każdym wierszu. NF to wbudowana zmienna, która przechowuje liczbę pól w bieżącym wierszu. Powyższy zrzut ekranu prezentuje jedynie urywek, jednak akcja się wykonała dla wszystkich pozycji w pliku.

Pętla while z przesunięciem:

AWK obsługuje specjalną pętlę while wraz z przesunięciem odczytu. Pętla ta umożliwia przesunięcie odczytu danych wejściowych za pomocą funkcji getline.

Składnia:

while (warunek) { akcja }

Przykład:

{
    while (getline line < "dane.txt" > 0) {
        print "Odczytano linię:", line;
    }
}

W tym przykładzie, używamy pętli while wraz z getline do odczytywania linii z pliku „plik.txt” i wykonania akcji dla każdej z nich.

Wyrażenia warunkowe i pętle w AWK zapewniają programistom dużą elastyczność w kontrolowaniu przetwarzania danych, a także wykonywania różnorodnych operacji w zależności od konkretnych warunków. Dzięki nim można skutecznie filtrować dane, agregować informacje, wykonywać zaawansowane obliczenia, a także wiele innych operacji podczas analizy danych tekstowych.

Wykorzystanie AWK do analizy plików tekstowych

Wykorzystanie AWK do analizy plików tekstowych jest jednym z głównych zastosowań tego potężnego narzędzia. AWK jest idealnym wyborem, gdy chcemy dokonać różnorodnych operacji na danych tekstowych, takich jak filtrowanie, wycinanie, agregacja, obliczenia matematyczne, analiza statystyczna, generowanie raportów i wiele innych. Oto kilka konkretnych zastosowań AWK w analizie plików tekstowych:

Wycinanie kolumn: AWK pozwala na wybieranie określonych kolumn z pliku tekstowego, a także wyświetlanie ich na ekranie lub przekierowywanie do innego pliku.

Przykład:

Powyższe polecenie wyświetli pierwsze i trzecie pole z każdego wiersza pliku.

Analiza raportów i logów: AWK często używa się do analizy raportów i logów, gdzie dane przechowuje się w postaci tekstowej. Możemy użyć AWK do wyodrębnienia istotnych informacji, filtrowania, agregacji, a także generowania raportów.

Przetwarzanie danych w formacie CSV: AWK może być używany do przetwarzania danych w formacie CSV (Comma-Separated Values). Możemy użyć odpowiedniego separatora pól, na przykład przecinka, do wycinania i przetwarzania danych.

Przykład:

Powyższe polecenie wyświetli pierwsze i trzecie pole z każdej linii pliku CSV, zakładając, że dane oddziela się przecinkami.

W Linux nie ma znaczenia czy plik cxv jest podpisany jako .txt czy .cxv

Generowanie raportów: AWK można używać do analizy danych, a także generowania spersonalizowanych raportów na podstawie zawartości plików tekstowych.

Przykład:

Powyższe polecenie generuje raport z informacjami o ID, imieniu i wyniku (zaliczony/nie zaliczony) dla każdego wiersza pliku.

To tylko kilka przykładów, jak AWK może być wykorzystane do analizy plików tekstowych. Dzięki swojej prostocie, a także wszechstronności, AWK pozostaje jednym z najpopularniejszych narzędzi do przetwarzania i analizy danych tekstowych w systemach Unix i Linux.

Działania na kolumnach i wierszach tekstu

Działania na kolumnach i wierszach tekstu to jedna z kluczowych funkcji AWK, która umożliwia programistom manipulację danymi w plikach tekstowych w oparciu o strukturę wierszy i kolumn. AWK umożliwia wykonanie różnorodnych operacji na danych, takich jak przetwarzanie, agregacja, filtrowanie, analiza, formatowanie i wiele innych. Oto kilka przykładów, jak można wykonywać działania na kolumnach i wierszach tekstu za pomocą AWK:

Działania na kolumnach:

• AWK pozwala na wykonywanie różnych operacji na poszczególnych kolumnach w plikach tekstowych.
• Możemy odwoływać się do kolumn za pomocą $1, $2, $3, itd., gdzie $1 oznacza pierwszą kolumnę, $2 drugą kolumnę i tak dalej.
• Przy użyciu zmiennych i operatorów arytmetycznych, możemy przetwarzać dane w poszczególnych kolumnach.

Przykład:

{
    id = $1;
    suma = $3 + $4;
    printf "ID: %s | Suma wyników: %d\n", id, suma;
}

Powyższe polecenie agreguje wyniki na podstawie pierwszej kolumny (ID) i wyświetla sumy wyników dla każdego unikalnego ID.

Działania na kolumnach i wierszach tekstu w AWK pozwalają na przetwarzanie danych w złożonych, a także elastycznych sposób. Możemy łatwo analizować dane, generować raporty, filtrować dane, obliczać statystyki, a także wiele innych operacji, co czyni AWK potężnym narzędziem do analizy tekstowych danych.

Filtracja danych przy użyciu AWK

Filtracja danych jest jednym z głównych zastosowań AWK i polega na wybieraniu tylko tych wierszy z pliku tekstowego, które spełniają określone kryteria. AWK pozwala na tworzenie zaawansowanych wyrażeń warunkowych, które pozwalają na filtrowanie danych na podstawie zawartości poszczególnych kolumn, wartości liczbowych, wzorców tekstowych i wielu innych kryteriów. Oto kilka przykładów, jak można filtrować dane przy użyciu AWK:

Filtrowanie na podstawie wartości kolumn:

• Możemy użyć wyrażeń warunkowych, aby wybrać tylko te wiersze, których określona kolumna spełnia określone kryteria.
• Na przykład, możemy wybrać tylko te wiersze, w których wartość kolumny jest większa, mniejsza, równa lub nie równa danej wartości.

Przykład:

Powyższe polecenie wyświetli wszystkie wiersze, które zawierają słowo „słowo” w dowolnym miejscu drugiej kolumny.

Dopasowywanie kryteriów filtrowania:

Możemy łączyć różne kryteria filtrowania, używając logicznych operatorów takich jak && (AND) i || (OR).

Na przykład, możemy wybrać tylko te wiersze, które spełniają jednocześnie dwa różne kryteria.

Przykład:

Powyższe polecenie wyświetli wiersze, dla których trzecie pole jest większe niż 50 i czwarte pole jest mniejsze niż 25.

Filtrowanie za pomocą niestandardowego separatora:

Jeśli dane są oddzielone innym znakiem niż domyślny separator (spacja lub tabulator), możemy zdefiniować niestandardowy separator za pomocą opcji -F.

Na przykład, gdy dane są oddzielone przecinkami, możemy filtrować dane tak samo, jak w poprzednich przykładach.

Przykład:

Powyższe polecenie wyświetli wszystkie wiersze, dla których trzecie pole (kolumna) jest większe niż 80, zakładając, że dane są oddzielone przecinkami.

Filtracja danych przy użyciu AWK pozwala na szybkie i skuteczne wyodrębnienie interesujących nas informacji z plików tekstowych. Dzięki potężnym wyrażeniom warunkowym i możliwości kombinacji różnych kryteriów filtrowania, AWK staje się niezastąpionym narzędziem dla programistów i analityków, którzy potrzebują efektywnego sposobu analizy, a także wyselekcjonowania danych.

Praktyczne przykłady zastosowania AWK

AWK jest wszechstronnym narzędziem, które znajduje szerokie zastosowanie w analizie i przetwarzaniu danych tekstowych. Oto kilka praktycznych przykładów, jak AWK może być użyty w codziennej pracy:

Analiza logów: AWK jest często używany do analizy logów systemowych, serwerowych lub aplikacyjnych. Przy użyciu wyrażeń warunkowych, a także operacji na kolumnach, możemy wyodrębnić interesujące informacje z logów, filtrować dane na podstawie poziomu logowania, czasu, adresów IP itp.

Przykład:

Powyższe polecenie wyświetli datę i czas wystąpienia błędów z pliku logów.

Przetwarzanie plików CSV: AWK doskonale radzi sobie z przetwarzaniem plików w formacie CSV. Możemy manipulować danymi, agregować wartości, obliczać sumy, średnie i inne statystyki, a także generować raporty na podstawie danych z pliku CSV.

Przykład:

BEGIN {
    FS = ",";  # Ustawienie separatora pól (kolumn) na przecinek
}
NR > 1 {  # Pomijamy pierwszy wiersz z nagłówkami
    suma += $3;  # Dodajemy wartość z trzeciej kolumny do sumy
    count++;  # Zwiększamy licznik elementów
}
END {
    print "Średnia wartość wyników:", suma/count;  # Wypisanie wyniku
}

Powyższe polecenie obliczy średnią wartość z trzeciej kolumny w pliku dane1.txt.

W linux może być .txt pomimo że plik ma charakter pliku csv.

Generowanie raportów: może być używany do analizy danych i generowania spersonalizowanych raportów w oparciu o dane z pliku tekstowego. Możemy formatować raporty, dodawać nagłówki, stopki, a także inne elementy.

Przykład:

Powyższe polecenie generuje raport z wynikami, zaliczenia lub niezaliczenia na podstawie trzeciej kolumny w pliku.

Wyszukiwanie i zamiana tekstów: pozwala na wykorzystanie wyrażeń regularnych do wyszukiwania, a także zamiany tekstów w plikach tekstowych.

Przykład:

Powyższe polecenie zastąpi każde wystąpienie „old_text” na „new_text” w każdym wierszu pliku.

Analiza plików konfiguracyjnych: może pomóc w analizie plików konfiguracyjnych, które są zapisane w formie tekstowej. Możemy wyodrębnić klucze, a także wartości, filtrować sekcje konfiguracyjne i wiele więcej.

Przykład:

Powyższe polecenie wyświetli wartość klucza „key” z pliku konfiguracyjnego.

To tylko kilka przykładów, jak AWK może być praktycznie wykorzystane do przetwarzania, a także analizy danych tekstowych. Dzięki swojej prostocie, a także elastyczności jest wszechstronnym narzędziem. Może być używane w różnych scenariuszach, od prostych zadań filtrowania i analizy po bardziej zaawansowane operacje matematyczne, a także manipulacje tekstem.

Podsumowanie

AWK to potężne narzędzie do przetwarzania i analizy danych tekstowych oferujące wiele korzyści, a także udogodnień dla programistów, analityków danych i administratorów systemów. Narzędzie to charakteryzuje się prostotą, szybkością, a także wszechstronnością. Dzięki jego możliwościom manipulacji danych, składni, a także integracji z innymi narzędziami Unix, AWK jest niezastąpionym narzędziem dla osób zajmujących się analizą danych. Ale nie tylko! Sprawdzi się także tam gdzie konieczne jest przetwarzanie logów, generowanie raportów i wieloma innymi zastosowaniami, gdzie tekstowe dane wymagają obróbki.

Chcesz wiedzieć więcej na temat bezpieczeństwa? Przeczytaj nasze inne artykuły, a także weź udział w naszych kursach!