Zbyt duży plik dla grep?

[cadi2108]

Witam ponownie!

Tym razem mam problem dotyczący wyszukiwania słów w bardzo dużych plikach. Mam plik wielkości 4GB, chcę wyszukać w nim wszystkie wystąpienia danego słowa. Naturalnym rozwiązaniem się wydaje użycie polecenia grep:

Kod: [Zaznacz]

grep -l "szukane_slowo" nazwa_pliku.txt

Niestety, dla pliku o wielkości 4GB wyświetla się komunikat:

Kod: [Zaznacz]

grep: nazwa_pliku.txt: Nie można przydzielić pamięci

Ma ktoś może jakiś pomysł jak można obejść ten problem? Za wszelkie propozycje będę bardzo wdzięczna.

[arctgx]

Może zacznij od sprawdzenia czy powłoka ma narzucone jakieś limity:

Kod: [Zaznacz]

ulimit -a

[cadi2108]

Oto wynik:

Kod: [Zaznacz]

core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 8181
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 8181
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

Na co mam patrzeć? Na max locked memory? virtual memory?

EDIT: dodam, że mam 1GB RAM i SWAP 512 MB

[arctgx]

Też na razie nie potrafię niczego wartościowego wyciągnąć z wyniku.

Wątpię, że plik musi być załadowany cały do pamięci, by mógł zostać przetworzony przez grepa. Wtedy ograniczeniem byłaby albo 1.5 GB wspólnej pamięci, albo 4 GB wynikające z architektury 32-bitowej (gdyby np. dodać wystarczająco dużo pamięci wymiany). Tu sam posłuchałbym kogoś, kto lepiej zna rzecz.

[cadi2108]

Tu chyba jest odpowiedź: http://www.daniweb.com/forums/thread64706.html

Jak tak to nieciekawie;/ Nie ma innej metody aby przeszukać ten plik?

[arctgx]

Spróbuj napisać prostą pętlę w powłoce, która będzie za pomocą dd kopiowała na standardowe wyjście kolejne wystarczająco małe kawałki pliku (patrz: skip, bs, count) i wpuszczała je do grepa. Pętlę możesz opakować w funkcję, której możesz używać jako grepopodobnego polecenia. Nie bawiłem się na razie, inaczej wkleiłbym kod.

[Paweł Kraszewski]

1. Sprecyzuj, co chesz wyszukać. Podany przez Ciebie parametr -l (małe L) służy do przeszukania kilku plików i określenia, które zawierają szukane słowo, kończąc na nim przeszukiwanie pliku (tj znajduje pierwsze wystąpienie słowa w każdym pliku). A piszesz że chcesz znaleźć wszystkie wystąpienia.

2. Jak chcesz wszystkie wystąpienia w jednym pliku, to spróbuj:

Kod: [Zaznacz]

grep "słowo" < duży_plik

Jak przeszukujesz rzeczywiście więcej plików to konstrukcja będzie taka (grep zwraca kod błędu przy braku dopasowania)

Kod: [Zaznacz]

for PLIK in *
do
 if grep -l -q 'slowo' <"${PLIK}"
 then
  echo "Znaleziono w pliku '${PLIK}'"
 fi
done

Przy if nie ma nawiasów, tak ma być.

[cadi2108]

Mam do przeszukania jeden duży plik 4 GB.

Kod: [Zaznacz]

grep "słowo" < duży_plik

Wywołuje ten sam błąd co jest wyżej, że nie można przydzielić pamięci. Rozwiązanie tego problemu jest inne, zamieszczam je gdyby komuś to kiedyś mogło być potrzebne:

Kod: [Zaznacz]

strings nazwa_pliku | grep "slowo"