Wyciąganie z pliku wielu słów i zapisywanie ich w innym pliku.

[Geeko]

Witam, mam następujący problem.
Dostałem plik z dużą ilością tekstu, z którego muszę wyciągnąć wszystkie linki do stron internetowych i jak często występowały po czym zapisać to w oddzielnym pliku. Dzikim szaleństwem byłoby gdyby układały się w tabeli ale to jestem już w stanie, ewentualnie, zrobić ręcznie, najważniejsze jest wyszukiwanie wszystkiego co jest linkiem do strony i ile razy każdy link występuje.
Podejrzewam, że będzie to pewna wariacja grep, ale nie bardzo wiem jaka. Proszę was o pomoc. Z góry dziękuję.

[quejinho]

Nie musi to być grep.
Wybierz sobie jakiś język skryptowy np. perl .
wczytaj plik, potem przerzuć go  regexpem, wyrzuć znaczniki zapisz, do pliku .

[Geeko]

Dzięki wielkie, ale mogę potrzebować odrobinę dokładniejszych instrukcji, np. z działania regexpa. Python brzmi jak plan, w sumie zbierałem się już od jakiegoś czasu, żeby czegoś się z niego nauczyć.

[quejinho]

np. perl :

open(LOGFILE, "super.txt");
my @line=;
close LOGFILE;    

i mamy zapisaną tablice z twoim plikiem .

i coś w rodzaju

/(.*?)/mg

jako do regexpa.



Linki dla ciebie
tutaj jakieś przykłady do perla akurat :
http://www.tutorialspoint.com/perl/perl_regular_expression.htm

coś co tygryski lubią najbardziej :
http://www.regexr.com/

[1709]

- Bez przykladu to troche ciezko.
- Jaki jest problem z grepem ?
- Znalazlem cos takiego
http://stackoverflow.com/questions/3005740/regex-to-find-external-links-from-the-html-file-using-grep

Tyle ze jest to do pliku html, wiec rozumiem czemu polecono regexp,
czy plik jest czyms w rodzaju html?

[Geeko]

Plik jest typu .log z grepem jest ten problem, ze potrafię za jego pomocą policzyć słowa, ale do drugiego pliku w tym momencie zapisuje mi się tylko ogromna liczba(bo policzył słowa i, zgodnie z prośbą przesłał ich liczbę . Komenda wyglądała mniej więcej "grep -c > ), nie wiem jak zrobić żebym miał każdy znaleziony w tym pliku link i ilość wystąpień np.
link1 655 wystąpień
link2 6455 wystąpień
itp.

[Paweł Kraszewski]

Jak długo nie pokażesz paru linijek z parsowanego pliku, tak długo mimo najszczerszych chęci nie możemy więcej pomóc...

[1709]

Przyklad

Kod: [Zaznacz]

#!/bin/sh

cat nazwa_pliku | grep "www." | sort > plik_linki

Edytowane:
Z kazdej lini jeszcze trzeba oddzielic link od reszty,
jesli wystepuje regularnosc mozna uzyc cut,
jesli nie to wtedy trzeba poszukac innego sposobu, np.
wypisac slowa w kazdej linii i znowu uzyc grepa.

Edytowane:
Co do seda to nie jestem pewien musialbym podac przyklad,
by udowodnic ze sie da

Przyklad z grepem:

Kod: [Zaznacz]

 cat plik_linki  | grep -o  '\\S*http\\S*']

Do tego mozna dodac pentelke, ja to robie w ten sposob:

Kod: [Zaznacz]

		# liczba lini w pliku
		cb=$(cat -n plik_linki | tail -1 | awk '{print $1}')

               
               # pentelka wykonuje sie tyle razy ile lini w pliku linki
		for i in `seq 1 $cb`
		do

       		 cc=$(awk 'NR=='$i plik_linki)
      		 # linia z pliku ( bedzie pokazywac linie kazda az zakonczy pentle)

                 (tu cos musisz zrobic, wymyslec w jaki sposob skrypt ma np. porownywac linie , np. poprzez zapisanie lini do innej zmiennej lub pliku i porownanie,
jesli bedzie taka sama to zacznie zliczac)
                 done