Statystyczne modelowanie zawartości dokumentów tekstowych

W monografii przedstawiono zagadnienia dotyczące opisu treści dokumentów tekstowych za pomocą modeli statystycznych. Modele te znajdują zastosowanie we wszystkich warstwach języka – od warstwy morfologicznej, przez warstwę frazeologiczną i syntaktyczną, aż po warstwę semantyczną. Są przydatne do rozwiązywania różnych typów zadań, przy czym za najważniejsze zadanie należy uznać wyznaczanie podobieństwa pomiędzy wyrazami, zdaniami czy całymi dokumentami. Odpowiednio skonstruowany model może z powodzeniem opisywać zawartość pojedynczego dokumentu lub ich zbioru określanego mianem korpusu. Pozwala również na ekstrakcję, porównywanie czy klasyfikowanie informacji pochodzących z dokumentów. Może stanowić również narzędzie służące do zmiany jej formy, czego przykładem może być automatyczna identyfikacja słów kluczowych lub wizualizacja. W pracy zaprezentowano wyniki przeprowadzonych prac obliczeniowych, które w każdym przypadku dotyczyły analizy dokumentów polskojęzycznych i zostały zrealizowane przy użyciu narzędzi dostępnych w języku R. Pozwoliło to na ocenę tych produktów pod względem ich przydatności do analizy tekstów przygotowanych w rodzimym języku. Zaprezentowane wyniki badań jednoznacznie potwierdzają przydatność zaprezentowanych metod do analizy dokumentów przygotowanych w języku polskim.

Treść:
1. Język i jego badanie
2. Statystyczne modele opisu zawartości dokumentów i ich taksonomia
3. Analiza lingwistyczna tekstu
4. Modele algebraiczne
5. Modele probabilistyczne
6. Metody wykorzystujące wiedzę dziedzinową
7. Opis zawartości dokumentów za pomocą słów i fraz kluczowych
8. Analiza opinii konsumenckich