sed 's/[^(\xe0\xa4\x84-\xe0\xa4\xb9)|(\xe0\xa4\x81-\xe0\xa4\x83)|(\xe0\xa4\xbe-\xe0\xa5\x8d)|(\xe0\xa5\x98-\xe0\xa5\x9f)|(\xe0\xa5\xa0)|(\xe0\xa5\x95)|(\xe0\xa5\xb1)|(\xe0\xa5\xb2)|(\xe0\xa5\xb3)|(\xe0\xa5\xb4)|(\xe0\xa5\xb5)|(\xe0\xa5\xb6)][^(\xe0\xa4\x84-\xe0\xa4\xb9)|(\xe0\xa4\x81-\xe0\xa4\x83)|(\xe0\xa4\xbe-\xe0\xa5\x8d)|(\xe0\xa5\x98-\xe0\xa5\x9f)|(\xe0\xa5\xa0)|(\xe0\xa5\x95)|(\xe0\xa5\xb1)|(\xe0\xa5\xb2)|(\xe0\xa5\xb3)|(\xe0\xa5\xb4)|(\xe0\xa5\xb5)|(\xe0\xa5\xb6)]*/\n/g' < Hi_Blogs.txt > test3

sed 's/[^(\xe0\xa4\x84-\xe0\xa4\xb9)|(\xe0\xa4\x81-\xe0\xa4\x83)|(\xe0\xa4\xbe-\xe0\xa5\x8d)|(\xe0\xa5\x98-\xe0\xa5\x9f)|(\xe0\xa5\xa0)|(\xe0\xa5\x95)|(\xe0\xa5\xb1)|(\xe0\xa5\xb2)|(\xe0\xa5\xb3)|(\xe0\xa5\xb4)|(\xe0\xa5\xb5)|(\xe0\xa5\xb6)][^(\xe0\xa4\x84-\xe0\xa4\xb9)|(\xe0\xa4\x81-\xe0\xa4\x83)|(\xe0\xa4\xbe-\xe0\xa5\x8d)|(\xe0\xa5\x98-\xe0\xa5\x9f)|(\xe0\xa5\xa0)|(\xe0\xa5\x95)|(\xe0\xa5\xb1)|(\xe0\xa5\xb2)|(\xe0\xa5\xb3)|(\xe0\xa5\xb4)|(\xe0\xa5\xb5)|(\xe0\xa5\xb6)]*/\n/g' < Hi_Newspapers.txt >> test3

sed '/^$/d' < test3 > wordlist

cat wordlist | sort > wordlistsorted

cat wordlistsorted | uniq -c > vocab

sed 's/^.*[\(].*$//g' < vocab > vocabbetter

sed 's/^.*[\)].*$//g' < vocabbetter > vocab

sed '/^$/d' < vocab > vocabbetter

rm vocab; mv vocabbetter vocab;

sed 's/^[^0-9]*[0-2][^0-9].*$//g' < vocab > vocabrefined

sed 's/^ *//g' < vocab > vocabnws

sed 's/^[1|2|3][^0-9].*$//g' vocabnws > vocabrefinedel

sed '/^$/d' < vocabrefinedel > vocabrefined

sed 's/^[0-9]*[^0-9][^0-9][^0-9]$//g' < vocabrefined > vocabsmallremoved

sed '/^$/d' <  vocabsmallremoved > vocabsmallremoved2

mv vocabsmallremoved2 vocabsmallremoved

rm vocab vocabrefined vocabnws

mv vocabsmallremoved vocab.txt
