#! /bin/sh

ZAPROS=zapros.txt # Заранее подготовленный файл с запросами
COOKIESFILE=cookie.txt # Файл куда мы будем писать куку
GETCOOKIESURL="http://kiks.yandex.ru/su/" # Адрес откуда мы будем куку забирать
TMPRESULT=tmpresult.txt # Временный файл из которого будем забирать нужное
SLEEPTIME=12 # Время задержки между запросами
RESULT=result.txt # Файл в который пишем результаты

# Итак, у нас есть заранее подготовленный файл zapros.txt
# В этом файле каждая строка - ключевик
# Количество запросов этого ключевика мы и будем парсить

# Ну тут мы просто кое-что подготовим
touch $TMPRESULT
touch $RESULT
mv $RESULT old.$RESULT # Бекапим файл, на случай, если в нём уже есть какие-то результаты

# Для начала, забираем куку для Яндекса, без неё он будет запрашивать капчу
wget --cookies=on --keep-session-cookies --save-cookies=$COOKIESFILE --load-cookies=$COOKIEFILE $GETCOOKIESURL

# Теперь идём в файл с запросами и берём строку
cat $ZAPROS | while read line; do 

# Отправляем запрос в яндекс.вебмастер
wget --cookies=on --keep-session-cookies --load-cookies=$COOKIESFILE -O $TMPRESULT "http://wordstat.yandex.ru/?cmd=words&text=$line"

# Выдёргиваем 162 строку файла - именно там находится нужная нам цифра
cat $TMPRESULT | head -162 | tail -1 > tmp

# Удаляем из строки все html теги
res=`sed -e :a -e 's/<[^>]*>//g;/</N;//ba' tmp`

# Записываем результат в файл
echo "$line $res запросов в месяц" >> $RESULT

# Между запросами неплохо было бы и подождать
sleep $SLEEPTIME

# Начинаем цикл сначала
done

# Не забываем прибраться за собой
rm tmp
rm $TMPRESULT
rm $COOKIESFILE
rm fc06.html

echo "Результаты сохранены в файл $RESULT." 
echo "Результаты прошлого парсинга сохранены в файле old.$RESULT."
exit 0;