dev.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "The autoreload extension is already loaded. To reload it, use:\n",
      "  %reload_ext autoreload\n",
      "['Новый набор в кружки по искусственному интеллекту', 'Optimization at work', 'Семинар AI@MIPT', 'Аветисян А.И. \"Современные проблемы системного программирования\"', 'Workshop on graphs, networks, and their applications', '15th Workshop on Algorithms and Models for the Web Graph', 'The 8th International Conference on Network Analysis', 'О школе', 'Geometry, Dynamics, Integrable Systems – GDIS 2018', 'Эрик Госье \"Семантическое аннотирование и вопросно-ответные системы BioASQ\"', 'Лаборатория гибридных интеллектуальных систем ФПМИ приглашает студентов и выпускников на работу', 'ФПМИ продолжает поддерживать важные образовательные проекты для школьников', \"В Канаде при поддержке ФПМИ состоится конференция по блокчейну BTS '18\", 'МФТИ и Тинькофф Банк запускают бесплатные курсы для школьников', 'ФПМИ запускает курсы по нейронным сетям для старшеклассников', '5 сентября - старт межкафедрального семинара по дискретной математике', 'Big Data Conference 2018', 'Хакатон «Mix Hack»']\n",
      "-> announce\n",
      "appended\n",
      "-> done\n",
      "['Optimization at work', 'Семинар AI@MIPT', 'Аветисян А.И. \"Современные проблемы системного программирования\"', 'Workshop on graphs, networks, and their applications', '15th Workshop on Algorithms and Models for the Web Graph', 'The 8th International Conference on Network Analysis', 'О школе', 'Geometry, Dynamics, Integrable Systems – GDIS 2018', 'Эрик Госье \"Семантическое аннотирование и вопросно-ответные системы BioASQ\"', 'Лаборатория гибридных интеллектуальных систем ФПМИ приглашает студентов и выпускников на работу', 'ФПМИ продолжает поддерживать важные образовательные проекты для школьников', \"В Канаде при поддержке ФПМИ состоится конференция по блокчейну BTS '18\", 'МФТИ и Тинькофф Банк запускают бесплатные курсы для школьников', 'ФПМИ запускает курсы по нейронным сетям для старшеклассников', '5 сентября - старт межкафедрального семинара по дискретной математике', 'Big Data Conference 2018', 'Хакатон «Mix Hack»']\n",
      "-> announce\n",
      "appended\n",
      "-> done\n",
      "['Семинар AI@MIPT', 'Аветисян А.И. \"Современные проблемы системного программирования\"', 'Workshop on graphs, networks, and their applications', '15th Workshop on Algorithms and Models for the Web Graph', 'The 8th International Conference on Network Analysis', 'О школе', 'Geometry, Dynamics, Integrable Systems – GDIS 2018', 'Эрик Госье \"Семантическое аннотирование и вопросно-ответные системы BioASQ\"', 'Лаборатория гибридных интеллектуальных систем ФПМИ приглашает студентов и выпускников на работу', 'ФПМИ продолжает поддерживать важные образовательные проекты для школьников', \"В Канаде при поддержке ФПМИ состоится конференция по блокчейну BTS '18\", 'МФТИ и Тинькофф Банк запускают бесплатные курсы для школьников', 'ФПМИ запускает курсы по нейронным сетям для старшеклассников', '5 сентября - старт межкафедрального семинара по дискретной математике', 'Big Data Conference 2018', 'Хакатон «Mix Hack»']\n",
      "-> announce\n",
      "appended\n",
      "-> done\n",
      "['Аветисян А.И. \"Современные проблемы системного программирования\"', 'Workshop on graphs, networks, and their applications', '15th Workshop on Algorithms and Models for the Web Graph', 'The 8th International Conference on Network Analysis', 'О школе', 'Geometry, Dynamics, Integrable Systems – GDIS 2018', 'Эрик Госье \"Семантическое аннотирование и вопросно-ответные системы BioASQ\"', 'Лаборатория гибридных интеллектуальных систем ФПМИ приглашает студентов и выпускников на работу', 'ФПМИ продолжает поддерживать важные образовательные проекты для школьников', \"В Канаде при поддержке ФПМИ состоится конференция по блокчейну BTS '18\", 'МФТИ и Тинькофф Банк запускают бесплатные курсы для школьников', 'ФПМИ запускает курсы по нейронным сетям для старшеклассников', '5 сентября - старт межкафедрального семинара по дискретной математике', 'Big Data Conference 2018', 'Хакатон «Mix Hack»']\n",
      "-> announce\n",
      "appended\n",
      "-> done\n",
      "['Workshop on graphs, networks, and their applications', '15th Workshop on Algorithms and Models for the Web Graph', 'The 8th International Conference on Network Analysis', 'О школе', 'Geometry, Dynamics, Integrable Systems – GDIS 2018', 'Эрик Госье \"Семантическое аннотирование и вопросно-ответные системы BioASQ\"', 'Лаборатория гибридных интеллектуальных систем ФПМИ приглашает студентов и выпускников на работу', 'ФПМИ продолжает поддерживать важные образовательные проекты для школьников', \"В Канаде при поддержке ФПМИ состоится конференция по блокчейну BTS '18\", 'МФТИ и Тинькофф Банк запускают бесплатные курсы для школьников', 'ФПМИ запускает курсы по нейронным сетям для старшеклассников', '5 сентября - старт межкафедрального семинара по дискретной математике', 'Big Data Conference 2018', 'Хакатон «Mix Hack»']\n",
      "-> announce\n",
      "appended\n",
      "-> done\n",
      "['15th Workshop on Algorithms and Models for the Web Graph', 'The 8th International Conference on Network Analysis', 'О школе', 'Geometry, Dynamics, Integrable Systems – GDIS 2018', 'Эрик Госье \"Семантическое аннотирование и вопросно-ответные системы BioASQ\"', 'Лаборатория гибридных интеллектуальных систем ФПМИ приглашает студентов и выпускников на работу', 'ФПМИ продолжает поддерживать важные образовательные проекты для школьников', \"В Канаде при поддержке ФПМИ состоится конференция по блокчейну BTS '18\", 'МФТИ и Тинькофф Банк запускают бесплатные курсы для школьников', 'ФПМИ запускает курсы по нейронным сетям для старшеклассников', '5 сентября - старт межкафедрального семинара по дискретной математике', 'Big Data Conference 2018', 'Хакатон «Mix Hack»']\n",
      "-> announce\n",
      "appended\n",
      "-> done\n",
      "['The 8th International Conference on Network Analysis', 'О школе', 'Geometry, Dynamics, Integrable Systems – GDIS 2018', 'Эрик Госье \"Семантическое аннотирование и вопросно-ответные системы BioASQ\"', 'Лаборатория гибридных интеллектуальных систем ФПМИ приглашает студентов и выпускников на работу', 'ФПМИ продолжает поддерживать важные образовательные проекты для школьников', \"В Канаде при поддержке ФПМИ состоится конференция по блокчейну BTS '18\", 'МФТИ и Тинькофф Банк запускают бесплатные курсы для школьников', 'ФПМИ запускает курсы по нейронным сетям для старшеклассников', '5 сентября - старт межкафедрального семинара по дискретной математике', 'Big Data Conference 2018', 'Хакатон «Mix Hack»']\n",
      "-> announce\n",
      "appended\n",
      "-> done\n",
      "['О школе', 'Geometry, Dynamics, Integrable Systems – GDIS 2018', 'Эрик Госье \"Семантическое аннотирование и вопросно-ответные системы BioASQ\"', 'Лаборатория гибридных интеллектуальных систем ФПМИ приглашает студентов и выпускников на работу', 'ФПМИ продолжает поддерживать важные образовательные проекты для школьников', \"В Канаде при поддержке ФПМИ состоится конференция по блокчейну BTS '18\", 'МФТИ и Тинькофф Банк запускают бесплатные курсы для школьников', 'ФПМИ запускает курсы по нейронным сетям для старшеклассников', '5 сентября - старт межкафедрального семинара по дискретной математике', 'Big Data Conference 2018', 'Хакатон «Mix Hack»']\n",
      "-> announce\n",
      "appended\n",
      "-> done\n",
      "['Geometry, Dynamics, Integrable Systems – GDIS 2018', 'Эрик Госье \"Семантическое аннотирование и вопросно-ответные системы BioASQ\"', 'Лаборатория гибридных интеллектуальных систем ФПМИ приглашает студентов и выпускников на работу', 'ФПМИ продолжает поддерживать важные образовательные проекты для школьников', \"В Канаде при поддержке ФПМИ состоится конференция по блокчейну BTS '18\", 'МФТИ и Тинькофф Банк запускают бесплатные курсы для школьников', 'ФПМИ запускает курсы по нейронным сетям для старшеклассников', '5 сентября - старт межкафедрального семинара по дискретной математике', 'Big Data Conference 2018', 'Хакатон «Mix Hack»']\n",
      "-> announce\n",
      "appended\n",
      "-> done\n",
      "['Эрик Госье \"Семантическое аннотирование и вопросно-ответные системы BioASQ\"', 'Лаборатория гибридных интеллектуальных систем ФПМИ приглашает студентов и выпускников на работу', 'ФПМИ продолжает поддерживать важные образовательные проекты для школьников', \"В Канаде при поддержке ФПМИ состоится конференция по блокчейну BTS '18\", 'МФТИ и Тинькофф Банк запускают бесплатные курсы для школьников', 'ФПМИ запускает курсы по нейронным сетям для старшеклассников', '5 сентября - старт межкафедрального семинара по дискретной математике', 'Big Data Conference 2018', 'Хакатон «Mix Hack»']\n",
      "-> announce\n",
      "appended\n",
      "-> done\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Лаборатория гибридных интеллектуальных систем ФПМИ приглашает студентов и выпускников на работу', 'ФПМИ продолжает поддерживать важные образовательные проекты для школьников', \"В Канаде при поддержке ФПМИ состоится конференция по блокчейну BTS '18\", 'МФТИ и Тинькофф Банк запускают бесплатные курсы для школьников', 'ФПМИ запускает курсы по нейронным сетям для старшеклассников', '5 сентября - старт межкафедрального семинара по дискретной математике', 'Big Data Conference 2018', 'Хакатон «Mix Hack»']\n",
      "-> announce\n",
      "appended\n",
      "-> done\n",
      "['ФПМИ продолжает поддерживать важные образовательные проекты для школьников', \"В Канаде при поддержке ФПМИ состоится конференция по блокчейну BTS '18\", 'МФТИ и Тинькофф Банк запускают бесплатные курсы для школьников', 'ФПМИ запускает курсы по нейронным сетям для старшеклассников', '5 сентября - старт межкафедрального семинара по дискретной математике', 'Big Data Conference 2018', 'Хакатон «Mix Hack»']\n",
      "-> announce\n",
      "-> missed\n",
      "['ФПМИ продолжает поддерживать важные образовательные проекты для школьников', \"В Канаде при поддержке ФПМИ состоится конференция по блокчейну BTS '18\", 'МФТИ и Тинькофф Банк запускают бесплатные курсы для школьников', 'ФПМИ запускает курсы по нейронным сетям для старшеклассников', '5 сентября - старт межкафедрального семинара по дискретной математике', 'Big Data Conference 2018', 'Хакатон «Mix Hack»']\n",
      "-> announce\n",
      "-> missed\n",
      "['ФПМИ продолжает поддерживать важные образовательные проекты для школьников', \"В Канаде при поддержке ФПМИ состоится конференция по блокчейну BTS '18\", 'МФТИ и Тинькофф Банк запускают бесплатные курсы для школьников', 'ФПМИ запускает курсы по нейронным сетям для старшеклассников', '5 сентября - старт межкафедрального семинара по дискретной математике', 'Big Data Conference 2018', 'Хакатон «Mix Hack»']\n",
      "-> announce\n",
      "-> missed\n"
     ]
    }
   ],
   "source": [
    "%load_ext autoreload\n",
    "%autoreload 2\n",
    "\n",
    "from telegram.ext import Updater, CommandHandler, MessageHandler, Filters\n",
    "import numpy as np\n",
    "import threading\n",
    "import argparse\n",
    "import telegram\n",
    "import sys\n",
    "import os\n",
    "import pickle\n",
    "import utils\n",
    "import json\n",
    "import time\n",
    "from emoji import emojize\n",
    "\n",
    "sys.argv = ['--proxy 1']\n",
    "parser = argparse.ArgumentParser(description=\"Bot to parse news from FPMI's site\")\n",
    "parser.add_argument('--proxy', dest='proxy', type=int,\n",
    "                    default=1, help='use proxy or not')\n",
    "\n",
    "bot = None\n",
    "info_text = 'NOT IMPLEMENTED'\n",
    "fpmi_url = 'https://mipt.ru/education/departments/fpmi/'\n",
    "channel_id = -1001180214136  # FPMI_announcements.\n",
    "pause = 1.0\n",
    "\n",
    "\n",
    "if os.path.exists(utils.PKL) is False:\n",
    "    data = list()\n",
    "    with open(utils.PKL, 'wb') as f:\n",
    "        pickle.dump(data, f)\n",
    "\n",
    "\n",
    "def announce():\n",
    "    # Get all news from site.\n",
    "    fresh_news = utils.get_info(fpmi_url)\n",
    "    # Load dumped news from .pkl file.\n",
    "    loaded_news = utils.load_news()\n",
    "    # Find difference between fresh and dumped news.\n",
    "    news_list = utils.diff_news(fresh_news, loaded_news)\n",
    "    \n",
    "#     fresh_titles = utils.get_titles(utils.get_sorted(fresh_news))\n",
    "#     loaded_titles = utils.get_titles(utils.get_sorted(loaded_news))\n",
    "#     print(fresh_titles)\n",
    "#     print(loaded_titles)\n",
    "    \n",
    "    news_list = utils.get_sorted(news_list)\n",
    "    print(utils.get_titles(news_list))\n",
    "\n",
    "    # If there is at least one fresh announcement -- post it.\n",
    "    if len(news_list) == 0:\n",
    "        print('-> nothing new :(')\n",
    "    else:\n",
    "        print('-> announce')\n",
    "        to_announce = news_list[0]\n",
    "        try:\n",
    "            if to_announce not in loaded_news:\n",
    "                text = utils.compose_announcement(to_announce)\n",
    "                # Make announcement.\n",
    "    #             bot.send_message(chat_id=channel_id, text=text, parse_mode=telegram.ParseMode.MARKDOWN, timeout=9999)\n",
    "                # Save updated news.\n",
    "\n",
    "                if 'ФПМИ продолжает поддерживать важные образовательные проекты для школьников' not in to_announce['title']:\n",
    "                    loaded_news.append(to_announce)\n",
    "                    print('appended')\n",
    "                    utils.save_news(loaded_news)\n",
    "                    print('-> done')\n",
    "                else:\n",
    "                    print('-> missed')\n",
    "            else:\n",
    "                print('-> duplicate :(')\n",
    "        except telegram.error.TimedOut as e:\n",
    "            print('-> skipping this event due to Timed Out')\n",
    "            print(e)\n",
    "\n",
    "        \n",
    "announcer = utils.Looper(announce, pause=pause)  # `pause` == seconds.\n",
    "        \n",
    "\n",
    "def help(bot, update):\n",
    "    update.message.reply_text(info_text)\n",
    "    return\n",
    "\n",
    "\n",
    "def main():\n",
    "#     global bot\n",
    "#     token = utils.get_token('res/token.json')\n",
    "\n",
    "#     args = parser.parse_args()\n",
    "#     if args.proxy == 1:\n",
    "#         print('-> USE PROXY')\n",
    "#         req = telegram.utils.request.Request(proxy_url='socks5h://127.0.0.1:9050',\n",
    "#                                              read_timeout=30, connect_timeout=20,\n",
    "#                                              con_pool_size=10)\n",
    "#         bot = telegram.Bot(token=token, request=req)\n",
    "#     elif args.proxy == 0:\n",
    "#         print('-> NO PROXY')\n",
    "#         bot = telegram.Bot(token=token)\n",
    "#     else:\n",
    "#         raise ValueError('Wrong proxy.')\n",
    "\n",
    "    announcer.start()\n",
    "    \n",
    "#     updater = Updater(bot=bot)\n",
    "#     dp = updater.dispatcher\n",
    "\n",
    "#     dp.add_handler(CommandHandler('help', help))\n",
    "#     dp.add_handler(CommandHandler('start', help))\n",
    "#     dp.add_handler(MessageHandler(Filters.text, help))\n",
    "\n",
    "#     updater.start_polling()\n",
    "#     updater.idle()\n",
    "\n",
    "\n",
    "if __name__ == '__main__':\n",
    "    main()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "The autoreload extension is already loaded. To reload it, use:\n",
      "  %reload_ext autoreload\n",
      "-> USE PROXY\n"
     ]
    },
    {
     "ename": "ValueError",
     "evalue": "Unable to determine SOCKS version from socks5h://127.0.0.1:9050",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mValueError\u001b[0m                                Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-3-7f8aca48c063>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m()\u001b[0m\n\u001b[1;32m    107\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    108\u001b[0m \u001b[0;32mif\u001b[0m \u001b[0m__name__\u001b[0m \u001b[0;34m==\u001b[0m \u001b[0;34m'__main__'\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 109\u001b[0;31m     \u001b[0mmain\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m",
      "\u001b[0;32m<ipython-input-3-7f8aca48c063>\u001b[0m in \u001b[0;36mmain\u001b[0;34m()\u001b[0m\n\u001b[1;32m     85\u001b[0m         req = telegram.utils.request.Request(proxy_url='socks5h://127.0.0.1:9050',\n\u001b[1;32m     86\u001b[0m                                              \u001b[0mread_timeout\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;36m30\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mconnect_timeout\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;36m20\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 87\u001b[0;31m                                              con_pool_size=10)\n\u001b[0m\u001b[1;32m     88\u001b[0m         \u001b[0mbot\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mtelegram\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mBot\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mtoken\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mtoken\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mrequest\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mreq\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     89\u001b[0m     \u001b[0;32melif\u001b[0m \u001b[0margs\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mproxy\u001b[0m \u001b[0;34m==\u001b[0m \u001b[0;36m0\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m/usr/local/lib/python3.6/site-packages/telegram/utils/request.py\u001b[0m in \u001b[0;36m__init__\u001b[0;34m(self, con_pool_size, proxy_url, urllib3_proxy_kwargs, connect_timeout, read_timeout)\u001b[0m\n\u001b[1;32m    109\u001b[0m                 \u001b[0;32mexcept\u001b[0m \u001b[0mImportError\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    110\u001b[0m                     \u001b[0;32mraise\u001b[0m \u001b[0mRuntimeError\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m'PySocks is missing'\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 111\u001b[0;31m                 \u001b[0mmgr\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mSOCKSProxyManager\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mproxy_url\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m**\u001b[0m\u001b[0mkwargs\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    112\u001b[0m             \u001b[0;32melse\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    113\u001b[0m                 \u001b[0mmgr\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0murllib3\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mproxy_from_url\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mproxy_url\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m**\u001b[0m\u001b[0mkwargs\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m/usr/local/lib/python3.6/site-packages/telegram/vendor/ptb_urllib3/urllib3/contrib/socks.py\u001b[0m in \u001b[0;36m__init__\u001b[0;34m(self, proxy_url, username, password, num_pools, headers, **connection_pool_kw)\u001b[0m\n\u001b[1;32m    158\u001b[0m         \u001b[0;32melse\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    159\u001b[0m             raise ValueError(\n\u001b[0;32m--> 160\u001b[0;31m                 \u001b[0;34m\"Unable to determine SOCKS version from %s\"\u001b[0m \u001b[0;34m%\u001b[0m \u001b[0mproxy_url\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    161\u001b[0m             )\n\u001b[1;32m    162\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mValueError\u001b[0m: Unable to determine SOCKS version from socks5h://127.0.0.1:9050"
     ]
    }
   ],
   "source": [
    "%load_ext autoreload\n",
    "%autoreload 2\n",
    "\n",
    "from telegram.ext import Updater, CommandHandler, MessageHandler, Filters\n",
    "import numpy as np\n",
    "import threading\n",
    "import argparse\n",
    "import telegram\n",
    "import sys\n",
    "import os\n",
    "import pickle\n",
    "import utils\n",
    "import json\n",
    "import time\n",
    "from emoji import emojize\n",
    "\n",
    "sys.argv = ['--proxy 1']\n",
    "parser = argparse.ArgumentParser(description=\"Bot to parse news from FPMI's site\")\n",
    "parser.add_argument('--proxy', dest='proxy', type=int,\n",
    "                    default=1, help='use proxy or not')\n",
    "\n",
    "bot = None\n",
    "info_text = 'NOT IMPLEMENTED'\n",
    "fpmi_url = 'https://mipt.ru/education/departments/fpmi/'\n",
    "channel_id = -1001180214136  # FPMI_announcements.\n",
    "pause = 20.0\n",
    "\n",
    "\n",
    "if os.path.exists(utils.PKL) is False:\n",
    "    data = list()\n",
    "    with open(utils.PKL, 'wb') as f:\n",
    "        pickle.dump(data, f)\n",
    "\n",
    "\n",
    "def announce():\n",
    "    # Get all news from site.\n",
    "    fresh_news = utils.get_info(fpmi_url)\n",
    "    # Load dumped news from .pkl file.\n",
    "    loaded_news = utils.load_news()\n",
    "    # Find difference between fresh and dumped news.\n",
    "    news_list = utils.diff_news(fresh_news, loaded_news)\n",
    "    \n",
    "    news_list = utils.get_sorted(news_list)\n",
    "\n",
    "    # If there is at least one fresh announcement -- post it.\n",
    "    if len(news_list) == 0:\n",
    "        print('-> nothing new :(')\n",
    "    else:\n",
    "        print('-> announce')\n",
    "        to_announce = news_list[0]\n",
    "        try:\n",
    "            if to_announce not in loaded_news:\n",
    "                text = utils.compose_announcement(to_announce)\n",
    "                # Make announcement.\n",
    "                bot.send_message(chat_id=channel_id, text=text, parse_mode=telegram.ParseMode.MARKDOWN, timeout=9999)\n",
    "                # Save updated news.\n",
    "\n",
    "                loaded_news.append(to_announce)\n",
    "                print(to_announce)\n",
    "                print('-> appended')\n",
    "                utils.save_news(loaded_news)\n",
    "                print('-> done')\n",
    "            else:\n",
    "                print('-> duplicate :(')\n",
    "        except telegram.error.TimedOut as e:\n",
    "            print('-> skipping this event due to Timed Out')\n",
    "            print(e)\n",
    "\n",
    "        \n",
    "announcer = utils.Looper(announce, pause=pause)  # `pause` == seconds.\n",
    "        \n",
    "\n",
    "def help(bot, update):\n",
    "    update.message.reply_text(info_text)\n",
    "    return\n",
    "\n",
    "\n",
    "def main():\n",
    "    global bot\n",
    "    token = utils.get_token('res/token.json')\n",
    "\n",
    "    args = parser.parse_args()\n",
    "    if args.proxy == 1:\n",
    "        print('-> USE PROXY')\n",
    "        req = telegram.utils.request.Request(proxy_url='socks5h://127.0.0.1:9050',\n",
    "                                             read_timeout=30, connect_timeout=20,\n",
    "                                             con_pool_size=10)\n",
    "        bot = telegram.Bot(token=token, request=req)\n",
    "    elif args.proxy == 0:\n",
    "        print('-> NO PROXY')\n",
    "        bot = telegram.Bot(token=token)\n",
    "    else:\n",
    "        raise ValueError('Wrong proxy.')\n",
    "\n",
    "    announcer.start()\n",
    "    \n",
    "    updater = Updater(bot=bot)\n",
    "    dp = updater.dispatcher\n",
    "\n",
    "    dp.add_handler(CommandHandler('help', help))\n",
    "    dp.add_handler(CommandHandler('start', help))\n",
    "    dp.add_handler(MessageHandler(Filters.text, help))\n",
    "\n",
    "    updater.start_polling()\n",
    "    updater.idle()\n",
    "\n",
    "\n",
    "if __name__ == '__main__':\n",
    "    main()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}