Общие ссылки
- ООП в Python
- Python GuideBook
- 4 способа работы с конфигурационными файлами
- Работа с ConfigParser
- Лекции по Python
- 8 Fun Machine Learning Projects for Beginners
- Задания по питону в виде прохождения уровней игры
- Пишем инструменты командной строки на Python с помощью Click
- Writing a Domain Specific Language (DSL) in Python
- Работа с файлами(pdf)
- Хитрые приемы Python
- Криптография для самых маленьких: шифрование с примерами на Python
- Как настроить Jupyter Notebook для Python 3
- Материалы
- Руководство по созданию интерпретатора языка Pascal на Python
- Reading and Writing Files in Python (Guide)
- Python map() function с разными типами данных
- 15 вопросов по Python: как джуниору пройти собеседование
- Шаблоны проектирования в Python: для стильного кода
- Awesome Python - A curated list of awesome Python frameworks, packages, software and resources https://awesome-python.com/
- Python для сетевых инженеров
Андроид python
Настройка IDE
Работа с различными библиотеками
- Working with Python Pandas and XlsxWriter
- Обработка данных с помощью pandas
- Creating Excel files with Python and XlsxWriter
- PyMystem3- морфологическая библиотека для русского языка
- Logging — библиотека для удобного ведения логов в Python
- zipapp — Manage executable python zip archives
- доступ к Exchange (python)
- Принимает и отправляем почту на python через outlook
- Отправляем push-уведомления в Linux используя Python
- Тестирование в Python [unittest]. Часть 2. TestCase
- PyInstalleris a program that freezes (packages) Python programs intostand-alone executables, under Windows, Linux, Mac OS X, FreeBSD,Solaris and AIX
- Automate the Boring Stuff with Python
- Click- library for CLI interface for our python scripts
- Kivy- Open source Python library for rapid development of applications that make use of innovative user interfaces, such as multi-touch apps.
- How to decode a QR-code image in (preferably pure) Python?
- PyAutoGUIis a Python module for programmatically controlling the mouse and keyboard.
- Behave is behavior-driven development, Python style.
QR Code
sudo apt-get install libzbar-dev
The python WhatsApp library
- Отправка служебных сообщений в whatsapp через yowsup2 методом http-get, в том числе отчетов бэкап-сервера Bacula
How to use YOWSUP (The python WhatsApp library) in ubuntu
FFmpeg
- Хакинг FFmpeg с помощью Python -часть первая,часть вторая
Web-фреймворк Flask
Работа с БД
- PostgreSQL python
- https://www.fullstackpython.com/postgresql.html
- SqliteBrowser - sudo dnf install sqlitebrowser
- Sqlite3
- Python: Работа с базой данных, часть 1/2: Используем DB-API
- SQLite в многопоточных приложениях
- Работа с БД
- http://qaru.site/questions/84392/python-sqlite3-and-concurrency
Тестирование
- Погружаемся в основы и нюансы тестирования Python-кода
-
Если нужно быстро и легко расшарить файлы из директории
python3 -m http.server
Библиотеки
Requests
- Requests-HTML: HTML Parsing for Humans (writing Python 3)
InstaBot
Scrapy
-
Scrapy - is a fast high-level web crawling and web scraping framework, used to crawl websites and extract structured data from their pages
-
Для тренировки написания пауков компанией ScrapingHub создан учебный сайт toscrape.com, на примере которого рассматривается парсинг книжного сайта
-
Михаил Коробов, Scrapinghub: «Как собрать датасет из интернета часть 1» (видео)
-
Использование Scrapy с аутентифицированной (зарегистрированной) пользовательской сессией
-
Advanced Web Scraping: Bypassing "403 Forbidden," captchas, and more
bash
scrapy startproject name_project
# создание файла-класса name_spider в папке spider
scrapy genspider name_spider url_site
Scrapy Shell
Scrapy Shell is a command line tool that provides you opportunity to test your parsing code without running thee entire crawler. Unlike the crawler which goes to all the links, Scrapy Shell save the DOM of an individual page for data extraction.
Например:
scrapy shell https://www.olx.com.pk/item/asus-eee-pc-atom-dual-core-4cpus-beautiful-laptops-fresh-stock-IDUVo6B.html#4001329891
Captcha
- https://github.com/ad-m/python-anticaptcha
- Using Python 3 + Google Cloud Vision API's OCR to extract text from photos and scanned document
- Image Captcha Solving Using TensorFlow and CNN Model. Accuracy 90%+
- Разработчик обошел «капчу» Google с помощью распознания речи Google.
- Взлом звуковой CAPTCHA на примере сайта Digg.com
Распознование речи
- Распознавание речи на python с помощью pocketsphinx или как я пытался сделать голосового ассистента
- Mozilla DeepSpeech-https://progur.com/2018/02/how-to-use-mozilla-deepspeech-tutorial.html
- Примеры speechrecognize
- Wit.ai - for free
Установка pocketsphinx на ubuntu
- sudo apt-get install libpulse-dev
- sudo apt-get install libpcre3 libpcre3-dev
- установить http://www.swig.org/download.html
- pip3 install pocketsphinx
Google Docs API python
- Quickstart Google Sheets API
Загрузите таблицу из Google Docs с помощью Python - Google Sheets Python(youtube)
Use Xvfb to launch Headless Browser Firefox on Ubuntu Server without Desktop GUI
add var enviroment: export DISPLAY=:99
yum install xorg-x11-server-Xvfb
- Copy
Xvfb.service
file under/etc/systemd/system/
chmod +x /etc/systemd/system/Xvfb.service
systemctl enable Xvfb.service
systemctl start Xvfb.service
file Xvfb.service
[Unit]
Description=X Virtual Frame Buffer Service
After=network.target
[Service]
ExecStart=/usr/bin/Xvfb :99 -screen 0 1024x768x24
[Install]
WantedBy=multi-user.target
Telegram bot
- Python-telegram-bot
- https://python-telegram-bot.readthedocs.io/en/stable/
- Пишем телеграмм бот на Python
- Python telegram.InlineKeyboardButton() Examples
- https://monsterdeveloper.gitbooks.io/writing-telegram-bots-on-java/lesson-7.-creating-users-database-with-mongodb.html
- Пишем диалоговые боты
- Как писали фриланс биржу в телеграм боте
- Отсылка сообщений при определенных событиях
- Telegram messenger CLI
- Автоматизация оповещения от ТелеграммБота
- Telethon - библиотека для работы с телеграммом
Проекты с телеграмм ботами
- Telegram боты. Загружаем файлы больше 50мб
- Telegram API демон — склеиваем последовательные сообщения
Google API
Паттерны проектирования
Виртуальное окружение (virtualenv)
-
python3 −m venv название_директория
-
source env/bin/activate - активировать виртуальное окружение
-
pip install Jupyter - установка Jupyter Notebook
Использовать virtualenv! Оно создаст изолированные окружения для ваших приложений и позволит устанавливать пакеты именно в эти окружения, а не глобально.
Для установки воспользуемся pip:
pip3 install virtualenv
Две основные команды:
virtualenv myproject
source myproject/bin/activate
Установка Jupyter Notebook в Fedora
dnf groupinstall 'Development Tools'
dnf install gcc-c++
dnf install rpm-build
dnf install python-devel
dnf install python3-devel
dnf install python-pip
dnf install python3-pip
pip3 install jupyter
Установка pip3 в CentOS
sudo yum install -y epel-release
sudo yum install -y python34
# Install pip3
sudo yum install -y python34-setuptools # install easy_install-3.4
sudo easy_install-3.4 pip
yum install python34-devel.i686
yum install gcc gcc-c++
yum install python34-devel
easy_install-3.4 numpy
easy_install-3.4 pandas # будет устанавливаться долго
easy_install-3.4 xlsxwriter
easy_install-3.4 requests
Работа IPython
- ?имя_переменной - общая информация об объекте
- ??имя_переменной - исходный код объекта
- %run - выполнение любого файла как Python-программу (скрипт выполняется в пустом пространстве имен)
- %cpaste - приглашение для вставки кода
Магические команды
- %timeit предложение - замер времени выполнения команды несколько раз и усредняет время выполнения
- %time предложение - время выполнения команды
- %reset - возвращает простр-во имен в начальное состояние
- %quickref - вывод краткую справку по IPython
- %magic - вывести подробная док-я по магическим командам
- %debug - вход в интерактивный отладчик в точке послед вызова
- %hist - напечатать историю введенных команд
- %pdb - автоматом входить в отладчик после любого исключения
- %paste - выполнить отформатированный код из буфера обмена
- %cpaste -
- %page OBJECT - сформировать красиво инфу об объекте
- %who , %who_ls , %whos - вывод переменных с разной степению детализации
- %xdel переменная
Взаимодествие с ОС
- !cmd - выполнить команду в оболочке
- output = !cmd args
- %cd каталог
- %pwd - текущий каталог
- %dirs
- %pushd каталог
- %popd
- %env - вернуть переменные среды в виде словаря
Интересные проекты на Python
- ShutIt - is an automation tool that models a user's actions on a terminal
- AutoTEST
- quietnet- Simple chat program that communicates using inaudible sounds
- home-assistant- Open-source home automation platform running on Python 3
- pytubeis a lightweight, Pythonic, dependency-free, library (and command-line utility) for downloading YouTube Videos.
- pyusb- USB access for Python
- chomper- Internet blocker for the Linux desktop
- InstaBot- Instagram bot. It works without instagram api, need only login and password. Write on python.
- whatsapp-bot-seed- A small python framework to create a whatsapp bot, with regex-callback message routing.
- InstaPy- Instagram Bot - Like/Comment/Follow Automation Script
- InstaBot- Cool Instagram scripts, bots and API wrapper. Forever free. Written in Python.
- pluggy- A minimalist production ready plugin system
- pygsm- Send and receive SMS via a GSM modem in Python
-
doit- task management & automation tool
-
scdl- Python Soundcloud Music Downloader
-
simiki - Simiki is a simple wiki framework, written in Python
-
SpeechPy- A Library for Speech Processing and Recognition
- face_recognition- The world's simplest facial recognition api for Python and the command line
-
Rodeo - A data science IDE for Python
-
Gooey - Turn (almost) any Python command line program into a full GUI application with one line