Python для автоматизации: как сократить рутинные задачи на 80%

import os
from openpyxl import load_workbook

def process_xlsx_folder(input_dir, output_file):
    all_data = []
    for file in os.listdir(input_dir):
        if file.endswith('.xlsx'):
            try:
                wb = load_workbook(os.path.join(input_dir, file))
                sheet = wb.active
                # Извлекаем строки (кроме заголовка)
                rows = []
                for row in sheet.iter_rows(min_row=2):  # skip header
                    values = [cell.value for cell in row]
                    if all(v is not None for v in values[:3]):  # проверяем наличие данных в первых трёх колонках
                        rows.append(values)
                all_data.extend(rows)
            except Exception as e:
                print(f"Ошибка чтения {file}: {e}")
    with open(output_file, 'w', encoding='utf-8') as f:
        for row in all_data:
            f.write('; '.join(map(str, row)) + '
')  # разделитель по выбору системы

process_xlsx_folder('reports/', 'aggregated.txt')

Скрипт обрабатывает все .xlsx-файлы в указанной папке и объединяет их строки (кроме заголовков), сохраняя результат в текстовом формате с разделителем ;. Это может использоваться, например, для объединения отчётов разных отделов.

💡 Совет: при работе с большими объёмами файлов добавьте логику повторных запусков (например, через флаг обработанных имён) и обработку исключений — это предотвратит потери данных.

Настройка планировщика задач — автоматизация по расписанию

Даже если скрипт работает корректно, его выполнение зависит от человека. Чтобы обеспечить регулярность, используется планировщик задач: cron на Linux/macOS или Task Scheduler в Windows.

Пример: запуск скрипта парсинга каждый день в 8 утра

Для автоматизации запуска Python-скриптов по расписанию можно использовать schedule — легковесную библиотеку для Python:

import schedule
import time
from datetime import datetime

def job():
    print(f"[{datetime.now().strftime('%Y-%m-%d %H:%M')}] Запуск парсинга...", flush=True)
    # Вызов функций из предыдущего примера
    products = parse_products("https://example.com/products")
    save_to_csv(products, 'daily_output.csv')
    print(f"[{datetime.now().strftime('%Y-%m-%d %H:%M')}] Парсинг завершён.", flush=True)

# Запланировать выполнение каждые 24 часа в 8:00 утра (UTC+3 — нужно скорректировать)
schedule.every().day.at('08:00').do(job)  # время указано локально, schedule работает в UTC

total_time = time.time() + 1 * 60 * 60  # ждём минуту для первого запуска
while True:
    schedule.run_pending()  # проверяет расписание на текущий момент
    if total_time < time.time():
        break
    time.sleep(5)

# Открываем crontab
crontab -e

# Добавляем строку: выполнить python-скрипт каждый день в 08:00 (UTC)
crontab file содержит:
0 8 * * * /usr/bin/python3 /home/user/scripts/parser.py >> /var/log/parser.log 2>&1

# /etc/systemd/system/daily-parser.service
[Unit]
Description=Ежедневный парсинг продуктов
After=network.target
[Service]
Type=simple
ExecStart=/usr/bin/python3 /home/user/scripts/parser.py --log-file daily_output.log
Restart=on-failure  # перезапустить, если скрипт упал
User=nobody
StandardOutput=append:/var/log/daily-parser.out
StandardError=append:/var/log/daily-parser.err
[Install]
WantedBy=multi-user.target

import logging

def setup_logger(name, log_file):
    logger = logging.getLogger(name)
    logger.setLevel(logging.INFO)
    handler = logging.FileHandler(log_file, encoding='utf-8')
    formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
    handler.setFormatter(formatter)
    logger.addHandler(handler)
    return logger

logger = setup_logger('parser', 'logs/parser.log')
try:
    # основная логика
except Exception as e:
    logger.error(f"Ошибка: {e}")  # будет записано в файл