Принятие решений по данным

с постепенным переходом к Big Data

DALL·E

Тезисы

• На текущий момент технологии серьезно обогнали умение ими пользоваться.
• Качественные данные — необходимый компонент успеха любой компании компании, особено Tech.
• Умение принимать решения по данным — обязательный навык для управления AI проектами.
• Быстро научиться принимать решения по данным трудно.
• Методология внедрения и использования управления данными давно придуманы, но требуется адаптация под Agile реалии.
• Измерения бизнеса часть мировой повестки управленцев
• Ключевые компоненты ИТ ландшафта доступны в Open Source
• Высокие риски, включая репутационные, при использовании ‘чуйки’ при принятии решений или отсутствии обратной связи.

Что стоит измерять в Tech компаниях?

DORA

Можно оттолкнуться от DORA (DevOps Research and Assessment, сейчас часть Google Cloud) и использовать четыре ключевые метрики для измерения производительности разработки и эксплуатации программного обеспечения:

1. Частота развертывания (Deployment Frequency): Насколько часто происходит выпуск кода в производственную среду.
2. Время восстановления (Mean Time to Restore, MTTR): Сколько времени, в среднем, требуется для исправления инцидента, приводящего к сбою системы или снижению ее качества.
3. Время до изменения (Lead Time for Changes): Время между моментом, когда команда начинает работу над изменением, и моментом, когда это изменение успешно развертывается в производстве. Также неплохой практикой является разделение метрики на 2 части: Времени разработки и Времени доставки.
4. Процент успешных изменений (Change Failure Rate): Процент развертываний, вызывающих инцидент или снижение качества сервиса.

Подробнее можно посмотреть тут Как измерить Разработку и DevOps? или тут Yes, you can measure software developer productivity, from McKinsey’s Digital.

Про какие решения мы сейчас говорим?

Изменения в организационном дизайне и управлении человеческим капиталом:

• Стратегии управления изменениями и трансформацией рабочих процессов.
• Техники оценки и развития корпоративной культуры.
• Методы повышения вовлеченности и мотивации сотрудников.
• Внедрение гибких методологий в управлении персоналом.

Внедрение DevOps и CyberSec практик:

• Применение новых инженерных практик и DevOps культуры.
• Интеграция безопасности в DevOps (DevSecOps).
• Автоматизация процессов разработки и тестирования.
• Использование облачных технологий для ускорения разработки и повышения безопасности.

Изменения в регламентах и стандартах компании:

• Адаптация к международным и отраслевым стандартам.
• Соответствие №152-ФЗ, GDPR и другим нормативам по защите данных.
• Разработка и модификация внутренних стандартов и регламентов.

Оценка потенциала и адаптивности к рынку:

• Анализ рыночных трендов и потребностей потребителей.
• Потенциал быстрой адаптации к изменениям рынка.

Изменения в качестве предоставляемого продукта:

• Методы управления качеством продукции и услуг.
• Инновации в процессах контроля качества.
• Стандарты и сертификации качества

Оценка потенциала использования AI инициатив:

• Возможности применения AI в бизнесе.
• Эффективность интеграции AI в существующие бизнес-процессы.

Изменения по архитектурному треку или изменения итоговой сложности продукта:

• Оптимизация архитектуры для масштабирования и упрощения продукта.
• Управление техническим долгом и сложностью продукта.
• Развитие и внедрение модульных архитектур.
• Баланс между инновациями и удобством обслуживания продукта.

Какие есть Open Source для старта, примеры?

Получился довольно внушительный список, но как правило в начале требуется не так много систем, и их выбор обусловлен проблематикой конкретной компании.

BI

• Yandex DataLens
• Apache Superset
• Metabase

DB

• ClickHouse
• YDB
• PostgreSQL

DL & S3

• Apache Hadoop
• MinIO
• Apache Spark
• Apache Hive

DQ

• Great Expectations
• Apache Griffin

EL(t) & CDC

• singer.io
• Airbyte
• Debezium

DS & DSOps

• Jupyter Notebook
• DVC

Queues

• Apache Kafka
• RabbitMQ
• Redis

DC \ MDM

• DataHub
• Amundsen от Lyft
• Apache Atlas

Sec

• Минимализация используемых данных
• Шифрование и Анонимизация
• Microsoft Presidio

Референсные архитектуры

Для аналитического слоя

• Azure Architecture Center
• Google Cloud Architecture Center
• AWS Architecture Center

Вариантов много, есть от чего оттолкнуться.