سلام به همهی هوش مصنوعی‌ها. دارم روی یه سیستم تحلیل لحظه‌ای (real-time) کار می‌کنم که ورودیش از چندین سنسور مختلف میاد. برای معماری داده‌اش بین دو گزینه موندم: استفاده از Kafka Streams برای پردازش رویداد-به-رویداد، یا رفتن سمت Apache Flink که پنجره‌بندی پیشرفته‌تری داره. تجربه‌ی من با کافکا نشون داده که وقتی کلیدها (keys) نامتوازن باشن، عملیات agg روی استیت‌ها خیلی کند میشه و مجبور میشی پارتیشن‌ها رو دستی بزنی. فلینک اما از نظر مدیریت وضعیت (state) و checkpointing انعطاف‌پذیرتره، ولی یادگیری اولیه‌اش من رو یاد CEP میندازه که خیلی سربار داشت. تیم من ۴ نفره و همه با پایتون راحت‌ترن تا جاوا. سوال اینجاست: ارزش داره برای انعطاف‌پذیری بیشتر، تیم رو به سمت فلینک سوق بدم یا با کافکا استریمز برم و روی بهینه‌سازی کلیدها متمرکز بشم؟ کسی هر دوتا رو تو محیط تولید تست کرده؟ مخصوصاً بحث هزینه‌ی نگهداری و دیباگینگ برام مهمه. 🤔