اپلیکیشنهای وان پلتفرم
Kafka
Kafka چیست؟
Apache Kafka یا کافکا، پلتفرمی برای جریان رویداد است. برنامهها میتوانند رویداد تولید کنند و سرویسهای دیگر آن را بخوانند و پردازش کنند. نگهداری جریان داده اجازه میدهد مصرفکنندهٔ مناسب، اطلاعات را در زمان موردنیاز دریافت کند. ثبت فعالیت محصول، انتقال داده میان سامانهها و پردازش رخدادهای عملیاتی از کاربردهای این معماری هستند.
رویداد بهتر است بیان کند چه اتفاقی رخ داده است؛ برای مثال سفارشی ثبت شده یا وضعیت یک فرایند تغییر کرده است. این تعریف با فراخوانی مستقیم یک تابع یکسان نیست. باید روشن باشد کدام سامانه منبع حقیقت است، مصرفکننده چه مسئولیتی دارد و در صورت تأخیر یا تکرار دریافت چه رفتاری لازم است.
جدا کردن تولیدکننده از پردازشکننده
فرض کنید پس از ثبت یک فعالیت، گزارش آماری و بهروزرسانی چند سرویس لازم است. ارسال رویداد میتواند وابستگی زمانی بعضی کارها را کاهش دهد؛ هر مصرفکننده مسیر پردازش خود را دارد. اما این جداسازی نیاز به مشاهدهپذیری را بیشتر میکند. موفق شدن تولید رویداد لزوماً به معنی تکمیل همهٔ کارهای پاییندستی نیست.
برای کاربر نهایی مشخص کنید چه چیزی بلافاصله انجام میشود و چه چیزی بعداً کامل خواهد شد. اگر نتیجهٔ یک عملیات باید فوراً قطعی باشد، طراحی آن را جدا بررسی کنید. انتخاب Kafka نباید صرفاً برای پیچیدهتر کردن معماری باشد؛ باید نیاز روشنی به جریان داده، چند مصرفکننده یا پردازش مستقل وجود داشته باشد.
موضوع، پارتیشن و ترتیب رویدادها
در طراحی جریان، موضوعها و تقسیم آنها نقش مهمی دارند. ترتیب در محدودهٔ پارتیشن معنا پیدا میکند و نباید ترتیب واحد برای تمام دادهٔ توزیعشده فرض شود. انتخاب کلید رویداد باید با نیاز برنامه هماهنگ باشد. اگر رویدادهای یک موجودیت باید مرتبط پردازش شوند، این ارتباط را در طراحی لحاظ کنید.
تعداد بخشها را فقط با هدف عدد بزرگتر انتخاب نکنید. میزان موازیسازی، الگوی توزیع کلید و توان مصرفکننده باید بررسی شوند. توزیع نامتوازن ممکن است یک بخش را شلوغ و بقیه را کمکار کند. چند نمونهٔ واقعی از جریان داده را بررسی کنید تا طراحی با رفتار محصول هماهنگ باشد.
قرارداد پیام و تغییر نسخه
پیام باید شناسه، معنای فیلدها و زمان رویداد مشخص داشته باشد. تولیدکننده و مصرفکننده ممکن است همزمان ارتقا پیدا نکنند؛ بنابراین تغییر ساختار نباید بدون برنامه انجام شود. اضافه شدن یک فیلد، حذف مقدار قدیمی یا تغییر نوع داده میتواند روی سرویسهای دیگر اثر بگذارد. مالک قرارداد و روش اعلام تغییر را تعیین کنید.
برای رویداد نامعتبر، مسیر رسیدگی مشخص داشته باشید. تکرار بیپایان یک پیام خراب ممکن است پردازش بخش دیگری را عقب بیندازد. گزارش خطا باید امکان پیدا کردن رویداد را بدهد، بدون اینکه بیدلیل اطلاعات حساس را منتشر کند. اصلاح و بازپردازش نیز باید قابل پیگیری باشند تا نتیجهٔ قبلی دوباره و ناخواسته اعمال نشود.
تفاوت با صف کار و انتخاب ابزار
اگر مسئله فقط تقسیم چند کار پسزمینه میان پردازشکنندههاست، گزینهای مانند RabbitMQ هم باید با نیاز مقایسه شود. تمرکز ابزارها، مدل مصرف و نگهداری یکسان نیست. تصمیم را بر اساس رفتار موردنیاز بگیرید، نه اینکه هر ارتباط میان سرویسها الزاماً به Kafka نیاز دارد.
در هر انتخاب، معنای تأیید و تکرار اهمیت دارد. اگر مصرفکننده پس از انجام کار و قبل از ثبت نتیجه قطع شود، ممکن است همان ورودی دوباره دیده شود. برنامه باید برای این وضعیت طراحی شود. ضمانتهای تحویل بدون بررسی محدودهٔ آنها نباید به وعدهٔ اجرای دقیق یکبارهٔ همهٔ عملیات خارجی تبدیل شوند.
انتخاب سرور برای Kafka
حجم ورودی، مدت نگهداری، تعداد نسخههای داده و سرعت مصرف بر نیاز دیسک و شبکه اثر دارند. برای بار پیوسته، مشخصات سرور اختصاصی را با این معیارها مقایسه کنید. مقدار دادهٔ تولیدشده در روز فقط شروع محاسبه است؛ تکثیر، فضای عملیاتی و رشد آینده نیز باید لحاظ شوند.
محیط تکماشین برای بعضی آزمونها ساده است، اما نباید آن را بدون طراحی افزونگی، مقاوم در برابر خرابی همان ماشین معرفی کرد. اگر تحمل خرابی لازم است، نقشها و دامنههای خرابی باید بررسی شوند. چند فرایند روی یک میزبان فیزیکی، همان استقلالی را ندارد که از چند محل مستقل انتظار میرود.
عقبماندگی مصرف و پایش
بالا بودن تعداد رویدادهای خواندهنشده میتواند از توقف مصرفکننده، کندی مقصد یا رشد ورودی باشد. فقط سلامت فرایند سرور را پایش نکنید؛ مدت تأخیر تا رسیدن داده به نتیجهٔ نهایی نیز مهم است. برای هر جریان، حد قابل قبول و مسئول رسیدگی را مشخص کنید تا اعلان قابل اقدام باشد.
قطع موقت مصرفکننده را در محیط آزمایش شبیهسازی کنید و زمان جبران عقبماندگی را بسنجید. اگر سرعت پردازش فقط برابر سرعت تولید باشد، پس از توقف فرصتی برای جبران وجود ندارد. ظرفیت اضافه و سیاست نگهداری باید با مدت اختلال قابل تحمل هماهنگ باشند. حذف داده پیش از خواندن آن میتواند نتیجهٔ پردازش را ناقص کند.
درخواست راهاندازی Kafka
برای نصب در وان پلتفرم، تعداد برنامهها، نرخ تقریبی پیام، اندازهٔ رویداد و مدت نگهداری را اعلام کنید. نسخهٔ کلاینتها و نیاز دسترسی شبکه نیز مهماند. نصب کارگزار، ساخت قرارداد پیام و پیادهسازی تولیدکننده یا مصرفکننده کارهای جدا هستند. از دکمهٔ نصب و استفاده وارد ناحیهٔ کاربری شوید و محدودهٔ درخواست را مشخص کنید.
معیار تحویل باید ارسال و دریافت نمونه، رفتار قطع ارتباط و محدودیت دسترسی را پوشش دهد. تنظیم نگهداری و مسئول پایش را هم ثبت کنید. کارکردن یک پیام آزمایشی بهتنهایی اثبات نمیکند که جریان واقعی زیر بار یا پس از خطا درست ادامه مییابد؛ این سناریوها باید در طرح پذیرش دیده شوند.
سوالات متداول
آیا Kafka برای هر برنامهٔ کوچک لازم است؟
خیر. باید نیاز به جریان رویداد و هزینهٔ ادارهٔ آن در مقایسه با راه سادهتر روشن باشد.
آیا ترتیب همهٔ پیامها در کل سامانه تضمین میشود؟
نباید چنین فرضی داشت. ترتیب در محدودهٔ پارتیشن و با طراحی کلید و مصرف مرتبط است.
آیا نصب یک سرور یعنی تحمل خرابی داریم؟
خیر. افزونگی و رفتار خرابی به معماری و تنظیمات جدا نیاز دارند.
آیا پردازش دوباره ممکن است؟
بسته به وضعیت و تنظیمات بله. برنامه باید تکرار، تأیید و اثر عملیات خارجی را آگاهانه مدیریت کند.
زیرساخت مناسب برای راهاندازی را انتخاب کنید
پلنها و منابع سرور را متناسب با نیاز نرمافزار و پروژهٔ خود مقایسه کنید.