اپلیکیشنهای وان پلتفرم
Logstash
Logstash چیست؟
Logstash یا لاگ استش، ابزاری برای دریافت داده از ورودیها، پردازش آن و ارسال به مقصد است. کاربرد شناختهشدهٔ آن آمادهسازی لاگ است، اما مسئلهٔ اصلی، ساختن مسیر منظم برای دادههای رویدادی است. برنامههای مختلف ممکن است زمان، سطح خطا و نام سرویس را با قالبهای متفاوت تولید کنند؛ این اختلاف قبل از تحلیل باید مدیریت شود.
یک مسیر پردازش معمولاً شامل ورودی، قواعد تبدیل و خروجی است. نصب نرمافزار فقط امکان ساخت این مسیر را فراهم میکند. باید مشخص کنید داده از کجا دریافت میشود، چه تغییرهایی لازم دارد و در صورت خطا به کجا میرود. روشن بودن سرویس بدون بررسی نتیجهٔ خروجی، نشانهٔ کامل بودن راهاندازی نیست.
چه زمانی به تبدیل لاگ نیاز دارید؟
فرض کنید چند برنامه، خطا و درخواست را ثبت میکنند اما نام فیلدها یکسان نیست. یکی مدت را به ثانیه و دیگری به میلیثانیه میفرستد. اگر این تفاوت اصلاح نشود، نمودار مشترک معنای درستی ندارد. استاندارد کردن واحد، نام و نوع داده به تیم کمک میکند رویدادها را با هم مقایسه کند.
در برخی موارد بهتر است تولیدکننده از ابتدا خروجی ساختاریافته بدهد. پردازش متن پیچیده در میانهٔ مسیر همیشه بهترین انتخاب نیست. پیش از نوشتن قواعد متعدد، ببینید کدام اصلاح در خود برنامه سادهتر و پایدارتر است. هدف، کاهش ابهام داده است، نه اضافه کردن تبدیلهایی که هیچ مصرفکنندهای به آنها نیاز ندارد.
طراحی ورودی و تعیین مرز مسئولیت
روش دریافت به منبع و افزونههای سازگار بستگی دارد. نسخهٔ افزونه و رفتار آن هنگام قطع ارتباط باید بررسی شود. مشخص کنید چه کسی مسئول ارسال است و کدام مرحله دریافت موفق را تأیید میکند. اگر فرستنده تصور کند داده تحویل شده ولی مرحلهٔ بعد آن را نگه ندارد، احتمال از دست رفتن اطلاعات وجود دارد.
هر ورودی بهتر است شناسهٔ منبع و محیط داشته باشد. یک رویداد از محیط آزمایشی نباید با خطای سرویس اصلی مخلوط شود. همچنین تغییر قالب منبع باید به مسئول پردازش اعلام شود. قراردادی ساده برای فیلدهای ضروری، از شکستن بیصدای مسیر پس از انتشار نسخهٔ جدید جلوگیری میکند.
پردازش زمان، عدد و متن
زمان وقوع رویداد را از زمان دریافت جدا نگه دارید. تاخیر شبکه یا ارسال دستهای ممکن است این دو را متفاوت کند. منطقهٔ زمانی نیز باید معلوم باشد، بهخصوص وقتی چند سرور در موقعیتهای مختلف کار میکنند. برای آزمون، رویدادی با زمان شناختهشده وارد کنید و نتیجه را در مقصد کنترل کنید.
اعداد را با نوع و واحد مناسب تبدیل کنید. اگر مقدار نامعتبر یا خالی بود، نباید بدون تصمیم روشن به صفر تبدیل شود. صفر واقعی با دادهٔ مفقود فرق دارد و روی گزارش اثر میگذارد. برای متن فارسی و کاراکترهای خاص هم نمونه داشته باشید تا خطای رمزگذاری پس از ورود انبوه داده آشکار نشود.
خطای پردازش و دادهٔ نامعتبر
همهٔ ورودیها مطابق انتظار نخواهند بود. پیام ناقص، نسخهٔ جدید قالب یا چند خطی بودن خطا باید در نمونههای آزمون دیده شوند. مشخص کنید دادهٔ نامعتبر رد میشود، جدا نگه داشته میشود یا با نشانهٔ خطا ادامه پیدا میکند. حذف بیصدای آن، بررسی حادثه را دشوار میسازد.
مسیر رسیدگی باید امکان پیدا کردن منبع و علت را بدهد. نگهداری متن خام برای عیبیابی ممکن است مفید باشد، اما فقط در حد لازم و با کنترل دسترسی. پس از اصلاح قاعده، بازپردازش باید با دقت انجام شود تا همان رویداد دوباره در آمار نهایی شمرده نشود. شناسهٔ پایدار در اینجا ارزش عملی دارد.
ارسال به مقصد و تحمل کندی
یکی از مقصدهای رایج، Elasticsearch است. نوع فیلدهای خروجی باید با ساختار مقصد هماهنگ باشد. ممکن است دریافت اولیه موفق باشد اما مقصد بخشی از داده را به دلیل ناسازگاری رد کند. بنابراین شمارش ورودی بهتنهایی شاخص کامل سلامت نیست؛ خطای خروجی و نتیجهٔ ثبت را هم دنبال کنید.
اگر مقصد کند یا قطع شود، رفتار صف و تکرار ارسال اهمیت دارد. قابلیت و محدودیت نگهداری را در تنظیمات واقعی بررسی کنید. هیچ صفی بدون ظرفیت نامحدود نیست. مدت اختلال قابل تحمل و سرعت جبران عقبماندگی باید با فضای موجود هماهنگ باشند. پس از وصل شدن مقصد، دریافت دادهٔ جدید نباید مانع رسیدگی به دادهٔ عقبمانده شود.
منابع سرور و آزمون قواعد
برای نصب مستقل، سرور مجازی لینوکس را با نرخ ورودی، پیچیدگی تبدیل و نیاز نگهداری مقایسه کنید. دو مسیر با تعداد پیام برابر ممکن است مصرف متفاوتی داشته باشند. پردازش متن پیچیده یا تبدیلهای متعدد میتواند نسبت به عبور دادهٔ ساختاریافته هزینهٔ بیشتری داشته باشد.
پیش از ورود گسترده، مجموعهای شامل پیام سالم، خراب، بزرگ و چندخطی آماده کنید. نتیجهٔ مورد انتظار هر نمونه را ثبت کنید. پس از تغییر قواعد، همین نمونهها را دوباره اجرا کنید. این کار مشخص میکند اصلاح قالب جدید، دریافت قالب قبلی را خراب نکرده و فیلدهای مهم همچنان درست تولید میشوند.
حفاظت از اطلاعات و تحویل سرویس
فیلدهای غیرضروری و حساس را تا حد امکان قبل از ذخیرهسازی نهایی حذف کنید. اطلاعات اتصال مقصد و کلیدها باید جدا از متن عمومی پیکربندی نگهداری شوند. سطح دسترسی حساب ارسال را به نیاز محدود کنید. مسیر پردازش لاگ نباید مجوز مدیریتی گسترده روی تمام دادههای مقصد داشته باشد.
برای درخواست نصب در وان پلتفرم، نمونهٔ بدون اطلاعات حساس، نرخ تقریبی و مقصد را اعلام کنید. راهاندازی Logstash و نوشتن قواعد اختصاصی دو بخش متفاوتاند. از دکمهٔ نصب و استفاده وارد ناحیهٔ کاربری شوید. تحویل باید شامل نمونهٔ واقعی، حالت خطا و رفتار قطع مقصد باشد تا جریان داده قابل ارزیابی شود.
سوالات متداول
آیا Logstash فقط برای فایل لاگ است؟
خیر. ورودیها و خروجیهای قابل استفاده به افزونهها و نسخهٔ انتخابی بستگی دارند.
آیا نصب آن قالب همهٔ پیامها را تشخیص میدهد؟
خیر. قواعد و قرارداد داده باید متناسب با منابع شما آماده شوند.
آیا فعال بودن سرویس یعنی هیچ رویدادی گم نشده؟
خیر. ورودی، خطای پردازش، صف و نتیجهٔ خروجی باید با هم بررسی شوند.
آیا میتوان دادهٔ ردشده را دوباره فرستاد؟
اگر نگهداری و مسیر بازپردازش طراحی شده باشد، بله؛ باید اثر تکرار در مقصد نیز کنترل شود.
زیرساخت مناسب برای راهاندازی را انتخاب کنید
پلنها و منابع سرور را متناسب با نیاز نرمافزار و پروژهٔ خود مقایسه کنید.