Elastic Stack הוא כינוי
למספר כלי קוד פתוח שמפותחים בעיקר ע"י חברת Elastic. פעם היה מקובל לקרוא לסט
הכלים הללו בשם ELK שהוא ראשי
תיבות של Elasticsearch,
Logstash, Kibana, אבל מאז שנוספו עוד כמה כלים חשובים שינו את השם ל-Elastic Stack.
סט הכלים הזה נועד לצורך אנליזות, חקירה ותצוגה של מידע רב בעיקר מידע של
לוגים. בעזרתו ניתן בקלות יחסית להפוך מידע שנמצא בלוגים (unstructured data) למידע מסודר
במסד נתונים (structured
data).
ל-Elastic
Stack יש קהילת משתמשים גדולה ופעילה ולכן קל יחסית למצוא פתרון לבעיות.
מלבד עבודה מול קבצים של לוגים, יש אפשרויות נוספות כמו קבלת
מידע אונליין ב-messages בלי קבצים.
מערכת סטנדרטית תיראה כך:
Beats – אחראי על
לקיחת המידע ושליחתו ל-Logstash. יש כמה סוגי Beats לפי המקור שממנו מגיע המידע. במקרה שהמידע מגיע מקבצים נעבוד עם filebeat. הוא יקח
שורה שורה מהקובץ וישלח אותם ל-logstash.
Logstash – אחראי על
חילוץ המידע
(מה שנקרא parsing) מהשורה המקורית (unstructured data) ל-DB (structured data).
Elasticsearch – זה ה-DB שלנו. שומר את הנתונים בפורמט
של json. זה הכלי
המרכזי במערכת.
Kibana – כלי התצוגה
שלנו. אבל יש בו הרבה יותר מזה. ניתן לעשות בו חיפושים, אנליזות, גרפים, דשבורדים
של גרפים, תשאול של ה-elasticsearch ע"י REST API, ועוד.
ב-tutorial לא נדבר על התקנה של כל כלי. את המידע הזה כדאי לקחת מהאתר הרשמי
כיון שמדי פעם יש קצת שינויים.
נסביר איך לבנות מערכת שמכילה את ארבעת הכלים ויודעת לקבל קבצי לוג לחלץ
מהם את המידע ולהציג אותו. נתחיל לפי הסדר של שרשרת הכלים. אני משתמש במכונת Linux (Red Hat), אם אתם משתמשים במכונות מסוג
אחר כמו למשל windows יהיו
שינויים בחלק מה-path-ים.
שאלות נפוצות
1. האם Elastic
Stack הוא באמת חינמי?
תשובה: כן. הכלים המרכזיים הם פרוייקטים של קוד פתוח תחת
הרישיון של Apache
2. מקור
2. איך חברת Elastic מרוויחה
כסף?
תשובה: תמיכה מקצועית, קורסים, Elastic Cloud, תכונות מתקדמות כמו Machine Learning. מקור
3. אילו חברות משתמשות ב-Elastic Stack?
תשובה: בין החברות שמשתמשות ב- Elastic Stack אפשר למצוא את Netflix, Dell, Stack
overflow, LinkedIn, ebay, Github, Facebook ועוד רבים. מקור
4. האם ניתן ליצור מ-Elastic Stack מוצר משלי ולמכור אותו?
תשובה: כן. כל עוד עומדים בתנאים של הפצה מחדש. מקור
אם אהבתם, תכתבו משהו למטה...
תודה
השבמחק