স্প্লাঙ্কের মধ্যে Field Extraction একটি গুরুত্বপূর্ণ প্রক্রিয়া, যার মাধ্যমে ডেটার নির্দিষ্ট অংশকে আলাদা করে বিভিন্ন ফিল্ড হিসেবে সনাক্ত করা হয়। এই প্রক্রিয়া দুটি প্রধানভাবে করা যেতে পারে: Automatic Field Extraction এবং Manual Field Extraction। দুটি পদ্ধতিই ডেটার মধ্যে তথ্য বের করার জন্য ব্যবহৃত হয়, তবে তাদের কার্যপ্রণালী এবং প্রয়োগের ক্ষেত্রে পার্থক্য রয়েছে।
Automatic Field Extraction
Automatic Field Extraction হল একটি স্বয়ংক্রিয় প্রক্রিয়া, যেখানে স্প্লাঙ্ক নিজেই ডেটার মধ্যে ফিল্ড সনাক্ত করে এবং সেটি এক্সট্রাক্ট করে। এই প্রক্রিয়ায়, স্প্লাঙ্ক ডেটার মধ্যে সাধারণ প্যাটার্নগুলোকে শনাক্ত করতে সক্ষম, যেমন লগ ফাইলের নির্দিষ্ট ফরম্যাট বা মেশিন জেনারেটেড ডেটা (machine-generated data) এর স্ট্রাকচার।
Automatic Field Extraction এর সুবিধাসমূহ:
- স্বয়ংক্রিয়: স্প্লাঙ্ক স্বয়ংক্রিয়ভাবে ফিল্ড এক্সট্র্যাক্ট করতে পারে, ফলে ব্যবহারকারীদের নিজে manually এটি করতে হয় না।
- রিয়েল-টাইম: নতুন ডেটা আসার সাথে সাথে স্বয়ংক্রিয়ভাবে ফিল্ড এক্সট্রাক্ট হয়।
- শক্তিশালী ফিল্ড ডিটেকশন: স্প্লাঙ্ক স্বয়ংক্রিয়ভাবে বিভিন্ন সাধারণ ফিল্ড যেমন, time, host, source, এবং sourcetype সনাক্ত করে।
উদাহরণ:
যখন আপনি Splunk এ কোনো ডেটা সার্চ করবেন, যেমন:
search error
স্প্লাঙ্ক নিজে থেকেই host, source, এবং time এর মতো সাধারণ ফিল্ডগুলো এক্সট্র্যাক্ট করে দেখাবে।
অথবা যদি আপনি JSON ফাইল বা XML ফাইল পাঠাচ্ছেন, তাহলে স্প্লাঙ্ক সেই ফাইল থেকে স্বয়ংক্রিয়ভাবে ফিল্ড এক্সট্র্যাক্ট করতে পারে।
Manual Field Extraction
Manual Field Extraction হল এমন একটি প্রক্রিয়া যেখানে ব্যবহারকারী নিজে ডেটা থেকে ফিল্ড এক্সট্র্যাক্ট করে, যদি স্বয়ংক্রিয় প্রক্রিয়া কাজ না করে বা ফিল্ড এক্সট্র্যাক্ট করতে কিছু নির্দিষ্ট কাস্টমাইজেশন প্রয়োজন হয়। এই প্রক্রিয়াটি সাধারণত তখন ব্যবহৃত হয় যখন ডেটার কাঠামো অস্বাভাবিক বা অস্পষ্ট হয় এবং স্বয়ংক্রিয়ভাবে সঠিকভাবে ফিল্ড সনাক্ত করা সম্ভব হয় না।
Manual Field Extraction এর প্রক্রিয়া:
স্প্লাঙ্ক এ Manual Field Extraction করতে Field Extractor ব্যবহার করা হয়, যা একটি GUI (Graphical User Interface) সরঞ্জাম। এটি ডেটার মধ্যে প্যাটার্ন চিহ্নিত করার জন্য ব্যবহারকারীকে সাহায্য করে, এবং তারপর সেই প্যাটার্নের মাধ্যমে ফিল্ড এক্সট্র্যাক্ট করতে পারে।
উদাহরণ:
প্রথমে একটি সার্চ রান করুন, যেমন:
index=web_logs- তারপর ইভেন্টে ক্লিক করুন এবং "Extract Fields" অপশন নির্বাচন করুন।
- স্প্লাঙ্ক স্বয়ংক্রিয়ভাবে প্যাটার্নগুলো প্রদর্শন করবে এবং আপনি আপনার প্রয়োজন অনুসারে সেই প্যাটার্নগুলো ম্যানুয়ালি টিউন (tune) করতে পারবেন।
ব্যবহারিক উদাহরণ:
ধরা যাক, আপনার কাছে একটি লগ ফাইল আছে যার মধ্যে ট্যাগ বা সেগমেন্ট রয়েছে, এবং আপনাকে সেগুলো ফিল্ড হিসেবে এক্সট্র্যাক্ট করতে হবে। আপনি ম্যানুয়ালি Regular Expression (regex) ব্যবহার করে এসব ট্যাগ সনাক্ত করতে পারেন এবং ফিল্ড হিসেবে এক্সট্র্যাক্ট করতে পারেন।
Automatic vs Manual Field Extraction: পার্থক্য
| বৈশিষ্ট্য | Automatic Field Extraction | Manual Field Extraction |
|---|---|---|
| প্রক্রিয়া | স্বয়ংক্রিয়ভাবে ফিল্ড সনাক্ত এবং এক্সট্র্যাক্ট করা | ব্যবহারকারী দ্বারা নির্দিষ্ট প্যাটার্ন বা কাস্টম নিয়ম দিয়ে এক্সট্র্যাক্ট করা |
| সুবিধা | দ্রুত এবং সহজ | কাস্টম এবং জটিল ডেটার জন্য উপযুক্ত |
| ব্যবহার | সাধারণ ফিল্ড এবং ডেটা কাঠামোর জন্য | অস্বাভাবিক বা কাস্টম ডেটা কাঠামোর জন্য |
| কাস্টমাইজেশন | সীমিত কাস্টমাইজেশন | সম্পূর্ণ কাস্টমাইজেশন এবং নিয়ন্ত্রণ |
| কোন ধরনের ডেটার জন্য উপযুক্ত | সাধারন ডেটা কাঠামো | জটিল বা অস্পষ্ট ডেটা কাঠামো |
সারাংশ
স্প্লাঙ্কে Automatic Field Extraction একটি স্বয়ংক্রিয় প্রক্রিয়া যা ডেটার মধ্যে সাধারণ প্যাটার্ন শনাক্ত করে এবং ফিল্ড এক্সট্র্যাক্ট করে। এটি সাধারণভাবে ব্যবহারকারীকে সহজে ডেটার ফিল্ডগুলি দেখতে এবং বিশ্লেষণ করতে সহায়তা করে। তবে, Manual Field Extraction তখন প্রয়োজন হয় যখন ডেটার কাঠামো বিশেষ বা অস্পষ্ট হয় এবং ব্যবহারকারীকে নিজে প্যাটার্ন তৈরি করে ফিল্ড এক্সট্র্যাক্ট করতে হয়। এই দুটি প্রক্রিয়া মিলিতভাবে স্প্লাঙ্ককে আরও শক্তিশালী এবং নমনীয় করে তোলে।
Read more