মার্কিন ইক্যুইটি ট্রেডিং দিনে সকাল ৯:২৯:৫৫-এ, প্রধান এক্সচেঞ্জ এবং প্রতিটি টায়ার-ওয়ান ব্যাংকের কিছু ডিস্ট্রিবিউটেড সিস্টেম ইঞ্জিনিয়ার সেই ড্যাশবোর্ডগুলির দিকে তাকিয়ে আছেন, যেগুলির দিকে তারা সম্ভবত বছরের পর বছর ধরে তাকিয়ে আসছেন। পাঁচ সেকেন্ড পরে, দেশের ইক্যুইটি বাজারগুলি কনসোলিডেটেড টেপ জুড়ে প্রতি সেকেন্ডে পাঁচ লক্ষেরও বেশি বার্তা ছাড়িয়ে যাওয়া পিক অর্ডার ফ্লো গ্রহণ করে। এই উত্থান শোষণ করার সিস্টেমগুলি বাণিজ্যিক ব্যবহারে সবচেয়ে কঠোরভাবে ইঞ্জিনিয়ার করা সফ্টওয়্যারগুলির মধ্যে একটি, এবং সেগুলি যে প্যাটার্নগুলির উপর নির্ভর করে তা এখন বাকি মার্কিন অর্থায়নের বেশিরভাগ অংশও পরিচালনা করে।
মার্কিন অর্থায়নের প্রেক্ষাপটে "ডিস্ট্রিবিউটেড" আসলে কী অর্থ বহন করে
পাঠ্যপুস্তকের অর্থে একটি ডিস্ট্রিবিউটেড সিস্টেম হল এমন প্রক্রিয়াগুলির একটি সমষ্টি যা একটি একক সুসংগত পরিষেবা প্রদানের জন্য নেটওয়ার্কের মাধ্যমে যোগাযোগ করে। মার্কিন অর্থায়নের প্রেক্ষাপটে, সংজ্ঞাটি আরও সংকীর্ণ হয়। এর অর্থ এমন একটি পরিষেবা যেখানে স্টেট একাধিক জায়গায় থাকে, লেটেন্সি মাইক্রোসেকেন্ডে পরিমাপ করা হয় এবং ব্যর্থতার ধরনগুলি তাত্ত্বিক নয় কারণ নিয়ন্ত্রক ৪৮ ঘণ্টার মধ্যে পোস্ট-মর্টেম চাইতে পারেন।
প্রামাণিক উদাহরণগুলি হল একটি এক্সচেঞ্জ ম্যাচিং ইঞ্জিন, একটি রিয়েল-টাইম পেমেন্ট সুইচ, একটি ফ্রড স্কোরিং সার্ভিস এবং একটি মার্কেট ডেটা ফ্যান-আউট নেটওয়ার্ক। এগুলির প্রতিটির সামান্য ভিন্ন কনসিস্টেন্সি প্রয়োজনীয়তা রয়েছে। একটি ম্যাচিং ইঞ্জিন কঠোর অর্ডারিং চায়। একটি ফ্রড সিস্টেম সম্পূর্ণতার চেয়ে গতি চায়। একটি মার্কেট ডেটা ফ্যান-আউট থ্রুপুট চায়। ইঞ্জিনিয়ারিং পছন্দগুলি সেই সীমাবদ্ধতা থেকে উদ্ভূত হয়।
এটি এখন ২০২৬ সালে গুরুত্বপূর্ণ কারণ একই আর্কিটেকচারাল প্যাটার্নগুলি ট্রেডিং ডেস্ক থেকে বেরিয়ে বাকি মার্কিন ফিনটেকে চলে গেছে। একটি কনজিউমার পেমেন্টস অ্যাপ, একটি BaaS স্পনসর ব্যাংক প্ল্যাটফর্ম এবং একটি ট্রেজারি ইল্ড প্রোডাক্ট এখন ডিস্ট্রিবিউটেড ডিজাইনে চলছে যা দশ বছর আগে অস্বাভাবিক বলে মনে করা হত।
আজ বৃহত্তম মার্কিন আর্থিক সিস্টেমগুলি কীভাবে তৈরি করা হয়
তিনটি আর্কিটেকচারাল প্যাটার্ন প্রায় প্রতিটি গুরুতর মার্কিন আর্থিক ডিস্ট্রিবিউটেড সিস্টেমে বারবার আসে। প্রথমটি হল ইভেন্ট সোর্সিং, যেখানে প্রতিটি স্টেট পরিবর্তন প্রথমে একটি অ্যাপেন্ড-অনলি লগে লেখা হয় এবং ম্যাটেরিয়ালাইজড ভিউগুলি সেই লগ থেকে উদ্ভূত হয়। Kafka, AWS Kinesis এবং Confluent Cloud এখন বেশিরভাগ বড় ফিনটেক ব্যাক এন্ডের নিচে রয়েছে, রিটেনশন উইন্ডো সহ যা দিন বা সপ্তাহের কার্যকলাপ রিপ্লে করার জন্য যথেষ্ট দীর্ঘ। অডিট এবং রিকনসিলিয়েশনের সুবিধাগুলি যৌগিক হয়; অনেক কমপ্লায়েন্স অফিসারের কাছে, লগ হল সত্যের উৎস।
দ্বিতীয়টি হল কনসেনসাস এবং রেপ্লিকেশন। বেশিরভাগ ফিনটেক ডেটাবেস এখন Raft বা Paxos থেকে উদ্ভূত প্রোটোকলে চলে। CockroachDB, FoundationDB, Spanner এবং প্রধান ক্লাউড-নেটিভ লেজারগুলি সবই ভেরিয়েন্ট ব্যবহার করে। ব্যবহারিক প্রভাব হল যে একটি মার্কিন ফিনটেকে একটি একক ট্রানজেকশন কোনো ডেটা হারানো ছাড়াই এবং কয়েক সেকেন্ডের ডাউনটাইম সহ একটি সম্পূর্ণ অ্যাভেইলেবিলিটি জোনের ক্ষতি সহ্য করতে পারে, যার জন্য আগে মাসের ইঞ্জিনিয়ারিং কাজ প্রয়োজন ছিল।
তৃতীয়টি হল সার্ভিস মেশ এবং রেট-অ্যাওয়ার রাউটিং। Envoy, Istio এবং Linkerd এখন স্ট্যান্ডার্ড, এবং অর্থায়নে ব্যবহৃত কনফিগারেশনগুলি Netflix-এর প্লেবুক থেকে উত্তরাধিকারসূত্রে পাওয়া সার্কিট-ব্রেকিং, রিট্রি বাজেট এবং বাল্কহেড প্যাটার্নের উপর নির্ভর করে। ফিনটেকগুলি যে মার্কিন পেমেন্ট রেইলে চলে সেগুলি প্রায়ই এই মেশগুলির পিছনে থাকে।
মার্কিন অর্থায়নে ডিস্ট্রিবিউটেড সিস্টেম পারফরমেন্সের একটি স্কোরবোর্ড
নিচের সংখ্যাগুলি পাবলিক ইঞ্জিনিয়ারিং ব্লগ, ভেন্ডর SOC 2 রিপোর্ট এবং প্রকাশিত ইনসিডেন্ট ইতিহাসের একটি সমষ্টি থেকে এসেছে। সেগুলি মার্কিন অর্থায়নে প্রোডাকশন ডিস্ট্রিবিউটেড সিস্টেমগুলি আসলে কী অর্জন করে তার একটি দরকারী বেসলাইন স্কেচ করে।
সবচেয়ে তাৎপর্যপূর্ণ সংখ্যাটি হল p99 লেটেন্সি লাইন। এক দশক আগে, সাব-মিলিসেকেন্ড p99 শুধুমাত্র ট্রেডিংয়ের সংখ্যা ছিল। আজ, বেশ কিছু কনজিউমার-ফেসিং মার্কিন ফিনটেক কোর অথেনটিকেশন এবং পেমেন্ট ইনিশিয়েশন ফ্লোগুলির জন্য সিঙ্গেল-ডিজিট-মিলিসেকেন্ড p99 লেটেন্সি প্রকাশ করে। সেখানে পৌঁছানোর খরচ উল্লেখযোগ্য, কিন্তু সেখানে থাকার অপারেটিং খরচ একটি ধীর সিস্টেম চালানোর খরচের চেয়ে কম, কারণ ফিনান্স লেটেন্সিতে ইনসিডেন্টগুলি তদন্ত করতে ব্যয়বহুল।
একটি মার্কিন ব্যাংকের নিয়ন্ত্রিত দেয়ালের মধ্যে, ডিস্ট্রিবিউটেড সিস্টেম টিম সাধারণত দুই মালিকের কাছে জবাব দেয়। প্ল্যাটফর্ম সংস্থাটি আপটাইম, থ্রুপুট এবং অপারেটিং খরচের বিষয়ে যত্নশীল। রিস্ক এবং কমপ্লায়েন্স সংস্থাটি অডিটেবিলিটি, ইমিউটেবিলিটি এবং প্রভেবিলিটির বিষয়ে যত্নশীল। যে আর্কিটেকচারগুলি আবির্ভূত হয় সেগুলি সাধারণত একটি আপোষ: দ্বিতীয় মালিককে সন্তুষ্ট করতে অ্যাপেন্ড-অনলি ইভেন্ট লগ, প্রথমজনকে সন্তুষ্ট করতে ম্যাটেরিয়ালাইজড কোয়েরি ভিউ এবং ক্যাশ।
ব্যর্থতার ধরনগুলি যা এখনও প্রোডাকশনে মার্কিন ফিনটেককে কষ্ট দেয়
প্রকাশিত ইনসিডেন্ট রিপোর্ট এবং পোস্ট-মর্টেম সারাংশের উপর ভিত্তি করে, গত দুই বছরে বেশিরভাগ মার্কিন ফিনটেক প্রোডাকশন ইনসিডেন্টের জন্য তিনটি ব্যর্থতার ধরন দায়ী। প্রথমটি হল ক্যাসকেডিং রিট্রি। একটি ডাউনস্ট্রিম টাইমআউট আপস্ট্রিম সার্ভিসে একটি রিট্রি স্টর্ম ট্রিগার করে, যা কানেকশন পুল শেষ করে, যা কাস্টমার-ভিজিবল আউটেজ হিসেবে ফিরে আসে। রিট্রি বাজেট এবং সার্কিট ব্রেকার হল স্ট্যান্ডার্ড মিটিগেশন, কিন্তু প্রতিটি ইঞ্জিনিয়ারিং টিম এটি অন্তত একবার কঠিন উপায়ে শেখে।
দ্বিতীয়টি হল মাল্টি-রিজিয়ন স্প্লিট-ব্রেইন। যখন একটি নেটওয়ার্ক পার্টিশন একটি ফিনটেকের প্রাইমারি রিজিয়নকে তার রেপ্লিকা থেকে আলাদা করে, নিষ্পাপ ফেইলওভার কোড উভয় পক্ষকে লিডার হিসেবে প্রমোট করতে পারে। ফলাফল হল ডাইভার্জেন্ট রাইট যা হাত দিয়ে রিকনসাইল করতে হয়। CRDT-ভিত্তিক এবং কনসেনসাস-ভিত্তিক ডিজাইন হল প্রতিকার, কিন্তু গ্রহণ অসম।
তৃতীয়টি হল অবজার্ভেবিলিটি গ্যাপ। বেশিরভাগ ফিনটেক আউটেজ একটি একক কম্পোনেন্ট বিচ্ছিন্নভাবে ব্যর্থ হওয়ার কারণে ঘটে না; সেগুলি ছোট ডিগ্রেডেশনের একটি শৃঙ্খলের কারণে ঘটে যা কোনো একক ড্যাশবোর্ড পৃষ্ঠে আনে না। যে টিমগুলি ডিস্ট্রিবিউটেড ট্রেসিং, লগ কোরিলেশন এবং কার্ডিনালিটি-অ্যাওয়ার মেট্রিক্সে গুরুত্বের সাথে বিনিয়োগ করে তারা যে টিমগুলি করে না তাদের তুলনায় দুই থেকে তিন গুণ দ্রুত ইনসিডেন্ট সনাক্ত এবং সমাধান করে। ACH-ভিত্তিক পেমেন্ট প্লাম্বিংয়ের আশেপাশে শৃঙ্খলা প্রায়ই এই পরিপক্কতা জোর করে, কারণ রিকনসিলিয়েশন ক্ষমাশীল নয়।
অর্থায়নে ডিস্ট্রিবিউটেড সিস্টেম পরিচালনার সাংস্কৃতিক দিকটি অবমূল্যায়িত। যে টিমগুলি কম ইনসিডেন্ট রেট বজায় রাখে তারা প্রায় সবসময় ব্লেমলেস পোস্ট-মর্টেম চালায়, রানবুক প্রকাশ করে যা ইঞ্জিনিয়াররা আসলে পড়েন এবং অন-কল শিফট রোটেট করেন যা সিনিয়র ইঞ্জিনিয়ারদের দীর্ঘস্থায়ী ঘুমের অভাব থেকে রক্ষা করে। টুলিং একা কখনো একটি ভঙ্গুর অন-কল সংস্কৃতির ক্ষতিপূরণ করতে পারে না; গত তিন বছরের অনেক সর্বোচ্চ-প্রোফাইল মার্কিন ফিনটেক আউটেজ পেজ ফায়ার হওয়ার অনেক আগে একটি সংস্কৃতির সমস্যায় ফিরে এসেছিল।
আজ ইনফ্রাস্ট্রাকচার তৈরি করা ফিনটেক প্রতিষ্ঠাতাদের জন্য এর অর্থ কী
মার্কিন ফিনটেক প্রতিষ্ঠাতাদের জন্য, ব্যবহারিক প্রভাব হল যে ডিস্ট্রিবিউটেড সিস্টেম ভুল করার খরচ শুধুমাত্র খুব প্রাথমিক পর্যায়ে কমেছে। একটি ম্যানেজড Postgres এবং একটি একক AWS রিজিয়নে একটি প্রি-সিড প্রোটোটাইপ ঠিক আছে। যে মুহূর্তে পণ্যে বাস্তব গ্রাহকের অর্থ চলছে, ইঞ্জিনিয়ারিং বার দ্রুত উপরে উঠে যায়, এবং যে টিমগুলি এই কথোপকথন বিলম্বিত করে তারা আপটাইম বা গ্রাহক বা উভয়ই হারায়।
প্রতিটি ফিনটেক প্রতিষ্ঠাতার সিরিজ A-তে পৌঁছানোর সময় নিজেদের আর্কিটেকচার সম্পর্কে তিনটি প্রশ্নের উত্তর দিতে সক্ষম হওয়া উচিত: প্রাইমারি ডেটাবেস দশ মিনিটের জন্য অনুপলব্ধ হলে কী হয়; একটি ডাউনস্ট্রিম পার্টনার ত্রিশ সেকেন্ডের জন্য 500 রিটার্ন করলে কী হয়; এবং এই পরিস্থিতিগুলির জন্য সিস্টেমটি কীভাবে পরীক্ষিত হয়। যে প্রতিষ্ঠাতারা তিনটির সবক'টির স্পষ্ট উত্তর দিতে পারেন তারা সেই ইনফ্লেকশন পয়েন্টগুলির মধ্য দিয়ে স্কেল করার প্রবণতা রাখেন যা তাদের সমকক্ষদের ভেঙে দেয়।
নিয়োগের দিকটিও সুনির্দিষ্ট। ২০২৬ সালে একটি মার্কিন ফিনটেকে একজন সিনিয়র ডিস্ট্রিবিউটেড সিস্টেম ইঞ্জিনিয়ার মার্কিন টেক বাজারের উচ্চ প্রান্তে মোট ক্ষতিপূরণ প্যাকেজ দাবি করেন, পেমেন্ট বা ট্রেডিং অভিজ্ঞতাসম্পন্ন কারো জন্য প্রায়ই তিন লক্ষ পঞ্চাশ হাজার ডলারের উপরে। সরবরাহ সীমাবদ্ধ কারণ অভিজ্ঞতার সেট তৈরি করতে এক দশক লাগে। বৈশ্বিকভাবে স্কেল করা ব্যাংকিং উদ্ভাবনে প্রায় সবসময় তার প্রথম দশটি নিয়োগে অন্তত একজন এই ধরনের ইঞ্জিনিয়ার থাকে।
কম্পিউটের ভৌগোলিক ঘনত্ব আরেকটি নীরব ঝুঁকি। অবাক করার মতো সংখ্যক মার্কিন ফিনটেক তাদের প্রাথমিক ওয়ার্কলোড একটি একক AWS রিজিয়নে (প্রায়ই us-east-1) চালায়, যার অর্থ উত্তর ভার্জিনিয়ায় Amazon আউটেজ সরাসরি মার্কিন ফিনটেক আউটেজে রূপান্তরিত হয়। মাল্টি-রিজিয়ন অ্যাক্টিভ-অ্যাক্টিভ প্রযুক্তিগতভাবে চাহিদাসম্পন্ন এবং ব্যয়বহুল, কিন্তু যে টিমগুলি এতে বিনিয়োগ করেছে তাদের অর্থবহভাবে ভিন্ন ইনসিডেন্ট প্রোফাইল রয়েছে।
এই সব সমর্থন করে যে ভেন্ডর সারফেস একীভূত হয়েছে। প্রধান ক্লাউড প্রদানকারীরা (AWS, Google Cloud এবং Azure) এখন আর্থিক-পরিষেবা-নির্দিষ্ট রেফারেন্স আর্কিটেকচার অফার করে, এবং আঞ্চলিক স্পনসর ব্যাংকগুলি তাদের নিজস্বগুলি প্রকাশ করা শুরু করেছে। ওপেন সোর্স ল্যান্ডস্কেপ (Kafka, Redis, ClickHouse, Postgres, Temporal) যথেষ্ট পরিপক্ক যে একটি নতুন ফিনটেক এমন একটি স্ট্যাকে তার V1 শিপ করতে পারে যার জন্য ২০১৮ সালে কাস্টম বিল্ড প্রয়োজন হত।
সকাল ৯:৩০-এর ওপেন দেশের সবচেয়ে চাহিদাসম্পন্ন সফ্টওয়্যারের জন্য একটি স্ট্রেস টেস্ট হতে থাকবে। আকর্ষণীয় উন্নয়ন হল যে একই ইঞ্জিনিয়ারিং কঠোরতা এখন সেই ফিনটেকগুলির মধ্যে দৃশ্যমান যা কখনো এক্সচেঞ্জের কাছাকাছিও যায় না।
উপরে বর্ণিত ওয়্যার প্রোটোকলের একটি উদাহরণের জন্য, NYSE Pillar কমন ক্লায়েন্ট স্পেসিফিকেশন দেখুন।
