تحقیقات اخیر نشان داده‌اند که وب‌سایت‌هایی که برای داده‌های ساختاریافته به جاوااسکریپت وابسته‌اند، با چالش‌هایی مواجه هستند. این داده‌ها که معمولاً در قالب JSON-LD ارائه می‌شوند، اگر در پاسخ اولیه HTML وجود نداشته باشند، برای خزنده‌های هوش مصنوعی (AI) قابل دسترسی نخواهند بود. خزنده‌هایی مانند GPTBot (که توسط ChatGPT استفاده می‌شود)، ClaudeBot و PerplexityBot قادر به اجرای جاوااسکریپت نیستند و بنابراین هرگونه داده ساختاریافته که بعداً به صفحه اضافه شود، از دید آنها پنهان می‌ماند.
این موضوع برای وب‌سایت‌هایی که از ابزارهایی مانند Google Tag Manager (GTM) برای افزودن JSON-LD در سمت کلاینت استفاده می‌کنند، مشکل‌ساز است، زیرا بسیاری از خزنده‌های هوش مصنوعی قادر به خواندن محتوای تولیدشده به‌صورت پویا نیستند.
یافته‌های کلیدی درباره JSON-LD و خزنده‌های هوش مصنوعی
الی بربی، بنیانگذار SEM King، بررسی کرده است که چه اتفاقی می‌افتد وقتی JSON-LD با استفاده از Google Tag Manager (GTM) و بدون رندرینگ سمت سرور (SSR) اضافه می‌شود. او دریافت که چرا این نوع داده‌های ساختاریافته اغلب توسط خزنده‌های هوش مصنوعی دیده نمی‌شوند:
1. بارگذاری اولیه HTML: هنگامی که یک خزنده درخواست یک صفحه وب را می‌دهد، سرور نسخه اولیه HTML را بازمی‌گرداند. اگر داده‌های ساختاریافته با جاوااسکریپت اضافه شوند، در این پاسخ اولیه وجود نخواهند داشت.
2. اجرای جاوااسکریپت در سمت کلاینت: جاوااسکریپت در مرورگر اجرا می‌شود و مدل شیءگرای سند (DOM) را برای کاربران تغییر می‌دهد. در این مرحله، GTM می‌تواند JSON-LD را به DOM اضافه کند.
3. خزنده‌هایی که قادر به رندرینگ جاوااسکریپت نیستند: خزنده‌های هوش مصنوعی که نمی‌توانند جاوااسکریپت را اجرا کنند، قادر به مشاهده تغییرات در DOM نیستند. این بدان معناست که هر JSON-LD که پس از بارگذاری صفحه اضافه شود، از دید آنها پنهان می‌ماند.
به طور خلاصه، داده‌های ساختاریافته که تنها از طریق جاوااسکریپت سمت کلاینت اضافه می‌شوند، برای اکثر خزنده‌های هوش مصنوعی نامرئی هستند.
چرا موتورهای جستجوی سنتی متفاوت هستند
خزنده‌های موتورهای جستجوی سنتی مانند Googlebot می‌توانند جاوااسکریپت را بخوانند و تغییرات ایجادشده در صفحه وب پس از بارگذاری را پردازش کنند، از جمله داده‌های JSON-LD که توسط Google Tag Manager (GTM) تزریق می‌شوند. در مقابل، بسیاری از خزنده‌های هوش مصنوعی قادر به خواندن جاوااسکریپت نیستند و فقط HTML خام را از سرور دریافت می‌کنند. در نتیجه، آنها محتوای اضافه‌شده به‌صورت پویا، مانند JSON-LD، را از دست می‌دهند.
هشدار گوگل درباره استفاده بیش از حد از جاوااسکریپت
این چالش با هشدار گسترده‌تری از سوی گوگل درباره استفاده بیش از حد از جاوااسکریپت مرتبط است. در یک پادکست اخیر، تیم روابط جستجوی گوگل درباره افزایش وابستگی به جاوااسکریپت بحث کردند. اگرچه جاوااسکریپت امکان ایجاد ویژگی‌های پویا را فراهم می‌کند، اما همیشه برای عناصر ضروری سئو مانند داده‌های ساختاریافته ایده‌آل نیست.
مارتین اسپلیت، توسعه‌دهنده و مدافع جستجوی گوگل، توضیح داد که وب‌سایت‌ها از صفحات ساده تا برنامه‌های پیچیده متغیر هستند. مهم است که استفاده از جاوااسکریپت با در دسترس قرار دادن محتوای کلیدی در HTML اولیه متعادل شود. جان مولر، یکی دیگر از مدافعان جستجوی گوگل، نیز موافق بود و اشاره کرد که توسعه‌دهندگان اغلب به جاوااسکریپت روی می‌آورند در حالی که گزینه‌های ساده‌تری مانند HTML استاتیک می‌تواند مؤثرتر باشد.
راه‌حل‌های جایگزین
توسعه‌دهندگان و متخصصان سئو باید اطمینان حاصل کنند که داده‌های ساختاریافته برای همه خزنده‌ها قابل دسترسی هستند تا از مشکلات مربوط به خزنده‌های جستجوی هوش مصنوعی جلوگیری کنند. برخی از استراتژی‌های کلیدی عبارتند از:
1. رندرینگ سمت سرور (SSR): صفحات را در سرور رندر کنید تا داده‌های ساختاریافته در پاسخ اولیه HTML گنجانده شوند.
2. HTML استاتیک: از نشانه‌گذاری اسکیما مستقیماً در HTML استفاده کنید تا وابستگی به جاوااسکریپت کاهش یابد.
3. پیش‌رندرینگ: صفحات پیش‌رندر شده ارائه دهید که در آنها جاوااسکریپت قبلاً اجرا شده است و HTML کاملاً رندر شده را در اختیار خزنده‌ها قرار می‌دهد.
این رویکردها با توصیه گوگل برای اولویت‌دهی به توسعه مبتنی بر HTML و گنجاندن محتوای مهم مانند داده‌های ساختاریافته در پاسخ اولیه سرور همسو هستند.
اهمیت این موضوع
خزنده‌های هوش مصنوعی روزبه‌روز اهمیت بیشتری پیدا می‌کنند و قوانین متفاوتی نسبت به موتورهای جستجوی سنتی دارند. اگر وب‌سایت شما به GTM یا سایر ابزارهای جاوااسکریپت سمت کلاینت برای داده‌های ساختاریافته وابسته است، فرصت‌های رتبه‌بندی در نتایج جستجوی مبتنی بر هوش مصنوعی را از دست می‌دهید. با انتقال به راه‌حل‌های سمت سرور یا استاتیک، می‌توانید وب‌سایت خود را برای آینده آماده کنید و اطمینان حاصل کنید که در جستجوهای سنتی و هوش مصنوعی قابل مشاهده خواهید بود.
تصویر شاخص: nexusby/Shutterstock