การทำ robots.txt ต้อนรับ บอท

การสร้างไฟล์ robots.txt ไว้ในเว็บไซต์ของเรานั้น นอกจากเพื่อเป็นการบอกบอทให้ทราบถึงสิทธิ์การเข้าถึงข้อมูลบนเว็บไซต์ของเราแล้ว การมีอยู่ของไฟล์ robots.txt นั้นยังมีผลต่อการทำ SEO ของเราด้วย ซึ่งหลาย ๆ คนอาจจะไม่ได้นึกถึงข้อนี้ด้วยซ้ำ

เจ้าของเว็บไซต์หรือ Webmaster หลาย ๆ ท่านเมินที่จะเขียนไฟล์ robots.txt โดยให้เหตุผลกับตัวเองว่า เว็บไซต์ของเราไม่มีไฟล์หรือข้อมูลอะไรที่จะต้องหวงห้าม เลยไม่เขียนไฟล์ robots.txt เสียเลย

ซึ่งความคิดข้างต้นก็ไม่ผิดอะไรค่ะ แต่เป็นการมองข้ามการทำ SEO ไปอย่างน่าเสียดาย เพราะการมีไฟล์ robots.txt นั้น ช่วยสร้างความน่าเชื่อให้กับเว็บไซต์ของเราได้ เพราะจากการที่เคยได้ทดลองมา กับเว็บไซต์ ๆ หนึ่ง ซึ่งตอนแรก ๆ ก็คิดตามด้านบนคือไม่มีไฟล์หวงห้ามอะไร ก็เลยไม่ได้สร้างไฟล์ robots.txt ซึ่งหลังจากดูแลเว็บไซต์นี้ไป ผลปรากฏว่าทำอันดับช้ามาก ๆ คือทั้ง ๆ ที่อัพเดตเว็บแทบจะทุกวัน แต่อันดับเว็บก็ไม่ขยับซักที แถมจะขยับทีนานมาก ๆ (เปลี่ยนแคชที ก็ขยับที) เป็นครึ่งเดือนถึงจะเปลี่ยนอันดับที