Не так давно в различных информационных сервисах появилось сообщение о том, что Twitter запретил в файле robots.txt индексировать содержимое сервиса.
Но это сообщение было слишком преувеличено, так как Твиттер установил запрет только для контента сайта www.twitter.com. А для содержимого сайта twitter.com (без «www») такой команды не было. Поэтому контент сайта https://twitter.com индексируется по-прежнему, в том числе и ссылки на внешние сайты с Twitter.
Кроме этого, у Google и у Яндекса есть полный доступ к firehose - потоку твитов практически в реальном времени.
Twitter и Google заключили соглашение, необходимое для того, чтобы облегчить поиск 140-символьных твитов. И с мая 2015 уже появились первые твиты в мобильной выдаче США. И в настоящее время Google индексирует на 466% больше твитов, чем на момент подписания сделки.
