1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/ZmyZheng-TweetMap

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
Клонировать/Скачать
README.md 1.5 КБ
Копировать Редактировать Web IDE Исходные данные Просмотреть построчно История
TeddyZheng Отправлено 12.09.2020 02:24 dfa8484

在线实时全球推特话题热度趋势图

  1. 通过集成Twitter Streaming API,用java构建实时推特收集程序
  2. 将获取到的实时推文发送到Kafka集群中
  3. 利用Apache Flink进行实时推文流处理(解析、过滤、格式转换)
  4. 将处理过的推文存储到Elasticsearch以便数据持久化和索引
  5. 利用SpringBoot开发RESTful API并从Elasticsearch中获取推文
  6. 搭建一个基于Angular的前端应用程序可视化实时推特热度话题分布图
  7. 使用Kibana显示推特地理热度图
  8. 构建Docker image并部署各微服务组件到Kubernetes集群

Build

./gradlew :tweet-collector:clean :tweet-collector:build :tweet-collector:dockerPush

java -jar tweet-collector/build/libs/tweet-collector-1.1-SNAPSHOT.jar

./gradlew :flink-processor:clean :flink-processor:build

Tweet Map with Trends

  1. Build a java Tweet Collector to collect real-time tweets with Twitter Streaming API
  2. Push collected tweets to Kafka cluster
  3. Utilize Apache Flink Streaming to process (parse, filter and tranform) tweets
  4. Ingest processed tweets to Elasticsearch for data persistance and index
  5. Develop SpringBoot RESTful API server to query tweets from Elasticsearch
  6. Visualize real time tweet trends with Frontend Angular web application
  7. Show Geographical Tweet Heat Map with Kibana
  8. Create Docker image and deploy microservices to Kubernetes cluster

Опубликовать ( 0 )

Вы можете оставить комментарий после Вход в систему

1
https://api.gitlife.ru/oschina-mirror/ZmyZheng-TweetMap.git
git@api.gitlife.ru:oschina-mirror/ZmyZheng-TweetMap.git
oschina-mirror
ZmyZheng-TweetMap
ZmyZheng-TweetMap
master