列名

注释

数据类型

id

主键

Interger

nickname

账户名

Text

count

数量

Integer

列名

注释

数据类型

id

主键

Interger

time

时间

Text

rank

级别

Text

content

内容

Text

link

链接

Text

hot

是否热搜

Interger

tags

标签

Text

列名

注释

数据类型

id

主键

Interger

topic

主题

Text

share

分享数

Text

comment

评论数

Text

like

点赞数

Text

列名

注释

数据类型

id

主键

Interger

topic

主题

Text

share

分享数

Text

comment

评论数

Text

like

点赞数

Text

nickname

账户名

Text

content

内容

Text

DATABASES = {

    'default': {

        'ENGINE': 'django.db.backends.mysql',    # 数据库引擎

        'NAME': ' hz_project_webo ', # 数据库名称

        'HOST': '127.0.0.1', # 数据库地址，本机 ip 地址 127.0.0.1

        'PORT': 3306, # 端口

        'USER': 'root',  # 数据库用户名

        'PASSWORD': 'root', # 数据库密码

    }

}

  name = 'ReSouSpiders'

    allowed_domains = ['weibo.com']

    url = 'https://s.weibo.com/top/summary?cate=realtimehot'

    # 搜索链接

    search_url = 'https://s.weibo.com/weibo?q={}'

    # TODO 打开cmd，输入： start chrome  --flag-switches-begin --flag-switches-end --remote-debugging-port=9887

   def start_requests(self):

        yield scrapy.Request(url=self.url, callback=self.parse)

def parse(self, response):

        # 获取当天的日期，格式年/月/日

        time = datetime.datetime.now().strftime('%Y-%m-%d')

        # 定位到 id="pl_top_realtimehot" 的div标签

        div = response.xpath('//div[@id="pl_top_realtimehot"]')

        # 定位到div标签下的所有的tr标签

        trs = div.xpath('./table/tbody/tr')

        for tr in trs[1:]:

            # 获取热搜的排名,第一个td标签

            rank = tr.xpath('./td[1]/text()').extract_first()

            # 获取热搜的内容

            content = tr.xpath('./td[@class="td-02"]/a/text()').extract_first()

            # 获取热搜的链接

            link = 'https://s.weibo.com'+tr.xpath('./td[@class="td-02"]/a/@href').extract_first()

            # 获取热搜的热度

            hot = tr.xpath('./td[@class="td-02"]/span/text()').extract_first()

            # 获取热搜的标签

            tags = tr.xpath('./td[@class="td-03"]/i/text()').extract()

            item = ReSouItem()

            item['time'] = time

            item['rank'] = rank

            item['content'] = content

            item['link'] = link

            item['hot'] = hot

            item['tags'] = tags

            yield item

            yield scrapy.Request(url=link, callback=self.parse_detail, meta={'item': item,'page': 1})

        pass

def open_spider(self, spider):

        if not os.path.exists('dataset'):

            os.mkdir('dataset')

        if not os.path.exists('dataset/reshou.csv'):

            reshous = pd.DataFrame(columns=['time', 'rank', 'content', 'link', 'hot', 'tags'])

            reshous.to_csv('dataset/reshou.csv', index=False, encoding='utf-8')

        if not os.path.exists('dataset/weibo.csv'):

            weibos = pd.DataFrame(columns=['topic', 'nickname', 'content', 'share', 'comment', 'like'])

            weibos.to_csv('dataset/weibo.csv', index=False, encoding='utf-8')

import pandas as pd

import os

import pymysql

from sqlalchemy import create_engine

mysql_config = {

    'host': 'localhost',

    'user': 'root',        # 改为正确的用户名以及密码

    'password': 'root',

    'database': 'hz_project_webo',                     

    'port': 3306

}

conn = pymysql.connect(**mysql_config)

cursor = conn.cursor()

engine = create_engine(f"mysql+pymysql://{mysql_config['user']}:{mysql_config['password']}@{mysql_config['host']}:{mysql_config['port']}/{mysql_config['database']}")

create_tables_sql = """

CREATE TABLE IF NOT EXISTS topic_count (

    id INT AUTO_INCREMENT PRIMARY KEY,

    topic VARCHAR(255),

    count INT

);

CREATE TABLE IF NOT EXISTS nickname_count (

    id INT AUTO_INCREMENT PRIMARY KEY,

    nickname VARCHAR(255),

    count INT

);

CREATE TABLE IF NOT EXISTS topic_sum (

    id INT AUTO_INCREMENT PRIMARY KEY,

    topic VARCHAR(255),

    share INT,

    comment INT,

    `like` INT

);

CREATE TABLE IF NOT EXISTS topic_avg (

    id INT AUTO_INCREMENT PRIMARY KEY,

    topic VARCHAR(255),

    share FLOAT,

    comment FLOAT,

    `like` FLOAT

);

CREATE TABLE IF NOT EXISTS topic_max (

    id INT AUTO_INCREMENT PRIMARY KEY,

    topic VARCHAR(255),

    share INT,

    comment INT,

    `like` INT

);

CREATE TABLE IF NOT EXISTS topic_min (

    id INT AUTO_INCREMENT PRIMARY KEY,

    topic VARCHAR(255),

    share INT,

    comment INT,

    `like` INT

);

CREATE TABLE IF NOT EXISTS weibo (

    id INT AUTO_INCREMENT PRIMARY KEY,

    topic VARCHAR(255),

    nickname VARCHAR(255),

    content TEXT,

    share INT,

    comment INT,

    `like` INT,

    tag VARCHAR(255),

    score FLOAT

);

CREATE TABLE IF NOT EXISTS reshou (

    id INT AUTO_INCREMENT PRIMARY KEY,

    time DATETIME,

    `rank` INT,

    content TEXT,

    link VARCHAR(255),

    hot INT,

    tags VARCHAR(255),

    bili FLOAT

);

"""

with conn.cursor() as cursor:

    for statement in create_tables_sql.split(';'):

        if statement.strip():

            cursor.execute(statement)

    conn.commit()

weibo = pd.read_csv('./dataset/weibo.csv')

reshou = pd.read_csv('./dataset/reshou.csv')

import re

# 去掉中文

def remove_chinese(text):

    rex = re.compile(r'[\u4e00-\u9fa5]')

    return rex.sub('', text)

# 去掉特殊字符,空格,单引号，双引号，中括号，大括号，小括号

def remove_special_character(text):

    rex = re.compile(r'[\s\'\"\[\]\{\}\(\)\【\】\n\r\t]')

    return rex.sub('', text)

# 去掉假的转义字符

def remove_escape_character(text):

    rex = text.replace(r'\n', '').replace('\\u3000', '')

    rex = rex.replace(r'\u200b', '')

    return rex

# 处理tags

reshou['tags'] = reshou['tags'].apply(remove_special_character)

# 处理hot

reshou['hot'] = reshou['hot'].apply(remove_special_character)

reshou['hot'] = reshou['hot'].apply(remove_chinese)

# 处理content

weibo['content'] = weibo['content'].apply(remove_special_character)

weibo['content'] = weibo['content'].apply(remove_escape_character)

# 将英文标点转换为中文标点

weibo['content'] = weibo['content'].str.replace(r'!', '！')

weibo['content'] = weibo['content'].str.replace(r'?', '？')

weibo['content'] = weibo['content'].str.replace(r',', '，')

weibo['content'] = weibo['content'].str.replace(r';', '；')

weibo['content'] = weibo['content'].str.replace(r':', '：')

weibo['content'] = weibo['content'].str.replace(r'~', '～')

weibo['content'] = weibo['content'].str.replace(r'`', '·')

# 替换所有的空值为0

weibo = weibo.fillna(0)

# 保存数据

weibo['share'] = weibo['share'].astype(int)

weibo['comment'] = weibo['comment'].astype(int)

weibo['like'] = weibo['like'].astype(int)

weibo['tag'] = None

weibo['score'] = None

reshou['bili'] = None

topic_count = weibo['topic'].value_counts().reset_index()

topic_count.columns = ['topic', 'count']

nickname_count = weibo['nickname'].value_counts().reset_index()

nickname_count.columns = ['nickname', 'count']

topic_sum = weibo.groupby('topic').agg({

    'share': 'sum',

    'comment': 'sum',

    'like': 'sum'

}).reset_index()

topic_avg = weibo.groupby('topic').agg({

    'share': 'mean',

    'comment': 'mean',

    'like': 'mean'

}).reset_index()

topic_max = weibo.groupby('topic').agg({

    'share': 'max',

    'comment': 'max',

    'like': 'max'

}).reset_index()

topic_min = weibo.groupby('topic').agg({

    'share': 'min',

    'comment': 'min',

    'like': 'min'

}).reset_index()

# 只为原始数据表添加id列

weibo = weibo.reset_index(drop=True)

weibo.insert(0, 'id', range(1, len(weibo) + 1))

reshou = reshou.reset_index(drop=True)

reshou.insert(0, 'id', range(1, len(reshou) + 1))

try:

    # 统计表使用数据库自动生成的id

    topic_count.to_sql('topic_count', engine, if_exists='replace', index=True, index_label='id')

    print("已写入topic_count表")

    nickname_count.to_sql('nickname_count', engine, if_exists='replace', index=True, index_label='id')

    print("已写入nickname_count表")

    topic_sum.to_sql('topic_sum', engine, if_exists='replace', index=True, index_label='id')

    print("已写入topic_sum表")

    topic_avg.to_sql('topic_avg', engine, if_exists='replace', index=True, index_label='id')

    print("已写入topic_avg表")

    topic_max.to_sql('topic_max', engine, if_exists='replace', index=True, index_label='id')

    print("已写入topic_max表")

    topic_min.to_sql('topic_min', engine, if_exists='replace', index=True, index_label='id')

    print("已写入topic_min表")

    # 原始数据表保留手动添加的id列

    weibo.to_sql('weibo', engine, if_exists='replace', index=False)

    print("已写入weibo表")

    reshou.to_sql('reshou', engine, if_exists='replace', index=False)

    print("已写入reshou表")

except Exception as e:

    print(f"写入数据库时发生错误: {str(e)}")

finally:

    conn.close()

    print("数据库连接已关闭")

def get(self, request):

        #topic

        topic = request.GET.get('topic')

        item = Weibo.objects.filter(topic=topic).order_by('-comment')[:10]

        yuce_list = []

        #将content存入列表

        content_list = []

        for i in item:

            content_list.append(i.content)

        for i in content_list:

            # 加载模型

            estimator = joblib.load('static\model\情感分析模型.pkl')

            transfer = joblib.load('static\model\情感分析转换器.pkl')

            stopwords = [line.strip() for line in open('static\model\stopwords.txt', encoding='utf-8').readlines()]

          ….

            if y_predict[0] == 0:

                print('负面，概率为：', round(y_predict_proba[0][0] * 100, 2), '%')

                dict_yuce['name'] = '消极'

         ….

用例名

登录测试

目的

测试登录功能

前提

未登录的情况下

测试流程

1) 进入登录页面

2) 输入用户名和密码

3）提交

测试结果

1）当密码或者用户名错误的时候，提示用户名或者密码错误，页面不跳转；

2）当密码或者用户名都正确的时候，页面跳转到主页面；

是否符合预期

是

用例名

舆情预警测试用例

目的

测试舆情预警功能

前提

用户登录系统

测试流程

在舆情预警栏中填写微博账户名

测试结果

1）当该用户言论积消比较高的时候，预测结果显示舆情风险低；

2）当该用户言论积消比较低的时候，预测结果显示舆情风险高；

是否符合预期

是

用例名

数据爬取测试用例

目的

测试数据爬取信息功能

前提

爬虫文件书写完成

测试流程

运行爬虫程序

测试结果

爬取的文本信息，存储到dataset目录下对应的csv文件中

是否符合预期

是