2022年8月12日18:02:07 增加查询未完成数据抓取账号列表接口

王明元
1 parent 3941903c
Showing 2 changed files with 42 additions and 0 deletions
src/main/java/cn/fw/freya/controller/OtherController.java
src/main/java/cn/fw/freya/service/crawl/impl/Common.java
@@ -29,6 +29,7 @@ import java.text.SimpleDateFormat;
 import java.time.LocalDate;
 import java.util.Date;
 import java.util.List;
+import java.util.Map;
 import java.util.Set;
 import java.util.stream.Collectors;
  
@@ -180,4 +181,14 @@ public class OtherController {
         return common.getWithoutPlaybackLive(type, durationThreshold);
     }
  
+    /**
+     * 获取未完成抓取的账号分布
+     *
+     * @return 未完成抓取的账号分布
+     */
+    @GetMapping("/getUndoneAccount")
+    public Map<String, List<String>> getUndoneAccount() {
+        return common.getUndoneAccount();
+    }
+
 }
@@ -5,6 +5,7 @@ import cn.fw.freya.dao.AccountDao;
 import cn.fw.freya.dao.CookieDao;
 import cn.fw.freya.dao.LivePoolDao;
 import cn.fw.freya.dao.VideoPoolDao;
+import cn.fw.freya.enums.AccountTypeEnum;
 import cn.fw.freya.model.data.Account;
 import cn.fw.freya.model.data.FwCookie;
 import cn.fw.freya.model.data.ResponseReceived;
@@ -359,4 +360,34 @@ public class Common {
         accountDao.save(waitSaveAccount);// 不存在, 则保存该账号
     }
  
+    /**
+     * 获取未完成抓取的账号分布
+     *
+     * @return 未完成抓取的账号分布
+     */
+    public Map<String, List<String>> getUndoneAccount() {
+        Map<String, List<String>> undoneAccountMap = new HashMap<>();
+        List<Account> accountList = accountDao.findNotUseAccount();
+        if (CollectionUtils.isEmpty(accountList))
+            return undoneAccountMap;
+        accountList.stream()
+                .collect(Collectors.groupingBy(Account::getType))
+                .forEach((k, v) -> {
+                    String key = null;
+                    if (Objects.equals(k, AccountTypeEnum.KS.getValue()))
+                        key = "「快手」";
+                    if (Objects.equals(k, AccountTypeEnum.DY.getValue()))
+                        key = "「抖音」";
+                    if (Objects.equals(k, AccountTypeEnum.DCD.getValue()))
+                        key = "「懂车帝」";
+                    if (Objects.equals(k, AccountTypeEnum.BILIBILI.getValue()))
+                        key = "「哔哩哔哩」";
+                    undoneAccountMap.put(key, v.stream()
+                            .map(Account::getAccountNo)
+                            .sorted()
+                            .collect(Collectors.toList())
+                    );
+                });
+        return undoneAccountMap;
+    }
 }