[YOMOU CRAWLER] 第1回 データモデルを考える

データモデルを考える


小説自体を表すデータモデルと、小説の管理に使用する付随情報がある。
それと、更新履歴を表すクラスがある。

  1. 小説として必要な要素
    • 小説のタイトル
    • 小説の作者
    • 小説の目次
    • 小説の章のタイトル
    • 小説の章の本文
  2. 更新を確認するために必要な要素
    • 小説の更新日時
    • 小説の更新を確認した日時
    • 小説が完結したか
    • 小説の章の更新日時
    • 小説の章の更新を確認した日時
    • 小説の章の更新後、既読になったか
    • 小説の章の更新後、既読になった日時

YOMOU CRAWLERについて

小説を読もう!の更新を自動でチェックしたかったのだが、自分の好みに合ったサービスがなかった。
じゃあ、自分で作っちゃえってことで以下の通り。

  1. 主要機能
    • 小説の各話の登録更新状況をメールで通知する
    • 更新チェックではアクセス頻度を減らしサーバーに負荷を掛けないようにする
    • 小説が消されても、後で読めるように更新チェックと同時に、更新内容を保存する
  2. 稼働環境
    • 言語:Java11
    • データベース:MySQL
  3. 副題
    • Hibernateを学ぶ
    • オブジェクト指向を学ぶ
  4. 参考情報(小説を読もう!のページの構造)
    • 小説のトップページにはタイトル、作者名、概要、目次がある
    • 目次のリンクからは各話に遷移出来る
    • 各話にはタイトルと本文がある
  5. 詳細機能
    • htmlを取得しパースする
    • メール送信する

JenkinsとGithubの連携

※2022/05/05追記:jenkinsの設定方法も含めた、2022年現在の連携方向を参照したい場合はこちら

Githubにpushされたら、Jenkinsのビルドを起動したい。

  • Github側の設定
    1. SettingsのIntegrations & servicesを開き、
      Add ServiceからJenkins (Git plugin)を選択する。

    2. 表示された「Jenkins url」に「http://~ホスト名~/jenkins/github-webhook/」と入力する。

  • Jenkins側の設定
    1. GitHub pluginをインストールする。
      GitHub plugin

    2. ジョブの設定の「GitHub hook trigger for GITScm polling」にチェックを入れる。

PowerMockitoでUnit Test

下記のインスタンスを生成する部分をMockにしたい。

NovelSource novelSource = new NovelSource(url);

そこで、PowerMockitoを使用してみる。

<!-- https://mvnrepository.com/artifact/org.powermock/powermock-api-mockito -->
<dependency>
    <groupId>org.powermock</groupId>
    <artifactId>powermock-api-mockito</artifactId>
    <version>1.6.6</version>
</dependency>

使用方法はこんな感じ。

@RunWith(PowerMockRunner.class)
@PrepareForTest({ NovelManagerImpl.class })
@PowerMockIgnore("javax.management.*")
public class NovelManagerImplTest extends BaseManagerMockTestCase {
    @Mock
    private NovelSource novelSource;
 
    @Mock
    private Logger log;
 
    @Mock
    private NovelDao novelDao;
 
    @Mock
    private NovelInfoManager novelInfoManager;
 
    @Mock
    private NovelChapterManager novelChapterManager;
 
    @InjectMocks
    private NovelManagerImpl novelManager = new NovelManagerImpl();
 
    @Test
    public void testAdd() throws Exception {
        String fileName = this.getClass().getClassLoader().getResource("novel/20160924/test.html").getPath();
        File file = new File(fileName);
        String url = "http://www.foo.bar/20160924/";
        NovelSource novelSource = new NovelSource(new Source(file));
 
        {
            // 初期化
            MockitoAnnotations.initMocks(this);
            // NovelSourceをnewするとき、thenReturn(~)のインスタンスを返却する
            PowerMockito.whenNew(NovelSource.class).withArguments(url).thenReturn(novelSource);
        }
    }

コンストラクタに引数を渡したいときは、withArguments()を使用する。

しかし、カバレッジが測定出来ないので注意。