Follow 'Next Thread →' links

Test emit()

Test bare chunks

Move per-thread processing stuff into Thread

next_thread should be an absolute URL

Use a more URL-looking url in tests

Fetch the non-flat view to get the next-thread link

Always have Thread.__init__ fetch the HTML

Optionally have Thread.__init__ fetch the HTML

Move get_title() to Thread

Rename html → dom

Reify Thread

Show name of thread being processed

Learning TeX: Do Layouts with TeX macros

This is more elegant and reduces the size of the .tex output by 33%

h/t https://tex.stackexchange.com/a/537222 by Steven B. Segletes
for the \ifnotempty technique

Put Texifier in spec

Learning TeX: Render icon images with TeX command

Learning TeX: Keep icon image size in TeX

Don't uselessly repeat preamble in test

Use raw strings for less escaping

Strip links from meta fields

This gives us the flexibility to process non-flat URLs, which is useful
for shorter feedback cycles during development.

Support _ in URLs

renderIcon makes bytes

Only look within each chunk-dom for chunk fields

Escape character names

This is slow. :(

args: Prefer dashes to underscores

Progress messages for fetch and parse

Rename: html → dom

Render links as footnotes

Change default layout: below → beside

:(

Below layout is nicer, but has two problems:

1. The page break logic seems to be broken.  Some pages have content run
   off the bottom.  Other pages get a single line.  This seems to be a
   bug in the wrapstuff package.

2. There's a problem I don't understand where LaTeX complains about the
   \wrapstuffclear following a \footnote, saying:

      ! LaTeX kernel Error: Not in vertical mode.

      Starting a paragraph with \RawIndent or \RawNoindent
      (or \para_raw_indent: or \para_raw_noindent:) is only allowed
      if LaTeX is in vertical mode.

Two problems

--quiet controls fetch cache hit rate report too

--quiet flag to suppress progress messages

Progress indicator

Remove no-longer-needed DOMFilters NoEdit and NoFooter

These aren't needed anymore because Chunk individually extracts the five
things it needs from the chunk-DOMs, rather than pulling in the whole
chunk-<div>.

Apply bare-\emph fix to \st too

Support strikethrough

texfilter to work around \emph nesting issue

I don't know enough LaTeX to understand what the problem is, but this
makes it go away.

Use LaTeX packages: longtable and booktabs

pandoc-generated LaTeX assumes these packages are available

test: Don't duplicate list of TeX modules in test

Reduce the number of places we keep our version number: 2 → 1

Reduce the number of places we keep our version number: 3 → 2

fetch: Send User-Agent header

image filenames: Drop ? and following query parameters

Use view=flat to get whole threads at once

FakeFetcher: Show bad URLs in error messages

`beside` layout

No indent on first paragraph in each chunk

Border around icon + author data that extends between chunks

Less space between icon and post-separation line

wrapfig → wrapstuff, for \wrapstuffclear

Force line breaks between icon, character, screen name, and author

h/t https://tex.stackexchange.com/questions/35110/how-to-stack-boxes-like-a-vertical-version-of-mbox#comment75823_37801

wrapfigure 0pt width means auto-scale

Lines between chunks

Fix flaky test: Increment request count before responding

Report fetch cache hit rate

Paragraph breaks

Uniform icon image size

LaTeX doesn't like % in filenames

Reify Layout

New dependency: wrapfig TeX package

Reify Chunk

FakeImageStore for tests

More structure and tests around splitting the page into chunks' DOMs.

Pass an ImageStore around

Allow many Spec fields

The whole point of Spec is to be a simple, inert, immutable collection
of largely independent program elements easily at hand.  It's being used
here like a namespace, not a pile of shared mutable state for which a
field limit of 7 would make more sense.  Let Spec grow.

ImageStore

Specify page geometry

Project Lawful start URL in --help

Extensible, flag-controlled DOM filters

Strip all &nbsp;

Project Lawful does not use &nbsp; carefully/thoughtfully.  They are all
over the place, at the end of every sentence, randomly around <em>s,
etc.  Just remove them all.

But allow this behavior to be flag-controlled, in case this step is not
desired when processing other works.

FakeFetcher for faster tests

Run some tests against both the webserver and the FakeFetcher to make
sure both work.

Move HTML test data out to separate file

Bundle the things needed for a run together into a Spec

Contemplate generating LaTeX directly

Texifier interface

Rename: fetch → parse

Use the new encapsulated fetchers

Cleaner Fetcher interface

Extract fake webserver

LaTeX output is a valid LaTeX file

Verify that LaTeX conversion is doing something

Invoke pandoc to convert HTML to LaTeX

--pandoc flag

Open output file

Drop Post as a class

Strip edit-boxes and footers

entries() convenience method

Replies

Begin parsing glowfic html

Parse HTML

fetch: Honor Cache-Control headers

fetch: cache: Keep cache in XDG_CACHE_HOME (eg: ~/.cache)

fetch: Verify caching across sessions

fetch: Cache

fetch: Multiple fetches per session

fetch: Use a session

fetch: test: Count requests

fetch: test: Explicitly close webserver

This fixes "unclosed <socket.socket ..." warnings

fetch: test: Hold reference to webserver

fetch: test: Explicitly join webserver thread

fetch: Try closing connections more aggressively