Tweak shr window width computation

* lisp/net/shr.el (shr-insert-document): The computation of the
window width is apparently one pixel too wide for the shr line
folding algorithm (bug#31196).

(gnus-summary-select-article-buffer): Further point placing tweak

* lisp/gnus/gnus-sum.el (gnus-summary-select-article-buffer):
Further tweak for the previous point-placing tweak.

Tweak point placement in gnus-summary-select-article-buffer

* lisp/gnus/gnus-sum.el (gnus-summary-select-article-buffer):
Ensure that point is where it's supposed to be after switching to
the article buffer.

Make the `c' command work in a single-article Gnus view

* lisp/gnus/gnus-art.el (gnus-article-read-summary-keys): Make `c'
work from the article buffer (bug#31195) when no summary buffer is
shown.

Place point consistently in the Gnus group buffer on exit

* lisp/gnus/gnus-sum.el (gnus-summary-exit): Place point correctly
when exiting with `q' (and the like) from the article buffer when
only the article buffer is displayed (bug#31195).  This is
apparently yet another fall-out from the "preserve-visible-point-
in-windows" patches of yesteryear...

Reimplement `shr-next-link' and `shr-previous-link'

* lisp/net/shr.el (shr-next-link): Use
`text-property-search-forward'.
(shr-previous-link): Use `text-property-search-backward'.

Add `text-property-search-forward' and `-backward'

* doc/lispref/text.texi (Property Search): Document
`text-property-search-forward' and `text-property-search-backward'.

* lisp/emacs-lisp/text-property-search.el: New file.

* lisp/textmodes/artist.el (artist-mode): Ensure we have a font

* lisp/mail/sendmail.el (mail-sendmail-undelimit-header): Work for
the case where the mail header separator has already been deleted.

(gnus-group-goto-group): Return correct value after previous patch

* lisp/gnus/gnus-group.el (gnus-group-goto-group): Return the
correct value after the previous patch.

Fix inconsistent point movement in the Gnus group buffer

* lisp/gnus/gnus-group.el (gnus-group-goto-group): If we can't
find the group we're looking for, then don't move point at all
(bug#23021).

(artist-mode): Warn about proportional fonts

* lisp/textmodes/artist.el (artist-mode): Warn about proportional
fonts (bug#24175).

Make mail-sendmail-undelimit-header actually remove the delimiter

* lisp/mail/sendmail.el (mail-sendmail-undelimit-header): Actually
remove the mail header separator (bug#17488).  In all the cases
where this is called, the separator will probably already have
been removed, so the only thing this does is place point at the
end of the headers.

(semantic-symref-results-mode-map): Fix typo in previous check-in

* lisp/cedet/semantic/symref/list.el
(semantic-symref-results-mode-map): Fix typo in previous check-in.

Avoid undefined behavior in 'defvar' (Bug#31072)

* src/eval.c (Fdefvar): Check that first argument is a symbol.
* test/src/eval-tests.el (defvar/bug31072): New unit test.

EUDC: Enable lexical binding and do some cleanups

* lisp/net/eudc.el: Enable lexical binding.
(cl-lib): Always require cl-lib, not only when byte compiling.
(eudc-mode-map): Set parent keymap within let form.
(eudc-update-local-variables): Use #' read syntax for function
argument to map function.
(eudc-select): Likewise.
(eudc-format-attribute-name-for-display): Likewise
(eudc-filter-duplicate-attributes): Likewise.
(eudc-format-query): Likewise.
(eudc-expand-inline): Likewise.
(eudc-query-form): Likewise.
(eudc-print-attribute-value): Use mapc instead of mapcar.
(eudc-filter-partial-records): Use cl-every.
(eudc-distribute-field-on-records): Use delete-dups to
simplify function.
(eudc-expand-inline): Replace while with dolist and let form.
(eudc-query-form): Set inhibit-read-only after switching
buffers.  Remove useless and call.
(eudc-load-eudc): Add a FIXME comment.

In HTML mode, don't match </ with the wrong /

* lisp/textmodes/sgml-mode.el (sgml-slash): In HTML mode, don't
match <br /><h1>...</ with the preceding / (bug#16508).

Use quit-buffer instead of semantic-symref-hide-buffer

* lisp/cedet/semantic/symref/list.el
(semantic-symref-hide-buffer): Removed (bug#15857).
(semantic-symref-results-mode-map): Use quit-buffer instead.

Doc string update for gnus-extract-address-components

* lisp/gnus/gnus-util.el (gnus-extract-address-components): Doc
update.

Add an undo command to url-cookie-mode

* lisp/url/url-cookie.el (url-cookie-undo): New command and
keystroke (bug#16650).

Tweak the look of the cookie buffer after cookie deletion

* lisp/url/url-cookie.el (url-cookie--generate-buffer): Factor out
into its own function.
(url-cookie-delete): Use it to make the buffer look consistent
after deleting a cookie.

Make eww handle "http://a/../../../g"

* lisp/net/eww.el (eww): Strip leading elements off URLs on the
form "http://a/../../../g", because that's what all the other
browsers do (bug#8622).

Make url-cookie-write-file be more permissive

* lisp/url/url-cookie.el (url-cookie-write-file): If
`url-cookie-file' isn't set (due to url.el not being used yet),
don't error out in this function (bug#23183).

Don't warn the user about large files if they are unreadable

* lisp/files.el (abort-if-file-too-large): There's no point in
warning the user about a too-large file if we're not able to read
it (bug#29549).  Hopefully this doesn't introduce a race condition
between this test and the `file-readable-p' test later.

Only save the mailer choice after sending the mail

* lisp/mail/sendmail.el (sendmail-query-once): Only save the
mailer choice after we've sent the mail, so that if that fails,
the user has an easy way to back out of the choice and make
another (bug#14487).
(sendmail-query-user-about-smtp): Return the choice; don't save it.

(compose-mail): Give a better error message for `mail-user-agent'

* lisp/simple.el (compose-mail): Give a better error message for
invalid values for `mail-user-agent' (bug#17979).

Fix typo in gnus.texi

* doc/misc/gnus.texi (Summary Message Commands): Fix typo in last
change.

Update doc string after previous ietf-drums change

* lisp/mail/ietf-drums.el (ietf-drums-parse-address): Doc fix
after previous change.

mail-extr.el: Mention `mail-header-parse-address' in the doc string

* lisp/mail/mail-extr.el (mail-extract-address-components):
Mention `mail-header-parse-address' in the doc string.

Allow `mail-header-parse-address' to decode encoded words

* lisp/mail/ietf-drums.el (ietf-drums-parse-address): Take an
optional parameter to decode the display name.

Revert "Make mail-extract-address-components return the user name more"

This reverts commit 8b50ae8b2284b5652c2843a9d0d076f4f657be28.

According to tests in bug#27656 by OGAWA Hirofumi, this patch
led to wrong results when binding

(dolist (addr '("Rasmus <rasmus@gmx.us>" "Rasmus <mbox@gmx.us>"))
  (dolist (ignore-single '(t nil))
    (dolist (ignore-same '(t nil))
      (let ((mail-extr-ignore-single-names ignore-single)
    (mail-extr-ignore-realname-equals-mailbox-name ignore-same))
(message "%s" (mail-extract-address-components addr))))))

in combination.

Query the user whether to increase stack depth in shr

* lisp/net/shr.el (shr-insert-document): Bind `max-specpdl-size'
here... (bug#30675).
(shr-descend): So that we can increase it temporarily here if the
user wants to.

Minor copy edit of etc/NEWS

* src/lread.c (openp): Add a comment before the now-obscure loop.

Clarify menu entry in previous check-in

* lisp/gnus/gnus-sum.el (gnus-summary-make-menu-bar): Menu bar
entry for it.

Add new command `gnus-summary-attach-article'

* doc/misc/gnus.texi (Summary Message Commands): Document it.

* lisp/gnus/gnus-msg.el (gnus-summary-attach-article): New command
and keystroke (bug#19788).

* lisp/gnus/gnus-sum.el (gnus-summary-make-menu-bar): Menu bar
entry for it.

Divert to call `gnus-activate-group' with the SCAN argument set

* lisp/gnus/gnus-group.el (gnus-group-get-new-news-this-group):
Divert to call `gnus-activate-group' with the SCAN argument set,
if request-group-scan is not defined for the backend.  Ensure that
the server is open when calling `gnus-request-group-scan'
(bug#22649).

Abort Gnus exit if we have unsaved Message buffers

* lisp/gnus/gnus-group.el
(gnus--abort-on-unsaved-message-buffers): New function (bug#28843).
(gnus-group-exit): Use it to abort exit if we have unsaved Message
buffers.

Avoid an infloop in shr filling when not using fonts

* lisp/net/shr.el (shr-fill-line): If we have an indentation
that's wider than the width of what we're trying to fill, just
give up.  This avoids an infloop when `shr-use-fonts' in nil.

Remove calls from string-to-multibyte in nnheader/nntp

* lisp/gnus/nntp.el (nntp-copy-to-buffer): Apparently `insert' now
behaves more like string-make-multibyte, but it now behaves more
like string-to-multibyte, so remove that call here.  I'm not quite
sure I follow that logic, but apparently there are no ill effects.

* lisp/gnus/nnheader.el (nnheader-insert-buffer-substring): Ditto.

Remove a string-to-multibyte from nnmh.el

* lisp/gnus/nnmh.el (nnmh-request-list-1): Remove superfluous
string-to-multibyte.

Remove call to string-to-multibyte from nndoc.el

* lisp/gnus/nndoc.el (nndoc-oe-dbx-type-p): My testing shows that
no matter whether we're in a unibyte or a multibyte buffer, doing
the looking-at here without the string-to-multibyte, we'll get a
match.  We did not get a match with the call in and if we were in
a unibyte buffer, but we presumably never are.

Fix calculation in gnus-update-group-mark-positions

* lisp/gnus/gnus-group.el (gnus-update-group-mark-positions):
Rewrite a call to string-to-multibyte that didn't even work.
After the rewrite it gives the correct result and should allow
people to customise Gnus group process mark positions (but that's
a pretty obscure feature).

Removed outdated comment from nnweb.el

* lisp/gnus/nnweb.el (nnweb-insert-html): Removed ten year old
comment from Stefan about string-as-multibyte.

Rewrite Gnus calls to compat function mm-multibyte-p

Rewrite string-as-unibyte/string-as-multibyte logic in nnmail

* lisp/gnus/nnmail.el (nnmail-insert-xref): Rewrite
string-as-unibyte/string-as-multibyte logic and confirm that the
result is the same in both multibyte and unibyte buffers after the
change.

Remove call to string-as-unibyte from nnmail

* lisp/gnus/nnmail.el (nnmail-parse-active): Remove call to
string-as-unibyte; the alist before and after the change are
`equal' to each other, so it should presumably have no impact.

Remove calls to string-as-unibyte from nnir.el

* lisp/gnus/nnir.el (nnir-get-active): Remove two calls to
string-as-unibyte from code that seems cargo-culted from Gnus
functions where it is not needed, so it's presumably not needed
here, either.

Remove call to string-as-unibyte in gnus-start.el

* lisp/gnus/gnus-start.el (gnus-read-newsrc-el-file): Remove
string-as-unibyte call, which appears not to do anything much in
modern Emacsen.

Remove call to string-as-unibyte from gnus-start.el

* lisp/gnus/gnus-start.el (gnus-update-active-hashtb-from-killed):
Remove a string-as-unibyte call here, which appears not to be
necessary: I'm able to complete over non-ASCII names both before
and after.

Modernise a Gnus function a bit

* lisp/gnus/gnus-start.el (gnus-update-active-hashtb-from-killed):
Modernise code a bit.

Remove two string-as-unibyte in gnus-srvr.el

* lisp/gnus/gnus-srvr.el (gnus-browse-foreign-server): We do not
seem to need the string-as-unibyte here: We read a multibyte
string from the *nntpd* buffer and then decode it later, and this
apparently by some strange magic leads to the correct results in
my test cases.

Fix a `string-to-multibyte' in Gnus

* lisp/gnus/gnus-art.el (gnus-request-article-this-buffer): The
original article buffer is multibyte, and we're inserting into the
article buffer, which is also multibyte, so the `string-to-multibyte'
here should be unnecessary?

Fix a string-as-unibyte in Gnus

* lisp/gnus/gnus-art.el (gnus-article-browse-html-parts): Get rid
of a string-as-unibyte.

Further shr line folding/link continuation tweaks

* lisp/net/shr.el (shr-fill-line): Tweak the link continuations
further when folding lines.

Indent after transforming for loop into do/while

Make call-process work if exec-path is nil

* src/lread.c (openp): If exec-path is nil, no files would be
found to execute (bug#30564).

Test cases:

 (let ((exec-path ()))
   (call-process "/bin/ls" nil (current-buffer)))

This would previously fail, but now works.

 (let ((exec-path '("/bin/")))
   (call-process "ls" nil (current-buffer)))

This worked, and still works.

Make erc-current-logfile work with explicit parameter

* lisp/erc/erc-log.el (erc-current-logfile): This function
apparently refers to buffer-local variables, so switch to the
buffer given before calculating the file name (bug#16111).

Tweak shr link text property adjustments when folding

* lisp/net/shr.el (shr-fill-line): If a link starts at the first
word on a new folded line, then don't copy the link properties to
the newline inserted.

* lisp/erc/erc-button.el (erc-button-search-url): Doc fix.

erc build fix for the previous patch

erc-truncate-buffer-on-save doc string clarification

* lisp/erc/erc-log.el (erc-truncate-buffer-on-save): Doc
clarification (bug#18207) since "truncate" is a word used by
erc-truncate to mean something else.

Ignore all-whitespace topics in erc

* lisp/erc/erc.el (erc-cmd-TOPIC): Ignore all-whitespace topics
(bug#25153).

Rename url-button-google-url

* lisp/erc/erc-button.el (erc-button-search-url): Renamed from
url-button-google-url (bug#25717).  Suggested by Andrew Robbins.
(erc-button-alist): Use it.

Subject: Fix problem with erc buffer renames after reconnect

* lisp/erc/erc.el (erc-generate-new-buffer-name): Solve problem
with renamed buffers on different servers after reconnect (bug#30639).

Copyright-paperwork-exempt: yes

(libxml-parse-html-region): Make DISCARD-COMMENTS obsolete

* lisp/subr.el (libxml-parse-xml-region)
(libxml-parse-html-region): Make DISCARD-COMMENTS obsolete.

* src/xml.c (Flibxml_parse_html_region)
(Flibxml_parse_xml_region): Don't mention DISCARD-COMMENTS, since
it's now no longer part of the advertised signature (bug#27178).

Revert "Revert "Give better errors in signing failures in Gnus""

This reverts commit 42141da5b0885b199636524c1e57f08ee1723aea.

This patch was reverted in error.  I misinterpreted an email saying that
it didn't work, but apparently it worked as it should.

Make DISCARD-COMMENTS in `libxml-parse-{html,xml}-region' obsolete

* doc/lispref/text.texi (Parsing HTML/XML): Mention that
discard-comments is obsolete.

* lisp/xml.el (xml-remove-comments): New function (bug#27178).

* src/xml.c (Flibxml_parse_html_region): Clarify what
DISCARD-COMMENTS actually does, and say that the parameter is
obsolete.
(Flibxml_parse_xml_region): Ditto.

Merge from origin/emacs-26

5a6bb01 (origin/emacs-26) Fix building etc/DOC in the MSDOS port
274c979 * lisp/select.el (gui-get-selection): Doc fix.
ad731b0 ; * doc/lispref/display.texi (Temporary Displays): Fix typos.
f1450e9 Complete documentation of syntax flags by adding `c'
6bdcaec Fix typos and minor wording issues in ELisp manual
febac27 Merge branch 'emacs-26' of git.savannah.gnu.org:/srv/git/emac...
6c2e21e Avoid segfault in processes of type 'pipe'
60e10c5 Remove repetitions in documentation strings
208e752 * lisp/image.el (image-load-path): Doc fix.
92e0fd8 ; * etc/NEWS: Remove a FIXME.  (Bug#31122)

Conflicts:
etc/NEWS

Change the default From style to `angles' and make obsolete

* lisp/gnus/message.el (message-from-style): Make `angles' the
default (bug#29309) and mark as obsolete.

* lisp/mail/sendmail.el (mail-from-style): Ditto.

Make image-mode respect `imagemagick-types-inhibit'

* lisp/image-mode.el (image--imagemagick-wanted-p): New function
(bug#29584).
(image-toggle-display-image): Use it to see whether we want to use
imagemagick.

Revert "Give better errors in signing failures in Gnus"

This reverts commit ef2059e877d104bfe5abd24df05bb09c7295e4fa.

Apparently this test triggered both when signing was successful
and unsuccessful (bug#26298).

Fix building etc/DOC in the MSDOS port

* msdos/sed1v2.inp (lisp.mk): Fix escaping in Sed commands.

Tweak mailcap precedence so that Emacs values are heeded better

* lisp/net/mailcap.el (mailcap-parse-mailcaps): Place entries from
system-wide mailcap files after the values that are distributed
with Emacs, and the ones from ~/.mailcap before.
(mailcap-parse-mailcap): Take an optional `after' parameter to
achieve that.
(mailcap-add-mailcap-entry): Ditto.

Subject: Fix circular dependency for mm-decode

* lisp/gnus/mm-decode.el: Do not require shr.el at the top
of the file; `mm-shr' already requires shr.el in its body, and
this function is the only `mm-convert-shr-links' caller (Bug#31151).

* lisp/select.el (gui-get-selection): Doc fix.

; * doc/misc/url.texi (file/ftp): Remove stray '@end defopt'.

Do not destructively modify interprogram paste

* simple.el (kill-new, current-kill): Non-destructively reverse list
returned by interprogram-paste-function. (bug#31097)

Don't bind image commands on eww non-image links

* lisp/net/eww.el (eww-link-keymap): Only inherit the normal shr
keymap.
(eww-image-link-keymap): New keymap with the image bindings.
(eww-tag-a): Use the appropriate one on links (bug#30148).

Move utility function to mm-util.el

* lisp/gnus/mm-util.el (mm-images-in-region-p): Move from
mm-decode.el and renamed, since it is generally useful.

Make the url file: handler be less clever

* doc/misc/url.texi (file/ftp): Remove mention of the
url-directory-index-file variable, which is no longer consulted.

* lisp/url/url-file.el (url-file-build-filename): Remove the DWIM
code from the file: handler (bug#30195): It would look for
index.html in a directory if we asked it to fetch the directory.
Determining what to do in a directory should be left up to the
programs that use this low-level library.  If the library decides
to load a different file than we specified, then things start
falling apart, as demonstrated by this bug report.

Don't bind image commands on non-image links in Gnus

* lisp/gnus/mm-decode.el (mm--images-in-region-p): New utility
function.
(mm-convert-shr-links): Only use the shr image map on links that
contain images.  This avoids binding commands like `r' on links
that don't need it.

Revert "Add colors to faces that lack them."

This reverts commit 16748a5f6bd57ec0967ecb5e14ffe8af5f43d888.

From the discussion on the ding mailing list, I said:

I think the colours should be reverted back to what they were before the
change.  Normal text should be white on black (if you have a dark
background), and colours should be used to emphasise or de-emphasise
certain text.  Following that principle, normal Gnus groups should be
white, not ... er...  what are they now?  Teal?

Tweak the fonts applied to shr indentation

* lisp/net/shr.el (shr-fill-line): Don't use fonts (especially
link fonts) over indentation, because that's ugly..

Further tweak point placement on gnus-summary-select-article-buffer

* lisp/gnus/gnus-sum.el (gnus-summary-select-article-buffer):
Place point in the empty space between headers and body.

Tweak point placement in *Group* on `Q' exit

* lisp/gnus/gnus-sum.el (gnus-summary-exit-no-update): When
exiting the summary buffer with `Q', move point to the next unread
group (which is the same thing that happens on `q' exit.)

Tweak point placement in gnus-summary-select-article-buffer

* lisp/gnus/gnus-sum.el (gnus-summary-select-article-buffer):
Tweak where point is placed because when the user selects the
article buffer, it's probably to cite something or click on
something, and not do anything with the headers.

Compute erc line lengths correctly for utf-8 (etc.)

* lisp/erc/erc-backend.el (erc-split-line): Fold the lines
according to octet length, not the number of characters (bug#23047).

Clean up some defvoo doc strings

* lisp/gnus/nndiary.el: Remove "*" from doc strings from defvoo
elements (bug#23392).

* lisp/gnus/nndir.el: Ditto

* lisp/gnus/nndoc.el: Ditto.

* lisp/gnus/nnrss.el: Ditto.

* lisp/gnus/nnspool.el: Ditto.

* lisp/gnus/nntp.el: Ditto.

Further fix to eieio-persistent

* lisp/emacs-lisp/eieio-base.el (eieio-persistent-validate/fix-slot-value):
  Make handling of hash tables and vectors recursive. This is
  necessary because the write process, in `eieio-override-prin1' is
  also recursive. With any luck, this will be the last fix of its
  kind. If that's true, cherry-pick to Emacs 26.2 later on.

Make nnimap parse pathological spam headers better

* lisp/gnus/nnimap.el (nnimap-transform-headers): Unfold certain
pathological IMAP headers more correctly (bug#25502).  Perhaps
this function should be re-implemented.

; * doc/lispref/display.texi (Temporary Displays): Fix typos.

Fix syntax error in emacs-mime.texi in last check-in

Prefer settings from ~/.mailcap over system and Emacs settings

* doc/misc/emacs-mime.texi (mailcap): Document the variable and
how mailcap chooses which viewer to use.

* lisp/net/mailcap.el (mailcap-prefer-mailcap-viewers): New variable.
(mailcap-mime-info): Use it.

Fix bug in shr-urlify introduced in previous patch

* lisp/net/shr.el (shr-urlify): Not all URLs have domains, so
check for that before doing IDNA.

Make shr support inline <div>s

* lisp/net/shr.el (shr-tag-div): Support display: inline; for
<div>, since that's a very common thing (bug#25588).

Notify the user a bit more before clicking IDNA links

* lisp/net/shr.el (shr-urlify): Show the puny-encoded domain name
in the mouseover string (bug#25600).

(nnimap-sequence): Add comment

* lisp/gnus/nnimap.el (nnimap-sequence): Add comment.

(url-http): Ensure that the referrer is all-ASCII

* lisp/url/url-http.el (url-http): Ensure that the referrer is all-ASCII.

gnutls.el now needs punycode

* lisp/net/gnutls.el (puny): Require punycode.