Remove two string-as-unibyte in gnus-srvr.el

* lisp/gnus/gnus-srvr.el (gnus-browse-foreign-server): We do not
seem to need the string-as-unibyte here: We read a multibyte
string from the *nntpd* buffer and then decode it later, and this
apparently by some strange magic leads to the correct results in
my test cases.

Fix a `string-to-multibyte' in Gnus

* lisp/gnus/gnus-art.el (gnus-request-article-this-buffer): The
original article buffer is multibyte, and we're inserting into the
article buffer, which is also multibyte, so the `string-to-multibyte'
here should be unnecessary?

Fix a string-as-unibyte in Gnus

* lisp/gnus/gnus-art.el (gnus-article-browse-html-parts): Get rid
of a string-as-unibyte.

Further shr line folding/link continuation tweaks

* lisp/net/shr.el (shr-fill-line): Tweak the link continuations
further when folding lines.

Indent after transforming for loop into do/while

Make call-process work if exec-path is nil

* src/lread.c (openp): If exec-path is nil, no files would be
found to execute (bug#30564).

Test cases:

 (let ((exec-path ()))
   (call-process "/bin/ls" nil (current-buffer)))

This would previously fail, but now works.

 (let ((exec-path '("/bin/")))
   (call-process "ls" nil (current-buffer)))

This worked, and still works.

Make erc-current-logfile work with explicit parameter

* lisp/erc/erc-log.el (erc-current-logfile): This function
apparently refers to buffer-local variables, so switch to the
buffer given before calculating the file name (bug#16111).

Tweak shr link text property adjustments when folding

* lisp/net/shr.el (shr-fill-line): If a link starts at the first
word on a new folded line, then don't copy the link properties to
the newline inserted.

* lisp/erc/erc-button.el (erc-button-search-url): Doc fix.

erc build fix for the previous patch

erc-truncate-buffer-on-save doc string clarification

* lisp/erc/erc-log.el (erc-truncate-buffer-on-save): Doc
clarification (bug#18207) since "truncate" is a word used by
erc-truncate to mean something else.

Ignore all-whitespace topics in erc

* lisp/erc/erc.el (erc-cmd-TOPIC): Ignore all-whitespace topics
(bug#25153).

Rename url-button-google-url

* lisp/erc/erc-button.el (erc-button-search-url): Renamed from
url-button-google-url (bug#25717).  Suggested by Andrew Robbins.
(erc-button-alist): Use it.

Subject: Fix problem with erc buffer renames after reconnect

* lisp/erc/erc.el (erc-generate-new-buffer-name): Solve problem
with renamed buffers on different servers after reconnect (bug#30639).

Copyright-paperwork-exempt: yes

(libxml-parse-html-region): Make DISCARD-COMMENTS obsolete

* lisp/subr.el (libxml-parse-xml-region)
(libxml-parse-html-region): Make DISCARD-COMMENTS obsolete.

* src/xml.c (Flibxml_parse_html_region)
(Flibxml_parse_xml_region): Don't mention DISCARD-COMMENTS, since
it's now no longer part of the advertised signature (bug#27178).

Revert "Revert "Give better errors in signing failures in Gnus""

This reverts commit 42141da5b0885b199636524c1e57f08ee1723aea.

This patch was reverted in error.  I misinterpreted an email saying that
it didn't work, but apparently it worked as it should.

Make DISCARD-COMMENTS in `libxml-parse-{html,xml}-region' obsolete

* doc/lispref/text.texi (Parsing HTML/XML): Mention that
discard-comments is obsolete.

* lisp/xml.el (xml-remove-comments): New function (bug#27178).

* src/xml.c (Flibxml_parse_html_region): Clarify what
DISCARD-COMMENTS actually does, and say that the parameter is
obsolete.
(Flibxml_parse_xml_region): Ditto.

Merge from origin/emacs-26

5a6bb01 (origin/emacs-26) Fix building etc/DOC in the MSDOS port
274c979 * lisp/select.el (gui-get-selection): Doc fix.
ad731b0 ; * doc/lispref/display.texi (Temporary Displays): Fix typos.
f1450e9 Complete documentation of syntax flags by adding `c'
6bdcaec Fix typos and minor wording issues in ELisp manual
febac27 Merge branch 'emacs-26' of git.savannah.gnu.org:/srv/git/emac...
6c2e21e Avoid segfault in processes of type 'pipe'
60e10c5 Remove repetitions in documentation strings
208e752 * lisp/image.el (image-load-path): Doc fix.
92e0fd8 ; * etc/NEWS: Remove a FIXME.  (Bug#31122)

Conflicts:
etc/NEWS

Change the default From style to `angles' and make obsolete

* lisp/gnus/message.el (message-from-style): Make `angles' the
default (bug#29309) and mark as obsolete.

* lisp/mail/sendmail.el (mail-from-style): Ditto.

Make image-mode respect `imagemagick-types-inhibit'

* lisp/image-mode.el (image--imagemagick-wanted-p): New function
(bug#29584).
(image-toggle-display-image): Use it to see whether we want to use
imagemagick.

Revert "Give better errors in signing failures in Gnus"

This reverts commit ef2059e877d104bfe5abd24df05bb09c7295e4fa.

Apparently this test triggered both when signing was successful
and unsuccessful (bug#26298).

Fix building etc/DOC in the MSDOS port

* msdos/sed1v2.inp (lisp.mk): Fix escaping in Sed commands.

Tweak mailcap precedence so that Emacs values are heeded better

* lisp/net/mailcap.el (mailcap-parse-mailcaps): Place entries from
system-wide mailcap files after the values that are distributed
with Emacs, and the ones from ~/.mailcap before.
(mailcap-parse-mailcap): Take an optional `after' parameter to
achieve that.
(mailcap-add-mailcap-entry): Ditto.

Subject: Fix circular dependency for mm-decode

* lisp/gnus/mm-decode.el: Do not require shr.el at the top
of the file; `mm-shr' already requires shr.el in its body, and
this function is the only `mm-convert-shr-links' caller (Bug#31151).

* lisp/select.el (gui-get-selection): Doc fix.

; * doc/misc/url.texi (file/ftp): Remove stray '@end defopt'.

Do not destructively modify interprogram paste

* simple.el (kill-new, current-kill): Non-destructively reverse list
returned by interprogram-paste-function. (bug#31097)

Don't bind image commands on eww non-image links

* lisp/net/eww.el (eww-link-keymap): Only inherit the normal shr
keymap.
(eww-image-link-keymap): New keymap with the image bindings.
(eww-tag-a): Use the appropriate one on links (bug#30148).

Move utility function to mm-util.el

* lisp/gnus/mm-util.el (mm-images-in-region-p): Move from
mm-decode.el and renamed, since it is generally useful.

Make the url file: handler be less clever

* doc/misc/url.texi (file/ftp): Remove mention of the
url-directory-index-file variable, which is no longer consulted.

* lisp/url/url-file.el (url-file-build-filename): Remove the DWIM
code from the file: handler (bug#30195): It would look for
index.html in a directory if we asked it to fetch the directory.
Determining what to do in a directory should be left up to the
programs that use this low-level library.  If the library decides
to load a different file than we specified, then things start
falling apart, as demonstrated by this bug report.

Don't bind image commands on non-image links in Gnus

* lisp/gnus/mm-decode.el (mm--images-in-region-p): New utility
function.
(mm-convert-shr-links): Only use the shr image map on links that
contain images.  This avoids binding commands like `r' on links
that don't need it.

Revert "Add colors to faces that lack them."

This reverts commit 16748a5f6bd57ec0967ecb5e14ffe8af5f43d888.

From the discussion on the ding mailing list, I said:

I think the colours should be reverted back to what they were before the
change.  Normal text should be white on black (if you have a dark
background), and colours should be used to emphasise or de-emphasise
certain text.  Following that principle, normal Gnus groups should be
white, not ... er...  what are they now?  Teal?

Tweak the fonts applied to shr indentation

* lisp/net/shr.el (shr-fill-line): Don't use fonts (especially
link fonts) over indentation, because that's ugly..

Further tweak point placement on gnus-summary-select-article-buffer

* lisp/gnus/gnus-sum.el (gnus-summary-select-article-buffer):
Place point in the empty space between headers and body.

Tweak point placement in *Group* on `Q' exit

* lisp/gnus/gnus-sum.el (gnus-summary-exit-no-update): When
exiting the summary buffer with `Q', move point to the next unread
group (which is the same thing that happens on `q' exit.)

Tweak point placement in gnus-summary-select-article-buffer

* lisp/gnus/gnus-sum.el (gnus-summary-select-article-buffer):
Tweak where point is placed because when the user selects the
article buffer, it's probably to cite something or click on
something, and not do anything with the headers.

Compute erc line lengths correctly for utf-8 (etc.)

* lisp/erc/erc-backend.el (erc-split-line): Fold the lines
according to octet length, not the number of characters (bug#23047).

Clean up some defvoo doc strings

* lisp/gnus/nndiary.el: Remove "*" from doc strings from defvoo
elements (bug#23392).

* lisp/gnus/nndir.el: Ditto

* lisp/gnus/nndoc.el: Ditto.

* lisp/gnus/nnrss.el: Ditto.

* lisp/gnus/nnspool.el: Ditto.

* lisp/gnus/nntp.el: Ditto.

Further fix to eieio-persistent

* lisp/emacs-lisp/eieio-base.el (eieio-persistent-validate/fix-slot-value):
  Make handling of hash tables and vectors recursive. This is
  necessary because the write process, in `eieio-override-prin1' is
  also recursive. With any luck, this will be the last fix of its
  kind. If that's true, cherry-pick to Emacs 26.2 later on.

Make nnimap parse pathological spam headers better

* lisp/gnus/nnimap.el (nnimap-transform-headers): Unfold certain
pathological IMAP headers more correctly (bug#25502).  Perhaps
this function should be re-implemented.

; * doc/lispref/display.texi (Temporary Displays): Fix typos.

Fix syntax error in emacs-mime.texi in last check-in

Prefer settings from ~/.mailcap over system and Emacs settings

* doc/misc/emacs-mime.texi (mailcap): Document the variable and
how mailcap chooses which viewer to use.

* lisp/net/mailcap.el (mailcap-prefer-mailcap-viewers): New variable.
(mailcap-mime-info): Use it.

Fix bug in shr-urlify introduced in previous patch

* lisp/net/shr.el (shr-urlify): Not all URLs have domains, so
check for that before doing IDNA.

Make shr support inline <div>s

* lisp/net/shr.el (shr-tag-div): Support display: inline; for
<div>, since that's a very common thing (bug#25588).

Notify the user a bit more before clicking IDNA links

* lisp/net/shr.el (shr-urlify): Show the puny-encoded domain name
in the mouseover string (bug#25600).

(nnimap-sequence): Add comment

* lisp/gnus/nnimap.el (nnimap-sequence): Add comment.

(url-http): Ensure that the referrer is all-ASCII

* lisp/url/url-http.el (url-http): Ensure that the referrer is all-ASCII.

gnutls.el now needs punycode

* lisp/net/gnutls.el (puny): Require punycode.

Make Unicode domain names work again in URL after recent changes

* lisp/net/gnutls.el (open-gnutls-stream): IDNA-encode hostnames
before passing them on to gnutls for verification.

* lisp/net/network-stream.el (network-stream-open-starttls): Ditto.

* lisp/url/url-http.el (url-http--get-referer): Be IDNA-aware.
(url-http-create-request): Don't de-Unicodify host names, because
they may be IDNA names (that are later encoded).

* lisp/url/url-util.el (url-domain): Be IDNA-aware when doing
domain name computations.

Complete documentation of syntax flags by adding `c'

* doc/lispref/syntax.texi ("Syntax Table Internals"): Add entry for `c'
as `(1 lsh 23)'.

Fix typos and minor wording issues in ELisp manual

* doc/lispref/internals.texi (Writing Emacs Primitives):
* doc/lispref/display.texi (Temporary Displays): Fix typos.
* doc/lispref/text.texi (Filling, Changing Properties)
(Transposition): Clarify and fix typos.
* doc/lispref/positions.texi (Screen Lines): Improve wording.
* doc/lispref/modes.texi (Minor Mode Conventions)
(Font Lock Multiline): Fix typos.
* doc/lispref/variables.texi (Dynamic Binding Tips): Fix a
cross-reference.  Fix a typo.
* doc/lispref/sequences.texi (Sequence Functions): Fix typos.
(Bug#31143)

Update defcustom version for last patch to url-vars.el

* lisp/url/url-vars.el (url-lastloc-privacy-level): Update
defcustom version.

Use a separate history for the eww prompt

* lisp/net/eww.el (eww-prompt-history): A separate history
variable for the interactive eww prompt.
(eww): Use it.

Fix Bug#30246

* lisp/auth-source.el (auth-source-secrets-search): Do not
suppress creation.
(auth-source-secrets-create): Implement it.  (Bug#30246)

* lisp/net/secrets.el (secrets-debug): Set default to nil.

* test/lisp/auth-source-tests.el (secrets): Require it.
(auth-source-test-secrets-create-secret): New test.

Change gnutls-verify-error to be first-match

* doc/misc/url.texi (Customization): Describe the new user
option url-lastloc-privacy-level.

* lisp/net/eww.el (eww-render): Set url-current-lastloc to the
url we are rendering, to get the referer header right on
subsequent requests.

* lisp/url/url-http.el (url-http--get-referer): New function
to determine which referer to send, if any, considering the
users privacy settings and the target url we are visiting.
(url-http-referer): New variable keeping track of the referer
computed by url-http--get-referer
(url-http-create-request): Use url-http-referer instead of the
optional argument to set up the referer header.  Leave
checking of privacy settings to url-http--get-referer.
(url-http): Set up url-http-referer by using
url-http--get-referer.

* lisp/url/url-queue.el (url-queue): New struct member
context-buffer for keeping track of the context a queued job
started from.
(url-queue-retrieve): Store the current buffer in the queue
object.
(url-queue-start-retrieve): Make sure url-retrieve is called
in the context of the original buffer, if available.

* lisp/url/url-util.el (url-domain): New function to determine
the domain of a given URL.

* lisp/url/url-vars.el (url-current-lastloc): New variable to
keep track of the desired "last location" (referer header).
(url-lastloc-privacy-level): New custom setting for more
fine-grained control over how lastloc (referer) is sent to
servers (Bug#27012).

Make #anchors work again in eww

* lisp/net/eww.el (eww-render): When we have a #link link, then
url.el will say that we have a redirect to a non-#link link, so
get the anchor before url.el mangles the URL (bug#28441).
(eww-display-html): ... and don't get it here, because it's gone
by now.

Test URL: http://www.gnu.org/s/hyperbole/#summary

Merge branch 'emacs-26' of git.savannah.gnu.org:/srv/git/emacs into emacs-26

Avoid segfault in processes of type 'pipe'

* src/process.c (Fmake_pipe_process): Set up the decoding and
encoding buffers.  For the details, see
http://lists.gnu.org/archive/html/emacs-devel/2018-04/msg00295.html.

Doc fix after previous gnutls patch

* lisp/net/gnutls.el (gnutls-verify-error): Mention that the
matching is first-match (bug#29977).

Change gnutls-verify-error to be first-match

* lisp/net/gnutls.el (gnutls-boot-parameters): Convert to
first-match for gnutls-verify-error rather than any-match
(bug#29977).

Mention the new `shr-selected-link' face

Clean up the double Gnus section

When opening external links in eww, blink the link

* lisp/net/eww.el (eww-follow-link): Ditto.

* lisp/net/shr.el (shr-selected-link): New face (bug#25096).
(shr--blink-link): New function to blink links.
(shr--current-link-region): New utility function.
(shr-browse-url): Use it to blink external links.

Blinking the link allows the user to get immediate feedback that the
action has been performed.  Opening the external browser may take a
while, and may not be obvious that is going on.

Tweak nnimap sequence numbers to avoid reuse

* lisp/gnus/nnimap.el (nnimap-sequence): Start the sequence at a
higher number to avoid reusing the sequence number used by
`open-network-stream' (bug#30022).

Remove repetitions in documentation strings

* lisp/bindings.el (right-word): Remove repetition
(left-word): Likewise.

* lisp/image-mode.el (image-mode-as-hex): Likewise.

* lisp/cedet/semantic/tag-ls.el (semantic-tag-similar-p): Likewise.

* lisp/textmodes/reftex-vars.el (reftex-view-crossref-extra): Likewise

* lisp/gnus/gnus-art.el (gnus-article-prepare): Fix previous commit,
in which selecting the article window is not necessary (bug#25526).

Remove unused local variable

Treat 302 redirects as if they were 303 redirects

* lisp/url/url-http.el (url-http-parse-headers): Treat 302 as 303,
since this is what the standards recommend these days (bug#25703).
See https://en.wikipedia.org/wiki/List_of_HTTP_status_codes#3xx_Redirection

Make eww render <select> elements again

* lisp/net/eww.el (eww-tag-select): Actually render <select>
elements (bug#25703).

<label> shouldn't introduce a line break

* lisp/net/shr.el (shr-tag-label): Remove so that labels don't
break lines (because they shouldn't: They're usually part of a
selection interface) (bug#30557).

* lisp/gnus/gnus-art.el (gnus-article-prepare): Make sure the article
begins with the top of the header (bug#25526).

Tweak the eww readability function

* lisp/net/eww.el (eww-highest-readability): Require that the
readable bit is at least 100 words (bug#30445).

(dom-texts): Don't return contents of <script> as text

From: Lars Ingebrigtsen <larsi@gnus.org>

* lisp/dom.el (dom-texts): Don't return contents of <script> as
text, because it isn't and makes reasoning about textual parts
more difficult.

Support list of default values in completing-read-multiple

* lisp/emacs-lisp/crm.el (completing-read-multiple):
Consider head of DEF argument when specified as a list,
as per completing-read-default. (bug#30072)

From: Lars Ingebrigtsen <larsi@gnus.org>

* lisp/gnus/nnimap.el (nnimap-login): Allow anonymous logins
(bug#24704).

Copyright-paperwork-exempt: yes

Default message-forward-as-mime to nil

* doc/misc/gnus.texi (Summary Mail Commands): Ditto.

* doc/misc/message.texi (Forwarding): Note the new default.

* lisp/gnus/message.el (message-forward-as-mime): Default to nil
since it's been reported that many recipients can't read MIME
digest forwards (bug#24878).

Load w3m in Gnus if required

* lisp/gnus/gnus-art.el (gnus-article-show-images): Ensure that
w3m is loaded if the user requests that we use it.

Don't autoload function from w3m

* lisp/gnus/gnus-art.el (w3m-toggle-inline-images): Don't use
autoload for packages that may not be installed (bug#25604).

From: Lars Ingebrigtseb <larsi@gnus.org>

* lisp/gnus/gnus-sum.el (gnus-summary-limit-to-score): Allow limit
to articles that have a score below the stated number, too
(bug#30356).

message-forward-as-mime doc clarification

* lisp/gnus/message.el (message-forward-as-mime): Doc
clarification (bug#27714).

message-forward-ignored-headers doc clarification

* lisp/gnus/message.el (message-forward-ignored-headers): Doc
clarification (bug#27715).

Restore point in summary buffer after sorting

* lisp/gnus/gnus-sum.el (gnus-summary-sort): Keep point on the
current article when sorting (bug#30615).

nil is no longer an allowed value for mm-inline-text-html

* doc/misc/emacs-mime.texi (Display Customization): Remove the doc
for the nil case of mm-inline-text-html.

* doc/misc/mh-e.texi (HTML): Ditto.

* lisp/gnus/mm-view.el (mm-inline-text-html): If no
mm-text-html-renderer is specified, just insert the raw text
instead of erroring out (bug#30870).

Ensure that non-QRESYNC nnimap can proceed after a QRESYNC fail

* lisp/gnus/nnimap.el (nnimap-update-info): If we don't have a
start-article in the non-QRESYNC case, then the start has to be 1
(bug#23241).

Make it possible to exit Gnus without saving .newsrc.eld

* lisp/gnus/gnus-start.el (gnus-save-newsrc-file): Don't error out
here so that we can proceed with shutting down Gnus without saving
the .newsrc.eld file when it has been updated externally (bug#23761).

Make nnml save the .overview file when used as an expiry target

* lisp/gnus/nnmail.el (nnmail-expiry-target-group): Always pass in
the `last' parameter to the acceptance function so that backends
like nnml save the .overview file (bug#24499).  This may slow down
some use cases.

Clarify Gnus doc string

* lisp/gnus/gnus-cite.el (gnus-article-fill-cited-article):
Clarify doc string (bug#24578).

Elide XEmacs-relevant comment

* lisp/gnus/gnus-cite.el (gnus-article-fill-cited-article): Remove
mention of XEmacs, since we no longer support XEmacs.

Make message-simplify-recipients obsolete

* lisp/gnus/message.el (message-simplify-recipients)
(message-recipients-without-full-name): Made obsolete since
Message now simplifies all addresses by default.

Remove repetitions from recipient addresses in Message

* lisp/gnus/message.el (message--alter-repeat-address): New function.
(message-get-reply-headers): Use it to remove repetitions on the
form "foo@bar.com" <foo@bar.com>.

* lisp/image.el (image-load-path): Doc fix.

* etc/NEWS: Fix entry regarding automatic encryption of (Bug#31124) messages

; doc/misc/gnus.texi (Fancy Mail Splitting): Fix misplaced @item.

Add tests for buffer-base-buffer function (Bug#30905)

* test/src/buffer-tests.el (test-buffer-base-buffer-indirect)
(test-buffer-base-buffer-non-indirect): New tests for
`buffer-base-buffer'.

make-dist: fix bug with top-level ChangeLog

Problem reported by Glenn Morris in:
https://lists.gnu.org/r/emacs-devel/2018-04/msg00307.html
* make-dist (top_level_ChangeLog): New var.  Use it to link
top-level ChangeLog only when desired.

Support port number in Gnus X-Message-SMTP-Method header

* lisp/gnus/message.el (message-multi-smtp-send-mail): Try to parse
service as port number.  If it succeeds, use parsed number, else use
supplied service name as before (bug#24653).  (This only matters
on some operating systems.)

Gnus Group Mail Spliting on mailing-list headers

* texi/gnus.texi: Document the new `list' split abbreviation and
`match-list' group parameter (bug#25346).

* lisp/gnus-mlspl.el: Use the `list' abbreviation when the new
`match-list' group parameter is set to `t'.
The split regexp is modified to match either `@` or `.` as domain
separator to comply with RFC2919 IDs too.

* lisp/nnmail.el: Add new `list' split abbreviation matching common
mailing-list headers.

Tweak previous patch to respect quiet next group selection again

* lisp/gnus/gnus-sum.el (gnus-summary-next-article): Tweak
previous patch to be quieter if the user has requested `quietly'
next group selection.

Display "No more ... articles" on `n' in Gnus

* lisp/gnus/gnus-sum.el (gnus-summary-next-article): Display the
"No more"... messages if gnus-auto-select-next is nil and the user
has default messaging levels (bug#25582).